來(lái)自 AI 生態(tài)系統(tǒng)各個(gè)領(lǐng)域的 150 余家合作伙伴嵌入了 NIM 推理微服務(wù)，將企業(yè)級(jí) AI 應(yīng)用的部署時(shí)間從數(shù)周縮短至幾分鐘

NVIDIA 開(kāi)發(fā)者計(jì)劃會(huì)員可免費(fèi)使用 NIM 來(lái)進(jìn)行研究、開(kāi)發(fā)和測(cè)試

NVIDIA 于今日宣布，全球 2,800 萬(wàn)開(kāi)發(fā)者現(xiàn)可下載NVIDIA NIM——一種推理微服務(wù)，通過(guò)經(jīng)優(yōu)化的容器的形式提供模型——以部署在云、數(shù)據(jù)中心或工作站上。借助 NVIDIA NIM，開(kāi)發(fā)者能夠輕松地為 copilots、聊天機(jī)器人等構(gòu)建生成式 AI 應(yīng)用，所需時(shí)間從數(shù)周縮短至幾分鐘。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“每個(gè)企業(yè)都希望在其運(yùn)營(yíng)中融入生成式 AI，但并非每個(gè)企業(yè)都擁有專(zhuān)門(mén)的 AI 研究團(tuán)隊(duì)。NVIDIA NIM 可被集成到任意平臺(tái)中，任何地方的開(kāi)發(fā)者都可以訪問(wèn)，并且可以在任意環(huán)境中運(yùn)行——它正在助力科技行業(yè)將生成式 AI 普及到每一個(gè)企業(yè)組織。”

40 余個(gè) NIM 微服務(wù)

為跨模式的生成式 AI 賦能

NIM 容器是預(yù)構(gòu)建的，以加速模型部署，可用于 GPU 加速推理，其中包括NVIDIA CUDA軟件、NVIDIA Triton 推理服務(wù)器和NVIDIA TensorRT-LLM軟件。

數(shù)百家 AI 生態(tài)系統(tǒng)合作伙伴已嵌入 NIM

包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收購(gòu)）在內(nèi)的平臺(tái)提供商已在開(kāi)源 KServe 或企業(yè)解決方案方面支持 NIM。AI 應(yīng)用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來(lái)支持生成式 AI 推理。

行業(yè)巨頭通過(guò) NIM 加強(qiáng)生成式 AI

行業(yè)領(lǐng)導(dǎo)者 Foxconn、和碩、Amdocs、勞氏公司、ServiceNow 和西門(mén)子利用 NIM 來(lái)加強(qiáng)生成式 AI 應(yīng)用，涉及制造業(yè)、醫(yī)療、金融服務(wù)、零售、客戶服務(wù)等領(lǐng)域。

審核編輯：彭菁