來自 AI 生態(tài)系統(tǒng)各個領(lǐng)域的 150 余家合作伙伴嵌入了 NIM 推理微服務(wù),將企業(yè)級 AI 應(yīng)用的部署時間從數(shù)周縮短至幾分鐘
NVIDIA 開發(fā)者計劃會員可免費使用 NIM 來進行研究、開發(fā)和測試
NVIDIA 于今日宣布,全球 2,800 萬開發(fā)者現(xiàn)可下載NVIDIA NIM——一種推理微服務(wù),通過經(jīng)優(yōu)化的容器的形式提供模型——以部署在云、數(shù)據(jù)中心或工作站上。借助 NVIDIA NIM,開發(fā)者能夠輕松地為 copilots、聊天機器人等構(gòu)建生成式 AI 應(yīng)用,所需時間從數(shù)周縮短至幾分鐘。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“每個企業(yè)都希望在其運營中融入生成式 AI,但并非每個企業(yè)都擁有專門的 AI 研究團隊。NVIDIA NIM 可被集成到任意平臺中,任何地方的開發(fā)者都可以訪問,并且可以在任意環(huán)境中運行——它正在助力科技行業(yè)將生成式 AI 普及到每一個企業(yè)組織。”
40 余個 NIM 微服務(wù)
為跨模式的生成式 AI 賦能
NIM 容器是預(yù)構(gòu)建的,以加速模型部署,可用于 GPU 加速推理,其中包括NVIDIA CUDA軟件、NVIDIA Triton 推理服務(wù)器和NVIDIA TensorRT-LLM軟件。
數(shù)百家 AI 生態(tài)系統(tǒng)合作伙伴已嵌入 NIM
包括 Canonical、Red Hat、Nutanix 和 VMware(已被博通收購)在內(nèi)的平臺提供商已在開源 KServe 或企業(yè)解決方案方面支持 NIM。AI 應(yīng)用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來支持生成式 AI 推理。
行業(yè)巨頭通過 NIM 加強生成式 AI
行業(yè)領(lǐng)導(dǎo)者 Foxconn、和碩、Amdocs、勞氏公司、ServiceNow 和西門子利用 NIM 來加強生成式 AI 應(yīng)用,涉及制造業(yè)、醫(yī)療、金融服務(wù)、零售、客戶服務(wù)等領(lǐng)域。
審核編輯:彭菁
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4986瀏覽量
103046 -
數(shù)據(jù)中心
+關(guān)注
關(guān)注
16文章
4778瀏覽量
72123 -
AI
+關(guān)注
關(guān)注
87文章
30887瀏覽量
269063 -
開發(fā)者
+關(guān)注
關(guān)注
1文章
575瀏覽量
17009
原文標題:COMPUTEX 2024 | NVIDIA NIM 革命性地改變模型部署,將全球數(shù)百萬開發(fā)者轉(zhuǎn)變?yōu)樯墒?AI 開發(fā)者
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論