NVIDIA推出微服務(wù)，助力企業(yè)邁向生成式AI

NVIDIA 的 AI 平臺適用于任何高瞻遠矚的企業(yè)使用，而且比以往任何時候都更加易于應(yīng)用。

NVIDIA AI Enterprise 5.0于今日發(fā)布，其中包括 NVIDIA 微服務(wù)、用于部署生成式 AI 應(yīng)用和加速計算的可下載軟件容器。領(lǐng)先的云服務(wù)提供商、系統(tǒng)構(gòu)建商和軟件供應(yīng)商均可提供，并且 Uber 等客戶已開始使用該產(chǎn)品。

Uber 平臺工程副總裁 Albert Greenberg 表示：“我們采用了 NVIDIA AI Enterprise 推理軟件，這對于滿足用戶對高性能的期望來說非常重要。讓 Uber 引以為豪的是，我們走在了采用 AI 創(chuàng)新技術(shù)的前沿，使我們成為一個在效率和卓越方面樹立行業(yè)標準的客戶服務(wù)平臺?！?/p>

微服務(wù)加速應(yīng)用開發(fā)

開發(fā)者正在轉(zhuǎn)而采用微服務(wù)，并將其作為在全球范圍內(nèi)構(gòu)建現(xiàn)代企業(yè)應(yīng)用的有效方式。他們在瀏覽器中使用云 API 或應(yīng)用編程接口來編寫可在系統(tǒng)上運行的應(yīng)用，并為全球用戶提供服務(wù)。

NVIDIA AI Enterprise 5.0 現(xiàn)包括一系列微服務(wù)，其中包括用于在生產(chǎn)中部署 AI 模型的NVIDIA NIM和包括NVIDIA cuOpt在內(nèi)的NVIDIA CUDA-X微服務(wù)集合。

NIM 微服務(wù)可為來自 NVIDIA 及其合作伙伴生態(tài)系統(tǒng)的數(shù)十種熱門 AI 模型優(yōu)化推理。

NIM 由 NVIDIA 推理軟件（包括Triton 推理服務(wù)器、TensorRT和TensorRT-LLM）提供支持，可將部署時間由數(shù)周縮短至數(shù)分鐘。它提供基于行業(yè)標準的安全性和可管理性，以及與企業(yè)級管理工具的兼容性。

NVIDIA cuOpt 是一款 GPU 加速的 AI 微服務(wù)，它在路徑優(yōu)化方面創(chuàng)造了記錄，并能夠支持動態(tài)決策，從而幫助企業(yè)降低成本、縮短時間并減少碳足跡。作為 CUDA-X 微服務(wù)之一，它可幫助各行業(yè)將 AI 投入生產(chǎn)。

更多功能正在陸續(xù)開發(fā)中。例如NVIDIA RAG LLM operator將把 Co-Pilot 和其他使用檢索增強生成的生成式 AI 應(yīng)用從試驗階段推向生產(chǎn)階段，而無需重寫任何代碼。

包括 CrowdStrike、SAP 和 ServiceNow 在內(nèi)的多家領(lǐng)先應(yīng)用和網(wǎng)絡(luò)安全平臺提供商都正在采用 NVIDIA 微服務(wù)。

更多工具和功能

此外，我們還在 5.0 版本中進行了 3 項重要更新。

該平臺現(xiàn)集成了一個開發(fā)者工具包NVIDIA AI Workbench，用于快速下載、自定義和運行生成式 AI 項目。該軟件目前已全面上市，并已獲得 NVIDIA AI Enterprise 許可證支持。

此外，5.0 版本現(xiàn)在還支持紅帽 OpenStack 平臺，大多數(shù)財富 500 強公司都使用該平臺創(chuàng)建私有云和公有云服務(wù)。它由紅帽負責維護，為開發(fā)者構(gòu)建虛擬計算環(huán)境提供熟悉的平臺。IBM 咨詢服務(wù)將幫助客戶部署這些新功能。

此外，5.0 版本還擴展了支持范圍，支持各種最新NVIDIA GPU、網(wǎng)絡(luò)硬件和虛擬化軟件。

可隨時隨地運行

功能增強的 NVIDIA AI 平臺比以往任何時候都更易于訪問。

NIM 和 CUDA-X 微服務(wù)以及所有 5.0 功能均會很快在亞馬遜云科技、谷歌云、Microsoft Azure 和 Oracle Cloud marketplace 上架。

如果用戶希望在自己的數(shù)據(jù)中心運行代碼，VMware Private AI Foundation 和 NVIDIA 將為軟件提供支持，使其能夠部署在博通公司客戶的虛擬化數(shù)據(jù)中心中。

企業(yè)可以選擇在紅帽 OpenShift 上運行 NVIDIA AI Enterprise，以便在裸機或虛擬化環(huán)境中運行。它還可以在 Canonical 的 Charmed Kubernetes 和 Ubuntu 上運行。

此外，該 AI 平臺也將成為慧與（HPE）的 HPE ProLiant 服務(wù)器上可用軟件的一部分。HPE 的生成式 AI 企業(yè)計算解決方案使用 NVIDIA AI Enterprise 進行推理和模型微調(diào)。

同時，Anyscale、Dataiku 和 DataRobot 這三家領(lǐng)先的機器學習操作管理軟件提供商也將在其平臺上支持 NIM。他們加入了由數(shù)百家 MLOps 合作伙伴組成的 NVIDIA 生態(tài)系統(tǒng)，其中包括 Microsoft Azure 機器學習、Dataloop AI、Domino Data Lab 和 Weights & Biases。

用戶無論通過何種方式訪問 NVIDIA AI Enterprise 5.0，都能從這一安全、生產(chǎn)就緒且性能優(yōu)化的軟件中獲益。它可以靈活地部署在數(shù)據(jù)中心、云、工作站或網(wǎng)絡(luò)邊緣的應(yīng)用中。

NVIDIA AI Enterprise 可通過思科、戴爾科技、惠普、HPE、聯(lián)想和超微等領(lǐng)先的系統(tǒng)提供商提供。

在 GTC 上聆聽成功案例

3 月 18 日至 21 日，全球 AI 盛會 NVIDIA GTC 在圣何塞會議中心舉行。會上，用戶將會分享他們使用該軟件的體驗。

例如，ServiceNow 首席數(shù)字信息官 Chris Bedi 將在小組討論上就如何利用生成式 AI 的潛能進行發(fā)言：

https://www.nvidia.com/gtc/session-catalog/?tab.allsessions=1700692987788001F1cG&search=ServiceNow#/session/1698205437942001FOg6

ServiceNow AI 產(chǎn)品副總裁 Jeremy Barnes 則會在另一場演講中分享如何借助 NVIDIA AI Enterprise 充分提高開發(fā)者的開發(fā)效率：

https://www.nvidia.com/gtc/session-catalog/?tab.allsessions=1700692987788001F1cG&search=ServiceNow#/session/1696278742562001JcJ2

來自貝萊德、美敦力、SAP 和 Uber 的高管們將就其在金融、醫(yī)療、企業(yè)軟件和業(yè)務(wù)運營領(lǐng)域中使用 NVIDIA AI 平臺開展的工作進行探討。

此外，總部位于德國汽車保險公司全球應(yīng)用提供商 ControlExpert 的高管將與大家一同分享如何利用 NVIDIA AI Enterprise 軟件開發(fā) AI 理賠管理解決方案。

NVIDIA 對數(shù)百個內(nèi)外部的生成式 AI 項目進行了評估，并將這些項目全部集成到一個經(jīng)過穩(wěn)定性和安全性測試的軟件包中，讓越來越多的公司能夠從中受益。

審核編輯：劉清