NVIDIA NIM微服務(wù)帶來巨大優(yōu)勢

新服務(wù)通過熱門 AI 模型為數(shù)百萬開發(fā)者帶來高達(dá) 5 倍的 token 效率提升，使他們能夠立即訪問在 NVIDIA DGX Cloud 上運(yùn)行的 NIM 微服務(wù)。

全球最大人工智能社區(qū)之一 Hugging Face 平臺上的 400 萬開發(fā)者在一些最熱門的 AI 模型上可輕松獲得 NVIDIA 加速推理。

借助新的推理即服務(wù)能力，開發(fā)者將能夠快速部署 Llama 3 系列和 Mistral AI 模型等領(lǐng)先的大語言模型，并使用運(yùn)行在NVIDIA DGX Cloud上的NVIDIA NIM微服務(wù)進(jìn)行優(yōu)化。

這項(xiàng)服務(wù)在 SIGGRAPH 大會上發(fā)布，它將幫助開發(fā)者利用托管在 Hugging Face Hub 上的開源 AI 模型快速建立原型并將其部署在生產(chǎn)中。Enterprise Hub 用戶可以利用 NVIDIA NIM 進(jìn)行無服務(wù)器推理，以提高靈活性，盡可能降低基礎(chǔ)設(shè)施用度并優(yōu)化性能。

推理服務(wù)補(bǔ)充了在 DGX Cloud 端的訓(xùn)練（Train on DGX Cloud），一種已在 Hugging Face 上提供的 AI 訓(xùn)練服務(wù)。

由于開發(fā)者面對著越來越多的開源模型，可供其輕松比較各種選項(xiàng)的資源中心會非常有幫助。這些訓(xùn)練和推理工具為 Hugging Face 開發(fā)者提供了在 NVIDIA 加速基礎(chǔ)設(shè)施上試驗(yàn)、測試和部署先進(jìn)模型的新方法。它們可以通過 Hugging Face 模型卡上的“訓(xùn)練”和“部署”下拉菜單輕松訪問，用戶只需點(diǎn)擊幾下就能輕松使用這些功能。

不僅限于 Token 層面的提升

— NVIDIA NIM 帶來巨大優(yōu)勢

NVIDIA NIM 是一系列 AI 微服務(wù)（包括 NVIDIA AI 基礎(chǔ)模型和開源社區(qū)模型）的集合，而且已使用行業(yè)標(biāo)準(zhǔn)應(yīng)用編程接口（API）針對推理進(jìn)行了優(yōu)化。

NIM 為用戶帶來更高的 token 處理效率 — token 是語言模型使用和生成的數(shù)據(jù)單位。經(jīng)優(yōu)化的微服務(wù)還能改善底層 NVIDIA DGX Cloud 基礎(chǔ)架構(gòu)的效率，從而提高關(guān)鍵 AI 應(yīng)用的速度。

這意味著，與模型的其他版本相比，開發(fā)者可以通過訪問 NIM AI 模型，更快、更可靠地得到結(jié)果。例如，與 NVIDIA Tensor Core GPU 驅(qū)動系統(tǒng)上的現(xiàn)成部署相比，通過 NIM 訪問 Llama 3 的 700 億參數(shù)版本時(shí)，可實(shí)現(xiàn)最高達(dá) 5 倍的吞吐量提升。

近乎即時(shí)的 DGX Cloud

訪問讓 AI 加速觸手可及

NVIDIA DGX Cloud 平臺專為生成式 AI 打造，為開發(fā)者提供輕松訪問可靠加速計(jì)算基礎(chǔ)設(shè)施的途徑，幫助他們更快地將生產(chǎn)就緒型應(yīng)用推向市場。

該平臺提供可擴(kuò)展的 GPU 資源，可為從原型設(shè)計(jì)到生產(chǎn)的每一步 AI 開發(fā)提供支持，同時(shí)無需開發(fā)者做出長期的 AI 基礎(chǔ)設(shè)施承諾。

借助由 NIM 微服務(wù)提供支持、在 NVIDIA DGX Cloud 上運(yùn)行的 Hugging Face 推理即服務(wù)，用戶可輕松訪問針對 AI 部署進(jìn)行優(yōu)化的計(jì)算資源，在企業(yè)級環(huán)境中實(shí)驗(yàn)最新的 AI 模型。

詳細(xì)了解在 SIGGRAPH 大會上

發(fā)布的 NVIDIA NIM 相關(guān)信息

在 SIGGRAPH 大會上，NVIDIA 還推出了面向 OpenUSD 框架的生成式 AI 模型和 NIM 微服務(wù)，以加速開發(fā)者構(gòu)建高精度虛擬世界的能力，推動 AI 再次演進(jìn)。

體驗(yàn)超過 100 種 NVIDIA NIM 微服務(wù)在各行各業(yè)的應(yīng)用。