英偉達(dá)推出全新NVIDIA AI Foundry服務(wù)和NVIDIA NIM推理微服務(wù)

借助NVIDIA AI Foundry，企業(yè)和各國(guó)現(xiàn)在能夠使用自有數(shù)據(jù)與 Llama 3.1 405B 和NVIDIA Nemotron模型配對(duì)，來(lái)構(gòu)建“超級(jí)模型”

NVIDIA AI Foundry 提供從數(shù)據(jù)策管、合成數(shù)據(jù)生成、微調(diào)、檢索、防護(hù)到評(píng)估的全方位生成式 AI 模型服務(wù)，以便部署自定義 Llama 3.1NVIDIA NIM微服務(wù)和新的NVIDIA NeMo Retriever微服務(wù)，以實(shí)現(xiàn)準(zhǔn)確響應(yīng)

埃森哲率先使用新服務(wù)，為客戶(hù)創(chuàng)建自定義 Llama 3.1 模型；Aramco、AT&T、優(yōu)步和其他行業(yè)領(lǐng)導(dǎo)者率先使用全新 Llama NVIDIA NIM 微服務(wù)

NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務(wù)和 NVIDIA NIM 推理微服務(wù)，與同樣剛推出的 Llama 3.1 系列開(kāi)源模型一起，為全球企業(yè)的生成式 AI 提供強(qiáng)力支持。

借助 NVIDIA AI Foundry，企業(yè)和各國(guó)現(xiàn)在能夠使用 Llama 3.1 以及 NVIDIA 軟件、計(jì)算和專(zhuān)業(yè)知識(shí)，為其特定領(lǐng)域的行業(yè)用例創(chuàng)建自定義“超級(jí)模型”。企業(yè)可以使用自有數(shù)據(jù)以及由 Llama 3.1 405B 和NVIDIA Nemotron Reward模型生成的合成數(shù)據(jù)，來(lái)訓(xùn)練這些超級(jí)模型。

NVIDIA AI Foundry 是由NVIDIA DGX CloudAI 平臺(tái)驅(qū)動(dòng)。該平臺(tái)由 NVIDIA 與全球領(lǐng)先的公有云共同設(shè)計(jì)，旨在為企業(yè)提供大量計(jì)算資源，所提供的計(jì)算資源可隨著 AI 需求的變化輕松擴(kuò)展。

企業(yè)以及制定主權(quán) AI 戰(zhàn)略的國(guó)家正希望創(chuàng)建具有特定領(lǐng)域知識(shí)的自定義大語(yǔ)言模型，以便生成式 AI 應(yīng)用能夠反映其獨(dú)特的業(yè)務(wù)或文化。因此，這些新服務(wù)的推出恰逢其時(shí)。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“Meta 的 Llama 3.1 開(kāi)源模型標(biāo)志著全球企業(yè)采用生成式 AI 的關(guān)鍵時(shí)刻已經(jīng)到來(lái)。Llama 3.1 將掀起各個(gè)企業(yè)與行業(yè)創(chuàng)建先進(jìn)生成式 AI 應(yīng)用的浪潮。NVIDIA AI Foundry 已經(jīng)在整個(gè)過(guò)程中集成了 Llama 3.1，并能夠幫助企業(yè)構(gòu)建和部署自定義 Llama 超級(jí)模型?！?/p>

Meta 創(chuàng)始人兼首席執(zhí)行官馬克·扎克伯格表示：“全新的 Llama 3.1 模型是開(kāi)源 AI 邁出極其重要的一步。借助 NVIDIA AI Foundry，企業(yè)可以輕松創(chuàng)建和定制大家想要的最先進(jìn)的 AI 服務(wù)，并通過(guò) NVIDIA NIM 進(jìn)行部署。我很高興能將它交付到大家手中?！?/p>

企業(yè)現(xiàn)在可以從 ai.nvidia.com 了解適用于 Llama 3.1 模型的 NVIDIA NIM 推理微服務(wù)，以加快將 Llama 3.1 模型部署到生產(chǎn)級(jí) AI 的速度。NIM 微服務(wù)是將 Llama 3.1 模型部署到生產(chǎn)中的最快途徑，其吞吐量最多可比不使用 NIM 運(yùn)行推理時(shí)高出 2.5 倍。

企業(yè)可以將 Llama 3.1 NIM 微服務(wù)與全新 NVIDIA NeMo Retriever NIM 微服務(wù)組合使用，為 AI copilot、助手和數(shù)字人虛擬形象搭建先進(jìn)的檢索工作流。

埃森哲率先使用 AI Foundry

為企業(yè)創(chuàng)建自定義 Llama 超級(jí)模型

全球?qū)I(yè)服務(wù)公司埃森哲率先借助 NVIDIA AI Foundry，使用 Accenture AI Refinery 框架為自己以及那些希望所部署的生成式 AI 應(yīng)用能夠反映其文化、語(yǔ)言和行業(yè)的客戶(hù)來(lái)創(chuàng)建自定義 Llama 3.1 模型。

埃森哲董事長(zhǎng)兼首席執(zhí)行官 Julie Sweet 表示：“全球領(lǐng)軍企業(yè)看到了生成式 AI 正在如何深入改變各行各業(yè)，并且希望部署由自定義模型驅(qū)動(dòng)的應(yīng)用。埃森哲的內(nèi)部 AI 應(yīng)用一直在使用 NVIDIA NIM 推理微服務(wù)?，F(xiàn)在，借助 NVIDIA AI Foundry，我們能夠幫助客戶(hù)快速創(chuàng)建和部署自定義 Llama 3.1 模型，為他們的優(yōu)先業(yè)務(wù)事項(xiàng)提供變革性的 AI 應(yīng)用。”

NVIDIA AI Foundry 提供一種可用于快速構(gòu)建自定義超級(jí)模型的端到端服務(wù)。其結(jié)合 NVIDIA 軟件、基礎(chǔ)設(shè)施和專(zhuān)業(yè)知識(shí)與開(kāi)放社區(qū)模型、技術(shù)和來(lái)自 NVIDIA AI 生態(tài)系統(tǒng)的支持。

借助 NVIDIA AI Foundry，企業(yè)能夠使用 Llama 3.1 模型和 NVIDIA NeMo 平臺(tái)（包含在 Hugging Face RewardBench 上排名第一的NVIDIA Nemotron-4 340B Reward模型）創(chuàng)建自定義模型。

在創(chuàng)建了自定義模型后，企業(yè)就可以構(gòu)建 NVIDIA NIM 推理微服務(wù)，以便在其首選的云平臺(tái)和全球服務(wù)器制造商提供的 NVIDIA 認(rèn)證系統(tǒng)上，使用自己選擇的最佳機(jī)器學(xué)習(xí)運(yùn)維（MLOps）和人工智能運(yùn)維（AIOps）平臺(tái)在生產(chǎn)中運(yùn)行這些模型。

NVIDIA AI Enterprise 專(zhuān)家和全球系統(tǒng)集成商合作伙伴與 AI Foundry 客戶(hù)一同加快從開(kāi)發(fā)到部署的全過(guò)程。

NVIDIA Nemotron

為高級(jí)模型自定義提供助力

如果企業(yè)需要更多訓(xùn)練數(shù)據(jù)來(lái)創(chuàng)建特定領(lǐng)域的模型，可以在創(chuàng)建自定義 Llama 超級(jí)模型同時(shí)使用 Llama 3.1 405B 和 Nemotron-4 340B 生成合成數(shù)據(jù)，以提高模型的準(zhǔn)確性。

擁有自己的訓(xùn)練數(shù)據(jù)的客戶(hù)可以使用 NVIDIA NeMo 對(duì) Llama 3.1 模型進(jìn)行自定義，通過(guò)領(lǐng)域自適應(yīng)預(yù)訓(xùn)練（DAPT）進(jìn)一步提高模型的準(zhǔn)確性。

NVIDIA 和 Meta 還一起為 Llama 3.1 提供了一種提煉方法，供開(kāi)發(fā)者為生成式 AI 應(yīng)用創(chuàng)建更小的自定義 Llama 3.1 模型。這使企業(yè)能夠在更多加速基礎(chǔ)設(shè)施（如 AI 工作站和筆記本電腦）上運(yùn)行由 Llama 驅(qū)動(dòng)的 AI 應(yīng)用。

行業(yè)領(lǐng)軍企業(yè)紛紛使用

NVIDIA 和 Llama 為 AI 提供強(qiáng)力支持

醫(yī)療、能源、金融服務(wù)、零售、交通、電信等行業(yè)的企業(yè)已在使用適用于 Llama 的 NVIDIA NIM 微服務(wù)。首批使用面向 Llama 3.1 全新 NIM 微服務(wù)的公司包括 Aramco、AT&T 和優(yōu)步。

Llama 3.1 多語(yǔ)種大語(yǔ)言模型（LLM）集合是一個(gè)具有 8B、70B 和 405B 三種參數(shù)規(guī)模的生成式 AI 模型集合。該集合中的模型在超過(guò) 16,000 個(gè)NVIDIA Tensor Core GPU上訓(xùn)練而成，并針對(duì) NVIDIA 加速計(jì)算和軟件（無(wú)論是在數(shù)據(jù)中心、云以及配備N(xiāo)VIDIA RTX GPU的本地工作站或配備 GeForce RTX GPU 的 PC 上）進(jìn)行了優(yōu)化。

全新 NeMo Retriever RAG

微服務(wù)大幅提高準(zhǔn)確性和性能

通過(guò)使用全新的 NVIDIA NeMo Retriever NIM 推理微服務(wù)來(lái)實(shí)現(xiàn)檢索增強(qiáng)生成（RAG），企業(yè)可以將自定義 Llama 超級(jí)模型和 Llama NIM 微服務(wù)部署到生產(chǎn)中，以提高響應(yīng)準(zhǔn)確性。

當(dāng)與適用于 Llama 3.1 405B 的 NVIDIA NIM 推理微服務(wù)結(jié)合使用時(shí)，NeMo Retriever NIM 微服務(wù)可以為 RAG 工作流中的開(kāi)放和商業(yè)文本問(wèn)答帶來(lái)極高的檢索準(zhǔn)確性。

企業(yè)生態(tài)系統(tǒng)為 Llama 3.1

和 NeMo Retriever NIM 部署提供助力

數(shù)百家提供企業(yè)、數(shù)據(jù)和基礎(chǔ)設(shè)施平臺(tái)的 NVIDIA NIM 合作伙伴現(xiàn)在能夠?qū)⑦@些新的微服務(wù)集成到其 AI 解決方案中，從而為 NVIDIA 社區(qū) 500 多萬(wàn)開(kāi)發(fā)者和 1.9 萬(wàn)家初創(chuàng)公司的生成式 AI 提供超強(qiáng)助力。

現(xiàn)在可以通過(guò)NVIDIA AI Enterprise獲得 Llama 3.1 NIM 和 NeMo Retriever NIM 微服務(wù)的生產(chǎn)支持。

NVIDIA 開(kāi)發(fā)者計(jì)劃會(huì)員將很快能夠免費(fèi)訪(fǎng)問(wèn) NIM 微服務(wù)，以在他們首選的基礎(chǔ)設(shè)施上進(jìn)行研究、開(kāi)發(fā)和測(cè)試。