英偉達(dá)GTC25亮點(diǎn)：NVIDIA Blackwell Ultra 開啟 AI 推理新時代

加速訓(xùn)練和測試時擴(kuò)展推理，加速 AI 推理、代理式 AI 和物理 AI。

? 全球領(lǐng)先計(jì)算機(jī)制造商、云服務(wù)提供商和 GPU 云供應(yīng)商將強(qiáng)化訓(xùn)練和測試時擴(kuò)展推理能力，從邏輯推理到代理式 AI和物理 AI。
? 全新開源的 NVIDIA Dynamo 推理軟件，通過顯著提升吞吐量、更快的響應(yīng)速度以及降低總體擁有成本（TCO），實(shí)現(xiàn)推理 AI 服務(wù)的規(guī)?；瘮U(kuò)展。
? NVIDIA Spectrum-X 增強(qiáng)型 800G 以太網(wǎng)網(wǎng)絡(luò)，為 AI 基礎(chǔ)設(shè)施顯著降低延遲和抖動。

NVIDIA 推出 NVIDIA BlackwellAI 工廠平臺的新一代產(chǎn)品 —— NVIDIA Blackwell Ultra，開啟了 AI 推理新時代。

NVIDIA Blackwell Ultra 提升了訓(xùn)練和測試時擴(kuò)展推理能力（test-time scaling inference）， 即通過在推理過程中增加計(jì)算量來提升準(zhǔn)確率的技術(shù)，以幫助全球各地的企業(yè)加速AI推理、代理式AI及物理AI等應(yīng)用的開發(fā)與部署。

基于一年前推出的突破性的 Blackwell 架構(gòu)，Blackwell Ultra 包括 NVIDIA GB300 NVL72 機(jī)架級解決方案和 NVIDIA HGX? B300 NVL16 系統(tǒng)。 GB300 NVL72 的 AI 性能是NVIDIA GB200 NVL72 的 1.5 倍，這使得建造 AI 工廠 的收入機(jī)會與基于NVIDIA Hopper?構(gòu)建的系統(tǒng)相比增加了 50 倍。

“人工智能實(shí)現(xiàn)了巨大的飛躍 —— 推理和代理式AI對計(jì)算性能的需求呈數(shù)量級增長，”NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示?！拔覀?yōu)檫@一時刻設(shè)計(jì)了 Blackwell Ultra —— 它是一款單一且多功能的平臺，能夠輕松高效地完成預(yù)訓(xùn)練、后訓(xùn)練以及推理型AI推理任務(wù)?！?/p>

NVIDIA Blackwell Ultra 實(shí)現(xiàn) AI 推理

NVIDIA GB300 NVL72 在一個機(jī)架設(shè)計(jì)中連接了 72 個 Blackwell Ultra GPU 和 36 個基于Arm Neoverse 架構(gòu)的 NVIDIA Grace? CPU，整體表現(xiàn)如同一個巨型 GPU，專為測試時擴(kuò)展而打造。通過 GB300 NVL72，AI 模型能夠利用平臺增強(qiáng)的計(jì)算能力探索多種解決方案，將復(fù)雜請求分解為多個步驟，從而生成更高質(zhì)量的響應(yīng)。

GB300 NVL72 預(yù)計(jì)還將通過 NVIDIA DGX? Cloud提供，該平臺是一個端到端的全托管 AI 平臺，部署于領(lǐng)先的云服務(wù)上，通過軟件、服務(wù)和 AI 專業(yè)知識為不斷發(fā)展的工作負(fù)載優(yōu)化性能。配備 DGX GB300 系統(tǒng)的 NVIDIA DGX SuperPOD? 采用 GB300 NVL72 機(jī)架設(shè)計(jì)，為客戶提供了一個交鑰匙式 AI 工廠。

NVIDIA HGX B300 NVL16 相比 Hopper 代產(chǎn)品，LLM 推理速度提速了 11 倍，計(jì)算性能提升了 7 倍，內(nèi)存容量擴(kuò)大了 4 倍，可為最復(fù)雜的工作負(fù)載（如 AI 推理）提供突破性性能。

复制此外，Blackwell Ultra 平臺特別適用于以下應(yīng)用：

• 代理式 AI， 利用復(fù)雜推理和迭代規(guī)劃自主解決復(fù)雜的多步驟問題。 AI 智能體系統(tǒng)超越了簡單的指令執(zhí)行。 他們能夠推理、規(guī)劃并采取行動以實(shí)現(xiàn)特定目標(biāo)。
• 物理 AI，使企業(yè)能夠?qū)崟r生成合成的、具有高度真實(shí)感的視頻，用于大規(guī)模訓(xùn)練機(jī)器人和自動駕駛汽車等應(yīng)用。

NVIDIA 橫向擴(kuò)展基礎(chǔ)架構(gòu)以實(shí)現(xiàn)絕佳性能

先進(jìn)的橫向擴(kuò)展型網(wǎng)絡(luò)是 AI 基礎(chǔ)架構(gòu)的重要組成部分，可在降低延遲和抖動的同時提供卓越性能。

Blackwell Ultra 系統(tǒng)與[ NVIDIA Spectrum-X? 以太網(wǎng)]和[ NVIDIA Quantum-X800 InfiniBand]平臺無縫集成，通過 NVIDIA ConnectX?-8 SuperNIC 為系統(tǒng)中的每個 GPU 提供 800 Gb/s 的數(shù)據(jù)吞吐率。 這為 AI 工廠和云數(shù)據(jù)中心提供了極佳的遠(yuǎn)程直接內(nèi)存訪問（RDMA）能力，使其能夠無瓶頸地處理 AI 推理模型。

NVIDIA BlueField?-3 DPU，作為 Blackwell Ultra 系統(tǒng)的重要組件，能夠?qū)崿F(xiàn)多租戶網(wǎng)絡(luò)架構(gòu)、GPU 計(jì)算資源彈性擴(kuò)展、數(shù)據(jù)訪問加速以及實(shí)時網(wǎng)絡(luò)安全檢測 。

全球技術(shù)領(lǐng)導(dǎo)者擁抱 Blackwell Ultra

合作伙伴預(yù)計(jì)將從 2025 年下半年開始推出基于 Blackwell Ultra 的產(chǎn)品。

思科、戴爾科技、慧與、聯(lián)想和超微預(yù)計(jì)將推出基于 Blackwell Ultra 的各類服務(wù)器，此外還包括 Aivres、華擎、華碩、Eviden、Foxconn、技嘉科技、英業(yè)達(dá)、和碩、云達(dá)科技（QCT）、緯創(chuàng)和緯穎科技。

云服務(wù)提供商亞馬遜云科技（AWS）、谷歌云、微軟 Azure 和 Oracle Cloud Infrastructure（OCI），以及 GPU 云提供商 CoreWeave、Crusoe、Lambda、Nebius、Nscale、Yotta 和 YTL 將成為首批提供 Blackwell Ultra 支持實(shí)例的供應(yīng)商。

NVIDIA 軟件創(chuàng)新減少 AI 瓶頸

全部 NVIDIA Blackwell 產(chǎn)品組合都得到 NVIDIA AI 全棧平臺支持。 同時發(fā)布的 [NVIDIA Dynamo]開源推理框架可擴(kuò)展推理 AI 服務(wù)，通過提供最高效的測試時計(jì)算擴(kuò)展解決方案，得以實(shí)現(xiàn)吞吐量的飛躍，同時降低響應(yīng)時間和模型服務(wù)成本。

NVIDIA Dynamo 是全新的 AI 推理服務(wù)軟件，旨在為部署推理 AI 模型的 AI 工廠最大化 token 收益。它可以協(xié)調(diào)和加速數(shù)千個 GPU 之間的推理通信，并使用分離式服務(wù)在不同的 GPU 上分離大語言模型的預(yù)處理和生成階段。這使得每個階段都能根據(jù)其特定需求進(jìn)行獨(dú)立優(yōu)化，確保 GPU 資源利用率最大化。

Blackwell 系統(tǒng)非常適合運(yùn)行全新的 [NVIDIA Llama Nemotron 推理模型]和 NVIDIA AI-Q Blueprint，這些都得到用于生產(chǎn)級 AI 的 [NVIDIA AI Enterprise]軟件平臺支持。 NVIDIA AI Enterprise 軟件平臺包括 [NVIDIA NIM][?][ 微服務(wù)]，以及企業(yè)可以在 NVIDIA 加速的云、數(shù)據(jù)中心和工作站上部署的 AI 框架、庫和工具。

Blackwell 平臺建立在 NVIDIA 強(qiáng)大的開發(fā)工具生態(tài)系統(tǒng)之上，包括 NVIDIA CUDA-X? 庫、超過 600 萬開發(fā)者和 4,000 多個可跨數(shù)千 GPU 擴(kuò)展性能的應(yīng)用程序。