NVIDIA 在 MLPerf 測試中將推理帶到新高度

在最新 MLPerf 基準測試中，NVIDIA H100 和 L4 GPU 將生成式 AI 和所有其他工作負載帶到了新的水平，Jetson AGX Orin 則在性能和效率方面都有所提升。

作為獨立的第三方基準測試，MLPerf 仍是衡量 AI 性能的權威標準。自 MLPerf 誕生以來，NVIDIA 的 AI 平臺在訓練和推理這兩個方面一直展現(xiàn)出領先優(yōu)勢，包括最新發(fā)布的 MLPerf Inference 3.0 基準測試。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“三年前我們推出 A100 時，AI 世界由計算機視覺主導。如今，生成式 AI 已經(jīng)到來?！?/p>

“這正是我們打造 Hopper 的原因，其通過 Transformer 引擎專為 GPT 進行了優(yōu)化。最新的 MLPerf 3.0 凸顯了 Hopper 的性能比 A100 高出 4 倍。”

“下一階段的生成式 AI 需要高能效的新的 AI 基礎設施來訓練大型語言模型?？蛻粽诖笠?guī)模采用 Hopper，以構建由數(shù)萬顆通過 NVIDIA NVLink 和 InfiniBand 連接的 Hopper GPU 組成的 AI 基礎設施?！?/p>

“業(yè)界正努力推動安全、可信的生成式 AI 取得新的進展。而 Hopper 正在推動這項重要的工作?！?/p>

最新 MLPerf 結果顯示，NVIDIA 將從云到邊緣的 AI 推理性能和效率帶到了一個新的水平。

具體而言，在 DGX H100 系統(tǒng)中運行的 NVIDIA H100 Tensor Core GPU 在每項 AI 推理測試（即在生產(chǎn)中運行神經(jīng)網(wǎng)絡）中均展現(xiàn)出最高的性能。得益于軟件優(yōu)化，該 GPU 在 9 月首次亮相時就實現(xiàn)了高達 54%的性能提升。

針對醫(yī)療領域，H100 GPU 在 3D-UNet（MLPerf 醫(yī)學影像基準測試）中的性能相比 9 月提高了 31%。

在 Transformer 引擎的加持下，基于 Hopper 架構的 H100 GPU 在 BERT 上的表現(xiàn)十分優(yōu)異。BERT 是一個基于 transformer 的大型語言模型，它為如今已經(jīng)得到廣泛應用的生成式 AI 奠定了基礎。

生成式 AI 使用戶可以快速創(chuàng)建文本、圖像、3D 模型等。從初創(chuàng)公司到云服務提供商，企業(yè)都在迅速采用這一能力，以實現(xiàn)新的業(yè)務模式和加速現(xiàn)有業(yè)務。

數(shù)億人現(xiàn)在正在使用 ChatGPT（同樣是一個 transformer 模型）等生成式 AI 工具，以期得到即時響應。

在這個 AI 的 iPhone 時刻，推理性能至關重要。深度學習的部署幾乎無處不在，這推動了從工廠車間到在線推薦系統(tǒng)等對推理性能的無盡需求。

L4 GPU 精彩亮相

NVIDIA L4 Tensor Core GPU 在本次 MLPerf 測試中首次亮相，其速度是上一代 T4 GPU 的 3 倍以上。這些加速器具有扁平的外形，可在幾乎所有的服務器中提供高吞吐量和低延遲。

L4 GPU 運行了所有 MLPerf 工作負載。憑借對關鍵的 FP8 格式的支持，其在對性能要求很高的 BERT 模型上取得了非常驚人的結果。

除了出色的 AI 性能外，L4 GPU 的圖像解碼速度快了 10 倍，視頻處理速度快了 3.2 倍，同時圖形和實時渲染性能提高了 4 倍以上。

這些加速器兩周前在 GTC 上發(fā)布并已通過各大系統(tǒng)制造商和云服務提供商提供。L4 GPU 是 NVIDIA 在 GTC 上發(fā)布的 AI 推理平臺產(chǎn)品組合中的最新成員。

?

軟件和網(wǎng)絡在系統(tǒng)測試中大放異彩

NVIDIA 的全棧式 AI 平臺在一項全新 MLPerf 測試中展現(xiàn)了其領先優(yōu)勢。

被稱之為 Network-division 的基準測試將數(shù)據(jù)傳輸至一個遠程推理服務器。它反映了企業(yè)用戶將數(shù)據(jù)存儲在企業(yè)防火墻后面、在云上運行 AI 作業(yè)的熱門場景。

在 BERT 測試中，遠程 NVIDIA DGX A100 系統(tǒng)提供高達 96%的最大本地性能，其性能下降的原因之一是因為它們需要等待 CPU 完成部分任務。在單純依靠 GPU 進行處理的 ResNet-50 計算機視覺測試中，它們達到了 100%的性能。

這兩個結果在很大程度上要歸功于 NVIDIA Quantum InfiniBand 網(wǎng)絡、NVIDIA ConnectX SmartNIC 以及 NVIDIA GPUDirect 等軟件。

Orin 在邊緣的性能提升 3.2 倍

另外，相較于一年前的結果，NVIDIA Jetson AGX Orin 模塊化系統(tǒng)的能效提高了 63%，性能提高了 81%。Jetson AGX Orin 可在需要 AI 的狹小空間內以低功率進行推理，包括在由電池供電的系統(tǒng)上。

專為需要更小模塊、更低功耗的應用而開發(fā)的 Jetson Orin NX 16G 在本次基準測試中首次亮相便大放異彩。其性能是上一代 Jetson Xavier NX 處理器的 3.2 倍。

廣泛的 NVIDIA AI 生態(tài)

MLPerf 結果顯示，NVIDIA AI 得到了業(yè)內最廣泛的機器學習生態(tài)系統(tǒng)的支持。

在這一輪測試中，有十家公司在 NVIDIA 平臺上提交了結果，包括華碩、戴爾科技、技嘉、新華三、聯(lián)想、寧暢、超微和超聚變等系統(tǒng)制造商和微軟 Azure 云服務。

他們所提交的結果表明，無論是在云端還是在自己的數(shù)據(jù)中心運行的服務器中，用戶都可以通過 NVIDIA AI 獲得出色的性能。

NVIDIA 的眾多合作伙伴也參與了 MLPerf，因為他們知道這是一個幫助客戶評估 AI 平臺和廠商的很有價值的工具。最新一輪結果表明，他們今天所提供的性能將隨著 NVIDIA 平臺的發(fā)展而不斷提升。

用戶需要的是“多面手”

NVIDIA AI 是唯一能夠在數(shù)據(jù)中心和邊緣計算中運行所有 MLPerf 推理工作負載和場景的平臺。其全面的性能和效率讓用戶能夠成為真正的贏家。

用戶在實際應用中通常會采用許多不同類型的神經(jīng)網(wǎng)絡，這些網(wǎng)絡往往需要實時提供答案。

例如，一個 AI 應用可能需要先理解用戶的語音請求，對圖像進行分類、提出建議，然后以人聲作為語音來回答用戶。每個步驟都需要用到不同類型的 AI 模型。

MLPerf 基準測試涵蓋了這些以及其他流行的 AI 工作負載，所以這些測試能夠確保 IT 決策者獲得可靠且可以靈活部署的性能。

用戶可以根據(jù) MLPerf 的結果做出明智的購買決定，因為這些測試是透明的、客觀的。該基準測試得到了包括 Arm、百度、Facebook AI、谷歌、哈佛大學、英特爾、微軟、斯坦福大學和多倫多大學在內的廣泛支持。

可以使用的軟件

NVIDIA AI 平臺的軟件層 NVIDIA AI Enterprise 確保用戶能夠從他們的基礎設施投資中獲得最佳的性能以及在企業(yè)數(shù)據(jù)中心運行 AI 所需的企業(yè)級支持、安全性和可靠性。

這些測試所使用的所有軟件都可以從 MLPerf 庫中獲得，因此任何人都可以獲得這些領先的結果。

各項優(yōu)化措施不斷地被整合到 NGC（NVIDIA 的 GPU 加速軟件目錄）上的容器中。本輪測試中提交的每項工作均使用了該目錄中的 NVIDIA TensorRT 優(yōu)化 AI 推理性能。

掃描海報二維碼，或點擊“閱讀原文”，即可觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！