NVIDIA Blackwell白皮書：NVIDIA Blackwell Architecture Technical Brief

NVIDIA Blackwell 架構(gòu)為生成式 AI 和加速計算帶來的突破性進步。Blackwell 基于多代** NVIDIA 技術(shù)構(gòu)建，以出眾的性能、效率和規(guī)模揭開了生成式 AI 領(lǐng)域的新篇章。

NVIDIA Blackwell Architecture Technical Brief免費下載
*附件：NVIDIA Blackwell Architecture Technical Brief.doc

新型 AI 超級芯片

Blackwell 架構(gòu) GPU 具有 2080 億個晶體管，采用專門定制的臺積電 4NP 工藝制造。所有 Blackwell 產(chǎn)品均采用雙倍光刻極限尺寸的裸片，通過 10 TB/s 的片間互聯(lián)技術(shù)連接成一塊統(tǒng)一的 GPU。

第二代 Transformer 引擎

第二代 Transformer 引擎將定制的 Blackwell Tensor Core技術(shù)與 NVIDIA? TensorRT? -LLM 和 NeMo? 框架創(chuàng)新相結(jié)合，加速大語言模型 (LLM) 和專家混合模型 (MoE) 的推理和訓(xùn)練。

為了強效助力 MoE 模型的推理 Blackwell Tensor Core增加了新的精度 (包括新的社區(qū)定義的微縮放格式)，可提供較高的準確性并輕松替換更大的精度。Blackwell Transformer 引擎利用稱為微張量縮放的細粒度縮放技術(shù)，優(yōu)化性能和準確性，支持 4 位浮點 (FP4) AI。這將內(nèi)存可以支持的新一代模型的性能和大小翻倍，同時保持高精度。

安全 AI

Blackwell 內(nèi)置 NVIDIA 機密計算技術(shù)，可通過基于硬件的強大安全性保護敏感數(shù)據(jù)和 AI 模型，使其免遭未經(jīng)授權(quán)的訪問。Blackwell 是業(yè)內(nèi)首款具備可信執(zhí)行環(huán)境 (TEE) I/O 功能的 GPU，它不僅能夠與具備 TEE-I/O 功能的主機一同提供性能卓越的機密計算解決方案，還能通過 NVIDIA? NVLink? 技術(shù)提供實時保護。與未加密模式相比， Blackwell 機密計算功能供了幾乎相同的吞吐量性能?，F(xiàn)在，除了保護 AI 知識產(chǎn)權(quán) (IP) 和安全地實現(xiàn)機密 AI 訓(xùn)練、推理和聯(lián)邦學(xué)習(xí)，企業(yè)甚至還能以高性能的方式保護最大的模型。

NVLink、NVSwitch 和 NVLink Switch 系統(tǒng)

是否能釋放百億億級計算和萬億參數(shù) AI 模型的全部潛力取決于服務(wù)器集群中每個 GPU 之間能否快速、順暢的通信。第五代 NVIDIA? NVLink? 可擴展至 576 個 GPU，為萬億和數(shù)萬億參數(shù) AI 模型釋放加速性能。

NVIDIA NVLink 交換機芯片可在一個有 72 個 GPU 的 NVLink 域 (NVL72) 中實現(xiàn) 130TB/s 的 GPU 帶寬，并通過 NVIDIA SHARP? 技術(shù)對 FP8 的支持實現(xiàn) 4 倍于原來的帶寬效率。NVIDIA NVLink 交換機芯片能以驚人的 1.8TB/s 互連速度為多服務(wù)器集群提供支持。采用 NVLink 的多服務(wù)器集群可以在計算量增加的情況下同步擴展 GPU 通信，因此 NVL72 可支持的 GPU 吞吐量是單個 8 卡 GPU 系統(tǒng)的 9 倍。

解壓縮引擎

過去，數(shù)據(jù)分析和數(shù)據(jù)庫工作流依賴 CPU 進行計算。加速數(shù)據(jù)科學(xué)可以顯著提高端到端分析性能，加速價值創(chuàng)造，同時降低成本。Apache Spark 等數(shù)據(jù)庫在接手、處理和分析大量數(shù)據(jù)等數(shù)據(jù)分析工作上發(fā)揮著關(guān)鍵作用。

Blackwell 擁有的解壓縮引擎以及通過 900GB/s 雙向帶寬的高速鏈路訪問 NVIDIA Grace? CPU 中大量內(nèi)存的能力，可加速整個數(shù)據(jù)庫查詢工作流，從而在數(shù)據(jù)分析和數(shù)據(jù)科學(xué)方面實現(xiàn)更高性能。Blackwell 支持 LZ4、Snappy 和 Deflate 等最新壓縮格式。

可靠性、可用性和可服務(wù)性 (RAS) 引擎

Blackwell 通過專用的可靠性、可用性和可服務(wù)性 (RAS) 引擎增加了智能恢復(fù)能力，以識別早期可能發(fā)生的潛在故障，從而更大限度地減少停機時間。NVIDIA AI 驅(qū)動的預(yù)測管理功能持續(xù)監(jiān)控硬件和軟件中數(shù)千個數(shù)據(jù)點的整體運行狀況，以預(yù)測和攔截停機時間和低效的來源。這建立了智能可靠性技術(shù)，節(jié)省時間、能源和計算成本。

NVIDIA 的 RAS 引擎提供深入的診斷信息，可以識別關(guān)注領(lǐng)域并制定維護計劃。RAS 引擎通過快速定位問題來源縮短周轉(zhuǎn)時間，并通過促進有效的補救最大限度地減少停機時間。