黃仁勛甩出最強(qiáng)生成式AI處理器，全球首發(fā)HBM3e，比H100還快

英偉達(dá)再造生成式AI時(shí)代硬通貨！

芯東西8月9日報(bào)道，作為生成式AI、圖形顯示和元宇宙基礎(chǔ)設(shè)施領(lǐng)域的“狠角色”，全球圖顯兼AI計(jì)算霸主NVIDIA（英偉達(dá)）接下來會放出哪些重磅“核彈”，已經(jīng)預(yù)定了科技圈的焦點(diǎn)。

北京時(shí)間昨夜，在計(jì)算機(jī)圖形年會SIGGRAPH上，NVIDIA創(chuàng)始人兼CEO黃仁勛一如既往穿著經(jīng)典的皮衣登場，并一連亮出多款硬件。

在黃仁勛眼中，生成式AI是AI的“iPhone時(shí)刻”。他談道，人類語言是新的編程語言，我們已經(jīng)使計(jì)算機(jī)科學(xué)民主化，現(xiàn)在每個(gè)人都可以成為程序員。

在隨后大約1小時(shí)20分鐘的演講中，黃仁勛宣布全球首發(fā)HBM3e內(nèi)存——推出下一代GH200 Grace Hopper超級芯片。黃仁勛將它稱作“加速計(jì)算和生成式AI時(shí)代的處理器”。

還有5款硬件新品同期重磅發(fā)布，分別是搭載全新L40S Ada GPU的新款OVX服務(wù)器、搭載RTX 6000 Ada GPU的全新RTX工作站，以及3款高端桌面工作站GPU。

除此之外，黃仁勛還介紹了一系列軟件更新和合作進(jìn)展，總體來說都是為了幫助開發(fā)人員和企業(yè)進(jìn)一步提高效率，降低開發(fā)門檻。

01. 配備全球最快內(nèi)存的超級芯片來了！大降大模型推理成本

首先，全球第一款HBM3e GPU終于來了！

黃仁勛宣布推出面向加速計(jì)算和生成式AI的新一代NVIDIA GH200 Grace Hopper超級芯片。

GH200由72核Grace CPU和4PFLOPS Hopper GPU組成，在全球最快內(nèi)存HBM3e的“助攻”下，內(nèi)存容量高達(dá)141GB，提供每秒5TB的帶寬。其每個(gè)GPU的容量達(dá)到NVIDIA H100 GPU的1.7倍，帶寬達(dá)到H100的1.55倍。

該超級芯片可以用于任何大型語言模型，降低推理成本。

與當(dāng)前一代產(chǎn)品相比，新的雙GH200系統(tǒng)共有144個(gè)Grace CPU核心、8PFLOPS計(jì)算性能的GPU、282GB HBM3e內(nèi)存，內(nèi)存容量達(dá)3.5倍，帶寬達(dá)3倍。如果將連接到CPU的LPDDR內(nèi)存包括在內(nèi)，那么總共集成了1.2TB超快內(nèi)存。

GH200將在新的服務(wù)器設(shè)計(jì)中提供，黃仁勛還放出了一段動畫視頻，展示組裝面向生成式AI時(shí)代的Grace Hopper AI超級計(jì)算機(jī)的完整過程。

首先是一塊Grace Hopper，用高速互連的CPU-GPU Link將CPU和GPU“粘”在一起，通信速率比PCIe Gen5快7倍。

一個(gè)Grace Hopper機(jī)架裝上NVIDIA BlueField-3和ConnectX-7網(wǎng)卡、8通道4.6TB高速內(nèi)存，用NVLink Switch實(shí)現(xiàn)GPU之間的高速通信，再加上NVLink Cable Cartridge，組成了NVIDA DGX GH200構(gòu)建塊。

NVIDA DGX GH200由16個(gè)Grace Hopper機(jī)架，通過NVLink Switch系統(tǒng)連成集群，能讓256塊GPU組成的系統(tǒng)像一塊巨型GPU一樣工作。由256塊GH200組成的NVIDIA DGX GH200 SuperPod，擁有高達(dá)1EFLOPS的算力和144TB高速內(nèi)存。

NVIDIA Quantum-2 InfiniBand Switch可用高速、低延時(shí)的網(wǎng)絡(luò)連接多個(gè)DGX SuperPod，進(jìn)而搭建出面向生成式AI時(shí)代的Grace Hopper AI超級計(jì)算機(jī)。

這帶來的主要優(yōu)勢是，實(shí)現(xiàn)同等算力的情況下，用更少卡、省更多電、花更少錢。

黃仁勛拋出一個(gè)問題：花1億美元能買什么？

過去，1億美元能買8800塊x86 CPU組成的數(shù)據(jù)中心，功耗是5MW。

如今，1億美元能買2500塊GH200組成的Iso-Budget數(shù)據(jù)中心，功耗是3MW，AI推理性能達(dá)到上述CPU系統(tǒng)的12倍，能效達(dá)20倍。

如果達(dá)到跟x86 CPU數(shù)據(jù)中心相同的AI推理性能，Iso-Troughput數(shù)據(jù)中心只需用到210塊GH200，功耗是0.26MW，成本只有CPU數(shù)據(jù)中心的1/12，僅800萬美元。

“買得越多，省得越多。”黃仁勛再度用這句講過很多遍的“導(dǎo)購金句”總結(jié)。

為方便GH200應(yīng)用，GH200與今年早些時(shí)候在COMPUTEX上推出的NVIDIA MGX服務(wù)器規(guī)范完全兼容。因此系統(tǒng)制造商可以快速且經(jīng)濟(jì)高效地將GH200添加到其服務(wù)器版本中。

新GH200預(yù)計(jì)將于明年第二季度投產(chǎn)。

02. OVX服務(wù)器上新，采用L40S Ada GPU

面向數(shù)據(jù)中心，黃仁勛宣布推出配備全新NVIDIA L40S GPU的NVIDIA OVX服務(wù)器，可用于加速AI訓(xùn)練和推理、3D設(shè)計(jì)和可視化、視頻處理和工業(yè)數(shù)字化等復(fù)雜的計(jì)算密集型應(yīng)用。

NVIDIA OVX是針對服務(wù)器的參考架構(gòu)，針對圖形、計(jì)算、存儲和網(wǎng)絡(luò)進(jìn)行了優(yōu)化。全新OVX系統(tǒng)將在每臺服務(wù)器上啟用多達(dá)8個(gè)L40S GPU，每個(gè)GPU配備48GB GDDR6超快內(nèi)存。

L40S是一款功能強(qiáng)大的通用數(shù)據(jù)中心處理器，基于Ada架構(gòu)，內(nèi)置第四代Tensor Core和FP8 Transformer Engine，提供超過1.45PFLOPS的張量處理能力。

對于具有數(shù)十億參數(shù)和多種數(shù)據(jù)模式（如文本和視頻）的復(fù)雜AI工作負(fù)載，與A100 GPU相比，L40S可實(shí)現(xiàn)快1.2倍的AI推理性能、快1.7倍的訓(xùn)練性能、快3.5倍的渲染速度，啟用DLSS3時(shí)Omniverse渲染速度更是能高到近4倍。

L40S包含18176個(gè)CUDA內(nèi)核，提供近5倍于A100 GPU的單精度浮點(diǎn)（FP32）性能，以加速復(fù)雜的計(jì)算和數(shù)據(jù)密集型分析，支持對于工程和科學(xué)模擬等計(jì)算要求苛刻的工作流程。

為了支持實(shí)時(shí)渲染、產(chǎn)品設(shè)計(jì)和3D內(nèi)容創(chuàng)建等高保真的專業(yè)可視化工作流程，L40S GPU內(nèi)置有142個(gè)第三代RT核心，可提供212TFLOPS的光追性能。

L40S GPU將于今年秋季上市。NVIDIA之前投資的CoreWeave是首批提供L40S實(shí)例的云服務(wù)提供商之一。

03. 推出搭載RTX 6000的RTX工作站、三款桌面級RTX GPU

面向生成式AI和大模型開發(fā)、內(nèi)容創(chuàng)作、數(shù)據(jù)科學(xué)，黃仁勛宣布推出搭載RTX 6000 Ada GPU的全新NVIDIA RTX工作站。

新的RTX工作站提供多達(dá)4個(gè)NVIDIA RTX 6000 Ada GPU，每個(gè)都配備48GB內(nèi)存，單個(gè)桌面工作站可以提供高達(dá)5828TFLOPS的AI性能和192GB的GPU內(nèi)存。

按用戶需求，系統(tǒng)可配置NVIDIA AI Enterprise或Omniverse Enterprise軟件，以支持各種苛刻的生成式AI和圖形密集型工作負(fù)載。

該工作站將于秋季由系統(tǒng)制造商開始提供。

此外，NVIDIA也在SIGGRAPH期間推出三款新的桌面Ada GPU——NVIDIA RTX 5000、RTX 4500和RTX 4000，為全球?qū)I(yè)人士提供最新的AI、圖形和實(shí)時(shí)渲染技術(shù)。

▲NVIDIA RTX Ada工作站GPU主要參數(shù)對比（圖源：VideoCardz）

三款新GPU均采用4nm定制工藝，并擁有較大的內(nèi)存：RTX 4000提供20GB GDDR6內(nèi)存，RTX 4500提供24GB GDDR6內(nèi)存，RTX 5000提供32GB GDDR6內(nèi)存。所有都支持錯誤代碼糾正，適用于大型3D模型、渲染圖像、模擬和AI數(shù)據(jù)集的無誤差計(jì)算。

同時(shí)，它們能支持高分辨率AR（增強(qiáng)現(xiàn)實(shí)）和VR（虛擬現(xiàn)實(shí)）設(shè)備，以提供創(chuàng)造AR、VR和MR（混合現(xiàn)實(shí)）內(nèi)容所需的高性能圖形。

外媒Wccftech整理了不同RTX Ada工作站顯卡的參數(shù)對比：

RTX 5000現(xiàn)已上市，RTX 4500和RTX 4000 GPU將于今年秋季發(fā)售。

04. 新合作、新升級、新產(chǎn)品助攻生成式AI模型高效開發(fā)和部署

除了上述硬件產(chǎn)品外，黃仁勛分享了3個(gè)關(guān)于優(yōu)化生成式AI流程的新發(fā)布，這些將有助于加速行業(yè)采用基于大型語言模型的生成式AI：

一是NVIDIA和全球最大AI開源社區(qū)Hugging Face建立合作。

二是推出NVIDIA AI Enterprise 4.0，把DGX Cloud中的所有功能放到NVIDIA AI Enterprise軟件中。

三是推出NVIDIA AI Workbench，將需要用于生成式AI工作的一切打包在一起，只用點(diǎn)擊一下就能將這個(gè)項(xiàng)目移動到任何終端設(shè)備或云端。

1、與Hugging Face合作：將數(shù)百萬開發(fā)人員連接到生成式AI超級計(jì)算

黃仁勛宣布，NVIDIA和Hugging Face建立合作伙伴關(guān)系，將為構(gòu)建大型語言模型和其他高級AI應(yīng)用程序的開發(fā)人員提供生成式AI超級計(jì)算。

開發(fā)人員可以訪問Hugging Face平臺內(nèi)的NVIDIA DGX Cloud AI超級計(jì)算，來訓(xùn)練和調(diào)優(yōu)先進(jìn)的AI模型。他們將有一個(gè)非常簡單的界面來推進(jìn)工作，無需擔(dān)心訓(xùn)練的復(fù)雜性，因?yàn)檫@些都會由DGX Cloud處理。

DGX Cloud的每個(gè)實(shí)例有8個(gè)NVIDIA H100或A100 80GB Tensor Core GPU，每個(gè)節(jié)點(diǎn)的GPU內(nèi)存總計(jì)640GB。DGX Cloud包含來自NVIDIA專家的支持，可以幫助客戶優(yōu)化其模型并快速解決開發(fā)挑戰(zhàn)。

作為合作的一部分，Hugging Face將推出一項(xiàng)名為“訓(xùn)練集群即服務(wù)（Training Cluster as a Service）”，以簡化為企業(yè)創(chuàng)建新的和自定義生成式AI模型。該服務(wù)由NVIDIA DGX Cloud提供支持，將在未來幾個(gè)月內(nèi)推出。

2、NVIDIA AI Workbench：在筆記本電腦上也能輕松啟動生成式AI項(xiàng)目

另一款新品NVIDIA AI Workbench，是一個(gè)統(tǒng)一、易用的工作空間，能讓開發(fā)人員隨處構(gòu)建或運(yùn)行自己的生成式AI模型。

開發(fā)者可以很方便地將所有必要的企業(yè)級模型、框架、SDK和庫從開源代碼庫和NVIDIA AI平臺打包到這個(gè)統(tǒng)一的開發(fā)者工作空間中，然后只需點(diǎn)擊幾下鼠標(biāo)，就能將自己的AI項(xiàng)目從一個(gè)位置移動到另一個(gè)位置。

這樣就能在個(gè)人電腦、筆記本電腦或工作站上快速創(chuàng)建、測試和定制預(yù)訓(xùn)練的生成式AI模型，并在需要時(shí)將其擴(kuò)展到數(shù)據(jù)中心、公有云或NVIDIA DGX Cloud。

舉個(gè)例子，你可以在NVIDIA AI Workbench頁面上導(dǎo)入項(xiàng)目，比如導(dǎo)入SDXL-dev文生圖模型，輸入“玩偶黃仁勛在太空”，結(jié)果因?yàn)槟Ｐ退坪醪徽J(rèn)識玩偶老黃，生成的圖像跟老黃的形象完全不沾邊。

接著只用幾張玩具老黃的圖像，對SDXL文生圖模型進(jìn)行微調(diào)，它就能生成還不錯的效果。

總的來說，AI Workbench為跨組織團(tuán)隊(duì)創(chuàng)建基于AI的應(yīng)用程序提供了簡化的途徑，通過在本地系統(tǒng)上運(yùn)行的簡化的界面訪問，讓開發(fā)人員能使用自定義數(shù)據(jù)從主流的代碼庫（如Hugging Face、GitHub和NVIDIA NGC）中定制模型，并能輕松跨多平臺共享。

戴爾、惠普、Lambda、聯(lián)想、超微等AI基礎(chǔ)設(shè)施供應(yīng)商正采用AI Workbench以增強(qiáng)其最新一代多GPU桌面工作站、高端移動工作站和虛擬工作站的能力。

3、NVIDIA AI enterprise 4.0：提供一系列生成式AI工具

最新版的企業(yè)軟件平臺NVIDIA AI enterprise 4.0，可提供生產(chǎn)就緒型生成式AI工具，并提供了可靠的生產(chǎn)部署所需的安全性和API穩(wěn)定性。

NVIDIA AI Enterprise 4.0新支持的軟件和工具有助于簡化生成式AI部署，其中一大亮點(diǎn)是引入用于構(gòu)建、定制和部署大型語言模型的云原生框架NVIDIA NeMo。

其他工具還包括NVIDIA Triton管理服務(wù)（通過模型編排實(shí)現(xiàn)可擴(kuò)展AI高效運(yùn)行）、NVIDIA Base Command Manager Essentials集群管理軟件（幫助企業(yè)在數(shù)據(jù)中心、多云和混合云環(huán)境中最大限度提高AI服務(wù)器性能和利用率）等。

NVIDIA AI Enterprise軟件支持用戶跨云、數(shù)據(jù)中心和邊緣構(gòu)建和運(yùn)行支持NVIDIA AI的解決方案，經(jīng)認(rèn)證可在主流NVIDIA認(rèn)證系統(tǒng)、NVIDIA DGX系統(tǒng)、所有主要云平臺和新發(fā)布的NVIDIA RTX上運(yùn)行工作站。

最新版本的企業(yè)軟件平臺將集成到谷歌云、微軟Azure、Oracle云基礎(chǔ)設(shè)施等NVIDIA合作伙伴市場。

05. Ominverse升級：加持生成式AI能力，曬OpenUSD路線圖

在生成式AI加持下，構(gòu)建工業(yè)元宇宙與數(shù)字孿生場景的開發(fā)更加方便高效、視覺效果更加逼真。

面向元宇宙領(lǐng)域，NVIDIA的主角當(dāng)仁不讓是Omniverse平臺，以及該平臺的基礎(chǔ)——開源通用場景描述框架OpenUSD。生成式AI與Omniverse的結(jié)合也此次演講的重頭戲。

黃仁勛宣布，比亞迪和梅賽德斯·奔馳合資的豪華電動汽車品牌騰勢（DENZA）已與營銷及通信巨頭WPP合作，在NVIDIA Omniverse Cloud上構(gòu)建和部署其下一代先進(jìn)汽車配置器。

WPP通過USD或OpenUSD集成了來自電動汽車制造商首選的計(jì)算機(jī)輔助設(shè)計(jì)（CAD）工具的全保真設(shè)計(jì)數(shù)據(jù)，從而構(gòu)建一個(gè)單一的、物理精確的、實(shí)時(shí)的騰勢N7汽車模型數(shù)字孿生體。

當(dāng)想要添加一個(gè)功能時(shí)，無需任何手動返工，就能將該功能構(gòu)建到騰勢汽車的數(shù)字孿生體中，并立即部署到所有營銷渠道中。

USD提供了一個(gè)高性能的通用框架來描述、組合、模擬和協(xié)作3D項(xiàng)目和數(shù)據(jù)。NVIDIA堅(jiān)信這是3D互聯(lián)網(wǎng)的基礎(chǔ)。

“就像HTML點(diǎn)燃了2D互聯(lián)網(wǎng)的重大計(jì)算革命一樣，OpenUSD將點(diǎn)燃3D寫作和工業(yè)數(shù)字化的時(shí)代。”黃仁勛說，“通過開發(fā)NVIDIA Omniverse和生成式AI，NVIDIA將全力支持OpenUSD的發(fā)展和采用?！?/p>

在SIGGRAPH大會上，黃仁勛展示了從2020年至2023年NVIDIA加速OpenUSD的發(fā)展路線圖。

NVIDIA正推出一個(gè)SIM Ready規(guī)范，將物理屬性應(yīng)用于USD資產(chǎn)，以便機(jī)器人和自動駕駛汽車等AI代理可以完全在模擬世界中了解真實(shí)世界。

近期NVIDIA與皮克斯、Adobe、蘋果、Autodesk聯(lián)合成立了OpenUSD聯(lián)盟AOUSD，將為OpenUSD開發(fā)一個(gè)標(biāo)準(zhǔn)規(guī)范，以加速其在工具生態(tài)系統(tǒng)中的采用和軟件間的互操作性。

NVIDIA正通過NVIDIA Omniverse、新技術(shù)組合和云API以及新的NVIDIA OpenUSD開發(fā)者計(jì)劃，推進(jìn)OpenUSD框架的開發(fā)。

為了讓開發(fā)人員更無縫地實(shí)施和部署OpenUSD流水線和應(yīng)用程序，NVIDIA將生成式AI和OpenUSD結(jié)合，推出一些Omniverse云API：

（1）ChatUSD：基于NVIDIA Nemo框架的一個(gè)大型語言模型副駕駛，可回答USD知識問題或生成Python-USD代碼腳本）。

（2）RunUSD：用于檢查上傳文件與OpenUSD版本兼容性，可生成實(shí)時(shí)的完全路徑跟蹤的交互式USD文件渲染。

（3）DeepSearch：基于大型語言模型的語義3D搜索服務(wù)，可通過文本或圖像輸入輸入，對大量未標(biāo)注資產(chǎn)的數(shù)據(jù)庫進(jìn)行快速語義搜索。

Omniverse云API將使開發(fā)人員能夠輕松地即時(shí)訪問NVIDIA及其合作伙伴的最新生成式AI和OpenUSD技術(shù)。

NVIDIA Picasso便是其中之一。它是一個(gè)基于云的代工廠，用于構(gòu)建自定義的生成式AI視覺模型。Picasso使開發(fā)人員能訓(xùn)練文生圖、文生視頻、文本轉(zhuǎn)3D生成等模型。

Shutterstock正在使用NVIDIA Picasso（構(gòu)建的代工廠）來開發(fā)生成式AI服務(wù)，以加速3D工作流程。Shutterstock宣布了這些新服務(wù)的首款產(chǎn)品360 HDRi。經(jīng)Picasso訓(xùn)練的模型可生成逼真的8K分辨率360度高動態(tài)范圍成像（HDRi）環(huán)境地圖，從而大大加快3D場景的內(nèi)容創(chuàng)作。

此外，Omniverse進(jìn)行了一些重要的版本更新：

Omniverse RTX渲染器集成了DLSS 3技術(shù)和新的AI降噪器，AI降噪器可實(shí)現(xiàn)對大規(guī)模工業(yè)場景的實(shí)時(shí)4K路徑追蹤。

開發(fā)人員還可以構(gòu)建基于OpenUSD的內(nèi)容和體驗(yàn)，并將其部署到擴(kuò)展現(xiàn)實(shí)（XR）設(shè)備上。新的XR開發(fā)工具使用戶能在基于Omniverse應(yīng)用程序中本地構(gòu)建空間計(jì)算選項(xiàng)，靈活體驗(yàn)他們喜歡的3D項(xiàng)目和虛擬世界。

Omniverse USD Composer可支持3D用戶組裝大規(guī)模的、基于OpenUSD的場景。

提供生成式AI API的Omniverse Audio2Face，僅從音頻文件就能創(chuàng)建逼真的面部動畫和手勢，現(xiàn)在包括多語言支持和一個(gè)新的女性基礎(chǔ)模型。

Omniverse Kit Extension Registry是一個(gè)用于訪問、共享和管理全方位擴(kuò)展的中央存儲庫，讓開發(fā)人員能輕松地在他們的應(yīng)用程序中打開和關(guān)閉功能，使構(gòu)建自定義app變得更容易。

這些新的應(yīng)用程序和體驗(yàn)?zāi)０迥茏岄_發(fā)人員以很少的代碼開始使用OpenUSD和Omniverse。

此外，Adobe與NVIDIA擴(kuò)大了在Adobe Substance 3D、生成式AI和OpenUSD計(jì)劃方面的合作，宣布將在Omniverse中將提供其創(chuàng)意生成式AI模型系列Adobe Firefly的API。

最新版本的Omniverse處于測試階段，很快就會發(fā)布到Omniverse Enterprise企業(yè)版。

06. 結(jié)語：英偉達(dá)All in 生成式AI

在本屆SIGGRAPH大會上，黃仁勛集中分享了NVIDIA最新的技術(shù)、研究、OpenUSD開發(fā)和AI內(nèi)容創(chuàng)建解決方案，并用一系列對開發(fā)者及企業(yè)極具吸引力的軟硬件新品，再度驗(yàn)證NVIDIA在新時(shí)代的自定義——NVIDIA是一家平臺公司。

今年以來，NVIDIA GPU已成為支持生成式AI和大模型訓(xùn)練的大算力AI芯片首選，亦當(dāng)之無愧是推動生成式AI普及的核心功臣。受益于生成式AI熱潮的NVIDIA，也正積極地成為一個(gè)稱職的“生成式AI布道者”，近期一直盡心竭力地推廣生成式AI在各行各業(yè)應(yīng)用的價(jià)值。

在推動高效地、經(jīng)濟(jì)地、可擴(kuò)展地運(yùn)行生成式AI模型的道路上，NVIDIA所展示了許多軟硬件創(chuàng)新成果，無論是加速大型語言模型訓(xùn)練和調(diào)優(yōu)，還是簡化定制生成式AI模型的工作流程，抑或是持續(xù)提高圖形渲染及工業(yè)元宇宙基礎(chǔ)設(shè)施的性能和開發(fā)體驗(yàn)，這些進(jìn)展都令人印象深刻。