SC23 | NVIDIA 為全球領(lǐng)先的 AI 計(jì)算平臺(tái) Hopper 再添新動(dòng)力

世界頂級(jí)服務(wù)器制造商和云服務(wù)提供商即將推出 HGX H200 系統(tǒng)與云實(shí)例。

11月13日，NVIDIA 宣布推出 NVIDIA HGX H200，為 Hopper 這一全球領(lǐng)先的 AI 計(jì)算平臺(tái)再添新動(dòng)力。

NVIDIA H200 是首款采用 HBM3e 的 GPU，其運(yùn)行更快、更大的顯存容量將進(jìn)一步加速生成式 AI 與大語(yǔ)言模型，同時(shí)推進(jìn)用于 HPC 工作負(fù)載的科學(xué)計(jì)算。憑借 HBM3e，NVIDIA H200 能夠提供傳輸速度達(dá) 4.8 TB /秒的 141GB 顯存。與上一代架構(gòu)的 NVIDIA A100 相比，其容量幾乎翻了一倍，帶寬也增加了 2.4 倍。

全球領(lǐng)先的服務(wù)器制造商和云服務(wù)提供商預(yù)計(jì)于 2024 年第二季度開(kāi)始提供搭載 H200 的系統(tǒng)。

NVIDIA 超大規(guī)模和高性能計(jì)算副總裁 Ian Buck 表示：“想要通過(guò)生成式 AI 和 HPC 應(yīng)用創(chuàng)造智能，就必須使用大型、快速的 GPU 顯存來(lái)高速、高效地處理海量數(shù)據(jù)。借助 NVIDIA H200，業(yè)界領(lǐng)先的端到端 AI 超級(jí)計(jì)算平臺(tái)的速度將會(huì)變得更快，一些世界上最重要的挑戰(zhàn)，都可以被解決?！?/p>

持續(xù)創(chuàng)新，持續(xù)的性能飛躍

與前代架構(gòu)相比，NVIDIA Hopper架構(gòu)實(shí)現(xiàn)了前所未有的性能躍升，而 H100 持續(xù)的軟件升級(jí)，包括最近發(fā)布的 NVIDIA TensorRT-LLM 等強(qiáng)大的開(kāi)源庫(kù)，都在不斷提升其性能標(biāo)準(zhǔn)。

H200 的推出將帶來(lái)進(jìn)一步的性能飛躍，比如在一個(gè) 700 億參數(shù)的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍。隨著未來(lái)軟件的持續(xù)升級(jí)，H200 有望實(shí)現(xiàn)更大的性能優(yōu)勢(shì)與提升。

NVIDIA H200 的規(guī)格

NVIDIA H200 將提供四路和八路 NVIDIA HGX H200 服務(wù)器主板可選，其與 HGX H100 系統(tǒng)的硬件和軟件都兼容。同時(shí)還可用于今年 8 月發(fā)布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper 超級(jí)芯片。這些配置使 H200 可以部署在各類(lèi)數(shù)據(jù)中心，包括本地、云、混合云和邊緣。

在 NVIDIA NVLink 和 NVSwitch 高速互連技術(shù)的加持下，HGX H200 可為各種應(yīng)用工作負(fù)載提供最高的性能，包括針對(duì) 1750 億參數(shù)以上超大模型的 LLM 訓(xùn)練和推理。

八路 HGX H200 可提供超過(guò) 32 PetaFLOPS 的 FP8 深度學(xué)習(xí)計(jì)算能力和 1.1TB 的聚合高帶寬內(nèi)存容量，能夠?yàn)樯墒?AI 和 HPC 應(yīng)用帶來(lái)強(qiáng)勁性能。

當(dāng) H200 與采用超高速 NVLink-C2C 互連技術(shù)的 NVIDIA Grace CPU 搭配使用時(shí)，就組成了帶有 HBM3e 的 GH200 Grace Hopper 超級(jí)芯片——專(zhuān)為大型 HPC 和 AI 應(yīng)用而設(shè)計(jì)的計(jì)算模塊。

使用 NVIDIA 全棧式軟件加速 AI

NVIDIA 加速計(jì)算平臺(tái)具備強(qiáng)大軟件工具支持，能夠助力開(kāi)發(fā)者和企業(yè)構(gòu)建并加速?gòu)?AI 到 HPC 的生產(chǎn)就緒型應(yīng)用，包括適用于語(yǔ)音、推薦系統(tǒng)和超大規(guī)模推理等工作負(fù)載的 NVIDIA AI Enterprise 軟件套件。

供應(yīng)情況

NVIDIA H200 將于 2024 年第二季度開(kāi)始通過(guò)全球系統(tǒng)制造商和云服務(wù)提供商提供。

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國(guó)加州圣何塞會(huì)議中心舉行，線(xiàn)上大會(huì)也將同期開(kāi)放。點(diǎn)擊“閱讀原文”或掃描下方海報(bào)二維碼，立即注冊(cè) GTC 大會(huì)。