英偉達(dá)發(fā)布新一代H200，搭載HBM3e，推理速度是H100兩倍！

電子發(fā)燒友網(wǎng)報道（文/李彎彎）日前，英偉達(dá)正式宣布，在目前最強(qiáng)AI芯片H100的基礎(chǔ)上進(jìn)行一次大升級，發(fā)布新一代H200芯片。H200擁有141GB的內(nèi)存、4.8TB/秒的帶寬，并將與H100相互兼容，在推理速度上幾乎達(dá)到H100的兩倍。H200預(yù)計將于明年二季度開始交付。此外，英偉達(dá)還透露，下一代Blackwell B100 GPU也將在2024年推出。

英偉達(dá)新發(fā)布的H200性能大幅提升（來源：英偉達(dá)官網(wǎng)）

首款搭載HBM3e的GPU，推理速度幾乎是H100的兩倍

與A100和H100相比，H200最大的變化就是內(nèi)存。搭載世界上最快的內(nèi)存HBM3e技術(shù)的H200在性能上得到了直接提升，141GB的內(nèi)存幾乎是A100和H100最高80GB內(nèi)存的2倍，4.8TB每秒的帶寬達(dá)到A100的2.4倍，顯著高于H100 3.35TB每秒的帶寬。

今年早些時候，就有消息稱，包括英偉達(dá)在內(nèi)，全球多個科技巨頭都在競購SK海力士第五代高帶寬內(nèi)存HBM3e。 HBM是由AMD和SK海力士發(fā)起的基于3D堆棧工藝的高性能DRAM，適用于高存儲器帶寬需求的應(yīng)用場合。如今HBM已經(jīng)發(fā)展出HBM2、HBM2e以及HBM3，HBM3e是HBM3的新一代產(chǎn)品。英偉達(dá)、AMD等企業(yè)的高端AI芯片大多搭載HBM。

電子發(fā)燒友此前報道過，英偉達(dá)歷代主流訓(xùn)練芯片基本都配置HBM，其2016年發(fā)布的首個采用帕斯卡架構(gòu)的顯卡TeslaP100已搭載了HBM2，隨后TeslaV100也采用了HBM2；2017年初，英偉達(dá)發(fā)布的Quadro系列專業(yè)卡中的旗艦GP100也采用了HBM2；2021年推出的TeslaA100計算卡也搭載了HBM2E，2022年推出了面向大陸地區(qū)的A800，同樣也配置HBM2E；2022年推出了市面上最強(qiáng)的面向AI服務(wù)器的GPU卡H100，采用的HBM3。

AMD今年6月推出的號稱是最強(qiáng)的AI芯片MI300X，就是搭載由SK海力士及三星電子供應(yīng)的HBM。AMD稱，MI300X提供的HBM密度最高是英偉達(dá)AI芯片H100的2.4倍，其HBM帶寬最高是H100的1.6倍。這意味著，AMD的芯片可以運(yùn)行比英偉達(dá)芯片更大的模型。

如今英偉達(dá)新發(fā)布的H200搭載HBM3e，可想而知在性能上將會更上一層。H200配備141GB的HBM3e內(nèi)存，運(yùn)行速率約為6.25 Gbps，六個HBM3e堆棧為每個GPU帶來4.8 TB/s的總帶寬。原有的H100配備80GB的HBM3，對應(yīng)的總帶寬為3.35 TB/s，這是一個巨大的進(jìn)步。相比于H100的SXM版本，H200的SXM版本將內(nèi)存容量和總帶寬分別提高了76%和43%。

英偉達(dá)表示，基于與H100相同的Hopper架構(gòu)，H200將具有H100的一切功能，例如可以用來加速基于Transformer架構(gòu)搭建的深度學(xué)習(xí)模型的Transformer Engine功能。

根據(jù)其官網(wǎng)信息，H200在大模型Llama 2、GPT-3.5的輸出速度上分別是H100的1.9倍和1.6倍，在高性能計算HPC方面的速度更是達(dá)到了雙核x86 CPU的110倍。

在TF32 Tensor Core（張量核心）中，H200可達(dá)到989萬億次浮點(diǎn)運(yùn)算；INT8張量核心下提供3,958 TFLOPS（每秒3958萬億次的浮點(diǎn)運(yùn)算）。

不僅如此，基于H200芯片構(gòu)建的HGX H200加速服務(wù)器平臺，擁有 NVLink 和 NVSwitch的高速互連支持。8個HGX H200則提供超過32 petaflops（每秒1000萬億次的浮點(diǎn)運(yùn)算）的FP8深度學(xué)習(xí)計算和 1.1TB 聚合高帶寬內(nèi)存，可為科學(xué)研究和 AI 等應(yīng)用的工作負(fù)載提供更高的性能支持，包括超1750億參數(shù)的大模型訓(xùn)練和推理。

英偉達(dá)副總裁Ian Buck表示，為了訓(xùn)練生成式AI和高性能計算應(yīng)用，必須使用高性能GPU。有了H200，行業(yè)領(lǐng)先的AI超級計算平臺可以更快地解決一些世界上最重要的挑戰(zhàn)。

目前，英偉達(dá)的全球合作伙伴服務(wù)器制造商生態(tài)系統(tǒng)包括華擎 Rack、華碩、戴爾科技、Eviden、技嘉、慧與、英格拉科技、聯(lián)想、QCT、Supermicro、緯創(chuàng)資通和緯穎科技等，可以直接使用H200更新其現(xiàn)有系統(tǒng)。除了英偉達(dá)自己投資的CoreWeave、Lambda和 Vultr之外，亞馬遜網(wǎng)絡(luò)服務(wù)、谷歌云、微軟Azure 和甲骨文云等云服務(wù)提供商將從明年開始首批部署H200。

如果沒有獲得出口許可，新H200不會銷往中國

這款H200能否對華出口也是大家關(guān)心的問題。對此，英偉達(dá)表示，如果沒有出口許可，新的H200將不會銷往中國。去年9月，英偉達(dá)高端GPU對中國出口就受到限制，當(dāng)時英偉達(dá)表示，美國通過公司向中國出口A100和H100芯片將需要新的許可證要求，同時DGX或任何其他包含A100或H100芯片的產(chǎn)品，以及未來性能高于A100的芯片都將受到新規(guī)管制。

根據(jù)美國商務(wù)部的法規(guī)，其主要限制的是算力和帶寬，算力上線是4800 TOPS，帶寬上線是600 GB/s。為了應(yīng)對這個問題，英偉達(dá)后來向中國企業(yè)提供了替代版本A800和H800。A800的帶寬為400GB/s，低于A100的600GB/s，H800據(jù)透露約為H100的一半。這意味著A800、H800在進(jìn)行AI模型訓(xùn)練的時候，需要耗費(fèi)更長的時間。

然而美國政府認(rèn)為，H800在某些情況下算力仍然不亞于H100。為了進(jìn)一步加強(qiáng)對AI芯片的出口管制，美國計劃用多項(xiàng)新的標(biāo)準(zhǔn)來替換掉之前針對“帶寬參數(shù)”。今年10月，美國商務(wù)部工業(yè)與安全局（BIS）發(fā)布更新針對AI芯片的出口管制規(guī)定，根據(jù)新規(guī)定，美國商務(wù)部計劃引入一項(xiàng)被稱為“性能密度”的參數(shù)，來防止企業(yè)尋找到變通的方案，修訂后的出口管制措施將禁止美國企業(yè)向中國出售運(yùn)行速度達(dá)到300teraflops（即每秒可計算 3億次運(yùn)算）及以上的數(shù)據(jù)中心芯片。根據(jù)這樣的規(guī)定，在沒有獲得許可的情況下，英偉達(dá)新發(fā)布的H200必然是沒有辦法向中國企業(yè)出售。


事實(shí)上，在美國政府今年10月發(fā)布的新規(guī)下，英偉達(dá)不少產(chǎn)品都在限制范圍內(nèi)，包括但并不限于A100、A800、H100、H800、L40、L40 以及RTX 4090。任何集成了一個或多個以上芯片的系統(tǒng)，包括但不限于英偉達(dá)DGX、HGX系統(tǒng)，也在新規(guī)涵蓋范圍之內(nèi)。

針對此情況，有消息稱，本月初英偉達(dá)已經(jīng)向經(jīng)銷商公布“中國特供版”HGX H20、L20 PCle、L2 PCle產(chǎn)品信息，分別針對訓(xùn)練、推理和邊緣場景，最快將于11月16日公布，量產(chǎn)時間為2023年12月至2024年1月。其中，HGX H20在帶寬、計算速度等方面均有所限制，理論綜合算力要比英偉達(dá)H100降80%左右。

此外，據(jù)英特爾供應(yīng)鏈透露，英特爾也已經(jīng)針對最新發(fā)布的Gaudi2推出降規(guī)版出貨，預(yù)計將不受新禁令影響。不過無論是英偉達(dá)，還是英特爾針對中國市場推出的特供版，可想而知性能必然是會大打折扣的，而且從美國政府的舉措來看，特供版是否能夠長久供應(yīng)也是未知數(shù)。

總結(jié)

可以看到，英偉達(dá)此次發(fā)布的H100，是全球首款搭載HBM3e的GPU，擁有141GB的內(nèi)存、4.8TB/秒的帶寬，推理速度幾乎達(dá)到H100的兩倍?？上攵?，有了H200，當(dāng)前備受關(guān)注的AI大模型的訓(xùn)練和部署應(yīng)用將會得到更快速地發(fā)展。