英偉達(dá)超級(jí)芯片更新 首度引入H3Be

近年來(lái)人工智能的火熱，已經(jīng)對(duì)算力的需求，已經(jīng)不再是什么新鮮事了。

而圍繞著這個(gè)市場(chǎng)，除了有幾無(wú)敵手的英偉達(dá)GPU外，還有Graphcore、Cerebra、Sambanova和Tenstorrent等芯片新入者攜帶著各自打造的“武器”躍躍欲試，以求占有一席之地。

此外，AMD和Intel這些傳統(tǒng)芯片巨頭也不甘人后，紛紛加碼這個(gè)賽道。他們一方面升級(jí)自己原有的CPU產(chǎn)品，與此同時(shí)還在升級(jí)GPU產(chǎn)品，其中英特爾甚至還通過(guò)對(duì)Habana的收購(gòu)，通過(guò)多路進(jìn)攻的方式押注人工智能。

進(jìn)來(lái)，他們又更新了“武器庫(kù)”，為新一輪的AI芯片競(jìng)賽做好準(zhǔn)備。

英偉達(dá)超級(jí)芯片更新，首度引入H3Be

作為AI市場(chǎng)迄今為止最大的贏家，遙遙領(lǐng)先的英偉達(dá)雖然不至于被突然擊敗，但面對(duì)咄咄逼人的競(jìng)爭(zhēng)對(duì)手，他們應(yīng)該還是有點(diǎn)危機(jī)感。于是，在昨晚，英偉達(dá)CEO黃仁勛又帶來(lái)了公司全新的 GH200“superchip”的新變體——世界上第一個(gè)配備 HBM3e 內(nèi)存的 GPU 芯片。

因?yàn)槿斯ぶ悄軐?duì)數(shù)據(jù)“搬運(yùn)”的需求，HBM在過(guò)去幾個(gè)月里已經(jīng)成為產(chǎn)業(yè)關(guān)注的重中之重，也成為了限制GPU產(chǎn)能的關(guān)鍵因素之一。為此三星和SK海力士等廠商除了在提高HBM產(chǎn)能之余，也在升級(jí)其HBM技術(shù)，而HBM 3e就是他們正在最新推動(dòng)的產(chǎn)品。

關(guān)于這個(gè)尚未敲定的標(biāo)準(zhǔn)，其很多參數(shù)也沒(méi)有定論。但按照集邦咨詢(xún)所說(shuō)，HBM3e將采用24Gb單晶芯片堆疊，在8層（8Hi）基礎(chǔ)下，單個(gè)HBM3e的容量將躍升至24GB。集邦認(rèn)為，主要制造商預(yù)計(jì)將在 2024 年第一季度發(fā)布 HBM3e 樣品，并計(jì)劃在 2024 年下半年實(shí)現(xiàn)量產(chǎn)。而英偉達(dá)的GH200“superchip”的新變體計(jì)劃于明年二季度發(fā)貨，這體現(xiàn)了AI芯片巨頭在其上的迫切。

自 2021 年該公司披露初步細(xì)節(jié)以來(lái)，Grace Hopper superchip一直是 Nvidia 首席執(zhí)行官黃仁勛的一個(gè)大話題。Superchip集成了廣泛應(yīng)用于移動(dòng)設(shè)備、可與英特爾和AMD的基于x86的芯片競(jìng)爭(zhēng)Arm架構(gòu)。而之所以Nvidia 稱(chēng)其為“Superchip”，是因?yàn)樗鼘⒒?Arm 的 Nvidia Grace CPU 與 Hopper GPU 架構(gòu)結(jié)合在一起。而這個(gè)芯片在早幾個(gè)月的發(fā)布，已經(jīng)引起了市場(chǎng)的廣泛討論。

GH200的規(guī)格

而在時(shí)隔沒(méi)多久，英偉達(dá)帶來(lái)了全新的升級(jí)版本芯片。

據(jù)介紹，全新 GH200 Grace Hopper Superchip 同樣是基于 72 核 Grace CPU，配備 480 GB ECC LPDDR5X 內(nèi)存以及 GH100 計(jì)算 GPU，搭配 141 GB HBM3E 內(nèi)存，采用 6 個(gè) 24 GB 堆棧，使用 6,144位存儲(chǔ)器接口。雖然 Nvidia 物理安裝了 144 GB 內(nèi)存，但只有 141 GB 可用才能獲得更高的良率。

作為世界上第一款配備HBM3e 內(nèi)存的芯片，英偉達(dá)新版本的 GH200能夠?qū)⑵浔镜?GPU 內(nèi)存增加 50%，這對(duì)于人工智能市場(chǎng)來(lái)說(shuō)尤其受歡迎，因?yàn)轫敿?jí)模型尺寸巨大且通常內(nèi)存容量有限。而在雙配置設(shè)置中，它將配備高達(dá) 282 GB 的 HBM3e 內(nèi)存，NVIDIA 表示，與當(dāng)前一代產(chǎn)品相比，內(nèi)存容量高出 3.5 倍，帶寬高出 3 倍。Nvidia還聲稱(chēng)，HBM3e內(nèi)存將使下一代GH200運(yùn)行AI模型的速度比當(dāng)前模型快3.5倍。

“我們對(duì)這款新的 GH200 感到非常興奮。它將配備 141 GB 的 HBM3e 內(nèi)存，”Nvidia 超大規(guī)模和 HPC 副總裁兼總經(jīng)理 Ian Buck 在與媒體和分析師的會(huì)議上表示?！癏BM3e 不僅增加了 GPU 的容量和內(nèi)存量，而且速度也更快?！?/p>

在 SIGGRAPH 2023 的主題演講中，NVIDIA 總裁兼首席執(zhí)行官黃仁勛 (Jensen Huang) 表示：“為了滿(mǎn)足生成式 AI 不斷增長(zhǎng)的需求，數(shù)據(jù)中心需要具有特殊需求的加速計(jì)算平臺(tái)?！盝ensen 還接著說(shuō)道：“全新 GH200 Grace Hopper Superchip 平臺(tái)通過(guò)卓越的內(nèi)存技術(shù)和帶寬來(lái)實(shí)現(xiàn)這一點(diǎn)，以提高吞吐量、連接 GPU 以不妥協(xié)地聚合性能的能力，以及可以在整個(gè)數(shù)據(jù)中心輕松部署的服務(wù)器設(shè)計(jì)。“

從昨晚英偉達(dá)的介紹中我們可以看到，他們不僅制造更快的芯片，還在新的服務(wù)器設(shè)計(jì)中對(duì)其進(jìn)行擴(kuò)展。

如Ian Buck就表示，Nvidia正在開(kāi)發(fā)一種新的基于雙GH200的Nvidia MGX服務(wù)器系統(tǒng)，該系統(tǒng)將集成兩個(gè)下一代Grace Hopper Superchip。他解釋說(shuō)，新的GH200將與Nvidia的互連技術(shù)NVLink連接。借助新型雙 GH200 服務(wù)器中的 NVLink，系統(tǒng)中的 CPU 和 GPU 將通過(guò)完全一致的內(nèi)存互連進(jìn)行連接。

“CPU 可以看到其他 CPU 的內(nèi)存，GPU 可以看到其他 GPU 內(nèi)存，當(dāng)然 GPU 也可以看到 CPU 內(nèi)存，”Buck說(shuō)?！耙虼?，合并后的超大超級(jí) GPU 可以作為一個(gè)整體運(yùn)行，提供 144 個(gè) Grace CPU 核心，超過(guò) 8 petaflops 的計(jì)算性能以及 282 GB 的 HBM3e 內(nèi)存?！彼麖?qiáng)調(diào)。

值得一提的是，在此前，我們已經(jīng)介紹了圍繞 NVIDIA Grace Hopper 平臺(tái)構(gòu)建的已發(fā)布的 DGX GH200 AI 超級(jí)計(jì)算機(jī)。DGX GH200 是完全基于 NVIDIA 架構(gòu)構(gòu)建的 24 機(jī)架集群，每個(gè) DGX GH200 都結(jié)合了 256 個(gè)芯片，并提供 120 TB 的 CPU 連接內(nèi)存。它們使用 NVIDIA 的 NVLink 進(jìn)行連接，該 NVLink 具有多達(dá) 96 個(gè)本地 L1 交換機(jī)，可在 GH200 刀片之間提供即時(shí)通信。NVIDIA 的 NVLink 允許部署與高速一致的互連一起工作，使 GH200 能夠完全訪問(wèn) CPU 內(nèi)存，并在雙配置時(shí)允許訪問(wèn)高達(dá) 1.2 TB 的內(nèi)存。

英特爾 Falcon Shores 2，卷土重來(lái)

為了應(yīng)對(duì)來(lái)自英偉達(dá)和AMD的競(jìng)爭(zhēng)，英特爾最初計(jì)劃為其稱(chēng)為 Falcon Shores 的 芯片配備 GPU 和 CPU 內(nèi)核，打造該公司首款用于高性能計(jì)算的“XPU”。但是在幾個(gè)月前，他們意外宣布，F(xiàn)alcon Shores將轉(zhuǎn)向純 GPU 設(shè)計(jì)并將芯片推遲到 2025 年，這讓行業(yè)觀察家感到震驚——因?yàn)檫@使得英特爾無(wú)法與AMD 的 Instinct MI300和Nvidia 的 Grace Hopper處理器競(jìng)爭(zhēng)，后兩者均采用 CPU+GPU的混合處理器設(shè)計(jì)。

然而在近日的財(cái)報(bào)說(shuō)明會(huì)上，英特爾首席執(zhí)行官 Pat Gelsinger 透露，公司計(jì)劃于 2026 年推出新版本的 Falcon Shores 芯片，代號(hào)為 Falcon Shores 2。Falcon Shores 2 芯片將于 2025年接替首款 Falcon Shores 芯片，后者是一款用于人工智能和超級(jí)計(jì)算的高性能 GPU。?

“當(dāng)我們將 GPU 和加速器整合到一個(gè)產(chǎn)品中時(shí)，我們有一個(gè)簡(jiǎn)化的路線圖，”

雖然英特爾并未過(guò)多談?wù)撨@款將于2026 年推出的產(chǎn)品，但英特爾方面曾表示，因?yàn)镕alcon Shores 芯片將使用Chiplet設(shè)計(jì)，因此英特爾將能夠混合搭配 GPU、AI 加速器和第三方 CPU。

英特爾公司副總裁兼超級(jí)計(jì)算事業(yè)部總經(jīng)理 Jeff McVeigh 在 5 月份的電話會(huì)議上更是表示：“這為跨供應(yīng)商提供了將 Falcon Shores GPU 與其他 CPU 以及 CPU 與 GPU 比例結(jié)合起來(lái)的靈活性?！?/p>

McVeigh 表示，獨(dú)立GPU Falcon Shores 產(chǎn)品模型使用基于 GPU 的通用編程接口，CPU 和 GPU 的 CXL 接口將提高代碼的生產(chǎn)力和性能。?

此外，2026 年的發(fā)布Falcon Shores 2，這也許意味著該芯片采用 Angstrom 時(shí)代的工藝制作。該芯片制造商將重點(diǎn)放在 2025 年之前的產(chǎn)品發(fā)布上，屆時(shí)將實(shí)現(xiàn)四年內(nèi)啟動(dòng)五個(gè)節(jié)點(diǎn)的目標(biāo)。又因?yàn)镕alcon Shores 2 的發(fā)布日期為 2026 年，這似乎代表著原始版本的 Falcon Shores GPU 的生命周期很短，是一個(gè)過(guò)渡產(chǎn)品。

如之前很多報(bào)道中所說(shuō)，F(xiàn)alcon Shores 芯片是專(zhuān)為 HPC 和 AI 計(jì)算而設(shè)計(jì)，英特爾已經(jīng)討論過(guò)將 GPU 與 Gaudi 芯片系列合并。Gelsinger在財(cái)報(bào)電話會(huì)議上表示，F(xiàn)alcon Shores 的執(zhí)行情況“良好”。他同時(shí)還表示Falcon Shores 將擁有最好的 GPU 和最好的矩陣加速。

對(duì)于其GPU和Gaudi等面向AI的芯片，英特爾的目標(biāo)是確保人工智能軟件堆棧通過(guò)其 OneAPI 軟件堆棧在 Gaudi 和 Falcon Shores 芯片上向前兼容。

“我們將擴(kuò)大該軟件堆棧的靈活性。我們正在添加 FP8。我們剛剛添加了 PyTorch 2 支持。一路走來(lái)的每一步，它都會(huì)變得更好、更廣泛的用例。正在支持更多語(yǔ)言模型。軟件堆棧支持更多的可編程性，”Gelsinger強(qiáng)調(diào)。

此外，英特爾還在通過(guò) OneAPI 采用部分開(kāi)放的軟件方法，該方法以名為 SYCLomatic 的工具為中心，可以轉(zhuǎn)換專(zhuān)有的 CUDA 代碼以在包括 Ponte Vecchio 在內(nèi)的各種 GPU 上運(yùn)行。

AMD也不甘人后

在英特爾和英偉達(dá)在為未來(lái)傾囊而出的同時(shí)，AMD也不甘人后。幾個(gè)月前，公司就帶來(lái)了全新的MI 300系列芯片，這也是公司面向AI市場(chǎng)祭出的一個(gè)殺手锏。具體信息參考半導(dǎo)體行業(yè)觀察之前的報(bào)道《1530億晶體管芯片發(fā)布，AMD正式叫板英偉達(dá)》。而在AMD最近的財(cái)報(bào)發(fā)布會(huì)上，該公司CEO Lisa Su也披露，AMD的AI芯片參與度在本季度增加了七倍多。

Lisa同時(shí)還表示，公司在遵守美國(guó)的出口管制之余。正在尋找機(jī)會(huì)為中國(guó)客戶(hù)提供定制的人工智能解決方案。

眾所周知，隨著生成式人工智能的出現(xiàn)，市場(chǎng)對(duì) GPU 的需求猛增。特斯拉的Elon Musk在該公司最近的財(cái)報(bào)電話會(huì)議上談到了 Nvidia GPU 的短缺問(wèn)題，微軟也在其年報(bào)中談到了GPU短缺可能帶來(lái)的風(fēng)險(xiǎn)，為此這些公司正在尋找人工智能芯片替代品的機(jī)會(huì)。

其中，AMD無(wú)疑是最值得關(guān)注的一家。

審核編輯：劉清