電子發(fā)燒友網(wǎng)報道(文/周凱揚)英偉達于今年發(fā)布了新一代的GH200 Grace Hopper硬件平臺,預(yù)示著其發(fā)展HPC與AI的重要路線邁進了新階段。GH200將用于應(yīng)對世界上最復(fù)雜的生成式AI負載,涵蓋大語言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫等應(yīng)用,且英偉達依然為GH200準(zhǔn)備了不同的配置選項,無疑這一芯片很快就會用于各大數(shù)據(jù)中心和超算中。
NVLink,從片外互聯(lián)走向片內(nèi)互聯(lián)
或許在多數(shù)人眼中,GH200不過是新一代Grace CPU和Hopper GPU結(jié)合的又一新產(chǎn)品,但這必然不是英偉達追求的“1+1=2”效果。事實上,GH200是象征著英偉達在芯片互聯(lián)技術(shù)先進設(shè)計水平的集大成者。
在英偉達的第四代NVLink技術(shù)和第三代NVSwitch技術(shù)下,創(chuàng)造一個256個GH200連接在一起的系統(tǒng)也不在話下。但這樣的片外互聯(lián)技術(shù)并不算罕見,市面上也有不少初創(chuàng)公司的AI芯片可以做到類似或者更夸張的擴展性。
然而在片內(nèi)芯片互聯(lián)上,NVLink-C2C這一互聯(lián)技術(shù)確實達到了新的高度。NVLink-C2C是英偉達專為其superchip系列打造的內(nèi)存一致、高帶寬、低延遲互聯(lián)技術(shù)。也是其實現(xiàn)高達900GB/s總帶寬的關(guān)鍵所在。900GB/s的帶寬是什么概念呢?與現(xiàn)代AI/HPC加速器常用的16路的PCIe 5.0相比,還要快上6倍。
NVLink-C2C的優(yōu)勢
NVLink-C2C的第一大優(yōu)勢就是其內(nèi)存一致性,這不僅提高了開發(fā)者的效率、芯片性能,還提高了GPU可以訪問的內(nèi)存量。在這一互聯(lián)技術(shù)的支持下,如今CPU、GPU線程都可以并行訪問CPU和GPU各自的內(nèi)存,無需頁遷移,所以開發(fā)者可以專心于優(yōu)化算法本身,而不是內(nèi)存管理。
其次就是900GB/s的帶寬了,有了NVLink-C2C,應(yīng)用程序可以直接用滿GPU的內(nèi)存,再以超高的帶寬直接調(diào)用Grace CPU的內(nèi)存。畢竟即便是最新的HBM3e版GH200,也只有144GB的內(nèi)存,而Grace CPU可以支持到最高480GB的LPDDR5X內(nèi)存。甚至在NVSwitch的支持下,可以高速訪問整個系統(tǒng)中最高達144TB的內(nèi)存。
如此一來在GPT這樣的LLM模型中,可用的內(nèi)存也就變多了。這對于batch size增加后,推理所需內(nèi)存數(shù)增加的生成式AI來說至關(guān)重要。相比過去x86 CPU+PCIe 5.0 H100的搭配組合,GH200在更大的batch size下推理速度有著數(shù)倍的提升。
英偉達也對高帶寬在HPC加速上的優(yōu)勢進行了解讀,以ABINIT的標(biāo)準(zhǔn)執(zhí)行時間為例,ABINIT是一個用于計算材料光學(xué)、機械、振動等特性的模擬軟件。以只用x86 CPU的執(zhí)行時間作為標(biāo)準(zhǔn),在x86 CPU與Hopper GPU的結(jié)合下,超高性能的Hopper GPU極大地縮短了執(zhí)行時間。
然而在CPU與GPU之間的傳輸開銷下,這一組合最終只能做到快上1.16倍的優(yōu)勢。而如果是使用Grace Hopper方案的話,在NVLink-C2C的超大帶寬下,CPU與GPU之間的傳輸開銷迅速縮減,最終實現(xiàn)了縮短4.25倍的執(zhí)行時間。
寫在最后
英偉達會走上自研CPU和Superchip的路線其實并不令人意外,為CPU與GPU之間打通一個更快的接口一直是英偉達的努力方向之一。此前由于x86的CPU設(shè)計主要還是有英特爾和AMD兩家廠商完成,而Grace這樣的自研Arm芯片則沒了設(shè)計限制,可以摻入英偉達的各種定制化開發(fā)。
NVLink-C2C也為市面上其他的AI芯片帶來了更大的挑戰(zhàn),畢竟英偉達在性能、軟件生態(tài)上已經(jīng)處于領(lǐng)先地位,又有著如此高效的互聯(lián)技術(shù)??梢灶A(yù)見未來其他廠商也會在芯片互聯(lián)、高速接口等領(lǐng)域發(fā)力,否則很難與英偉達同臺競爭。
-
英偉達
+關(guān)注
關(guān)注
22文章
3824瀏覽量
91585
發(fā)布評論請先 登錄
相關(guān)推薦
評論