0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

英偉達超級芯片的真正殺手锏,C2C互聯(lián)技術(shù)

E4Life ? 來源:電子發(fā)燒友網(wǎng) ? 作者:周凱揚 ? 2023-08-16 00:12 ? 次閱讀

電子發(fā)燒友網(wǎng)報道(文/周凱揚)英偉達于今年發(fā)布了新一代的GH200 Grace Hopper硬件平臺,預(yù)示著其發(fā)展HPC與AI的重要路線邁進了新階段。GH200將用于應(yīng)對世界上最復(fù)雜的生成式AI負載,涵蓋大語言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫等應(yīng)用,且英偉達依然為GH200準(zhǔn)備了不同的配置選項,無疑這一芯片很快就會用于各大數(shù)據(jù)中心和超算中。

NVLink,從片外互聯(lián)走向片內(nèi)互聯(lián)

或許在多數(shù)人眼中,GH200不過是新一代Grace CPU和Hopper GPU結(jié)合的又一新產(chǎn)品,但這必然不是英偉達追求的“1+1=2”效果。事實上,GH200是象征著英偉達在芯片互聯(lián)技術(shù)先進設(shè)計水平的集大成者。

在英偉達的第四代NVLink技術(shù)和第三代NVSwitch技術(shù)下,創(chuàng)造一個256個GH200連接在一起的系統(tǒng)也不在話下。但這樣的片外互聯(lián)技術(shù)并不算罕見,市面上也有不少初創(chuàng)公司的AI芯片可以做到類似或者更夸張的擴展性。

然而在片內(nèi)芯片互聯(lián)上,NVLink-C2C這一互聯(lián)技術(shù)確實達到了新的高度。NVLink-C2C是英偉達專為其superchip系列打造的內(nèi)存一致、高帶寬、低延遲互聯(lián)技術(shù)。也是其實現(xiàn)高達900GB/s總帶寬的關(guān)鍵所在。900GB/s的帶寬是什么概念呢?與現(xiàn)代AI/HPC加速器常用的16路的PCIe 5.0相比,還要快上6倍。

NVLink-C2C的優(yōu)勢

NVLink-C2C的第一大優(yōu)勢就是其內(nèi)存一致性,這不僅提高了開發(fā)者的效率、芯片性能,還提高了GPU可以訪問的內(nèi)存量。在這一互聯(lián)技術(shù)的支持下,如今CPU、GPU線程都可以并行訪問CPU和GPU各自的內(nèi)存,無需頁遷移,所以開發(fā)者可以專心于優(yōu)化算法本身,而不是內(nèi)存管理。

其次就是900GB/s的帶寬了,有了NVLink-C2C,應(yīng)用程序可以直接用滿GPU的內(nèi)存,再以超高的帶寬直接調(diào)用Grace CPU的內(nèi)存。畢竟即便是最新的HBM3e版GH200,也只有144GB的內(nèi)存,而Grace CPU可以支持到最高480GB的LPDDR5X內(nèi)存。甚至在NVSwitch的支持下,可以高速訪問整個系統(tǒng)中最高達144TB的內(nèi)存。

如此一來在GPT這樣的LLM模型中,可用的內(nèi)存也就變多了。這對于batch size增加后,推理所需內(nèi)存數(shù)增加的生成式AI來說至關(guān)重要。相比過去x86 CPU+PCIe 5.0 H100的搭配組合,GH200在更大的batch size下推理速度有著數(shù)倍的提升。

英偉達也對高帶寬在HPC加速上的優(yōu)勢進行了解讀,以ABINIT的標(biāo)準(zhǔn)執(zhí)行時間為例,ABINIT是一個用于計算材料光學(xué)、機械、振動等特性的模擬軟件。以只用x86 CPU的執(zhí)行時間作為標(biāo)準(zhǔn),在x86 CPU與Hopper GPU的結(jié)合下,超高性能的Hopper GPU極大地縮短了執(zhí)行時間。

然而在CPU與GPU之間的傳輸開銷下,這一組合最終只能做到快上1.16倍的優(yōu)勢。而如果是使用Grace Hopper方案的話,在NVLink-C2C的超大帶寬下,CPU與GPU之間的傳輸開銷迅速縮減,最終實現(xiàn)了縮短4.25倍的執(zhí)行時間。

寫在最后

英偉達會走上自研CPU和Superchip的路線其實并不令人意外,為CPU與GPU之間打通一個更快的接口一直是英偉達的努力方向之一。此前由于x86的CPU設(shè)計主要還是有英特爾AMD兩家廠商完成,而Grace這樣的自研Arm芯片則沒了設(shè)計限制,可以摻入英偉達的各種定制化開發(fā)。

NVLink-C2C也為市面上其他的AI芯片帶來了更大的挑戰(zhàn),畢竟英偉達在性能、軟件生態(tài)上已經(jīng)處于領(lǐng)先地位,又有著如此高效的互聯(lián)技術(shù)??梢灶A(yù)見未來其他廠商也會在芯片互聯(lián)、高速接口等領(lǐng)域發(fā)力,否則很難與英偉達同臺競爭。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 英偉達
    +關(guān)注

    關(guān)注

    22

    文章

    3824

    瀏覽量

    91585
收藏 0人收藏

    評論

    相關(guān)推薦

    英偉推出GB200 NVL4芯片!液冷UQD快接頭崛起

    中,英偉推出了全新的硬件產(chǎn)品——GB200 NVL4超級芯片。該芯片展現(xiàn)出了較為出色的性能表現(xiàn),在業(yè)界引起了廣泛關(guān)注,并預(yù)計于2025年下
    的頭像 發(fā)表于 01-10 16:58 ?158次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達</b>推出GB200 NVL4<b class='flag-5'>芯片</b>!液冷UQD快接頭崛起

    英偉Blackwell芯片量產(chǎn)加速,Q4預(yù)計出貨45萬片

    摩根士丹利最新發(fā)布的報告揭示了英偉在AI芯片領(lǐng)域的重大進展,其最新力作Blackwell芯片已成功步入量產(chǎn)階段,預(yù)示著英偉
    的頭像 發(fā)表于 09-27 15:02 ?892次閱讀

    AI芯片巨頭英偉漲超4% 英偉市值暴增7500億

    誰是美股最靚的仔?在人工智能浪潮之下AI芯片巨頭英偉肯定有一席之地,特別是現(xiàn)在全球資本市場動蕩之際,業(yè)界分析師多認為英偉是最佳“反彈股”
    的頭像 發(fā)表于 08-13 15:33 ?1134次閱讀

    英偉TITAN AI顯卡曝光,性能狂超RTX 409063%!# 英偉# 顯卡

    顯卡英偉
    jf_02331860
    發(fā)布于 :2024年07月24日 17:18:28

    英偉帶領(lǐng)芯片股飆升 英偉大漲4.76%

    英偉不愧是總龍頭,大漲4.76%。英偉帶領(lǐng)芯片股飆升;甚至可以說是帶動了美國股市上漲,在當(dāng)?shù)貢r間22日,科技股反彈,帶動整體行情走高。美
    的頭像 發(fā)表于 07-23 16:26 ?350次閱讀

    亞馬遜AWS暫緩采購英偉GH200芯片,期待Blackwell更強

    然而,AWS對此予以澄清,稱實際上并未取消任何對英偉的訂單。據(jù)其代表解釋,此次從Grace Hopper芯片轉(zhuǎn)向Blackwell芯片的調(diào)整僅限于AWS與
    的頭像 發(fā)表于 05-22 15:05 ?714次閱讀

    進一步解讀英偉 Blackwell 架構(gòu)、NVlink及GB200 超級芯片

    新的標(biāo)準(zhǔn)。Blackwell架構(gòu)和GB200 超級芯片有望推動英偉在人工智能領(lǐng)域更進一步,鞏固其在高性能計算和人工智能技術(shù)領(lǐng)域的領(lǐng)先地位。
    發(fā)表于 05-13 17:16

    英偉幫助日本建造混合量子超級計算機

    英偉正在幫助日本建造混合量子超級計算機,這是日本國家量子計算計劃的一部分。
    的頭像 發(fā)表于 04-23 14:54 ?570次閱讀

    Meta將率先使用英偉最新人工智能芯片

    近日,Meta向外媒透露,他們預(yù)計將在今年晚些時候收到英偉最新旗艦人工智能芯片的首批出貨,這也標(biāo)志著英偉正式開啟了B200
    的頭像 發(fā)表于 03-22 10:16 ?589次閱讀

    新思科技攜手英偉:基于加速計算、生成式AI和Omniverse釋放下一代EDA潛能

    將雙方數(shù)十年的合作深入擴展到新思科技EDA全套技術(shù)棧 摘要: 新思科技攜手英偉,將其領(lǐng)先的AI驅(qū)動型電子設(shè)計自動化(EDA)全套技術(shù)棧部署于英偉
    發(fā)表于 03-20 13:43 ?310次閱讀
    新思科技攜手<b class='flag-5'>英偉</b><b class='flag-5'>達</b>:基于加速計算、生成式AI和Omniverse釋放下一代EDA潛能

    英偉市值逼近2萬億美元,漲瘋了

    22日,美國芯片巨頭英偉股價飆升,市值接近2萬億美元,僅次于微軟和蘋果。英偉的驕人業(yè)績及股價
    的頭像 發(fā)表于 03-05 08:25 ?365次閱讀
    <b class='flag-5'>英偉</b><b class='flag-5'>達</b>市值逼近<b class='flag-5'>2</b>萬億美元,漲瘋了

    英偉收漲16.4% 分析師稱英偉股價可能達到四位數(shù)

    英偉收漲16.4% 分析師稱英偉股價可能達到四位數(shù) 就在英偉發(fā)布了拯救地球任務(wù)的業(yè)績報告之
    的頭像 發(fā)表于 02-23 15:35 ?864次閱讀

    英偉與Equinix合作為企業(yè)客戶提供超級計算機系統(tǒng)

    近日,數(shù)據(jù)中心運營商Equinix與芯片巨頭英偉宣布達成一項重要合作。雙方將共同為企業(yè)客戶提供英偉
    的頭像 發(fā)表于 01-29 11:20 ?772次閱讀

    英偉DRIVE Thor超級芯片首搭極氪新車

    英偉和極氪汽車宣布了一項令人振奮的合作,新款極氪電動汽車將全球首發(fā)搭載英偉DRIVE Thor超級
    的頭像 發(fā)表于 01-25 17:25 ?1369次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品