Nvidia AI芯片GPU架構路線圖分析與解讀

Nvidia AI芯片路線圖分析與解讀、Nvidia芯片工藝洞察和推演、Nvidia AI芯片架構分析。 基于以下兩個前提：每一代AI芯片的存儲、計算和互聯(lián)比例保持大致一致，且比上一代提升1.5到2倍以上；工程工藝演進是漸進且可預測的，不存在跳變，至少在2025年之前不會發(fā)生跳變。因此，可以對2023年的H100、2024年的B100和2025年的X100的架構進行推演總結。

對于工程工藝的基本假設如下：到2025年，工藝將保持在3nm水平，但工藝演進給邏輯器件帶來的收益預計不會超過50%。同時，先進封裝技術預計將在2025年達到6倍 Reticle面積的水平。此外，HBM內存容量也將繼續(xù)增長，預計在2024年將達到24GB，而在2025年將達到36GB。 在上述前提假設條件下，針對H100/H200, B100, X100 GPU可以得到如下推演結論： ? ?

1. H200是基于H100的基礎上從HBM3升級到HBM3e，提升了內存的容量和帶寬。? ??

2. B100將采用雙Die架構。如果采用異構Die合封方式，封裝基板面積將小于當前先進封裝4倍Reticle面積的約束。而如果采用計算Die和IO Die分離，同構計算Die和IO Die合封的方式，封裝基板面積將超出當前先進封裝4倍Reticle面積的約束。如果采用計算Die和IO Die分離，同構計算Die和IO Die分開封裝的方式，則可以滿足當前的工程工藝約束。考慮到B100 2024年推出的節(jié)奏，以及計算Die在整個GPU芯片中的成本占比并不高，因此用異構Die合封方式的可能性較大。 ? ?

3. 如果X100采用單Socket封裝，四個異構Die合封裝的方式，需要在計算Die上堆疊HBM，同時需要先進封裝的基板達到6倍Reticle面積。但是，如果采用SuperChip超級芯片的方式組成雙Socket封裝模組，可以避免計算Die上堆疊HBM，并放松對先進封裝基板面積的要求，此時需要對NVLink C2C的驅動能力做增強。

?

? 基于B100雙Die架構，采用雙Socket板級3D擴展可以實現(xiàn)與X100同等的算力。類似的方法也可以應用到X100中進一步擴展算力。板級擴展可以降低對工程工藝的要求，以較低的成本實現(xiàn)算力擴展。雖然基于人們對于先進封裝的Chiplet芯粒架構充滿了期待，但是其演進速度顯然無法滿足AI計算系統(tǒng)“三年三個數(shù)量級”的增長需求?[33]。在AI計算領域基于先進封裝Die間互聯(lián)Chiplet芯粒架構，很可能因為無法滿足AI計算領域快速增長的需求而面臨“二世而亡”的窘境，業(yè)界需要重新尋找旨在提升AI算力的新技術路徑，比如SuperChip超級芯片和SuperPOD超節(jié)點。因此，類似于NVLink C2C的低時延、高可靠、高密度的芯片間互聯(lián)技術在未來AI計算芯片的Scale Up算力擴展中將起到至關重要的作用；面向AI集群Scale Out算力擴展的互聯(lián)技術也同等重要。這兩中互聯(lián)技術，前者是AI計算芯片算力擴展的基礎，而后者是AI計算集群算力擴展的基礎。

總結與思考

本文嘗試從第一性原理出發(fā)，對Nvidia的AI芯片發(fā)展路線進行了深入分析和解讀，并對未來的B100和X100芯片架構進行了推演預測。并且，希望通過這種推演提取出未來AI計算系統(tǒng)對互聯(lián)技術的新需求。 本文以互聯(lián)技術為主線展開推演分析，同時考慮了芯片代際演進的性能提升需求和工程工藝約束。最終得出的結論是：在AI計算領域，基于先進封裝Die間互聯(lián)的Chiplet芯粒架構無法滿足AI計算領域快速增長的需求，可能面臨“二世而亡”的窘境。低時延、高可靠、高密度的芯片間互聯(lián)技術在未來AI計算芯片的Scale Up算力擴展中將起到至關重要的作用；雖然未展開討論，同樣的結論也適用于面向AI集群Scale Out算力擴展的互聯(lián)技術。224G及以上代際中，面向計算集群的互聯(lián)技術也存在非常大的挑戰(zhàn)。需要明確指出的是，互聯(lián)技術并不是簡單地將芯片、盒子、機框連接起來的問題，它并不是一根連線而已，它需要在需求、技術、產業(yè)生態(tài)等各個方面進行綜合考慮，需要極具系統(tǒng)性的創(chuàng)新以及長時間的、堅持不懈的投入和努力。

除了互聯(lián)技術以外，通過對Nvidia相關技術布局的分析也引發(fā)了如下思考：

1.???真正的差異化競爭力源于系統(tǒng)性地、全面地掌握整個價值鏈中主導無法快速復制的關鍵環(huán)節(jié)。Nvidia在系統(tǒng)和網(wǎng)絡、硬件、軟件這三個方面占據(jù)了主導地位，而這三個方面恰恰是人工智能價值鏈中許多大型參與者無法有效或快速復制的重要部分。然而，要在這三個方面中的任何一方面建立領導地位都離不開長時間堅持不懈的投入和努力帶來的技術沉淀和積累。指望在一個技術單點形成突破，期望形成技術壁壘或者技術護城河的可能性為零。“重要且無法快速復制”是核心特征，其中“重要”更容易被理解，而“無法快速復制”則意味著“長時間堅持不懈的投入和努力”帶來的沉淀和積累，這是人們往往忽視的因素。

2.???開放的產業(yè)生態(tài)并不等同于技術先進性和競爭力。只有深入洞察特定領域的需求，進行技術深耕，做出差異化競爭力，才能給客戶帶來高價值，給自身帶來高利潤。Nvidia基于NVLink C2C的SuperChip超級芯片以及基于NVLink網(wǎng)絡的SuperPOD超節(jié)點就是很好的例子。真正構筑核心競爭力的技術是不會開放的，至少在有高溢價的早期不會開放，比如Nvidia的NVLink和NVLink C2C技術，比如Intel的QPI和UPI。開放生態(tài)只是后來者用來追趕強者的借口（比如UEC），同時也是強者用來鞏固自己地位的工具（比如PCIE）。然而，真正的強者并不會僅僅滿足于開放生態(tài)所帶來的優(yōu)勢，而是會通過細分領域和構筑特定領域的封閉生態(tài)，實現(xiàn)差異化競爭力來保持領先地位。

3.???構筑特定領域的差異化競爭力與復用開放的產業(yè)生態(tài)并不矛盾。其關鍵在于要在開放的產業(yè)生態(tài)中找到真正的結合點，并能夠果斷地做出取舍，勇敢地拋棄不必要的負擔，只選擇開放產業(yè)生態(tài)中的精華部分，構建全新的技術體系。為了構筑特定領域的差異化競爭力，更應該積極擁抱開放的產業(yè)生態(tài)，主動引導其發(fā)展以實現(xiàn)這種差異化。比如，InfiniBand與Ethernet在低時延方面的差異化并不是天生的，而是人為構造出來的。兩者在基礎技術上是相同的。InfiniBand在25G NRZ代際以前抓住了低時延這一核心特征，摒棄跨速率代際兼容的需求，卸掉了技術包袱，并且在HPC領域找到了合適的戰(zhàn)場，因此在低時延指標上一直碾壓Ethernet，成功實現(xiàn)了高品牌溢價。而InfiniBand在56G PAM4這一代際承襲了Ethernet的互聯(lián)規(guī)范，因此這種低時延上的競爭力就逐漸喪失了。人為制造差異化競爭力的典型例子還有：同時兼容支持InfiniBand和Ethernet的CX系列網(wǎng)卡和BlueField系列DPU；內置在NVSwitch和InfiniBand交換機中的SHARP在網(wǎng)計算協(xié)議和技術；Nvidia基于NVLink C2C構筑SuperChip超級芯片以及基于NVLink網(wǎng)絡構筑SuperPOD超節(jié)點。

4.???“天下沒有免費的午餐”，這是恒古不變的真理和底層的商業(yè)邏輯。商業(yè)模式中的“羊毛出在狗身上，由豬買單”其實就是變相的轉移支付，羊毛終將是出在羊身上，只是更加隱蔽罷了。這一規(guī)律同樣適用于對復雜系統(tǒng)中的技術價值的判斷上。自媒體分析H100的BOM物料成本除以售價得到90%的毛利率是片面的，因為高價值部分是H100背后的系統(tǒng)競爭力，而不僅僅是那顆眼鏡片大小的硅片。這里包含了H100背后的海量的研發(fā)投入和技術積累。而隱藏在這背后的實際上是人才。如何對中長期賽道上耕耘的人提供既緊張又輕松的研究環(huán)境，使研究人員能安心與具有長期深遠影響的技術研究，是研究團隊面臨的挑戰(zhàn)和需要長期思考的課題。從公開發(fā)表的D2D和C2C相關文獻中可以看到，Nvidia在這一領域的研究投入超過十年，針對C2C互聯(lián)這一場景的研究工作也超過五年。在五到十年的維度上長期進行迭代研究，需要相當強的戰(zhàn)略定力，同時也需要非常寬松的研究環(huán)境和持續(xù)的研究投入。

5.???在人工智能時代，通過信息不對稱來獲取差異化競爭力或獲得收益的可能性越來越低。這是因為制造信息不對稱的難度和代價不斷飆升，而其所帶來的收益卻逐漸減少。在不久的未來，制造信息不對稱的代價將會遠遠超過收益。妄圖通過壟斷信息而達到差異化的競爭力，浪費的是時間，而失去的是機會。隨著大模型的進一步演進發(fā)展，普通人可以通過人工智能技術輕松地獲取并加工海量的信息且不會被淹沒。未來的核心競爭力是如何駕馭包括人工智能在內的工具，對未來技術走向給出正確的判斷。

6.???Nvidia并非不可戰(zhàn)勝，在激進的技術路標背后也隱藏著巨大的風險。如何向資本證明其在AI計算領域的能夠長期維持統(tǒng)治地位，保持長期的盈利能力，以維持其高股價、實現(xiàn)持續(xù)高速增長，極具挑戰(zhàn)性。一旦2025年發(fā)布的X100及其配套關鍵技術不及預期，這將直接影響投資者的信心。這是Nvidia必須面臨的資本世界的考驗，在這一點上它并沒有制度優(yōu)勢。在一些基礎技術層面，業(yè)界面臨的挑戰(zhàn)是一樣的。以互聯(lián)技術為例，用于AI計算芯片Scale Up算力擴展的C2C互聯(lián)技術，以及面向AI集群Scale Out算力擴展的光電互聯(lián)技術都存在非常大的挑戰(zhàn)。誰能在未來互聯(lián)技術演進的探索中，快速試錯，最快地找到最佳路徑，少犯錯誤，誰就抓住了先機。在未來的競爭中有可能實現(xiàn)超越。

作者：陸玉春

審核編輯：黃飛

?