GPU的歷史性時(shí)刻！

8月23日，GPU巨頭Nvidia發(fā)布了2023年二季度財(cái)報(bào)，其結(jié)果遠(yuǎn)超預(yù)期。總體來說，Nvidia二季度的收入達(dá)到了135億美元，相比去年同期增長了101%；凈利潤達(dá)到了61億美元，相比去年同期增長了843%。Nvidia公布的這一驚人的財(cái)報(bào)一度在盤后讓Nvidia股票大漲6%，甚至還帶動(dòng)了眾多人工智能相關(guān)的科技股票在盤后跟漲。

Nvidia收入在二季度如此大漲，主要靠的就是目前方興未艾的人工智能風(fēng)潮。ChatGPT為代表的大模型技術(shù)從去年第三季度以來，正在得到全球幾乎所有互聯(lián)網(wǎng)公司的追捧，包括美國硅谷的谷歌、亞馬遜以及中國的百度、騰訊、阿里巴巴等等巨頭。而這些大模型能進(jìn)行訓(xùn)練和推理的背后，都離不開人工智能加速芯片，Nvidia的GPU則是大模型訓(xùn)練和推理加速目前的首選方案。由于個(gè)大科技巨頭以及初創(chuàng)公司都在大規(guī)模購買Nvidia的A系列和H系列高端GPU用于支持大模型訓(xùn)練算力，這也造成了Nvidia的數(shù)據(jù)中心GPU供不應(yīng)求，當(dāng)然這反映到財(cái)報(bào)中就是收入和凈利潤的驚人增長。

事實(shí)上，從Nvidia的財(cái)報(bào)中，除了亮眼的收入和凈利潤數(shù)字之外，還有一個(gè)關(guān)鍵的數(shù)字值得我們關(guān)注，就是Nvidia二季度的數(shù)據(jù)中心業(yè)務(wù)收入。根據(jù)財(cái)報(bào)，Nvidia二季度的數(shù)據(jù)中心業(yè)務(wù)收入超過了100億美元，相比去年同期增長171%。Nvidia數(shù)據(jù)中心業(yè)務(wù)數(shù)字本身固然非常驚人，但是如果聯(lián)系到其他公司的同期相關(guān)收入并進(jìn)行對(duì)比，我們可以看到這個(gè)數(shù)字背后更深遠(yuǎn)的意義。同樣在2023年第二季度，Intel的數(shù)據(jù)中心業(yè)務(wù)收入是40億美元，相比去年同期下降15%；AMD的數(shù)據(jù)中心業(yè)務(wù)收入是13億美元，相比去年同期下降11%。我們從中可以看到，在數(shù)據(jù)中心業(yè)務(wù)的收入數(shù)字上，Nvidia在2023年第二季度的收入已經(jīng)超過了Intel和AMD在相同市場收入的總和。

這樣的對(duì)比的背后，體現(xiàn)出了在人工智能時(shí)代，人工智能加速芯片（GPU）和通用處理器芯片（CPU）地位的反轉(zhuǎn)。目前，在數(shù)據(jù)中心，人工智能加速芯片/GPU事實(shí)上最主流的供貨商就是Nvidia，而通用處理器芯片/CPU的兩大供貨商就是Intel和AMD，因此比較Nvidia和Intel+AMD在數(shù)據(jù)中心領(lǐng)域的收入數(shù)字就相當(dāng)于比較GPU和CPU之間的出貨規(guī)模。雖然人工智能從2016年就開始火熱，但是在數(shù)據(jù)中心，人工智能相關(guān)的芯片和通用芯片CPU相比，獲得的市場份額增長并不是一蹴而就的：在2023年之前，數(shù)據(jù)中心CPU的份額一直要遠(yuǎn)高于GPU的份額；甚至在2023年第一季度，Nvidia在數(shù)據(jù)中心業(yè)務(wù)上的收入（42億美元）仍然要低于Intel和AMD在數(shù)據(jù)中心業(yè)務(wù)的收入總和；而在第二季度，這樣的力量對(duì)比反轉(zhuǎn)了，在數(shù)據(jù)中心GPU的收入一舉超過了CPU的收入。

這也是一個(gè)歷史性的時(shí)刻。從上世紀(jì)90年代PC時(shí)代開始，CPU一直是摩爾定律的領(lǐng)軍者，其輝煌從個(gè)人電腦時(shí)代延續(xù)到了云端數(shù)據(jù)中心時(shí)代，同時(shí)也推動(dòng)了半導(dǎo)體領(lǐng)域的持續(xù)發(fā)展；而在2023年，隨著人工智能對(duì)于整個(gè)高科技行業(yè)和人類社會(huì)的影響，用于通用計(jì)算的CPU在半導(dǎo)體芯片領(lǐng)域的地位正在讓位于用于人工智能加速的GPU（以及其他相關(guān)的人工智能加速芯片）。

摩爾定律的故事在GPU上仍然在發(fā)生

眾所周知，CPU的騰飛離不開半導(dǎo)體摩爾定律。根據(jù)摩爾定律，半導(dǎo)體工藝特征尺寸每18個(gè)月演進(jìn)一代，同時(shí)晶體管的性能也得大幅提升，這就讓CPU在摩爾定律的黃金時(shí)代（上世紀(jì)80年代至本世紀(jì)第一個(gè)十年）突飛猛進(jìn)：一方面CPU性能每一年半就迭代一次，推動(dòng)新的應(yīng)用出現(xiàn)，另一方面新的應(yīng)用出現(xiàn)又進(jìn)一步推動(dòng)對(duì)于CPU性能的需求，這樣兩者就形成了一個(gè)正循環(huán)。這樣的正循環(huán)一直到2010年代，隨著摩爾定律逐漸接近物理瓶頸而慢慢消失——我們可以看到，最近10年中，CPU性能增長已經(jīng)從上世紀(jì)8、90年代的15%年復(fù)合增長率（即性能每18個(gè)月翻倍）到了2015年后的3%年復(fù)合增長率（即性能需要20年才翻倍）。

但是，摩爾定律對(duì)于半導(dǎo)體晶體管性能增長的驅(qū)動(dòng)雖然已經(jīng)消失，但是摩爾定律所預(yù)言的性能指數(shù)級(jí)增長并沒有消失，而是從CPU轉(zhuǎn)到了GPU上。如果我們看2005年之后GPU的性能（算力）增長，我們會(huì)發(fā)現(xiàn)它事實(shí)上一直遵循了指數(shù)增長規(guī)律，大約2.2年性能就會(huì)翻倍！

同樣是芯片，為什么GPU能延續(xù)指數(shù)級(jí)增長？這里，我們可以從需求和技術(shù)支撐兩方面來分析：需求意味著市場上是不是有應(yīng)用對(duì)于GPU的性能指數(shù)級(jí)增長有強(qiáng)大的需求？而技術(shù)支撐則是，從技術(shù)上有沒有可能實(shí)現(xiàn)指數(shù)級(jí)性能增長？

從需求上來說，人工智能確實(shí)存在著這樣強(qiáng)烈需求。我們可以看到，從2012年（神經(jīng)網(wǎng)絡(luò)人工智能復(fù)興怨念開始）到至今，人工智能模型的算力需求確實(shí)在指數(shù)級(jí)增長。2012年到2018年是卷積神經(jīng)網(wǎng)絡(luò)最流行的年份，在這段時(shí)間里我們看到人工智能模型的算力需求增長大約是每兩年15倍。在那個(gè)時(shí)候，GPU主要負(fù)責(zé)的是模型訓(xùn)練，而在推理部分GPU的性能一般都是綽綽有余。而從2018年進(jìn)入以Transformer架構(gòu)為代表的大模型時(shí)代后，人工智能模型對(duì)于算力需求的演進(jìn)速度大幅提升，已經(jīng)到了每兩年750倍的地步。在大模型時(shí)代，即使是模型的推理也離不開GPU，甚至單個(gè)GPU都未必能滿足推理的需求；而訓(xùn)練更是需要數(shù)百塊GPU才能在合理的時(shí)間內(nèi)完成。這樣的性能需求增長速度事實(shí)上讓GPU大約每兩年性能翻倍的速度都相形見拙，事實(shí)上目前GPU性能提升速度還是供不應(yīng)求！因此，如果從需求側(cè)去看，GPU性能指數(shù)級(jí)增長的曲線預(yù)計(jì)還會(huì)延續(xù)很長一段時(shí)間，在未來十年內(nèi)GPU很可能會(huì)從CPU那邊接過摩爾定律的旗幟，把性能指數(shù)級(jí)增長的神話續(xù)寫下去。

GPU性能指數(shù)增長背后的技術(shù)支撐

除了需求側(cè)之外，為了能讓GPU性能真正維持指數(shù)增長，背后必須有相應(yīng)的芯片技術(shù)支撐。我們認(rèn)為，在未來幾年內(nèi)，有三項(xiàng)技術(shù)將會(huì)是GPU性能維持指數(shù)級(jí)增長背后的關(guān)鍵。

第一個(gè)技術(shù)就是領(lǐng)域?qū)Ｓ茫╠omain-specific）芯片設(shè)計(jì)。同樣是芯片，GPU性能可以指數(shù)級(jí)增長而CPU卻做不到，其中的一個(gè)重要因素就是GPU性能增長不僅僅來自于晶體管性能提升和電路設(shè)計(jì)改進(jìn)，更來自于使用領(lǐng)域?qū)Ｓ迷O(shè)計(jì)的思路。例如，在2016年之前，GPU支持的計(jì)算主要是32位浮點(diǎn)數(shù)（fp32），這也是在高性能計(jì)算領(lǐng)域的默認(rèn)數(shù)制；但是在人工智能興起之后，研究表明人工智能并不需要32位浮點(diǎn)數(shù)怎么高的精度，而事實(shí)上16位浮點(diǎn)數(shù)已經(jīng)足夠用于訓(xùn)練，而推理使用8位整數(shù)甚至4位整數(shù)都?jí)蛄?。而由于低精度?jì)算的開銷比較小，因此使用領(lǐng)域?qū)Ｓ糜?jì)算的設(shè)計(jì)思路，為這樣的低精度計(jì)算做專用優(yōu)化可以以較小的代價(jià)就實(shí)現(xiàn)人工智能領(lǐng)域較大的性能提升。從Nvidia GPU的設(shè)計(jì)我們可以看到這樣的思路，我們看到了計(jì)算數(shù)制方面在過去的10年中從fp32到fp16到int8和int4的高效支持，可以說是一種低成本快速提高性能的思路。除此之外，還有對(duì)于神經(jīng)網(wǎng)絡(luò)的支持（TensorCore），稀疏計(jì)算的支持，以及Transformer的硬件支持等等，這些都是領(lǐng)域?qū)Ｓ迷O(shè)計(jì)在GPU上的很好體現(xiàn)。在未來，GPU性能的提升中，可能是有很大一部分來自于這樣的領(lǐng)域?qū)Ｓ迷O(shè)計(jì)，往往一兩個(gè)專用加速模塊的引入就能打破最新人工智能模型的運(yùn)行瓶頸來大大提升整體性能，從而實(shí)現(xiàn)四兩撥千斤的效果。

第二個(gè)技術(shù)就是高級(jí)封裝技術(shù)。高級(jí)封裝技術(shù)對(duì)于GPU的影響來自兩部分：高速內(nèi)存和更高的集成度。在大模型時(shí)代，隨著模型參數(shù)量的進(jìn)一步提升，內(nèi)存訪問性能對(duì)于GPU整體性能的影響越來越重要——即使GPU芯片本身性能極強(qiáng)，但是內(nèi)存訪問速度不跟上的話，整體性能還是會(huì)被內(nèi)存訪問帶寬所限制，換句話說就是會(huì)遇到“內(nèi)存墻”問題。為了避免內(nèi)存訪問限制整體性能，高級(jí)封裝是必不可少的，目前的高帶寬內(nèi)存訪問接口（例如已經(jīng)在數(shù)據(jù)中心GPU上廣泛使用的HBM內(nèi)存接口）就是一種針對(duì)高級(jí)封裝的標(biāo)準(zhǔn)，而在未來我們預(yù)期看到高級(jí)封裝在內(nèi)存接口方面起到越來越重要的作用，從而助推GPU性能的進(jìn)一步提升。高級(jí)封裝對(duì)于GPU性能提升的另一方面來自于更高的集成度。最尖端半導(dǎo)體工藝（例如3nm和以下）中，隨著芯片規(guī)模變大，芯片良率會(huì)遇到挑戰(zhàn)，而GPU可望是未來芯片規(guī)模提升最激進(jìn)的芯片品類。在這種情況下，使用芯片粒將一塊大芯片分割成多個(gè)小芯片粒，并且使用高級(jí)封裝技術(shù)集成到一起，將會(huì)是GPU突破芯片規(guī)模限制的重要方式之一。目前，AMD的數(shù)據(jù)中心GPU已經(jīng)使用上了芯片粒高級(jí)封裝技術(shù)，而Nvidia預(yù)計(jì)在不久的未來也會(huì)引入這項(xiàng)技術(shù)來進(jìn)一步繼續(xù)提升GPU芯片集成度。

最后，高速數(shù)據(jù)互聯(lián)技術(shù)將會(huì)進(jìn)一步確保GPU分布式計(jì)算性能提升。如前所述，大模型的算力需求提升速度是每兩年750倍，遠(yuǎn)超GPU摩爾定律提升性能的速度。這樣，單一GPU性能趕不上模型算力需求，那么就必須用數(shù)量來湊，即把模型分到多塊GPU上進(jìn)行分布式計(jì)算。未來幾年我們可望會(huì)看到大模型使用越來越激進(jìn)的分布式計(jì)算策略，使用數(shù)百塊，上千塊甚至上萬塊GPU來完成訓(xùn)練。在這樣的大規(guī)模分布式計(jì)算中，高速數(shù)據(jù)互聯(lián)將會(huì)成為關(guān)鍵，否則不同計(jì)算單元之間的數(shù)據(jù)交換將會(huì)成為整體計(jì)算的瓶頸。這些數(shù)據(jù)互聯(lián)包括近距離的基于電氣互聯(lián)的SerDes技術(shù)：例如在Nvidia的Grace Hopper Superchip中，使用NVLINK C2C做數(shù)據(jù)互聯(lián)，該互聯(lián)可以提供高達(dá)900GB/s的數(shù)據(jù)互聯(lián)帶寬（相當(dāng)于x16 PCIe Gen5的7倍）。另一方面，基于光互聯(lián)的長距離數(shù)據(jù)互聯(lián)也會(huì)成為另一個(gè)核心技術(shù)，當(dāng)分布式計(jì)算需要使用成千上萬個(gè)計(jì)算節(jié)點(diǎn)的時(shí)候，這樣的長距離數(shù)據(jù)交換也會(huì)變得很常見并且可能會(huì)成為系統(tǒng)性能的決定性因素之一。

我們認(rèn)為，在人工智能火熱的年代，GPU將會(huì)進(jìn)一步延續(xù)摩爾定律的故事，讓性能指數(shù)級(jí)發(fā)展繼續(xù)下去。為了滿足人工智能模型對(duì)于性能強(qiáng)烈的需求，GPU將會(huì)使用領(lǐng)域?qū)Ｓ迷O(shè)計(jì)、高級(jí)封裝和高速數(shù)據(jù)互聯(lián)等核心技術(shù)來維持性能的快速提升，而GPU以及它所在的人工智能加速芯片也將會(huì)成為半導(dǎo)體領(lǐng)域技術(shù)和市場進(jìn)步的主要推動(dòng)力。