何為異構(gòu)芯片 協(xié)同異構(gòu)AI芯片的挑戰(zhàn)

進(jìn)入大模型時(shí)代，全社會(huì)算力需求被推高到了前所未有的程度。

由于大模型AI對(duì)于全社會(huì)的重要性，以及各行各業(yè)加快建設(shè)智算中心，也引發(fā)了全社會(huì)學(xué)習(xí)異構(gòu)AI芯片的熱潮。

異構(gòu)AI芯片出現(xiàn)的現(xiàn)象

2024年1月，微軟聯(lián)合創(chuàng)始人比爾·蓋茨與OpenAI首席執(zhí)行官山姆·奧特曼進(jìn)行了一次對(duì)話，奧特曼在對(duì)話中表示人工智能將引發(fā)人類(lèi)歷史上“最快”的一次技術(shù)革命，人類(lèi)可能還沒(méi)有準(zhǔn)備好以多快的速度適應(yīng)這種變革。

奧特曼預(yù)計(jì)，這項(xiàng)技術(shù)將迅速發(fā)展，使系統(tǒng)的計(jì)算能力達(dá)到GPT-4的10萬(wàn)倍或100萬(wàn)倍。

簡(jiǎn)單來(lái)說(shuō)，用于人工智能計(jì)算的英偉達(dá)GPU芯片遠(yuǎn)遠(yuǎn)不夠用了。

而為應(yīng)對(duì)GPU全球供應(yīng)短缺問(wèn)題，以及美國(guó)對(duì)GPU的出口限制問(wèn)題，當(dāng)然更重要的是在AI場(chǎng)景下降低成本，于是市場(chǎng)上涌現(xiàn)了各類(lèi)異構(gòu)AI芯片。

何為異構(gòu)芯片

異構(gòu)芯片即結(jié)合兩種或多種不同類(lèi)型的處理器或控制器架構(gòu)的芯片。

異構(gòu)芯片可以是CPU+FPGA，CPU+GPU也可以是CPU+AI，也可以是CPU+動(dòng)態(tài)可重構(gòu)等不同架構(gòu)，這些架構(gòu)都是利用一種架構(gòu)的優(yōu)勢(shì)來(lái)彌補(bǔ)另外一種架構(gòu)的不足，以適應(yīng)用戶(hù)多種用途的應(yīng)用需求。

Intel的CPU+Altera的FPGA或者AMD的Instinct MI300和英偉達(dá)的Grace Hopper超級(jí)芯片也是采用“CPU+GPU”的異構(gòu)形式。

CPU+GPU架構(gòu)的優(yōu)勢(shì)

CPU和GPU協(xié)同工作時(shí)，CPU包含幾個(gè)專(zhuān)為串行處理而優(yōu)化的核心，GPU則由數(shù)以千計(jì)更小、更節(jié)能的核心組成，這些核心專(zhuān)為提供強(qiáng)勁的并行運(yùn)算性能而設(shè)計(jì)。

程序的串行部分在CPU上運(yùn)行，而并行部分則在GPU上運(yùn)行。

GPU目前已經(jīng)發(fā)展到成熟階段，可輕松執(zhí)行現(xiàn)實(shí)生活中的各種應(yīng)用程序，而且程序運(yùn)行速度已遠(yuǎn)遠(yuǎn)超過(guò)使用多核系統(tǒng)時(shí)的情形。

因此，CPU和GPU的結(jié)合剛好可以解決深度學(xué)習(xí)模型訓(xùn)練在CPU上耗時(shí)長(zhǎng)的問(wèn)題，提升深度學(xué)習(xí)模型的訓(xùn)練效率。

CPU與GPU的應(yīng)用場(chǎng)景也不斷拓寬

隨著CPU與GPU的結(jié)合，其相較于單獨(dú)CPU與GPU的應(yīng)用場(chǎng)景也不斷拓寬。

CPU+GPU架構(gòu)適用于處理高性能計(jì)算。伴隨著高性能計(jì)算類(lèi)應(yīng)用的發(fā)展，驅(qū)動(dòng)算力需求不斷攀升，但目前單一計(jì)算類(lèi)型和架構(gòu)的處理器已經(jīng)無(wú)法處理更復(fù)雜、更多樣的數(shù)據(jù)。

數(shù)據(jù)中心如何在增強(qiáng)算力和性能的同時(shí)，具備應(yīng)對(duì)多類(lèi)型任務(wù)的處理能力，成為全球性的技術(shù)難題。

CPU+GPU的異構(gòu)并行計(jì)算架構(gòu)作為高性能計(jì)算的一種主流解決方案，受到廣泛關(guān)注。

CPU+GPU架構(gòu)適用于處理數(shù)據(jù)中心產(chǎn)生的海量數(shù)據(jù)。數(shù)據(jù)爆炸時(shí)代來(lái)臨，使用單一架構(gòu)來(lái)處理數(shù)據(jù)的時(shí)代已經(jīng)過(guò)去。

比如：個(gè)人互聯(lián)網(wǎng)用戶(hù)每天產(chǎn)生約1GB數(shù)據(jù)，智能汽車(chē)每天約50GB，智能醫(yī)院每天約3TB數(shù)據(jù)，智慧城市每天約50PB數(shù)據(jù)。

數(shù)據(jù)的數(shù)量和多樣性以及數(shù)據(jù)處理的地點(diǎn)、時(shí)間和方式也在迅速變化。無(wú)論工作任務(wù)是在邊緣還是在云中，不管是人工智能工作任務(wù)還是存儲(chǔ)工作任務(wù)，都需要有正確的架構(gòu)和軟件來(lái)充分利用這些特點(diǎn)。

CPU+GPU架構(gòu)可以共享內(nèi)存空間，消除冗余內(nèi)存副本來(lái)改善問(wèn)題。

在此前的技術(shù)中，雖然GPU和CPU已整合到同一個(gè)芯片上，但是芯片在運(yùn)算時(shí)要定位內(nèi)存的位置仍然得經(jīng)過(guò)繁雜的步驟，這是因?yàn)镃PU和GPU的內(nèi)存池仍然是獨(dú)立運(yùn)作。

為了解決兩者內(nèi)存池獨(dú)立的運(yùn)算問(wèn)題，當(dāng)CPU程式需要在GPU上進(jìn)行部分運(yùn)算時(shí)，CPU都必須從CPU的內(nèi)存上復(fù)制所有的資料到GPU的內(nèi)存上，而當(dāng)GPU上的運(yùn)算完成時(shí)，這些資料還得再?gòu)?fù)制回到CPU內(nèi)存上。

然而，將CPU與GPU放入同一架構(gòu)，就能夠消除冗余內(nèi)存副本來(lái)改善問(wèn)題，處理器不再需要將數(shù)據(jù)復(fù)制到自己的專(zhuān)用內(nèi)存池來(lái)訪問(wèn)/更改該數(shù)據(jù)。

統(tǒng)一內(nèi)存池還意味著不需要第二個(gè)內(nèi)存芯片池，即連接到CPU的DRAM。

因此，通過(guò)CPU+GPU異構(gòu)并行計(jì)算架構(gòu)組成的服務(wù)器，正成為服務(wù)器市場(chǎng)中的一匹黑馬。現(xiàn)在已有多家芯片廠商開(kāi)始跟進(jìn)。

協(xié)同異構(gòu)AI芯片的挑戰(zhàn)

在實(shí)際建設(shè)智算中心的時(shí)候，到底在GPU、FPGA、DSA和ASIC之間選擇哪種算力和算力組合，這是一個(gè)很大的問(wèn)題。

GPU雖然能夠應(yīng)對(duì)大模型計(jì)算需求，但一卡難求以及限制性能等問(wèn)題嚴(yán)重；

DSA靈活性有限，硬件和軟件架構(gòu)呈現(xiàn)碎片化；

FPGA的功耗和成本較高，主要用于原型驗(yàn)證，難以在實(shí)際場(chǎng)景中大規(guī)模落地；

ASIC功能固化，缺乏足夠的靈活性，而且ASIC芯片的研發(fā)周期長(zhǎng)、成本高和風(fēng)險(xiǎn)大等，都為大規(guī)模和長(zhǎng)期采用帶來(lái)了挑戰(zhàn)。

另外，多異構(gòu)計(jì)算的硬件層次高集成度和系統(tǒng)軟件層次多協(xié)同、通用編程模型和開(kāi)發(fā)環(huán)境等，都是行業(yè)需要解決的問(wèn)題，多異構(gòu)共存的異構(gòu)計(jì)算孤島現(xiàn)象越來(lái)越突顯。

特別是不同的異構(gòu)計(jì)算編程框架，要求開(kāi)發(fā)者掌握多種編程模式和語(yǔ)言，使得代碼移植面臨巨大挑戰(zhàn)。

尋找一個(gè)真正統(tǒng)一、能滿(mǎn)足所有硬件和應(yīng)用需求的編程方法，仍是當(dāng)下計(jì)算領(lǐng)域的熱門(mén)研究課題。

結(jié)尾：可發(fā)展產(chǎn)業(yè)機(jī)遇

大模型AI的出現(xiàn)，為重構(gòu)數(shù)據(jù)中心帶來(lái)了機(jī)遇。由于大模型AI天然帶來(lái)海量的數(shù)據(jù)中心內(nèi)部通信而不是對(duì)外通信，在將數(shù)據(jù)中心重構(gòu)為智算中心的時(shí)候，就帶來(lái)了“一個(gè)數(shù)據(jù)中心即為一臺(tái)計(jì)算機(jī)”的設(shè)計(jì)理念，這就是以系統(tǒng)設(shè)計(jì)為中心的原則。

以系統(tǒng)設(shè)計(jì)為中心，即考慮一個(gè)數(shù)據(jù)中心上承載大模型訓(xùn)練等邏輯上單一的“大應(yīng)用”，也就是數(shù)據(jù)中心級(jí)的業(yè)務(wù)系統(tǒng)。

因此在智算中心的設(shè)計(jì)上要超越硬件和軟件的傳統(tǒng)界限，將整個(gè)數(shù)據(jù)中心作為一個(gè)協(xié)同工作的系統(tǒng)。

有了以數(shù)據(jù)中心為一臺(tái)計(jì)算機(jī)的設(shè)計(jì)理念和角度，就能找到有效的軟硬件協(xié)同的異構(gòu)融合計(jì)算之路。

內(nèi)容及圖片來(lái)源于：晶上聯(lián)盟

審核編輯：劉清