奔向大模型時代，存算一體成為突破算力瓶頸的關(guān)鍵技術(shù)？

電子發(fā)燒友網(wǎng)報道（文/李彎彎）大模型的訓(xùn)練和推理需要高性能的算力支持。以ChatGPT為例，據(jù)估算，在訓(xùn)練方面，1746億參數(shù)的GPT-3模型大約需要375-625臺8卡DGXA100服務(wù)器訓(xùn)練10天左右，對應(yīng)A100GPU數(shù)量約3000-5000張。

在推理方面，如果以A100GPU單卡單字輸出需要350ms為基準(zhǔn)計算，假設(shè)每日訪問客戶數(shù)量高達(dá)5,000萬人時，按單客戶每日發(fā)問ChatGPT應(yīng)用10次，單次需要50字回答，則每日消耗GPU的計算時間將會高達(dá)243萬個小時，對應(yīng)的GPU需求數(shù)量將超過10萬個。

大模型的訓(xùn)練和推理依賴通用GPU

算力即計算能力，具體指硬件對數(shù)據(jù)收集、傳輸、計算和存儲的能力，算力的大小表明了對數(shù)字化信息處理能力的強弱，常用計量單位是FLOPS（Floating-pointoperationspersecond），表示每秒浮點運算次數(shù)。

當(dāng)前大模型的訓(xùn)練和推理多采用GPGPU。GPGPU是一種由GPU去除圖形處理和輸出，僅保留科學(xué)計算、AI訓(xùn)練和推理功能的GPU。GPU芯片最初用于計算機系統(tǒng)圖像顯示的運算，但因其相比于擅長橫向計算的CPU更擅長于并行計算，在涉及到大量的矩陣或向量計算的AI計算中很有優(yōu)勢，GPGPU應(yīng)運而生。

在這波ChatGPT浪潮中長期押注AI的英偉達(dá)可以說受益最多，ChatGPT、包括各種大模型的訓(xùn)練和推理，基本都采用英偉達(dá)的GPU。目前國內(nèi)多個廠商都在布局GPGPU，包括天數(shù)智芯、燧原科技、壁仞科技、登臨科技等，不過當(dāng)前還較少能夠應(yīng)用于大模型。

事實上業(yè)界認(rèn)為，隨著模型參數(shù)越來越大，GPU在提供算力支持上也存在瓶頸。在GPT-2之前的模型時代，GPU內(nèi)存還能滿足AI大模型的需求，近年來，隨著Transformer模型的大規(guī)模發(fā)展和應(yīng)用，模型大小每兩年平均增長240倍，實際上GPT-3等大模型的參數(shù)增長已經(jīng)超過了GPU內(nèi)存的增長。傳統(tǒng)的設(shè)計趨勢已經(jīng)不能適應(yīng)當(dāng)前的需求，芯片內(nèi)部、芯片之間或AI加速器之間的通信成為了AI計算的瓶頸。

存算一體技術(shù)如何突破算力瓶頸

而存算一體作為一種新型架構(gòu)形式受到關(guān)注，存算一體將存儲和計算有機結(jié)合，直接在存儲單元中處理數(shù)據(jù)，避免了在存儲單元和計算單元之間頻繁轉(zhuǎn)移數(shù)據(jù)，減少了不必要的數(shù)據(jù)搬移造成的開銷，不僅大幅降低了功耗，還可以利用存儲單元進行邏輯計算提高算力，顯著提升計算效率。

大模型的訓(xùn)練和部署不僅對算力提出了高要求，對能耗的要求也很高，從這個角度來看，存算一體降低功耗，提升計算效率等特性在大模型方面確實更具優(yōu)勢。

因為獨具優(yōu)勢，過去幾年已經(jīng)有眾多企業(yè)進入到存算一體領(lǐng)域，包括知存科技、千芯科技、蘋芯科技、后摩智能、億鑄科技等。各企業(yè)的技術(shù)方向也有所不同，從介質(zhì)層面來看，有的采用NORFlash，有的采用SRAM，也有的采用RRAM。

從目前的情況來看，基于NORFlash的存算一體產(chǎn)品，在算力上難以做大，應(yīng)用場景主要是對算力要求不高，對功耗要求高的可穿戴設(shè)備等領(lǐng)域；基于SRAM的存算一體算力可以更大些，能夠用于自動駕駛領(lǐng)域；而真正能夠在算力上實現(xiàn)突破，可以稱之為大算力AI芯片的，目前只有億鑄科技主推的基于RRAM的存算一體技術(shù)。

在大模型對大算力的需求背景下，億鑄科技近期更是提出了存算一體超異構(gòu)計算。超異構(gòu)計算能夠把更多的異構(gòu)計算整合重構(gòu)，從而各類型處理器間充分地、靈活地進行數(shù)據(jù)交互而形成的計算。

簡單來說，就是結(jié)合DSA、GPU、CPU、CIM等多個類型引擎的優(yōu)勢，實現(xiàn)性能的飛躍：DSA負(fù)責(zé)相對確定的大計算量的工作；GPU負(fù)責(zé)應(yīng)用層有一些性能敏感的并且有一定彈性的工作；CPU啥都能干，負(fù)責(zé)兜底；CIM就是存內(nèi)計算，超異構(gòu)和普通異構(gòu)的主要區(qū)別就是加入了CIM，由此可以實現(xiàn)同等算力，更低能耗，同等能耗，更高算力。另外，CIM由于器件的優(yōu)勢，能負(fù)擔(dān)比DSA更大的算力。

億鑄科技創(chuàng)始人、董事長兼CEO熊大鵬博士表示,存算一體超異構(gòu)計算的好處在于：一是在系統(tǒng)層,能夠把整體的效率做到最優(yōu)；二是在軟件層,能夠?qū)崿F(xiàn)跨平臺架構(gòu)統(tǒng)一。

基于存算一體超異構(gòu)概念，億鑄科技提出了自己的技術(shù)暢想：若能把新型憶阻器技術(shù)(RRAM)、存算一體架構(gòu)、芯粒技術(shù)（Chiplet）、3D封裝等技術(shù)結(jié)合，將會實現(xiàn)更大的有效算力、放置更多的參數(shù)、實現(xiàn)更高的能效比、更好的軟件兼容性、從而突破性能瓶頸，抬高AI大算力芯片的發(fā)展天花板。

圖源：億鑄科技

目前國內(nèi)已公開的能夠?qū)崿F(xiàn)存算一體AI大算力的芯片公司僅有億鑄科技，其基于RRAM的存算一體AI大算力芯片將在今年回片。

小結(jié)

無論是大模型的訓(xùn)練還是部署，對大算力芯片的需求都很大，從目前的情況來看，大模型的訓(xùn)練在很長時間都將要依賴于英偉達(dá)的GPU芯片。

而在大模型的推理部署方面，除了GPU,存算一體將是非常合適的選擇。未來大模型的部署規(guī)模會很大，從前不久英偉達(dá)專門推出適合大型語言模型部署的芯片平臺也能看出來。據(jù)億鑄科技透露，公司規(guī)劃的產(chǎn)品，在同等功耗下，性能將超越英偉達(dá)H100系列的推理芯片。