不知大家是否還記得去年英偉達發(fā)布的A100 GPU,作為V100推出三年后的又一大計算卡,其性能較V100提升了20倍,英偉達更是稱其為最大的7nm芯片,面積達到826 mm2。而初創(chuàng)公司Cerebras則在近日發(fā)布了第二代Wafer Scale Engine(WSE-2)芯片,奪下了7nm下面積最大芯片的寶座。
WSE-2 芯片/ Cerebras
從2015年到2020年,全球在訓(xùn)練大型模型上的計算已經(jīng)到了30萬倍,AI的限制更像是運算能力的限制,而不單單只是應(yīng)用和創(chuàng)意。驗證一個猜想和訓(xùn)練一個新模型可能會花上數(shù)周乃至數(shù)月的時間,Cerebras的WSE-2旨在解決這些影響創(chuàng)新速度的問題。
一塊晶圓 =一個芯片
WSE-2與A100面積大小對比 / Cerebras
WSE-2從上一代的16nm工藝替換為7nm,盡管面積不變,但新制程的密度優(yōu)勢使其晶體管數(shù)量翻倍,達到了26000億,AI核心數(shù)更是增加至85萬個。Cerebras是在參數(shù)簡介上直接對標英偉達的A100,與826 mm2 的A100相比,46225 mm2的WSE-2是前者的56倍。WSE-2片上內(nèi)存為40GB,是A100的千倍,內(nèi)存帶寬更是做到A100的上萬倍。WSE內(nèi)含85萬個專為AI應(yīng)用優(yōu)化的稀疏線性代數(shù)計算(SLAC)核心,非常適合神經(jīng)網(wǎng)絡(luò)運算。
Cerebras也指出內(nèi)存也是計算中重要的一環(huán)。就拿上面提到的A100來說,A100只有40MB的L2 cache,卻有著40GB的HBM2內(nèi)存,但這種圖形處理器的缺點就在于這種顯存往往是片外內(nèi)存,而且速度太慢,延遲過高。而WSE-2的40GB內(nèi)存則是均勻分布在AI核心上,且?guī)捒梢赃_到20PB/s。
其實早在去年的HotChips大會上,Cerebras就已經(jīng)透露過這個85萬AI核的新處理器,但由于一些延誤,他們沒法及時在去年發(fā)布。Cerebras聯(lián)合創(chuàng)始人Andrew Feldman在近期采訪中提到,與客戶合作了一年之后,他們汲取了一些經(jīng)驗教訓(xùn),并將其整合進了新的AI核心中去,因此這一推遲很可能是由于對AI核心微架構(gòu)的改進。
以往一個晶圓需要切割成多個芯片,經(jīng)過封裝后再作為處理器上市售賣。而Cerebras的解決方案是晶圓級集成技術(shù),直接利用一個晶圓的最大面積來生產(chǎn)單一芯片,不過考慮到目前矩形芯片依然是效率最高的選擇,自然不可能直接拿整個圓形晶圓來制造芯片,Cerebras也從一塊晶圓中選取了最大的正方形。雖然從12英寸晶圓的面積來看,制造一個WSE-2只用到了2/3的面積,但與芯片的售價相比,哪怕這些邊角料被浪費,損失也只是滄海一粟而已。要知道Cerebras賣給匹茨堡超算中心的兩臺基于WSE-1的系統(tǒng),可是從中獲利近500萬美元。
基于WSE-2的AI計算平臺
但更強大的芯片放在一個老舊的系統(tǒng)里并非一定能實現(xiàn)全部的性能,反而可能會凸顯出原有系統(tǒng)的瓶頸,比如通信結(jié)構(gòu)、芯片I/O、電源和散熱等等。這就像是拿法拉利的引擎放在大眾車里,也跑不出前者的速度一樣。
CS-2散熱系統(tǒng) / Cerebras
基于WSE-2、Cerebras的系統(tǒng)以及軟件平臺,Cerebras也推出了新一代深度學(xué)習(xí)系統(tǒng)CS-2,來突破系統(tǒng)上的限制。這么強大的性能自然需要強大的供電,CS-2采用了9+3的冗余供電配置來驅(qū)動WSE-2。但這樣的供電自然也面臨著散熱上的挑戰(zhàn),Cerebras在CS-2內(nèi)部運用了一套水冷散熱系統(tǒng),用水冷來對WSE-2散熱,再由風冷來降低水溫。與此同時,CS-2的空間占用并不大,這個26英寸高的機器僅僅占用15U的機架空間,雖然大于英偉達的HGX A100系統(tǒng),但考慮到性能的提升,這點空間占用還是可以接受的。
CS-2 系統(tǒng)/ Cerebras
據(jù)Cerebras透露,WSE-2和CS-2都將于今年第三季度推出,而CS-2的價格也將從CS-1的2到3百萬美元漲到“幾百萬”美元的不具體數(shù)字。
小結(jié)
盡管Cerebras的WSE-2是一個性能怪獸,但它的應(yīng)用面并沒有A100那么廣,更像是面向小眾市場。就拿WSE-1的一些客戶來說,多數(shù)在進行一些生物及醫(yī)學(xué)研究,比如癌癥治療、藥物發(fā)現(xiàn)等,且多用于超算中心與國家實驗室,比如上面提到的匹茨堡超算中心和阿貢國家實驗室。而英偉達的A100則可以用于各種AI和HPC應(yīng)用,這也是Cerebras目前的解決方案沒有突破的,但考慮到Cerebras的定位也不是為了做到全面覆蓋,專注于一個市場反而是Cerebras能做到如此優(yōu)秀的原因所在。
其實最值得去突破的仍是這種晶圓級集成的技術(shù),固然芯片設(shè)計廠商希望從單一晶圓中獲取更多的芯片,獲取更高的利潤,但這種純粹追求性能的芯片反而適合如今不少Power-hungry的應(yīng)用。話雖如此,實現(xiàn)這類芯片的良率同樣是一大挑戰(zhàn),并不是每家公司都像Cerebras一樣在WSE-2上實現(xiàn)100%的良率的。
本文由電子發(fā)燒友原創(chuàng),轉(zhuǎn)載請注明以上來源。如需入群交流,請?zhí)砑游⑿舉lecfans999,投稿爆料采訪需求,請發(fā)郵箱huangjingjing@elecfans.com。
-
處理器
+關(guān)注
關(guān)注
68文章
19382瀏覽量
230479 -
芯片
+關(guān)注
關(guān)注
456文章
51019瀏覽量
425399
發(fā)布評論請先 登錄
相關(guān)推薦
評論