不再焦慮GPU供應，8芯片挑戰(zhàn)5萬億參數(shù)大模型

電子發(fā)燒友網(wǎng)報道（文/周凱揚）隨著LLM與生成式AI熱度不減，不少AI芯片初創(chuàng)公司都找到了新的發(fā)力點，紛紛調整設計思路，專為這一爆款應用開發(fā)出了新款芯片。且不說這些芯片的實際性能如何，但這無疑是當下推動這些公司獲得投資，并在行業(yè)下行期存活下去的救命稻草。今天我們就來聊聊剛發(fā)布新品SN40L的AI芯片初創(chuàng)公司SambaNova。

SN40L背后的SambaNova

SambaNova成立于2017年，截至目前已經(jīng)歷了共計6輪融資，參與融資的公司包括谷歌、英特爾和軟銀等，融資總額高達11億美元。只不過最近的D輪融資，距今已經(jīng)有兩年多的時間，也難怪SambaNova急于推出SN40L這一芯片，畢竟此類初創(chuàng)公司的開發(fā)從來都是燒錢的。

其實在SN40L推出以前，SambaNova也并非默默無聞，比如美國阿貢國家實驗室早在第一代產(chǎn)品SN10推出時就在使用和測試SambaNova的系統(tǒng)了，只不過屆時基于SN10的SambaNova Dataflow系統(tǒng)還只是用于消除數(shù)據(jù)噪聲而已。

如果我們現(xiàn)在看阿貢國家實驗室的ALCF AI測試平臺，我們可以看到5大系統(tǒng)，分別是Cerebras的CS2、SambaNova的Dataflow、Graphcore的Bow Pod64、Grop系統(tǒng)以及Habana的Gaudi。而目前用于ALCF AI測試平臺的SambaNova Dataflow就是基于SN40L的上一代產(chǎn)品SN30 RDU打造的，該芯片基于臺積電的7nm工藝打造。

目前SN30用在阿貢國家實驗室的這套系統(tǒng)主要用于一些科學研究領域的AI計算，比如中微子物理、癌癥預測、氣候建模以及下一代汽車引擎研發(fā)等。而我們真正關注的是剛發(fā)布的SN40L，以及它在LLM這一應用上能提供何種不同的優(yōu)勢。

英偉達GPU的替代方案

目前LLM的主流方案，即英偉達的A100、H100 GPU，存在一個很大的問題，那就是缺貨。對于任何互聯(lián)網(wǎng)廠商來說，在市面上找到足夠多的GPU都是一件費錢費力的事。而對于云服務廠商來說也是如此，他們也要考慮出租這類服務器時，GPU的算力與容量分配問題。

SN40L芯片和CEO Rodrigo Liang / SambaNova

為了解決“數(shù)量”的問題，SambaNova推出了SN40L。相較上一代的SN30，該芯片基于臺積電5nm工藝打造，每個芯片集成了1020億個晶體管和1040個核，算力高達638TFlops。更夸張的是，SambaNova稱單個SN40L系統(tǒng)節(jié)點（8塊SN40L芯片）就能支持到最高5萬億參數(shù)的大模型。

與其他AI芯片初創(chuàng)公司不一樣的是，他們并沒有選擇直接將芯片賣給其他公司這條路線，而是選擇了售賣訪問其定制AI技術棧的訪問權，包括其自研硬件和運行超大模型的軟件等。這種商業(yè)模式或許能吸引一部分互聯(lián)網(wǎng)公司，但在云服務廠商眼中，他們應該不會覺得這是一套可盈利的方案。

此外，SambaNova與其他競爭對手一樣，在AI芯片上引入了64GB HBM用于解決內(nèi)存墻的問題，這也是SN40L與上一代芯片的差異之一。只不過SambaNova并沒有透露SN40L用的是何種HBM，以及帶寬性能如何。

寫在最后

雖然SambaNova展示了提高LLM擴展性的另一條道路，但在沒有經(jīng)過實際驗證之前，市場還是會對其持觀望態(tài)度。此前也有不少AI芯片公司發(fā)表過同樣大膽的聲明，但事實證明這類芯片只適合用于運行那些預訓練完成的模型，而訓練過程仍需要靠GPU來完成。所以哪怕SambaNova的CEO Rodrigo Liang強調SN40L的訓練性能足夠優(yōu)秀，但是否能在這套商業(yè)模式下闖出一片天，就得交由市場去驗證了。