SambaNova推類ChatGPT開源模型BLOOMChat之后再推AI芯片SN40L

SambaNova推類ChatGPT開源模型BLOOMChat之后再推AI芯片SN40L

SambaNova是硅谷AI芯片初創(chuàng)公司，近期推出了AI芯片SN40L，SN40L芯片基于臺積電5nm工藝打造，每個芯片集成了1020億個晶體管和1040個核，算力高達638TFlops。這款新 SambaNova 芯片由臺積電負責(zé)制造，能夠支持 5 萬億參數(shù)模型，并包含兩種先進的存儲形式。

SambaNova稱單個SN40L系統(tǒng)節(jié)點（8塊SN40L芯片）就能支持到最高5萬億參數(shù)的大模型。

此外，SambaNova與其他競爭對手一樣，在AI芯片上引入了64GB HBM用于解決內(nèi)存墻的問題，這也是SN40L與上一代芯片的差異之一。只不過SambaNova并沒有透露SN40L用的是何種HBM，以及帶寬性能如何。

SambaNova成立于2017年，截至目前已經(jīng)歷了共計6輪融資，參與融資的公司包括谷歌、英特爾和軟銀等，融資總額高達11億美元。

此前SambaNova還與Together聯(lián)合推出了類ChatGPT開源模型——BLOOMChat。

BLOOMChat是基于BigScience在2022年7月開源的大語言模型BLOOM開發(fā)而成，并在OpenChatKit、Dolly 2.0和OASST1的數(shù)據(jù)訓(xùn)練集上進行微調(diào)。

BLOOMChat有1760億參數(shù)，支持中文、英文、日文、法文、等46種語言；支持代碼生成，包括Python、java、php、cpp、Ruby、C++等13種編程語言；可用于 Apache 2.0 修改版本下的研究和商業(yè)用例；知名開源平臺持續(xù)提供技術(shù)迭代等。

BLOOMChat與目前市面上大多數(shù)類ChatGPT開源模型相比，在預(yù)訓(xùn)練數(shù)據(jù)、指令調(diào)優(yōu)、功能擴展、AI對齊等方面擁有巨大優(yōu)勢。