Meta自研RISC-V AI推理芯片

Meta取消了大規(guī)模推出內部推理芯片的計劃，并開始著手開發(fā)能夠執(zhí)行訓練和推理的芯片。

據悉，Meta之前發(fā)展AI業(yè)務時，一直沒有接受使用GPU，相反，直到去年，Meta都在主要使用CPU隊列運行人工智能工作負載，這也是Meta在AI進程上落后對手的關鍵原因之一。目前，Meta內部已開始計劃開發(fā)一款新型芯片，類似GPU，既能訓練AI模型，又能進行推理，該項目將于2025年左右完成。

Meta Platforms今天分享了其數據中心項目的新細節(jié)，以更好地支持人工智能工作，包括內部開發(fā)的定制芯片“系列”。

以下是 MTIA v1 芯片的基本規(guī)格：基于一個雙核 RISC-V 處理元件，包含25 瓦芯片和 35 瓦雙 M.2 外圍卡。

因為它是低頻率的，MTIA v1 芯片消耗的功率也相當低，并且采用 7 納米工藝實現意味著該芯片足夠小，可以運行得非常酷，而無需采用臺積電最先進的工藝。臺積電的從 5 納米到 3 納米不這些更昂貴的工藝，可以留到以后再使用。就像谷歌的TPU那樣，當工藝更便宜時使用在新一代設備上進行訓練和推理。

MTIA v1 推理芯片有一個由 64 個處理元件組成的網格，這些處理元件周圍環(huán)繞著 128 MB 的 SRAM 內存，可用作主存儲器或前端有 16 個低功耗 DDR5 (LPDDR5) 內存控制器的高速緩存。

這種 LPDDR5 內存用于筆記本電腦，也用于 Nvidia 即將推出的 Grace Arm 服務器CPU。這 16 個 LPDDR5 內存通道可以提供高達 64 GB 的外部內存。

這 64 個處理元素基于一對 RISC-V 內核，一個是普通的，另一個是帶有矢量數學擴展的。每個處理元件都有 128 KB 的本地內存和固定功能單元，用于執(zhí)行 FP16 和 INT8 數學運算、處理非線性函數和移動數據。

這是 MTIA v1 板的外觀

這是 MTIA 服務器設計中的巧妙之處。Yosemite 服務器中有一個 PCI-Express 交換機的葉/脊網絡，它不僅可以讓 MTIA 連接到主機，還可以相互連接，并連接到 96 GB 的主機 DRAM，必要時可以存儲更大的嵌入。（就像 Nvidia 打算對 Grace-Hopper 做的那樣。）

Meta一系列博文中表示，它在 2020 年設計了第一代芯片，作為元訓練和推理加速器 (MTIA) 計劃的一部分。目的是提高它用于在新聞提要中投放廣告和其他內容的推薦模型的效率。

第一個 MTIA 芯片專門專注于推理AI 的過程，在該過程中，根據大量數據訓練的算法會判斷是否將舞蹈視頻或貓表情包顯示為用戶提要中的下一個帖子。Meta 的軟件工程師 Joel Coburn 在介紹新芯片時表示，Meta 最初將圖形處理單元或 GPU 用于推理任務，但發(fā)現它們不太適合推理工作。

“盡管對軟件進行了重大優(yōu)化，但它們對于真實模型的效率仍然很低。這使得它們在實踐中部署起來具有挑戰(zhàn)性且成本高昂，”Coburn 說?！斑@就是我們需要 MTIA 的原因?！?/p>

Meta 發(fā)言人拒絕就新芯片的部署時間表發(fā)表評論，也拒絕詳細說明開發(fā)可以訓練模型的芯片的計劃。

Meta 還更新了圍繞更現代的面向 AI 的網絡和冷卻系統(tǒng)重新設計其數據中心的計劃，并表示將在今年破土動工其首個此類設施。一名員工在解釋這些變化的視頻中表示，新設計的成本將降低 31%，而且建造速度可能是公司目前數據中心的兩倍。

Meta 表示，它擁有一個人工智能系統(tǒng)來幫助其工程師創(chuàng)建計算機代碼，類似于微軟公司、亞馬遜公司和 Alphabet 公司提供的工具。

值得注意的是，前不久，Meta從英國人工智能（AI）芯片公司Graphcore挖來了一個團隊，該團隊此前在挪威奧斯陸工作，直到去年年底還在Graphcore開發(fā)AI網絡技術。

據悉，該團隊共有10人，他們在Graphcore工作到去年12或今年1月，隨后在今年2月或3月加入Meta。在回應媒體置評要求時，Meta發(fā)言人Jon Carvill證實，該公司確實招聘了上述團隊。Carvill表示：“最近，我們在奧斯陸迎接了一些高度專業(yè)化的工程師加入Meta的基礎設施團隊。他們帶來了超級計算機系統(tǒng)設計和開發(fā)方面的深厚專業(yè)知識，以支持Meta數據中心大規(guī)模的AI和機器學習?！盋arvill拒絕透露這些員工將在Meta從事的具體工作。

自去年11月發(fā)布以來，ChatGPT掀起了一股科技熱潮，幾乎所有科技巨頭都參與到了生成式AI領域，而Meta目前在該領域落后于微軟和谷歌等競爭對手。Meta開發(fā)新AI芯片是一個重要舉措，表明該公司正加大投資，提升其人工智能技術的競爭力。

審核編輯：劉清