國產大模型發(fā)展的經(jīng)驗與教訓

本文介紹大模型的計算特征（國產平臺介紹、系統(tǒng)挑戰(zhàn)、算子實現(xiàn)、容錯）、框架的并行性支持、未來算法等。

隨著ChatGPT的橫空出世，人工智能大模型成為各行各業(yè)熱議的焦點，國內外各種大模型如雨后春筍般涌現(xiàn)，引發(fā)了新一輪人工智能熱潮。但在看到大模型取得巨大進步的同時，也要看到當前國內大模型的研發(fā)推廣仍然面臨不小的挑戰(zhàn)和壓力。

面對上述挑戰(zhàn)，需從戰(zhàn)略層面統(tǒng)籌考慮大模型研發(fā)運營等相關問題，充分發(fā)揮“集中力量辦大事”的制度優(yōu)勢，強化頂層設計，加大統(tǒng)一規(guī)劃，加大政策支持和資源投入力度，推動中國人工智能從“跟跑”邁向“領跑”。

一是提高算力規(guī)模。進一步完善信息基礎設施，加快推進“東數(shù)西算”步伐，加大算力網(wǎng)絡建設力度，為大模型研發(fā)運營提供足夠算力，同時進一步提高網(wǎng)絡速度，降低網(wǎng)絡時延，為更多大模型走向應用創(chuàng)造條件。

二是加強數(shù)據(jù)管理。國家層面加強對數(shù)據(jù)的管控，明確行業(yè)標準，建立數(shù)據(jù)使用規(guī)則，確保大模型訓練數(shù)據(jù)的質量。同時，針對行業(yè)數(shù)據(jù)，破除不同廠家之間數(shù)據(jù)互相不能查詢的壁壘，確保大模型訓練有充足、準確的專業(yè)數(shù)據(jù)。

三是建立大模型研發(fā)“國家隊”。集中全國頂尖人才和優(yōu)質資源，舉全國之力進行攻堅突破，同時解決大模型研發(fā)中存在的“小而散”問題，減少無效或低效大模型開發(fā)對算力和能源的浪費。

四是加大資金投入。建立國家大模型基金，專門用于大模型的研發(fā)、訓練等。

五是加大政策支持。面向大模型研發(fā)，制訂更加優(yōu)惠的稅收政策。針對國有企業(yè)在大模型研發(fā)上投入的資金，允許以兩倍規(guī)模計為企業(yè)凈利潤。

六是加大科技投入。解決核心技術“卡脖子”問題，特別是加大人工智能芯片研發(fā)制造力度。