中國計算機大會現場王海峰揭秘文心大模型4.0

10月26日-28日，第二十屆中國計算機大會(CNCC2023)在遼寧沈陽舉辦，國內外計算機領域的專家學者、科技領軍人才、企業(yè)代表共同探討計算及信息科學技術領域最新進展和宏觀發(fā)展趨勢。百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰在會上解讀文心大模型最新技術，闡述大模型產業(yè)模式。據了解，自文心一言3月發(fā)布至今，文心大模型4.0訓練算法效率提升3.6倍，周均訓練有效率超過98%，推理性能提升50倍。

王海峰認為，人工智能具有多種典型能力，理解、生成、邏輯、記憶是其中的基礎能力，這四項能力越強，越接近通用人工智能，而大語言模型具備了這四項能力，且越來越強，為發(fā)展通用人工智能帶來了曙光。

百度在3月16日發(fā)布知識增強大語言模型文心一言，目前文心一言的基礎模型已迭代到文心大模型4.0版本。知識增強大語言模型從數萬億數據和數千億知識中融合學習，得到預訓練大模型，在此基礎上采用有監(jiān)督精調、人類反饋強化學習、提示等技術，具備知識增強、檢索增強和對話增強的技術優(yōu)勢。

例如在推理方面，通過大規(guī)模邏輯數據構建、邏輯知識建模、多粒度語義知識組合以及符號神經網絡，提升邏輯能力。此外，在輸入和輸出階段都進行知識點增強。而在插件方面，通過數據驅動、提示構建，以及插件增強進行場景適配，協(xié)同優(yōu)化。文心一言已上線百度搜索、覽卷文檔、E言易圖、說圖解畫、一鏡流影等原生插件，擴展了大模型能力邊界，更適應場景需要。

此外，百度進一步研制了智能體機制，包括理解、規(guī)劃、反思和進化，能夠做到可靠執(zhí)行、自我進化，并一定程度上將思考過程白盒化，讓機器像人一樣思考和行動，自主完成復雜任務，在環(huán)境中持續(xù)學習實現自主進化。

王海峰表示，基于更強平臺、更優(yōu)數據、更好算法，我們訓練出規(guī)模更大、效果更好的文心大模型4.0。通過飛槳與文心的協(xié)同優(yōu)化，模型周均訓練有效率超過98%，訓練算法效率提升3.6倍，推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升，其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達到理解的近3倍，記憶的提升幅度也達到了理解的2倍多。

具體而言，在萬卡算力上運行飛槳平臺，通過集群基礎設施和調度系統(tǒng)、飛槳框架的軟硬協(xié)同優(yōu)化，支持了大模型的穩(wěn)定高效訓練。建設了多維數據體系，形成了數據挖掘、分析、合成、標注、評估閉環(huán)，充分釋放數據價值，并通過多種策略優(yōu)化數據源及數據分布，大幅提升模型效果。

基于有監(jiān)督精調、偏好學習、強化學習等技術進行多階段對齊，保證模型更好地與人類的判斷和選擇對齊?？稍偕柧毤夹g通過增量式的參數調優(yōu)，有效節(jié)省了訓練資源和時間，加快了模型迭代速度。

公開數據顯示，文心一言面向全社會開放一個多月，用戶規(guī)模達到4500萬，開發(fā)者5.4萬，場景4300個，應用825個，插件超過500個。飛槳和文心生態(tài)愈加繁榮，已凝聚800萬開發(fā)者，服務22萬家企事業(yè)單位，基于飛槳創(chuàng)建了80萬個模型。

演講中，王海峰進一步展示了文心一言的理解、生成、邏輯、記憶能力。文心一言精準推薦了沈陽的賞秋勝地，根據指令作了一首以“虎”為題，不出現“虎”字的詩，生動表現了森林之王老虎的威猛形象。而在工作中，文心一言已經成為“超級助理”，實現了IM對話智能總結、會議洞察和會議紀要實時生成、一鍵智能差旅等。據悉，目前這些功能已應用于百度的工作流程中，助力員工提升工作效率。

面對大模型產業(yè)化的挑戰(zhàn)，王海峰表示，類似芯片代工廠模式，可以采用“集約化生產，平臺化應用”的模式，即具有算法、算力和數據綜合優(yōu)勢的企業(yè)將模型生產的復雜過程封裝起來，通過低門檻、高效率的生產平臺，為千行百業(yè)提供大模型服務。目前，這一產業(yè)化路徑已在文心大模型產業(yè)實踐中得到驗證，百度與各行業(yè)頭部企業(yè)、機構共建了包括能源、金融、航天、制造、傳媒、城市、社科以及影視等行業(yè)大模型，正加速大模型產業(yè)化落地。