百度首席技術(shù)官王海峰解讀文心大模型的關(guān)鍵技術(shù)和最新進(jìn)展

4月16日，以“創(chuàng)造未來”為主題的Create 2024百度AI開發(fā)者大會在深圳國際會展中心成功舉辦。百度首席技術(shù)官王海峰以“技術(shù)筑基，星河璀璨”為題，發(fā)表演講，解讀了智能體、代碼、多模型等多項文心大模型的關(guān)鍵技術(shù)和最新進(jìn)展。

自去年3月16日發(fā)布知識增強(qiáng)大語言模型文心一言以來，百度不斷迭代升級文心大模型，技術(shù)創(chuàng)新不斷，從知識增強(qiáng)、檢索增強(qiáng)，進(jìn)一步發(fā)展出知識點增強(qiáng)；基于更大的算力、更多的數(shù)據(jù)和更強(qiáng)的算法，依托飛槳平臺，從文心3.0、3.5，到4.0，文心大模型能力愈加強(qiáng)大，效果和性能全面提升。

王海峰表示，智能體是重要的發(fā)展方向，會帶來更多的應(yīng)用爆發(fā)。智能體是在基礎(chǔ)模型上，進(jìn)一步進(jìn)行思考增強(qiáng)訓(xùn)練，包括思考過程的有監(jiān)督精調(diào)、行為決策的偏好學(xué)習(xí)、結(jié)果反思的增強(qiáng)學(xué)習(xí)，進(jìn)而得到思考模型。智能體的思考模型像人一樣，會閱讀說明書，學(xué)習(xí)工具的使用方法，進(jìn)而可以調(diào)用工具來完成任務(wù)。

王海峰解讀了智能體的思考過程，演示了智能體如何經(jīng)過思考調(diào)用工具。在文心大模型4.0工具版上，提問“我要到大灣區(qū)出差一周。想了解一下天氣變化，好決定帶什么衣服。請幫我查一下未來一周北京和深圳的溫度，告訴我出差應(yīng)該帶什么衣服，并整理成表格?！敝悄荏w就像人一樣，通過思考、規(guī)劃，把用戶需求拆解成多個子任務(wù)，首先調(diào)用“高級聯(lián)網(wǎng)”工具來查詢天氣信息，然后調(diào)用“代碼解釋器”畫溫度趨勢圖，根據(jù)未來一周的天氣情況，選擇了合適的衣物，最后對結(jié)果進(jìn)行思考、確認(rèn)，并自動匯總成一個表格。

從萬億級訓(xùn)練數(shù)據(jù)中，文心大模型既學(xué)到了自然語言的能力，也學(xué)到了代碼能力，打通從思考到執(zhí)行的過程。基于文心大模型的這兩種能力，百度開發(fā)了代碼智能體和智能代碼助手。王海峰表示：“代碼智能體，讓大家都能做之前只有程序員才能做的事，人人都可以成為程序員；智能代碼助手，則幫助專業(yè)的程序員更高效地寫出更好的代碼，可以說是程序員的AI同儕?！?/p>

代碼智能體是在“用模型寫代碼讓復(fù)雜的任務(wù)變簡單”，思考模型加上代碼解釋器，構(gòu)成了代碼智能體。首先，思考模型理解用戶需求，經(jīng)過思考，把完成任務(wù)的指令和相關(guān)信息整合成提示，輸入給代碼解釋器；然后，代碼解釋器根據(jù)提示，把自然語言表達(dá)的用戶需求翻譯成代碼并執(zhí)行，得到執(zhí)行結(jié)果或者調(diào)試信息；接著，思考模型對代碼解釋器的執(zhí)行結(jié)果進(jìn)行反思確認(rèn)，如果正確，就把結(jié)果返回給用戶，不正確就繼續(xù)進(jìn)行自主迭代更新。

王海峰演示了用代碼智能體為本次Create大會嘉賓定制邀請函，代碼智能體首先理解了邀請函模版內(nèi)容，然后生成代碼并執(zhí)行，把嘉賓姓名填寫到合適位置，新生成的邀請函文件以嘉賓的名字命名，最后輸出打包好的多張邀請函。

大會現(xiàn)場，王海峰進(jìn)一步透露，在模型效果不斷提升的基礎(chǔ)上，百度進(jìn)一步構(gòu)建了上下文增強(qiáng)、私域知識增強(qiáng)、流程無縫集成等能力。目前智能代碼助手Comate整體采納率達(dá)到了46%，新增代碼中生成的比例已經(jīng)達(dá)到了27%。Comate把代碼理解、生成、優(yōu)化等能力無縫集成到研發(fā)流程的各個環(huán)節(jié)，就像助理一樣，幫助提升代碼開發(fā)質(zhì)量和效率。Comate展示了幫助工程師接手代碼的過程，通過一條簡單的指令，就可以快速了解整個代碼的架構(gòu)，甚至是每一個模塊的具體實現(xiàn)邏輯，還可以根據(jù)當(dāng)前的項目代碼以及第三方代碼自動生成滿足要求的新代碼。

王海峰現(xiàn)場還分享了多模型技術(shù)。他表示，在大模型應(yīng)用落地過程中，效果，效率和成本都很重要。在實際應(yīng)用中，需要從場景需求出發(fā)，選擇最適合的模型。一方面，是高效低成本的模型生產(chǎn)；另一方面，是多模型推理。高效低成本模型生產(chǎn)方面，百度研制了大小模型協(xié)同的訓(xùn)練機(jī)制，可以有效進(jìn)行知識繼承，高效生產(chǎn)高質(zhì)量小模型，也可以利用小模型實現(xiàn)對比增強(qiáng)，幫助大模型的訓(xùn)練。同時，建設(shè)了種子模型矩陣，數(shù)據(jù)提質(zhì)與增強(qiáng)機(jī)制，以及從預(yù)訓(xùn)練、精調(diào)對齊、模型壓縮到推理部署的配套工具鏈。高效低成本模型生產(chǎn)機(jī)制，助力應(yīng)用速度更快、成本更低、效果更好。多模型推理方面，百度研制了基于反饋學(xué)習(xí)的端到端多模型推理技術(shù)，構(gòu)建了智能路由模型，進(jìn)行端到端反饋學(xué)習(xí)，充分發(fā)揮不同模型處理不同任務(wù)的能力，達(dá)到效果、效率和成本的最佳平衡。

除了智能體、代碼和多模型技術(shù)，文心大模型在其他方面也持續(xù)創(chuàng)新，包括基于模型反饋閉環(huán)的數(shù)據(jù)體系、基于自反饋增強(qiáng)的大模型對齊技術(shù)，以及多模態(tài)技術(shù)等。王海峰現(xiàn)場公布，文心大模型4.0的效果持續(xù)提升，發(fā)布后的半年時間，又提升了52.5%。

文心大模型的持續(xù)快速進(jìn)化，得益于百度在芯片、框架、模型和應(yīng)用上的全棧布局，尤其是飛槳深度學(xué)習(xí)平臺和文心的聯(lián)合優(yōu)化。文心大模型的周均訓(xùn)練有效率達(dá)到98.8%，相比一年前文心一言發(fā)布時，訓(xùn)練效率提升到當(dāng)時的5.1倍，推理105倍。截至目前，飛槳文心生態(tài)已凝聚1295萬開發(fā)者，服務(wù)24.4萬家企事業(yè)單位，基于飛槳和文心創(chuàng)建89.5萬個模型。

王海峰表示，文心一言累計用戶規(guī)模已達(dá)2億，日均調(diào)用量也達(dá)到了2億，高效滿足了用戶工作、生活和學(xué)習(xí)需求。

最后，王海峰介紹了百度AI人才計劃的最新進(jìn)展，百度在2020年提出了5年為全社會培養(yǎng)500萬AI人才，目前這一目標(biāo)已提前達(dá)成。他表示，“未來，我們將繼續(xù)投身人才培養(yǎng)，讓人才的點點星光，匯成璀璨星河。智能時代，人人都是開發(fā)者，人人都是創(chuàng)造者，讓我們一起，創(chuàng)造美好未來。”