企業(yè)用大模型如何更具效價(jià)比？百度智能云發(fā)布5款大模型新品

服務(wù)8萬企業(yè)用戶，累計(jì)幫助用戶精調(diào)1.3萬個(gè)大模型，幫助用戶開發(fā)出16萬個(gè)大模型應(yīng)用，自2023年12月以來百度智能云千帆大模型平臺(tái)API日調(diào)用量環(huán)比增長97%...從一年前國內(nèi)大模型平臺(tái)的“開路先鋒”到如今的大模型“超級工廠”，百度智能云千帆大模型平臺(tái)在國內(nèi)大模型市場牢牢占據(jù)著領(lǐng)先身位，但奔跑的腳步卻并未停歇。

3月21日，百度智能云在北京首鋼園召開千帆產(chǎn)品發(fā)布會(huì)，百度智能云在大會(huì)期間宣布：

1、攜手北京市石景山區(qū)，共建全國首個(gè)百度智能云千帆大模型產(chǎn)業(yè)創(chuàng)新基地，助推區(qū)域產(chǎn)業(yè)騰飛；

2、滿足企業(yè)“效價(jià)比”核心訴求，千帆ModelBuilder大模型服務(wù)全面升級，3個(gè)輕量級大模型、2個(gè)垂直場景大模型全新發(fā)布；

3、大幅降低AI原生應(yīng)用開發(fā)門檻，千帆AppBuilder組件能力全面升級。

活動(dòng)中，石景山區(qū)政府黨組成員、副區(qū)長曹世輝，中關(guān)村石景山園管委會(huì)副主任崔明明，百度副總裁謝廣軍，百度副總裁石清華共同啟動(dòng)全國首個(gè)百度智能云干帆大模型產(chǎn)業(yè)（北京）創(chuàng)新基地。

創(chuàng)新基地致力于推動(dòng)大模型技術(shù)與產(chǎn)業(yè)創(chuàng)新深度融合，雙方將圍繞提升算力供給、優(yōu)化模型算法、推動(dòng)數(shù)據(jù)開放、打造示范場景、深化人才引育等方面深耕厚植，政企合力打造人工智能產(chǎn)業(yè)新高地。曹世輝副區(qū)長表示，石景山區(qū)將與百度攜手共進(jìn)，聚焦人工智能和大模型技術(shù)研發(fā)和創(chuàng)新應(yīng)用，構(gòu)建完善AI 產(chǎn)業(yè)生態(tài)，為區(qū)域數(shù)字化轉(zhuǎn)型和產(chǎn)業(yè)智能化升級提供支撐，為新質(zhì)生產(chǎn)力的培育和發(fā)展注入澎湃動(dòng)能。

2023年，大模型在全球范圍呈現(xiàn)出爆發(fā)式增長，國內(nèi)更是打起了“百模大戰(zhàn)”，無數(shù)科技大廠與科研院所聚焦大模型“本體”，瘋狂“內(nèi)卷”。

百度副總裁謝廣軍表示，大模型技術(shù)在過去一年飛速發(fā)展，隨著逐步落地千行百業(yè)，2024年將成為國內(nèi)大模型產(chǎn)業(yè)應(yīng)用爆發(fā)的元年。針對企業(yè)最關(guān)心的大模型落地場景、使用成本、應(yīng)用開發(fā)、應(yīng)用效果四大挑戰(zhàn)，百度智能云千帆在大模型、AI原生應(yīng)用開發(fā)兩個(gè)方面給出了最新“解題思路”。

百度智能云千帆大模型平臺(tái)發(fā)布“3+2”新模型套餐：

提高企業(yè)應(yīng)用大模型的“效價(jià)比”

大模型效果是“技術(shù)派”的不懈追求，而經(jīng)濟(jì)效益則是“市場派”的終極目標(biāo)。謝廣軍在與諸多行業(yè)客戶的交流中發(fā)現(xiàn)，除了極少的大客戶對大模型有極致的效果追求，更多的企業(yè)和機(jī)構(gòu)往往要綜合考量大模型的使用效果、性能以及成本，即“效價(jià)比”。本次，千帆平臺(tái)的模型矩陣針對企業(yè)的“效價(jià)比”核心訴求進(jìn)行了一系列升級。

?

（百度智能云千帆大模型平臺(tái)模型矩陣）

文心大模型ERNIE 3.5是目前百度智能云千帆大模型平臺(tái)上最受歡迎的基礎(chǔ)大模型之一。針對用戶的常見通用的對話場景，ERNIE 3.5 在指令遵循、上下文學(xué)習(xí)和邏輯推理能力三方面分別進(jìn)行了能力增強(qiáng)。升級后的ERNIE 3.5在企業(yè)應(yīng)用場景如文案創(chuàng)作、信息抽取和工具調(diào)用三大場景中，應(yīng)用表現(xiàn)分別大幅提升24%、27%和22%。

其次，相比超大規(guī)模參數(shù)的大模型，輕量級大模型的參數(shù)量更小，更便于客戶針對特定使用場景進(jìn)行模型精調(diào)，更容易達(dá)成使用效果預(yù)期，同時(shí)節(jié)約更多成本開銷。本次大會(huì)，百度智能云發(fā)布了包括ERNIE Speed、ERNIE Lite、ERNIE Tiny在內(nèi)，參數(shù)量由大到小的三款輕量級大模型，幫助客戶實(shí)現(xiàn)“減量不減效”，節(jié)約不必要投資。

具體來講，ERNIE Speed作為三款輕量級大模型中的“大個(gè)子”，推理場景下?lián)碛凶罡?28k的上下文長度，在處理知識(shí)問答等任務(wù)時(shí)，能夠更好的處理上下文的依賴關(guān)系，生成更加連貫和準(zhǔn)確的預(yù)測或回答。同時(shí)，針對特定場景可以將ERNIE Speed作為基座模型進(jìn)行精調(diào)，模型效果可以追平甚至超過旗艦級大參數(shù)規(guī)模大模型，效價(jià)比大幅提升。

相比ERNIE Speed，ERNIE Lite的參數(shù)量則更小，也更加適合搭載在低算力的AI加速卡上處理推理任務(wù)，在兼顧模型效果與推理性能的同時(shí)，大幅降低客戶落地應(yīng)用成本。作為ERNIE-Bot-turbo模型的升級版，ERNIE Lite在情感分析、多任務(wù)學(xué)習(xí)、自然推理等場景下的應(yīng)用效果提升了20%。推理調(diào)用成本大幅下降了53%！

三款輕量級模型中參數(shù)量最小的ERNIE Tiny則為客戶提供了極致低成本、低延遲的最佳選擇。在檢索、推薦、意圖識(shí)別等高并發(fā)、低延時(shí)等應(yīng)用場景中，ERNIE Tiny的優(yōu)異性能呈現(xiàn)了不俗表現(xiàn)。在某對話推薦業(yè)務(wù)場景中，精調(diào)后的ERNIE Tiny在搜索引擎推薦詞激發(fā)環(huán)節(jié)，相比ERNIE 3.5，對話輪次增長了3.5%，成本下降了32%。

此外，企業(yè)在落地應(yīng)用中，對大模型在人物扮演、外部工具調(diào)用均有更高的效果要求。本次千帆大模型平臺(tái)ModelBuilder還基于對企業(yè)場景的深入洞察，結(jié)合百度自身業(yè)務(wù)最佳實(shí)踐沉淀，推出了ERNIE Character和ERNIE Functions兩款垂直場景大模型，分別適配客戶在角色扮演類應(yīng)用場景（如游戲NPC、客服對話等）和工具調(diào)用場景（對話中使用外部工具、調(diào)用業(yè)務(wù)函數(shù)等）中的使用需求。

在企業(yè)實(shí)踐中，某智能硬件廠商，基于ERNIE Character打造智能助理，應(yīng)用該模型后在人設(shè)一致性、激發(fā)并提升用戶聊天欲望等方面效果顯著提升。某旅游出行類APP，使用ERNIE Functions打造智能客服助手，在執(zhí)行訂票、查詢航班狀態(tài)等多種function調(diào)用上準(zhǔn)確性達(dá)到85%。

千帆AppBuilder全面升級：

大幅降低AI原生應(yīng)用開發(fā)門檻

千帆AppBuilder作為產(chǎn)業(yè)級AI原生應(yīng)用開發(fā)平臺(tái)，是千帆的重要組成部分。AppBuilder底層由基于百度多年技術(shù)和實(shí)踐經(jīng)驗(yàn)沉淀的大模型組件、AI能力組件的基礎(chǔ)組件和面向典型應(yīng)用場景深入調(diào)優(yōu)建設(shè)的一系列高級組件構(gòu)成?；A(chǔ)組件與高級組件共同支撐Agent，一方面可以通過工作流編排實(shí)現(xiàn)更為復(fù)雜的業(yè)務(wù)邏輯，另一方面Agent也具備強(qiáng)大的自主任務(wù)規(guī)劃能力，能夠理解用戶意圖自動(dòng)規(guī)劃執(zhí)行路徑，實(shí)現(xiàn)多工具的自動(dòng)編排和執(zhí)行。這些能力通過零代碼態(tài)、代碼態(tài)兩類開發(fā)方式提供服務(wù)，更好的匹配不同開發(fā)者的使用需求。

開發(fā)完成后，應(yīng)用可多渠道分發(fā)與集成，AppBuilder支持將應(yīng)用一鍵分發(fā)到微信客服、微信公眾號、Web端/H5及百度靈境矩陣等主流渠道。基于百度靈境矩陣，應(yīng)用可在百度搜索、百度信息流等主流場景分發(fā)與掛載。真正實(shí)現(xiàn)應(yīng)用開發(fā)出來后，就直接觸達(dá)用戶，打通從AI原生應(yīng)用創(chuàng)建到開發(fā)再到分發(fā)的全流程。

（百度智能云千帆AppBuilder）

升級后的AppBuilder開放的工具組件多達(dá)55個(gè)。包括基于百度多年技術(shù)積累和自有業(yè)務(wù)沉淀的大模型組件、AI能力組件，也包括搜索等百度特色的業(yè)務(wù)組件、和多場景的第三方API工具，另外還提供了 RAG（知識(shí)檢索問答）、GBI（生成式數(shù)據(jù)分析）等根據(jù)典型應(yīng)用場景深入調(diào)優(yōu)的高級能力組件。

開發(fā)AI原生應(yīng)用離不開云基礎(chǔ)設(shè)施，本次發(fā)布的基礎(chǔ)組件還包括了百度智能云全新推出的向量數(shù)據(jù)庫VDB 1.0。向量數(shù)據(jù)庫是企業(yè)不可或缺的知識(shí)庫核心組件，它針對傳統(tǒng)知識(shí)庫問答系統(tǒng)遇到的性能瓶頸、維護(hù)挑戰(zhàn)及規(guī)模限制等問題提供了有力解決方案。全新發(fā)布的百度向量數(shù)據(jù)庫VDB 1.0，不僅集成了全面的運(yùn)維控制和安全防護(hù)能力，還兼容了千帆、LangChain等主流生態(tài)系統(tǒng)，能夠幫助企業(yè)輕松管理數(shù)以千萬計(jì)的文檔知識(shí)，最大支持百億向量存儲(chǔ)規(guī)模以及毫秒級的向量檢索速度。同時(shí)，相比同類型開源產(chǎn)品，VDB 1.0性能最高提升10倍。

在組件之上，千帆AppBuilder推出的Agent（智能體）應(yīng)用框架，具備精準(zhǔn)的任務(wù)自主規(guī)劃能力，對多種應(yīng)用工具的自動(dòng)編排準(zhǔn)確率超過90%，這個(gè)數(shù)字還在不斷提升。AppBuilder還支持開發(fā)者接入自定義工具，通過將自動(dòng)編排與手動(dòng)編排相結(jié)合，實(shí)現(xiàn)更復(fù)雜場景應(yīng)用的需求定制。Agent框架內(nèi)的代碼解釋器能力，也在本次升級中大幅提升了40%的性能、在復(fù)雜的數(shù)據(jù)分析場景的生成結(jié)果可接受度高達(dá)95%，輕松應(yīng)對各類數(shù)據(jù)分析與信息處理的場景。

此外，AppBuilder的代碼態(tài)開發(fā)工具也再添利器。AppBuilder SDK本次重磅發(fā)布了Agent API，支持開發(fā)者將Agent便捷集成到自己的業(yè)務(wù)系統(tǒng)中，同時(shí)AppBuilder SDK面向主流AI原生應(yīng)用場景提供了豐富的應(yīng)用樣例，目前已在Github開源，支持各個(gè)組件自由調(diào)用的靈活編排，幫助開發(fā)者實(shí)現(xiàn)應(yīng)用的二次開發(fā)和便捷集成。

大會(huì)現(xiàn)場，還演示了如何在零代碼開發(fā)模式中，只用1分鐘構(gòu)建一個(gè)“英語作文小幫手”Agent（智能體）應(yīng)用，只需在AppBuilder中輸入應(yīng)用名稱或希望開發(fā)的應(yīng)用功能，平臺(tái)就可以自動(dòng)生成應(yīng)用，通過簡單的調(diào)整角色指令、添加所需工具組件，就可以快速生成一個(gè)英語作文批改小助手。發(fā)布后就可直接使用，三步完成應(yīng)用創(chuàng)建與分發(fā)。

在百度智能云看來，隨著大模型技術(shù)的不斷演進(jìn)和突破，工程化實(shí)踐與用戶需求適配正在變得愈發(fā)重要。只有深入場景，發(fā)掘、響應(yīng)客戶的真實(shí)需求，才是釋放創(chuàng)新技術(shù)紅利的最佳路徑。

審核編輯：劉清