悟道·天鷹 Aquila + 天秤 FlagEval，打造大模型能力與評(píng)測(cè)標(biāo)準(zhǔn)雙標(biāo)桿

為推動(dòng)大模型在產(chǎn)業(yè)落地和技術(shù)創(chuàng)新，智源研究院發(fā)布“開源商用許可語(yǔ)言大模型系列+開放評(píng)測(cè)平臺(tái)” 2 大重磅成果，打造“大模型進(jìn)化流水線”，持續(xù)迭代、持續(xù)開源開放。

01

悟道·天鷹（Aquila）

開源商用許可語(yǔ)言大模型系列

悟道·天鷹（Aquila） 語(yǔ)言大模型是首個(gè)具備中英雙語(yǔ)知識(shí)、支持商用許可協(xié)議、國(guó)內(nèi)數(shù)據(jù)合規(guī)需求的開源語(yǔ)言大模型。

悟道·天鷹（Aquila）語(yǔ)言大模型在中英文高質(zhì)量語(yǔ)料基礎(chǔ)上從 0 開始訓(xùn)練，通過(guò)數(shù)據(jù)質(zhì)量的控制、多種訓(xùn)練的優(yōu)化方法，實(shí)現(xiàn)在更小的數(shù)據(jù)集、更短的訓(xùn)練時(shí)間，獲得比其它開源模型更優(yōu)的性能。系列模型包括 Aquila基礎(chǔ)模型（7B、33B），AquilaChat對(duì)話模型（7B、33B）以及 AquilaCode-7B “文本-代碼”生成模型，

后續(xù)將持續(xù)更新迭代并開源更新版本。

開源地址：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila

Aquila基礎(chǔ)模型（7B、33B）

在技術(shù)上繼承了 GPT-3、LLaMA 等的架構(gòu)設(shè)計(jì)優(yōu)點(diǎn)，替換了一批更高效的底層算子實(shí)現(xiàn)、重新設(shè)計(jì)實(shí)現(xiàn)了中英雙語(yǔ)的 tokenizer，升級(jí)了 BMTrain 并行訓(xùn)練方法，實(shí)現(xiàn)了比 Magtron+DeepSpeed ZeRO-2

將近８倍的訓(xùn)練效率

。

AquilaChat 對(duì)話模型（7B、33B）

支持流暢的文本對(duì)話及多種語(yǔ)言類生成任務(wù)，通過(guò)定義可擴(kuò)展的特殊指令規(guī)范，實(shí)現(xiàn) AquilaChat對(duì)其它模型和工具的調(diào)用，且易于擴(kuò)展。例如，調(diào)用智源開源的 AltDiffusion 多語(yǔ)言文圖生成模型，實(shí)現(xiàn)了流暢的文圖生成能力。配合智源 InstructFace 多步可控文生圖模型，輕松實(shí)現(xiàn)對(duì)人臉圖像的多步可控編輯。

AquilaChat 訓(xùn)練過(guò)程中，實(shí)現(xiàn)了模型能力與指令微調(diào)數(shù)據(jù)的循環(huán)迭代，包括數(shù)據(jù)集的高效篩選與優(yōu)化，充分挖掘基礎(chǔ)模型的潛力。

AquilaChat 支持可擴(kuò)展的特殊指令規(guī)范，令用戶可在AquilaChat中輕松實(shí)現(xiàn)多任務(wù)、工具的嵌入，如文圖生成，下圖示例為在對(duì)話中調(diào)用智源開源的多語(yǔ)言文圖生成模型 AltDiffusion。

AquilaChat 具備強(qiáng)大的指令分解能力，配合智源InstructFace多步可控文生圖模型，輕松實(shí)現(xiàn)對(duì)圖片的多步可控編輯。

AquilaCode-7B “文本-代碼”生成模型，

基于 Aquila-7B 強(qiáng)大的基礎(chǔ)模型能力，以小數(shù)據(jù)集、小參數(shù)量，實(shí)現(xiàn)高性能，是目前支持中英雙語(yǔ)的、性能最好的開源代碼模型，經(jīng)過(guò)了高質(zhì)量過(guò)濾、使用有合規(guī)開源許可的訓(xùn)練代碼數(shù)據(jù)進(jìn)行訓(xùn)練。

此外，AquilaCode-7B 分別在英偉達(dá)和***上完成了代碼模型的訓(xùn)練，并通過(guò)對(duì)多種架構(gòu)的代碼+模型開源，推動(dòng)芯片創(chuàng)新和百花齊放。

02

天秤（FlagEval）

大模型評(píng)測(cè)體系及開放平臺(tái)

天秤（FlagEval）大模型評(píng)測(cè)體系及開放平臺(tái)，旨在建立科學(xué)、公正、開放的評(píng)測(cè)基準(zhǔn)、方法、工具集，協(xié)助研究人員全方位評(píng)估基礎(chǔ)模型及訓(xùn)練算法的性能，同時(shí)探索利用AI方法實(shí)現(xiàn)對(duì)主觀評(píng)測(cè)的輔助，大幅提升評(píng)測(cè)的效率和客觀性。

目前已推出語(yǔ)言大模型評(píng)測(cè)、多國(guó)語(yǔ)言文圖大模型評(píng)測(cè)及文圖生成評(píng)測(cè)等工具，并對(duì)各種語(yǔ)言基礎(chǔ)模型、跨模態(tài)基礎(chǔ)模型實(shí)現(xiàn)評(píng)測(cè)。后續(xù)將全面覆蓋基礎(chǔ)模型、預(yù)訓(xùn)練算法、微調(diào)算法等三大評(píng)測(cè)對(duì)象，包括自然語(yǔ)言處理（NLP）、計(jì)算機(jī)視覺(jué)（CV）、語(yǔ)音（Audio）及多模態(tài)（Multimodal）等四大評(píng)測(cè)場(chǎng)景和豐富的下游任務(wù)。

首期推出的 FlagEval 大語(yǔ)言模型評(píng)測(cè)體系，創(chuàng)新構(gòu)建了“能力-任務(wù)-指標(biāo)”三維評(píng)測(cè)框架，細(xì)粒度刻畫基礎(chǔ)模型的認(rèn)知能力邊界，可視化呈現(xiàn)評(píng)測(cè)結(jié)果，總計(jì) 600+ 評(píng)測(cè)維度，任務(wù)維度包括 22 個(gè)主觀&客觀評(píng)測(cè)數(shù)據(jù)集。除了知名的公開數(shù)據(jù)集 HellaSwag、MMLU、C-Eval等，F(xiàn)lagEval 還集成了包括智源自建的主觀評(píng)測(cè)數(shù)據(jù)集 Chinese Linguistics & Cognition Challenge (CLCC) ，北京大學(xué)與閩江學(xué)院共建的語(yǔ)義關(guān)系判斷、多義詞理解、修辭手法判斷評(píng)測(cè)數(shù)據(jù)集。更多維度的評(píng)測(cè)數(shù)據(jù)集也在陸續(xù)集成中。

FlagEval 評(píng)測(cè)榜單目前涵蓋了前面談到的22 個(gè)主觀和客觀評(píng)測(cè)集，84433 道題目，細(xì)粒度刻畫大模型的認(rèn)知能力?；凇拔虻?· 天鷹”Aquila 基礎(chǔ)模型（7B）打造的 AquilaChat 對(duì)話模型，在 FlagEval 大語(yǔ)言模型評(píng)測(cè)榜單上，目前暫時(shí)在“主觀+客觀”的評(píng)測(cè)上領(lǐng)先其他同參數(shù)量級(jí)別的開源對(duì)話模型。

在我們當(dāng)前的最新評(píng)測(cè)結(jié)果中，AquilaChat 以大約相當(dāng)于其他模型 50% 的訓(xùn)練數(shù)據(jù)量（SFT 數(shù)據(jù)+預(yù)訓(xùn)練數(shù)據(jù)分別統(tǒng)計(jì)）達(dá)到了最優(yōu)性能。

但由于當(dāng)前的英文數(shù)據(jù)僅訓(xùn)練了相當(dāng)于Alpaca的40%，所以在英文的客觀評(píng)測(cè)上還暫時(shí)落后于基于 LLaMA 進(jìn)行指令微調(diào)的Alpaca。隨著后續(xù)訓(xùn)練的進(jìn)行，我們相信很快可以超越。

悟道·天鷹（Aquila）模型還在迭代進(jìn)步的過(guò)程中，天秤（FlagEval）評(píng)測(cè)能力也在不斷的擴(kuò)充中，因而此評(píng)測(cè)結(jié)果只是暫時(shí)的，新的評(píng)測(cè)結(jié)果還會(huì)不斷更新。此外，F(xiàn)lagEval的評(píng)測(cè)體系方法及相關(guān)研究還需要繼續(xù)深入，當(dāng)前對(duì)模型能力的覆蓋程度仍有很大的進(jìn)步空間，智源也期待與多方合作，共同打造全面、科學(xué)的評(píng)測(cè)方法體系。

天秤（FlagEval）開放評(píng)測(cè)平臺(tái)現(xiàn)已開放申請(qǐng)（flageval.baai.ac.cn），打造自動(dòng)化評(píng)測(cè)與自適應(yīng)評(píng)測(cè)機(jī)制，可輔助模型研發(fā)團(tuán)隊(duì)利用評(píng)測(cè)結(jié)果指導(dǎo)模型訓(xùn)練，同時(shí)支持英偉達(dá)、昇騰（鵬城云腦）、寒武紀(jì)、昆侖芯等多種芯片架構(gòu)及 PyTorch、MindSpore 等多種深度學(xué)習(xí)框架。

作為“科技創(chuàng)新2030”旗艦項(xiàng)目重要課題，天秤（FlagEval）正與北京大學(xué)、北京航空航天大學(xué)、北京師范大學(xué)、北京郵電大學(xué)、閩江學(xué)院、南開大學(xué)、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、中國(guó)科學(xué)院自動(dòng)化研究所等合作單位共建（按首字母排序），定期發(fā)布權(quán)威評(píng)測(cè)榜單。

總的來(lái)說(shuō)，智源此次發(fā)布的 2 大重磅成果僅僅是一個(gè)新的起點(diǎn)：

一方面，悟道 · 天鷹 Aquila 語(yǔ)言大模型將不斷完善訓(xùn)練數(shù)據(jù)、優(yōu)化訓(xùn)練方法、提升模型性能，在更優(yōu)秀的基礎(chǔ)模型基座上，培育枝繁葉茂的“模型樹”，持續(xù)開源開放。

另一方面，天秤 FlagEval 大模型評(píng)測(cè)體系及開放平臺(tái)將繼續(xù)拓展“大模型認(rèn)知能力”框架，集成豐富的數(shù)據(jù)集與評(píng)測(cè)指標(biāo)，并探索與心理學(xué)、教育學(xué)、倫理學(xué)等社會(huì)學(xué)科的交叉研究，以期更加科學(xué)、全面地評(píng)價(jià)語(yǔ)言大模型。

「模型 + 評(píng)測(cè)」雙輪驅(qū)動(dòng)，

加速大模型技術(shù)創(chuàng)新與產(chǎn)業(yè)落地。歡迎學(xué)界、產(chǎn)業(yè)界同仁提供建議。

審核編輯黃宇