FlagOpen大模型技術(shù)開源體系，開啟大模型時代“新Linux”生態(tài)

“大數(shù)據(jù)+大算力+強算法=大模型”是當前人工智能發(fā)展的主要技術(shù)路徑。語言大模型ChatGPT成為現(xiàn)象級應(yīng)用，人工智能進入普及應(yīng)用的新時期。

智源研究院2020年搭建大模型攻關(guān)團隊，2021年6月推出當時規(guī)模最大、性能領(lǐng)先多模態(tài)大模型“悟道2.0”。為了推動大模型方向的協(xié)同創(chuàng)新，在“科技創(chuàng)新2030”新一代人工智能重大科技項目支持下，2023年初，智源研究院聯(lián)合30多家產(chǎn)學研單位共同承擔的旗艦項目“人工智能基礎(chǔ)模型支撐平臺與評測技術(shù)”全面啟動。經(jīng)2個月集中攻關(guān)，開發(fā)出FlagOpen（飛智）大模型技術(shù)開源體系，旨在打造全面支撐大模型技術(shù)發(fā)展的開源算法體系和一站式基礎(chǔ)軟件平臺，支持協(xié)同創(chuàng)新和開放競爭，共建共享大模型時代的“新Linux”開源開放生態(tài)。

北京市副市長于英杰和科技部高新司副司長梅建平出席工作會并致辭。

于英杰副市長指出，大模型的研發(fā)是一項體系化工作，涉及數(shù)據(jù)、算法、算力及訓(xùn)練基礎(chǔ)設(shè)施等。智源研究院發(fā)布的FlagOpen大模型技術(shù)開源體系，是智源及上下游生態(tài)合作機構(gòu)聯(lián)合開展技術(shù)攻關(guān)的成果展現(xiàn)，為大模型技術(shù)創(chuàng)新提供了“北京貢獻”。同時，他對于大模型的發(fā)展提出了三點期望：一是要抓住大模型發(fā)展機會，保持定力，強化基礎(chǔ)。要聚焦源頭，創(chuàng)新底層技術(shù)，大力突破核心關(guān)鍵技術(shù)，搶占制高點。二是應(yīng)用導(dǎo)向，推動大模型應(yīng)用生態(tài)建設(shè)。要加快大模型創(chuàng)新應(yīng)用開發(fā)及API服務(wù)開放，形成數(shù)據(jù)飛輪效應(yīng)，發(fā)揮大模型的通用泛化能力，賦智經(jīng)濟社會發(fā)展。三是科研機構(gòu)、企業(yè)等要圍繞算法及技術(shù)研究、數(shù)據(jù)等加強協(xié)同創(chuàng)新，建立開源開放的合作生態(tài)。

于英杰 北京市副市長

梅建平副司長指出，面對大模型引發(fā)的人工智能技術(shù)范式變革趨勢，科技部從2021年開始超前布局大模型旗艦項目群，著力打造開源開放的大模型創(chuàng)新生態(tài)體系?！叭斯ぶ悄芑A(chǔ)模型支撐平臺與評測技術(shù)”旗艦項目是整個項目群的核心，由智源研究院聯(lián)合30多家產(chǎn)學研單位共同承擔。FlagOpen大模型技術(shù)開源體系即是旗艦項目的階段性成果，將對我國大模型技術(shù)創(chuàng)新能力的提升提供重要支撐。另外，為滿足大模型發(fā)展所需的算力需求，科技部正在推動建設(shè)“國家公共算力平臺”和“中國算力網(wǎng)”，為科技創(chuàng)新和產(chǎn)業(yè)智能化轉(zhuǎn)型提供普惠算力。他同時指出，大模型發(fā)展需要技術(shù)創(chuàng)新與倫理治理并重，科技部也將組織探索研究大模型的倫理治理問題，讓大模型技術(shù)趨利避害，更好地發(fā)揮前沿技術(shù)的賦能作用。

梅建平 科技部高新司副司長

FlagOpen飛智大模型技術(shù)開源體系

開啟大模型時代“新Linux”生態(tài)建設(shè)

FlagOpen（飛智）大模型技術(shù)開源體系是由智源研究院與多家企業(yè)、高校和科研機構(gòu)共建的一站式、高質(zhì)量的大模型開源開放軟件體系，包括大模型算法、模型、數(shù)據(jù)、工具、評測等重要組成部分，旨在建設(shè)大模型領(lǐng)域的“Linux”。

基于FlagOpen，國內(nèi)外開發(fā)者可以快速開啟各種大模型的嘗試、開發(fā)和研究工作，企業(yè)可以低門檻進行大模型研發(fā)。同時，F(xiàn)lagOpen大模型基礎(chǔ)軟件開源體系正逐步實現(xiàn)對多種深度學習框架、多種AI芯片的完整支持，支撐AI大模型軟硬件生態(tài)的百花齊放。

FlagOpen將通過Linux基金會、啟智社區(qū)等開源組織，推動國內(nèi)外開發(fā)者協(xié)同創(chuàng)新。通過開源開放方式，全球開發(fā)者可以自由探索、共同貢獻、協(xié)同創(chuàng)新。未來，F(xiàn)lagOpen也將支撐全球AI企業(yè)、機構(gòu)基于FlagOpen構(gòu)建AI大模型軟件發(fā)行版本、平臺、商業(yè)軟件等。

1. FlagAI ：大模型算法、模型及工具一站式開源項目

為降低大模型開發(fā)和應(yīng)用的門檻，提高大模型的開發(fā)效率，智源研究院打造了大模型算法、模型，及各種優(yōu)化工具的一站式、高質(zhì)量開源項目FlagAI。

FlagAI集成全球各種主流大模型算法技術(shù)，以及多種大模型并行處理和訓(xùn)練加速技術(shù)，支持高效訓(xùn)練和微調(diào)。

FlagAI涵蓋多個領(lǐng)域明星模型，如語言大模型OPT、T5，視覺大模型ViT、Swin Transformer，多模態(tài)大模型CLIP等。

堅持開源開放路線，智源研究院也持續(xù)將“悟道”大模型項目成果開源至FlagAI，包括“悟道2.0”通用語言大模型GLM，“悟道3.0”視覺預(yù)訓(xùn)練大模型EVA，視覺通用多任務(wù)模型Painter，文生圖大模型AltDiffusion（多語言），文圖表征預(yù)訓(xùn)練大模型（多語言）、EVA-CLIP（英文），阿拉伯語大模型ALM，百億語言基礎(chǔ)模型CPM3等。

目前，F(xiàn)lagAI已經(jīng)加入Linux基金會，吸引全球科研力量對大模型技術(shù)共同創(chuàng)新、共同貢獻。

項目地址：

https://github.com/FlagAI-Open/FlagAI

__2. __FlagPerf：面向多種AI硬件的一體化評測引擎

AI硬件評測對AI生態(tài)有重要價值，但由于AI軟硬件技術(shù)棧異構(gòu)程度高、兼容性差，應(yīng)用場景復(fù)雜多變，給評測本身帶來了很多挑戰(zhàn)。

FlagPerf希望共同探索開源、開放、靈活、公正、客觀的AI硬件評測體系，建立支持多種深度學習框架、最新主流模型評測需求、易于AI芯片廠商插入底層支撐工具的AI系統(tǒng)評測生態(tài)。不以排名為核心目標，而以提供行業(yè)價值、促進AI產(chǎn)業(yè)生態(tài)發(fā)展為愿景。

目前該項目已和天數(shù)智芯、百度PaddlePaddle、昆侖芯科技、中國移動等深度合作，共同推進AI硬件評測建設(shè)。圍繞FlagPerf，也將有更多廠商和團隊加入共同貢獻的大家庭。

項目地址：

https://github.com/FlagOpen/FlagPerf

3. FlagEval：多領(lǐng)域、多維度的基礎(chǔ)大模型評測開源項目

大模型時代需要科學、公正、開放的評測基準及工具來幫助人們更深刻的理解和認識模型，但在學術(shù)界一直缺乏能涵蓋多種模態(tài)領(lǐng)域、多種評測維度的統(tǒng)一化評測體系和項目。尤其在AIGC的發(fā)展浪潮下，如何對生成任務(wù)進行更高效、更客觀的評價，是阻礙大模型落地的重要制約。

智源研究院將聯(lián)合多個高校團隊，共同打造覆蓋多個模態(tài)領(lǐng)域、包含評測維度的評測工具FlagEval，探索大模型自動評測技術(shù)，推動大模型技術(shù)創(chuàng)新和產(chǎn)業(yè)應(yīng)用。

FlagEval首先開放近期備受關(guān)注的多模態(tài)領(lǐng)域-CLIP系列模型評測工具，支持多語言多任務(wù)、開箱即用。之后，更多領(lǐng)域、更多維度的評測工具陸續(xù)發(fā)布。

項目地址：

https://github.com/FlagOpen/FlagEval

4. FlagData：開箱即用、易于擴展的數(shù)據(jù)工具開源項目

數(shù)據(jù)是人工智能領(lǐng)域發(fā)展的基礎(chǔ)要素之一。隨著大規(guī)模預(yù)訓(xùn)練模型及相關(guān)技術(shù)不斷取得突破，在相應(yīng)研究中使用高效數(shù)據(jù)處理工具提升數(shù)據(jù)質(zhì)量變得日益重要。

智源研究院長期投入數(shù)據(jù)建設(shè)工作，構(gòu)建了全球最大 WuDaoCorpora語料庫，同時開發(fā)了一批數(shù)據(jù)處理的高效工具。

FlagData數(shù)據(jù)工具開源項目集成包含清洗、標注、壓縮、統(tǒng)計分析等功能在內(nèi)的多個數(shù)據(jù)處理工具與算法，為自然語言處理、計算機視覺等領(lǐng)域的模型訓(xùn)練與部署提供了數(shù)據(jù)層面的有力支撐，有助于推動大模型的快速發(fā)展。

項目地址：

https://github.com/FlagOpen/FlagData

林詠華 智源研究院副院長兼總工程師

FlagOpen 大模型技術(shù)開源體系正在與Linux基金會等全球開源代表組織與機構(gòu)積極合作，加快建設(shè)面向全球的大模型技術(shù)開源生態(tài)。

全球最大的AI領(lǐng)域開源基金會- Linux AI & DATA 基金會主席堵俊平認為FlagOpen大模型技術(shù)開源體系的發(fā)布，是人工智能大模型時代開源創(chuàng)新生態(tài)建設(shè)的重要一步：“未來，大模型領(lǐng)域一定會出現(xiàn)類似Linux的開源生態(tài)體系，開源開放加速AI技術(shù)創(chuàng)新?！?/p>

堵俊平 Linux AI & DATA 基金會主席

Stability AI 全球產(chǎn)品副總裁Christian Cantrell說：“我們在開源社區(qū)中與智源團隊合作，基于FlagAI開源的多語言文圖模型能力，合作打造支持更多語言的擴散生成模型。很高興看到智源研究院把大模型技術(shù)體系開源，這對全球大模型創(chuàng)新的推動和開放合作十分重要”

“數(shù)據(jù)飛輪”開源數(shù)據(jù)互助計劃啟動

大模型前沿訓(xùn)練營推動頂尖人才培養(yǎng)

時不我待，十年一遇信息技術(shù)產(chǎn)業(yè)變革席卷世界。

高質(zhì)量數(shù)據(jù)與系統(tǒng)性人才是這一輪計算機范式轉(zhuǎn)變的關(guān)鍵要素。

本次發(fā)布會上，智源研究院開放中文世界首個開放數(shù)據(jù)標注平臺OpenLabel，與CSDN合作啟動”數(shù)據(jù)飛輪”開放數(shù)據(jù)互助公益計劃。計劃以“我們的數(shù)據(jù)，我們的AI”為宗旨，讓廣大人民產(chǎn)生的數(shù)據(jù)，造福于廣大人民。

“數(shù)據(jù)飛輪”計劃的目標是建設(shè)動態(tài)開放的重要大型數(shù)據(jù)集，為大模型、AIGC發(fā)展創(chuàng)建豐富權(quán)威的大模型訓(xùn)練數(shù)據(jù)來源。智源研究院希望通過公益合作，夯實數(shù)據(jù)基礎(chǔ)建設(shè)，促進數(shù)據(jù)創(chuàng)新，推動國內(nèi)外大模型訓(xùn)練研究發(fā)展。

加速邁向人工智能大模型時代，必然伴隨著大模型從精英學者到大眾開發(fā)者的技術(shù)普及。

為推動優(yōu)秀大模型技術(shù)人才培養(yǎng)，智源研究院與中國移動研究院、中科曙光、國家先進計算太原中心合作，與多所頂尖高校聯(lián)動，面向交叉學科背景學生與相關(guān)領(lǐng)域?qū)W者推出大模型前沿訓(xùn)練營，通過舉辦系列人工智能前沿公開課、創(chuàng)新應(yīng)用大賽與前沿講習班，為大模型技術(shù)研究和產(chǎn)業(yè)發(fā)展培養(yǎng)具有實戰(zhàn)經(jīng)驗的系統(tǒng)性人才。

大模型是智能時代生態(tài)核心

FlagOpen建設(shè)大模型技術(shù)體系根基

智源研究院院長黃鐵軍發(fā)表題為《加快建設(shè)人工智能開源開放生態(tài)》的主旨演講，他認為開源開放是智能時代的必然選擇。

大模型通過同一模型完成多場景任務(wù)，成為支撐無數(shù)智能應(yīng)用的基礎(chǔ)平臺，使得人工智能技術(shù)的大規(guī)模應(yīng)用變?yōu)榭赡?，加速了智能時代的真正到來。當前深度學習階段的人工智能系統(tǒng)具有難以透徹理解的技術(shù)特性，智能時代不應(yīng)封閉、必須開放、最好開源，特別是作為基礎(chǔ)平臺的大模型需要全面開源、接受監(jiān)督，才能得到信任、采納和廣泛應(yīng)用。

黃鐵軍 智源研究院院長

結(jié)合當下ChatGPT熱潮，黃鐵軍認為，此類AI現(xiàn)象只是大模型技術(shù)“海平面以上”的冰山一角，深藏于“海平面以下”的大模型技術(shù)體系才是更值得關(guān)注的部分。從長遠考慮，打好根基，形成完整的大模型技術(shù)體系及強大的資源能力，未來才能產(chǎn)生更多的“ChatGPT級”的現(xiàn)場級應(yīng)用。

FlagOpen正是為了建立大模型技術(shù)體系而開展的基礎(chǔ)性工作，通過開源開放的形式促進各類機構(gòu)共創(chuàng)共享，形成良好生態(tài)，共同打牢大模型發(fā)展根基。未來將面向各類企業(yè)提供大模型相關(guān)技術(shù)服務(wù)，支撐各行業(yè)智能應(yīng)用開發(fā)，賦能經(jīng)濟社會智能化升級。

FlagOpen__開源生態(tài)合作

推動大模型產(chǎn)業(yè)價值提升

為推動大模型技術(shù)在更廣泛的范圍得到應(yīng)用，在產(chǎn)業(yè)中發(fā)揮大模型的價值和作用，F(xiàn)lagOpen大模型技術(shù)開源體系已與中國移動、浪潮信息、昆侖芯科技、天數(shù)等多家知名企業(yè)達成生態(tài)合作，并將FlagAI開源工具部署在中國移動九天畢昇教育平臺、浪潮AI Station等平臺。

為促進人工智能與經(jīng)濟社會發(fā)展深度融合，智源聯(lián)合多家單位開展大模型行業(yè)應(yīng)用探索，主要有：

聯(lián)合中國移動研究院建立AI基礎(chǔ)模型服務(wù)開放實驗室，面向行業(yè)應(yīng)用場景的聽覺內(nèi)容分析等領(lǐng)域進行大模型研究與應(yīng)用；聯(lián)合浪潮信息建立大模型開源生態(tài)聯(lián)合實驗室，共同推動國產(chǎn)AI硬件底層軟件的完善；聯(lián)合中國電子云建立大模型國產(chǎn)算力云平臺開放實驗室，探索國產(chǎn)CPU的大模型適配部署；聯(lián)合航天信息建立智慧政企人工智能開放實驗室，探索稅務(wù)、政務(wù)領(lǐng)域的模型能力調(diào)優(yōu)、模型研發(fā)、算法研究等；聯(lián)合工商銀行共建數(shù)字金融開放實驗室，致力于運用AI技術(shù)提升金融生態(tài)垂直領(lǐng)域智能化能力；聯(lián)合啟元世界建立認知決策大模型開放實驗室，探索AI NPC、數(shù)字人AI等場景的大模型應(yīng)用；聯(lián)合核桃科技建立國產(chǎn)3D圖形化AI編程平臺開放實驗室，共同開展基于開源體系的國產(chǎn)化編程平臺工具研發(fā)。

為推動AI底層基礎(chǔ)軟硬件生態(tài)的共建共享和共同繁榮，智源研究院聯(lián)合浪潮信息、昆侖芯科技、壁仞科技、天數(shù)智芯、燧原科技、摩爾線程等硬件企業(yè)，清華大學、北京大學、中科院計算所優(yōu)勢團隊，共建“北京國家新一代人工智能創(chuàng)新發(fā)展試驗區(qū)AI開放生態(tài)實驗室”，共同開展基礎(chǔ)軟硬件適配、評測等工作，實現(xiàn)拉動基礎(chǔ)軟硬件對AI重大科研計算范式的優(yōu)化，加速完善軟硬件生態(tài)建設(shè)。

審核編輯 黃宇