0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

國內(nèi)科學家團隊發(fā)布超大規(guī)模AI預訓練模型

工程師鄧生 ? 來源: 愛集微APP ? 作者: 愛集微APP ? 2021-03-21 10:09 ? 次閱讀

據(jù)消息,北京智源人工智能研究院發(fā)布四個超大規(guī)模人工智能預訓練模型,統(tǒng)稱為“悟道1.0”,涵蓋中文語言、多模態(tài)、認知、蛋白質(zhì)預測四個領(lǐng)域,是幫助國內(nèi)企業(yè)、機構(gòu)開發(fā)人工智能應用的大型基礎(chǔ)設(shè)施。

“悟道1.0”由智源研究院學術(shù)副院長、清華大學唐杰教授領(lǐng)銜,帶領(lǐng)來自北京大學、清華大學、中國人民大學、中國科學院等單位的100余位AI科學家團隊聯(lián)合攻關(guān),同時與快手、搜狗、360、阿里、新華社等龍頭企業(yè)共同研發(fā)工業(yè)級示范性應用。

智源研究院院長黃鐵軍教授介紹,近幾年這輪人工智能浪潮的基本特點是“數(shù)據(jù)+算力+算法=模型”,模型濃縮了訓練數(shù)據(jù)的內(nèi)部規(guī)律,是實現(xiàn)人工智能應用的載體。近年來人工智能的發(fā)展,已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段,通過設(shè)計先進的算法,整合盡可能多的數(shù)據(jù),匯聚大量算力,集約化地訓練大模型,供大量企業(yè)使用,是必然趨勢。

智源研究院2020年10月啟動“悟道”項目,研發(fā)規(guī)模大(主要體現(xiàn)為參數(shù)量)、智商高、具備類人認知能力、統(tǒng)一對多模態(tài)數(shù)據(jù)的理解和建模、滿足各種應用需要的預訓練模型,特別是注重中文語料的采集和訓練。

責任編輯:lq6

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 搜狗
    +關(guān)注

    關(guān)注

    0

    文章

    90

    瀏覽量

    13938
  • 人工智能
    +關(guān)注

    關(guān)注

    1791

    文章

    47352

    瀏覽量

    238771
收藏 人收藏

    評論

    相關(guān)推薦

    一文說清楚什么是AI模型

    目前,大模型(特別是在2023年及之后的語境中)通常特指大語言模型(LLM, Large Language Model),但其范圍也涵蓋其他領(lǐng)域的超大規(guī)模深度學習模型,例如圖像生成
    的頭像 發(fā)表于 01-02 09:53 ?227次閱讀
    一文說清楚什么是<b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>

    AI模型訓練數(shù)據(jù)來源分析

    學術(shù)機構(gòu)、政府組織或企業(yè)公開發(fā)布,涵蓋了各種類型的數(shù)據(jù),如圖像、文本、音頻、視頻等。例如: ImageNet :一個廣泛用于圖像識別任務(wù)的大規(guī)模圖像數(shù)據(jù)集。 Common Crawl :提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然語言處理模型
    的頭像 發(fā)表于 10-23 15:32 ?704次閱讀

    AI for Science:人工智能驅(qū)動科學創(chuàng)新》第4章-AI與生命科學讀后感

    了傳統(tǒng)學科界限,使得科學家們能夠從更加全面和深入的角度理解生命的奧秘。同時,AI技術(shù)的引入也催生了一種全新的科學研究范式,即數(shù)據(jù)驅(qū)動的研究范式,這種范式強調(diào)從大量數(shù)據(jù)中提取有價值的信息,從而推動
    發(fā)表于 10-14 09:21

    AI for Science:人工智能驅(qū)動科學創(chuàng)新》第二章AI for Science的技術(shù)支撐學習心得

    和數(shù)量直接影響到模型的準確性和可靠性。因此,數(shù)據(jù)獲取、處理、分析和質(zhì)量控制在AI for Science中至關(guān)重要。此外,數(shù)據(jù)驅(qū)動的研究范式也促使科學家從傳統(tǒng)的假設(shè)驅(qū)動轉(zhuǎn)向更加靈活和開放的研究方法
    發(fā)表于 10-14 09:16

    Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心

    在推動亞太地區(qū)AI計算領(lǐng)域邁向新紀元的征程中,Zettabyte與緯創(chuàng)資通(Wistron Corporation)攜手宣布了一項重大合作——共同建設(shè)臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心,這一里程碑式的項目不僅標志著臺灣
    的頭像 發(fā)表于 09-05 16:26 ?402次閱讀

    谷歌正在考慮在越南建設(shè)超大規(guī)模數(shù)據(jù)中心

    據(jù)可靠消息透露,Alphabet集團旗下的谷歌公司正積極籌劃在越南南部的經(jīng)濟樞紐胡志明市周邊建設(shè)一座“超大規(guī)模”數(shù)據(jù)中心。此舉標志著美國科技巨頭首次在東南亞國家進行此類重大投資,盡管具體的投資金額尚待揭曉。
    的頭像 發(fā)表于 08-30 14:55 ?638次閱讀

    SAS 24G+規(guī)范發(fā)布,為超大規(guī)模數(shù)據(jù)中心HDD和SSD

    最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿(mào)易協(xié)會論壇(STA)與INCITS/SCSI標準組織攜手推出,專為下一代超大規(guī)模數(shù)據(jù)中心中的機械硬盤(HDD)與固態(tài)硬盤(SSD)量身打造。
    的頭像 發(fā)表于 07-25 15:13 ?797次閱讀

    大語言模型訓練

    能力,逐漸成為NLP領(lǐng)域的研究熱點。大語言模型訓練是這一技術(shù)發(fā)展的關(guān)鍵步驟,它通過在海量無標簽數(shù)據(jù)上進行訓練,使模型學習到語言的通用知識
    的頭像 發(fā)表于 07-11 10:11 ?439次閱讀

    燧原科技與清程極智攜手共創(chuàng)AI未來:共筑超大規(guī)模智算集群新篇章

    協(xié)議,雙方將攜手步入全新的合作階段,共同探索并開發(fā)面向超萬億參數(shù)大模型超大規(guī)模集群的高性能系統(tǒng)軟件方案,標志著雙方在推動AI技術(shù)邊界、加速產(chǎn)業(yè)智能化進程上邁出了堅實的一步。
    的頭像 發(fā)表于 07-05 14:50 ?809次閱讀

    訓練模型的基本原理和應用

    訓練模型(Pre-trained Model)是深度學習和機器學習領(lǐng)域中的一個重要概念,尤其是在自然語言處理(NLP)和計算機視覺(CV)等領(lǐng)域中得到了廣泛應用。
    的頭像 發(fā)表于 07-03 18:20 ?2900次閱讀

    【大語言模型:原理與工程實踐】大語言模型訓練

    增長。DeepMind在相關(guān)論文中指出,模型大小和訓練Token數(shù)應以相似速率增長,以確保最佳性能。因此,構(gòu)建與模型規(guī)模相匹配的
    發(fā)表于 05-07 17:10

    名單公布!【書籍評測活動NO.30】大規(guī)模語言模型:從理論到實踐

    等多種形式和任務(wù)。這個階段是從語言模型向?qū)υ?b class='flag-5'>模型轉(zhuǎn)變的關(guān)鍵,其核心難點在于如何構(gòu)建訓練數(shù)據(jù),包括訓練數(shù)據(jù)內(nèi)部多個任務(wù)之間的關(guān)系、訓練數(shù)據(jù)與
    發(fā)表于 03-11 15:16

    超大規(guī)模數(shù)據(jù)中心采用三星FDP SSD降低存儲成本

    主機數(shù)據(jù)放置技術(shù)一直是超大規(guī)模數(shù)據(jù)中心關(guān)注的話題,因為它影響所部署的SSD的總體擁有成本(TCO)。
    的頭像 發(fā)表于 03-07 15:39 ?1991次閱讀
    <b class='flag-5'>超大規(guī)模</b>數(shù)據(jù)中心采用三星FDP SSD降低存儲成本

    晶晟微納發(fā)布N800超大規(guī)模AI算力芯片測試探針卡

    近日,上海韜盛科技旗下的蘇州晶晟微納宣布推出其最新研發(fā)的N800超大規(guī)模AI算力芯片測試探針卡。這款高性能探針卡采用了前沿的嵌入式合金納米堆疊技術(shù),旨在滿足當前超大規(guī)模AI算力芯片的高
    的頭像 發(fā)表于 03-04 13:59 ?1054次閱讀

    中國電信規(guī)劃在上海建設(shè)首個國產(chǎn)超大規(guī)模算力液冷集群

    中國電信規(guī)劃建設(shè)首個國產(chǎn)超大規(guī)模算力液冷集群 人工智能技術(shù)的快速發(fā)展催生了巨大的算力需求;中國電信規(guī)劃在上海規(guī)劃建設(shè)可支持萬億參數(shù)大模型訓練的智算集群中心。其中會搭載液冷技術(shù),單池新建國產(chǎn)算力達10000卡,也是首個支持單池萬卡
    的頭像 發(fā)表于 02-22 18:48 ?1339次閱讀