0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

開放原子開源大賽助力輕量級大語言模型應用落地

開放原子 ? 來源:開放原子 ? 2024-09-24 10:38 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

首屆開放原子開源大賽系列成果

Intel借助開源大賽在全國的影響力,吸引更多開發(fā)者加入大語言模型及其在人工智能領域的創(chuàng)新應用。”負責BigDL-LLM賽題運營的Intel工作人員表示。

2023年,大語言模型(LLM)及應用成為全球焦點,參數(shù)量激增至萬億級。隨著模型參數(shù)數(shù)量的不斷增加,推理時間變得越來越長,運行大模型所需的資源消耗也越來越多,導致其運行緩慢,這為AI應用開發(fā)者帶來了極大的挑戰(zhàn)。

為此,Intel開發(fā)并開源了BigDL-LLM,可借助Intel平臺優(yōu)勢,助力AI開發(fā)者和研究者加速優(yōu)化大語言模型,提升大語言模型的使用體驗。

為了使BigDL-LLM服務更多開發(fā)者,并為大型語言模型的開源應用提供更多實際應用場景,Intel與開放原子開源基金會合作,通過舉辦開源大賽,激勵開發(fā)者創(chuàng)新。2023年11月,“BigDL-LLM輕量級大語言模型應用開發(fā)創(chuàng)新賽”在開放原子開源大賽平臺正式上線,致力于進一步推動大語言模型技術的發(fā)展和應用。

開源大賽

加速優(yōu)化大語言模型

開放原子開源大賽——BigDL-LLM輕量級大語言模型應用開發(fā)創(chuàng)新賽,以30萬獎金和Intel實習機會為激勵,匯聚了全國120所高校與企業(yè)單位的163支團隊,經(jīng)過嚴格篩選,來自微軟公司、華東師范大學、上海交通大學、北京航空航天大學、復旦大學、同濟大學、浙江靜好控股集團等單位的十強團隊脫穎而出,進入決賽。

本次大賽要求參賽選手通過在Intel本地PC(無需獨立顯卡)或云端,開發(fā)基于大語言模型的創(chuàng)新應用,如智能語音助手、智能助理、聊天機器人、智能客服等。參賽作品應以可執(zhí)行代碼和文檔為主,并可選包括演示、PPT、演示視頻等形式。

在決賽上,上海交通大學的SJTUNavSailor團隊使用BigDL-LLM量化后的int4模型,不僅內(nèi)存占用大幅下降,對話響應時間也從原本超過5分鐘(仍未響應)降至8秒;華東師范大學的VidBot團隊則用BigDL-LLM將Whipser語音模型放在XPU加速推理后,轉(zhuǎn)錄時間提速了一倍;

“在使用BigDL-LLM模型加速后,效果顯著,尤其是在Intel CPU平臺上可以實現(xiàn)很大程度的加速效果,提升大模型在個人電腦運行的性能,降低AI PC的使用門檻?!蓖瑵髮W、浙江靜好控股集團等入圍選手在路演現(xiàn)場接受采訪時表示。

最終,獲獎團隊通過應用大語言模型技術,為教育、招聘和美容等行業(yè)提供了創(chuàng)新的技術解決方案,展現(xiàn)了高效、穩(wěn)定和可靠的深度學習應用潛力。

開源大賽

助力輕量級大語言模型應用落地

在決賽的路演中,經(jīng)過9位資深評委專家的細致評選,浙江靜好控股集團的“美業(yè)AI大腦”團隊脫穎而出,榮獲一等獎。華東師范大學的OpenEduECNU和Vidbot團隊也展現(xiàn)了卓越實力,共同榮獲二等獎。

“美業(yè)AI大腦”團隊負責人賽后總結(jié)時表示:“我們非常幸運能夠參加開放原子開源大賽,此次獲獎不僅將AI工具落地應用在美業(yè)領域,更是對美業(yè)產(chǎn)業(yè)未來轉(zhuǎn)型升級的一種推動?!?/p>

據(jù)路演團隊的介紹,“美業(yè)AI大腦”旨在全面覆蓋美業(yè)的應用場景,打造一個全面、智能、互動的學習平臺。該平臺將為美業(yè)人員提供便捷、高效、有趣的學習體驗,無論是解答日常疑問、查詢專業(yè)知識、即時生成話術等,都能提供專業(yè)的解決方案。

華東師范大學OpenEduECNU團隊的代表張豈明在接受采訪時表示:“非常感謝開放原子開源大賽為我們提供了展示作品的平臺。我們的方案利用BigDL-LLM輕量級大語言模型,結(jié)合華東師范大學的海量教育數(shù)據(jù)資源,開發(fā)出了集課程問答、試題生成和課件定制(教學大綱、教學PPT)等個性化功能于一體的教育工具,旨在幫助教育工作者提高教研效率,推動教學個性化發(fā)展,促進教育公平?!?/p>

為了深入挖掘如何運用BigDL-LLM輕量級大語言模型實現(xiàn)應用開發(fā)的實際應用,我們特別邀請了本次比賽的獲獎團隊代表,分享他們的開發(fā)流程和參賽經(jīng)驗!

來自華東師范大學的數(shù)據(jù)科學與工程學院碩士研究生張豈明,將直播分享《開放原子開源大賽獲獎選手經(jīng)驗分享——Open Edu ECNU個性化課程智能助教》,回顧參賽心得與經(jīng)驗分享。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • intel
    +關注

    關注

    19

    文章

    3495

    瀏覽量

    188341
  • 開源
    +關注

    關注

    3

    文章

    3663

    瀏覽量

    43760
  • 大模型
    +關注

    關注

    2

    文章

    3117

    瀏覽量

    4028

原文標題:開放原子開源大賽助力Intel BigDL-LLM服務更多開發(fā)者

文章出處:【微信號:開放原子,微信公眾號:開放原子】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    重磅!圖撲軟件斬獲第二屆開放原子大賽二等獎

    開放原子開源基金會主辦,華為技術有限公司等聯(lián)合主辦,OPC 基金會、和利時科技集團有限公司協(xié)辦的第二屆開放原子
    的頭像 發(fā)表于 03-12 14:32 ?311次閱讀
    重磅!圖撲軟件斬獲第二屆<b class='flag-5'>開放</b><b class='flag-5'>原子</b><b class='flag-5'>大賽</b>二等獎

    開放原子大賽推動汽車軟件生態(tài)繁榮

    基金會聯(lián)合重慶市經(jīng)濟和信息化委員會共同舉辦的“第二屆開放原子大賽——汽車軟件開源賽”應運而生。大賽通過
    的頭像 發(fā)表于 03-07 09:29 ?527次閱讀

    第二屆開放原子大賽vivo藍河操作系統(tǒng)創(chuàng)新賽圓滿落幕

    近日,由開放原子開源基金會聯(lián)合共建單位vivo舉行的第二屆開放原子大賽vivo藍河操作系統(tǒng)創(chuàng)新賽
    的頭像 發(fā)表于 02-25 16:00 ?545次閱讀

    第二屆開放原子大賽石油軟件專區(qū)賽決賽成功舉辦

    2月20日,由開放原子開源基金會與中國石油勘探開發(fā)研究院聯(lián)合主辦的第二屆開放原子大賽石油軟件專區(qū)
    的頭像 發(fā)表于 02-21 14:05 ?547次閱讀

    第二屆開放原子大賽石油軟件專區(qū)賽決戰(zhàn)在即

    開放原子開源基金會(簡稱“基金會”)與中國石油勘探開發(fā)研究院(簡稱“勘探院”)聯(lián)合主辦的第二屆開放原子
    的頭像 發(fā)表于 02-20 09:31 ?529次閱讀

    第二屆開放原子大賽汽車軟件開源賽圓滿落幕

    2月14日,由開放原子開源基金會、重慶市經(jīng)濟和信息化委員會共同主辦的第二屆開放原子大賽——汽車軟
    的頭像 發(fā)表于 02-15 14:45 ?867次閱讀

    開放原子開放硬件許可證正式發(fā)布

    近日,在2024開放原子開發(fā)者大會暨首屆開源技術學術大會開幕式上,開放原子開源基金會正式發(fā)布
    的頭像 發(fā)表于 12-23 11:27 ?679次閱讀

    第二屆開放原子大賽首批賽項頒獎儀式在武漢舉辦

    近日,在2024開放原子開發(fā)者大會暨首屆開源技術學術大會開幕式上,第二屆開放原子大賽首批賽項頒獎
    的頭像 發(fā)表于 12-23 11:24 ?566次閱讀

    第二屆開放原子開源大賽圓滿落幕

    近日,由開放原子開源基金會牽頭、OurBMC社區(qū)攜手其理事單位飛騰信息技術有限公司、麒麟軟件有限公司,以及OpenKylin社區(qū)聯(lián)合承辦的第二屆開放
    的頭像 發(fā)表于 12-20 18:00 ?992次閱讀

    第二屆開放原子大賽首批創(chuàng)新成果集結(jié)武漢

    12月20日至21日,武漢將迎來一場開源技術的盛會——2024開放原子開發(fā)者大會暨首屆開源技術學術大會。屆時,第二屆開放
    的頭像 發(fā)表于 12-18 15:22 ?599次閱讀

    華秋電子獲“2023開放原子開源大賽”共建證書,共同推動EDA領域的發(fā)展

    9月25日-27日,以“開源賦能產(chǎn)業(yè),生態(tài)共筑未來”為主題的2024開放原子開源生態(tài)大會在北京隆重舉辦。15場主題論壇、開源生態(tài)交流區(qū)……各
    的頭像 發(fā)表于 12-12 18:17 ?964次閱讀
    華秋電子獲“2023<b class='flag-5'>開放</b><b class='flag-5'>原子</b><b class='flag-5'>開源</b><b class='flag-5'>大賽</b>”共建證書,共同推動EDA領域的發(fā)展

    第二屆開放原子大賽火熱進行中

    第二屆開放原子大賽(簡稱“大賽”)是由開放原子開源
    的頭像 發(fā)表于 10-31 10:04 ?692次閱讀

    第二屆開放原子大賽火熱開啟

    第二屆開放原子大賽(簡稱“大賽”)是由開放原子開源
    的頭像 發(fā)表于 10-18 11:39 ?927次閱讀

    開放原子開源數(shù)據(jù)庫生態(tài)論壇成功舉辦

    以“開源生態(tài)筑基礎,數(shù)字經(jīng)濟鑄未來”為主題的2024全球數(shù)字經(jīng)濟大會——開放原子開源數(shù)據(jù)庫生態(tài)論壇在北京成功舉辦。開放
    的頭像 發(fā)表于 09-24 10:36 ?786次閱讀

    迅龍軟件OrangePi?5 Plus順利通過開放原子開源基金會XTS認證

    迅龍軟件的熱銷產(chǎn)品OrangePi5Plus最近傳來好消息。其順利通過開放原子開源基金會XTS認證,并獲頒OpenHarmony生態(tài)產(chǎn)品兼容性證書。開放
    的頭像 發(fā)表于 09-09 15:36 ?973次閱讀
    迅龍軟件OrangePi?5 Plus順利通過<b class='flag-5'>開放</b><b class='flag-5'>原子</b><b class='flag-5'>開源</b>基金會XTS認證

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品