開放原子開源大賽助力輕量級大語言模型應(yīng)用落地

首屆開放原子開源大賽系列成果

“Intel借助開源大賽在全國的影響力，吸引更多開發(fā)者加入大語言模型及其在人工智能領(lǐng)域的創(chuàng)新應(yīng)用?！必?fù)責(zé)BigDL-LLM賽題運(yùn)營的Intel工作人員表示。

2023年，大語言模型（LLM）及應(yīng)用成為全球焦點(diǎn)，參數(shù)量激增至萬億級。隨著模型參數(shù)數(shù)量的不斷增加，推理時間變得越來越長，運(yùn)行大模型所需的資源消耗也越來越多，導(dǎo)致其運(yùn)行緩慢，這為AI應(yīng)用開發(fā)者帶來了極大的挑戰(zhàn)。

為此，Intel開發(fā)并開源了BigDL-LLM，可借助Intel平臺優(yōu)勢，助力AI開發(fā)者和研究者加速優(yōu)化大語言模型，提升大語言模型的使用體驗。

為了使BigDL-LLM服務(wù)更多開發(fā)者，并為大型語言模型的開源應(yīng)用提供更多實際應(yīng)用場景，Intel與開放原子開源基金會合作，通過舉辦開源大賽，激勵開發(fā)者創(chuàng)新。2023年11月，“BigDL-LLM輕量級大語言模型應(yīng)用開發(fā)創(chuàng)新賽”在開放原子開源大賽平臺正式上線，致力于進(jìn)一步推動大語言模型技術(shù)的發(fā)展和應(yīng)用。

開源大賽

加速優(yōu)化大語言模型

開放原子開源大賽——BigDL-LLM輕量級大語言模型應(yīng)用開發(fā)創(chuàng)新賽，以30萬獎金和Intel實習(xí)機(jī)會為激勵，匯聚了全國120所高校與企業(yè)單位的163支團(tuán)隊，經(jīng)過嚴(yán)格篩選，來自微軟公司、華東師范大學(xué)、上海交通大學(xué)、北京航空航天大學(xué)、復(fù)旦大學(xué)、同濟(jì)大學(xué)、浙江靜好控股集團(tuán)等單位的十強(qiáng)團(tuán)隊脫穎而出，進(jìn)入決賽。

本次大賽要求參賽選手通過在Intel本地PC（無需獨(dú)立顯卡）或云端，開發(fā)基于大語言模型的創(chuàng)新應(yīng)用，如智能語音助手、智能助理、聊天機(jī)器人、智能客服等。參賽作品應(yīng)以可執(zhí)行代碼和文檔為主，并可選包括演示、PPT、演示視頻等形式。

在決賽上，上海交通大學(xué)的SJTUNavSailor團(tuán)隊使用BigDL-LLM量化后的int4模型，不僅內(nèi)存占用大幅下降，對話響應(yīng)時間也從原本超過5分鐘（仍未響應(yīng)）降至8秒；華東師范大學(xué)的VidBot團(tuán)隊則用BigDL-LLM將Whipser語音模型放在XPU加速推理后，轉(zhuǎn)錄時間提速了一倍；

“在使用BigDL-LLM模型加速后，效果顯著，尤其是在Intel CPU平臺上可以實現(xiàn)很大程度的加速效果，提升大模型在個人電腦運(yùn)行的性能，降低AI PC的使用門檻。”同濟(jì)大學(xué)、浙江靜好控股集團(tuán)等入圍選手在路演現(xiàn)場接受采訪時表示。

最終，獲獎團(tuán)隊通過應(yīng)用大語言模型技術(shù)，為教育、招聘和美容等行業(yè)提供了創(chuàng)新的技術(shù)解決方案，展現(xiàn)了高效、穩(wěn)定和可靠的深度學(xué)習(xí)應(yīng)用潛力。

開源大賽

助力輕量級大語言模型應(yīng)用落地

在決賽的路演中，經(jīng)過9位資深評委專家的細(xì)致評選，浙江靜好控股集團(tuán)的“美業(yè)AI大腦”團(tuán)隊脫穎而出，榮獲一等獎。華東師范大學(xué)的OpenEduECNU和Vidbot團(tuán)隊也展現(xiàn)了卓越實力，共同榮獲二等獎。

“美業(yè)AI大腦”團(tuán)隊負(fù)責(zé)人賽后總結(jié)時表示：“我們非常幸運(yùn)能夠參加開放原子開源大賽，此次獲獎不僅將AI工具落地應(yīng)用在美業(yè)領(lǐng)域，更是對美業(yè)產(chǎn)業(yè)未來轉(zhuǎn)型升級的一種推動?！?/p>

據(jù)路演團(tuán)隊的介紹，“美業(yè)AI大腦”旨在全面覆蓋美業(yè)的應(yīng)用場景，打造一個全面、智能、互動的學(xué)習(xí)平臺。該平臺將為美業(yè)人員提供便捷、高效、有趣的學(xué)習(xí)體驗，無論是解答日常疑問、查詢專業(yè)知識、即時生成話術(shù)等，都能提供專業(yè)的解決方案。

華東師范大學(xué)OpenEduECNU團(tuán)隊的代表張豈明在接受采訪時表示：“非常感謝開放原子開源大賽為我們提供了展示作品的平臺。我們的方案利用BigDL-LLM輕量級大語言模型，結(jié)合華東師范大學(xué)的海量教育數(shù)據(jù)資源，開發(fā)出了集課程問答、試題生成和課件定制（教學(xué)大綱、教學(xué)PPT）等個性化功能于一體的教育工具，旨在幫助教育工作者提高教研效率，推動教學(xué)個性化發(fā)展，促進(jìn)教育公平?！?/p>

為了深入挖掘如何運(yùn)用BigDL-LLM輕量級大語言模型實現(xiàn)應(yīng)用開發(fā)的實際應(yīng)用，我們特別邀請了本次比賽的獲獎團(tuán)隊代表，分享他們的開發(fā)流程和參賽經(jīng)驗！

來自華東師范大學(xué)的數(shù)據(jù)科學(xué)與工程學(xué)院碩士研究生張豈明，將直播分享《開放原子開源大賽獲獎選手經(jīng)驗分享——Open Edu ECNU個性化課程智能助教》，回顧參賽心得與經(jīng)驗分享。