訊飛星火端側(cè)模型發(fā)布

參數(shù)量小、內(nèi)存占比小的端側(cè)模型，正成為“兵家必爭之地”。

“史上最強Mate”、“絕對對得起那四個字”。剛剛發(fā)布的華為Mate 70，基于“軟硬端云的AI技術(shù)底座”推出了AI運動軌跡還原、AI通話摘要、AI消息隨身等九大功能，讓AI手機的概念進一步具象化。

自2024年年初至今，三星、蘋果、谷歌、vivo等國內(nèi)外手機廠商紛紛推出自家的AI手機，并將其中的AI功能作為核心賣點面向消費者重點宣傳。根據(jù)Counterpoint數(shù)據(jù)，僅在

2024年第一季度，全球具有生成式AI功能的智能手機型號就從16個增加到30多個，支持生成式AI的智能手機在2024年第一季度占全球智能手機銷量的6%，比上一季度的1.3%有了顯著增長。

事實上，不只是手機，越來越多的AR眼鏡、PC、汽車等消費電子終端廠商，也在將AI技術(shù)應(yīng)用到自己的產(chǎn)品和服務(wù)中。

火熱落地的背后，是端側(cè)模型的快速興起。

與“力大磚飛”的云端大模型相比，端側(cè)模型雖然參數(shù)量更小，卻有著低延時、可靠性高、隱私安全性高、低成本的優(yōu)勢，這些恰恰是用戶量龐大、交互頻繁的智能終端所需要的。

01多尺寸、可落地

訊飛星火端側(cè)模型發(fā)布

面對洶涌而至的端側(cè)模型浪潮，頭部大模型廠商早早推出了自研的端側(cè)大模型?？拼笥嶏w基于多年的核心技術(shù)積累和成建制的研發(fā)隊伍，推出了星火端側(cè)模型矩陣，覆蓋0.4B-13B，效果已滿足落地商用要求，并已在汽車、AI PC等場景落地，更多場景持續(xù)深挖中。

在智能座艙領(lǐng)域，10月24日的科大訊飛全球1024開發(fā)者節(jié)上，汽車端側(cè)星火大模型首次發(fā)布，并且在Q4就將率先在奇瑞、廣汽、長城的車型中陸續(xù)“上崗”，讓每輛汽車上配置一位“雙商在線”的智能助手。

汽車端側(cè)星火大模型相比云端大模型效果損失≤1%，端側(cè)首次響應(yīng)時間40ms，端云融合交互時間低至1.3s;基于汽車端側(cè)硬件，在無網(wǎng)環(huán)境下也能使用。

“車?yán)镉悬c悶”“放點兒搖滾樂”“講個小紅帽與大灰狼的故事”……無論是簡單地指令，還是復(fù)雜地句子，車主想到什么就說什么，車機不僅能聽懂，還能做得好。即使行駛在無網(wǎng)、弱網(wǎng)的隧道、野外，依舊可以進行流暢的語音交互。

AI PC 領(lǐng)域，訊飛推出的7B端側(cè)模型，可開發(fā)寫作助手、會議助手、PPT助手，本地RAG隱私保護個人知識庫等辦公場景應(yīng)用，滿足個性化，隱私安全的AI PC助手構(gòu)建要求。

作為部署在終端設(shè)備上運行的大型預(yù)訓(xùn)練模型，端側(cè)模型雖然參數(shù)量更小，但性能卻絲毫不弱。通過知識蒸餾，端側(cè)大模型能夠在保持較高性能的同時，大幅減少模型參數(shù)量和計算復(fù)雜度。這種技術(shù)使得復(fù)雜的AI模型可在資源受限的端側(cè)設(shè)備上高效運行，實現(xiàn)低能耗、高響應(yīng)速度和高準(zhǔn)確度的AI推理。

與云端大模型相比，端側(cè)模型還有著獨特的優(yōu)勢：

在實時性上，借助端側(cè)模型，用戶大部分?jǐn)?shù)據(jù)處理均在本地完成，減少了對云端的依賴，大幅提高響應(yīng)速度。

可靠性方面，即使在網(wǎng)絡(luò)不穩(wěn)定或無網(wǎng)絡(luò)環(huán)境下，端側(cè)模型仍然能夠提供服務(wù)。

從隱私安全來看，用戶數(shù)據(jù)無需上傳云端，從而降低數(shù)據(jù)泄露風(fēng)險。

經(jīng)濟性方面，端側(cè)模型的計算均在用戶本地的設(shè)備上進行，無需使用手機等廠商的云推理服務(wù)，大幅降低了用戶使用成本。

目前，端側(cè)模型正在加速落地，在手機、PC、耳機、音箱、XR、汽車、具身智能，及眾多可穿戴設(shè)備等場景不斷應(yīng)用。

02端側(cè)模型開發(fā)框架

輕松定制開發(fā)本地化應(yīng)用

為了讓開發(fā)者在各類場景平臺快速使用上訊飛星火端側(cè)模型，除基礎(chǔ)能力外，訊飛推出了端側(cè)模型應(yīng)用開發(fā)框架-SparkEdge，包含完善的端側(cè)內(nèi)容安全審核，本地RAG，智能體開發(fā)框架等應(yīng)用開發(fā)剛需能力，支持開發(fā)者輕松定制本地化應(yīng)用。

? 主流平臺全覆蓋，接入方式更靈活

兼容平臺方面，訊飛星火端側(cè)模型既兼容主流Windows、Linux、Android等通用平臺以及各類國產(chǎn)化操作系統(tǒng)平臺，也可適配國內(nèi)外的CPU、GPU、NPU等不同算力平臺。

接入方式上，跨平臺SDK供移動端等原生應(yīng)用開發(fā)者快速接入;輕量級Service輕量級Service方案一鍵星火+開源，云+端模型絲滑切換，滿足多應(yīng)用多模型調(diào)度需求。

? 豐富本地的開發(fā)配套能力

端側(cè)內(nèi)容審核：提供純本地輕量級審核方案，保障模型輸入輸出內(nèi)容安全

本地智能體框架：針對本地郵件信息總結(jié)，寫作，系統(tǒng)指令控制和跨應(yīng)用協(xié)同等場景，提供完整智能體和Tools開發(fā)框架，滿足Prompt型，任務(wù)規(guī)劃型等各類本地智能體快速構(gòu)建

本地RAG方案：針對本地設(shè)備說明書，個人敏感文檔等知識管理問答場景，提供輕量級RAG方案，滿足隱私安全的個人知識庫快速構(gòu)建

端微調(diào)：針對端側(cè)模型微調(diào)量化需求，提供完整平臺化鏈路，”云訓(xùn)端推”，支持用戶快速完成個性化微調(diào)定制

目前，訊飛星火端側(cè)模型已在訊飛開放平臺面向開發(fā)者開放調(diào)用。

同時，面向機器人、AI PC、鍵鼠等智能硬件場景，訊飛還提供了端云協(xié)同大模型應(yīng)用開發(fā)框架SparkChain，讓智能硬件開發(fā)者，無需關(guān)注大模型應(yīng)用開發(fā)過程中，模型選擇，開發(fā)框架，能力組合，硬件適配等各類問題，專注于智能硬件產(chǎn)品創(chuàng)新，星火SparkChain一套全搞定。

03下一個賽點

共同推動AI落地提速

相關(guān)研究報告顯示，2023年中國端側(cè)模型市場規(guī)模達8億元，持樂觀態(tài)度估計，預(yù)計2024年中國端側(cè)模型市場將達到21億元。

面對廣闊的市場，想要推進端側(cè)大模型的部署與應(yīng)用，讓AI真正做到無處不在，單一企業(yè)的力量難以覆蓋全部產(chǎn)業(yè)鏈環(huán)節(jié)，需要構(gòu)建開放合作的生態(tài)系統(tǒng)，探索更多的應(yīng)用場景。

科大訊飛作為人工智能領(lǐng)域的領(lǐng)軍者，自2017年起承建國家新一代人工智能開放創(chuàng)新平臺，已開放767項AI能力，匯聚超774.9萬開發(fā)者團隊，累覆蓋終端設(shè)備數(shù)超41.2億，鏈接超千萬生態(tài)伙伴?！岸藗?cè)AI元年”已然到來，訊飛將與生態(tài)伙伴緊密合作，推動端側(cè)模型的普及落地，為用戶提供性能更優(yōu)異、體驗更好的智能終端設(shè)備。