云知聲在邊緣側(cè)大模型技術(shù)探索和應(yīng)用

隨著人工智能技術(shù)的飛速發(fā)展，汽車行業(yè)正從“軟件定義汽車”向“AI定義汽車”的新時(shí)代邁進(jìn)。如何將大模型技術(shù)更深入地整合到車載系統(tǒng)中，以實(shí)現(xiàn)更高效、更低成本的智能化解決方案，正成為眾多車企亟需解決的課題。

2024高工智能汽車開發(fā)者大會(huì)暨艙駕智能與跨域論壇上，云知聲智慧座艙解決方案中心總經(jīng)理鮑晴峰以《邊緣側(cè)大模型帶來(lái)智能座艙交互新體驗(yàn)》為題，分享了云知聲在邊緣側(cè)大模型技術(shù)探索和應(yīng)用方面的豐富經(jīng)驗(yàn)和前瞻性見解。

PART 1

端云融合，邊緣計(jì)算興起

隨著技術(shù)的發(fā)展，車載大模型正在經(jīng)歷一場(chǎng)重要的變革。盡管云端計(jì)算模式在處理大數(shù)據(jù)和復(fù)雜任務(wù)時(shí)表現(xiàn)出色，但隨著對(duì)實(shí)時(shí)性、穩(wěn)定性以及個(gè)性化服務(wù)需求的不斷增長(zhǎng)，其局限性開始顯現(xiàn)。特別是在車載環(huán)境中，用戶期望獲得快速響應(yīng)和高度可靠的智能服務(wù)，同時(shí)對(duì)數(shù)據(jù)隱私和安全性的要求也日益提高。

正是這些需求推動(dòng)了車載大模型向端云融合和邊緣計(jì)算的方向發(fā)展。端側(cè)硬件性能的提升，尤其是AI芯片NPU算力的快速提升，為大模型在車輛本地的高效運(yùn)行提供了必要的支持。這意味著大模型可以更接近端側(cè)處理，從而減少對(duì)云端的依賴，實(shí)現(xiàn)更快的響應(yīng)時(shí)間和更高的穩(wěn)定性。同時(shí)，本地處理還有助于保護(hù)用戶數(shù)據(jù)的隱私，因?yàn)閿?shù)據(jù)不必頻繁地在車端和云端之間傳輸。

此外，端側(cè)大模型的小型化和優(yōu)化，使得它們能夠適應(yīng)車載系統(tǒng)有限的計(jì)算資源，同時(shí)保持高性能的AI處理能力。這種技術(shù)進(jìn)步不僅提升了用戶體驗(yàn)，也為車輛提供了更加個(gè)性化和智能化的服務(wù)，滿足市場(chǎng)對(duì)智能座艙不斷增長(zhǎng)的期望。

PART 2

引入端側(cè)大模型，云知聲重塑座艙交互體驗(yàn)

基于端側(cè)大模型，云知聲從語(yǔ)音交互與應(yīng)用場(chǎng)景兩大關(guān)鍵方向入手，提供更加全面、精準(zhǔn)的交互服務(wù)，重塑智慧座艙交互體驗(yàn)，讓車輛從單純的交通工具轉(zhuǎn)變?yōu)槟軌蛱峁┤轿恢悄芊?wù)的生活伙伴。

面向語(yǔ)音交互，云知聲依托大模型技術(shù)重構(gòu)了語(yǔ)音識(shí)別、語(yǔ)義理解、語(yǔ)音合成的全鏈路語(yǔ)音方案，實(shí)現(xiàn)了在車輛端側(cè)獨(dú)立完成對(duì)話，包括對(duì)多語(yǔ)種的精準(zhǔn)識(shí)別、深度的語(yǔ)義理解、以及提供情感化和個(gè)性化的語(yǔ)音反饋，從而打造一個(gè)更自然、更懂用戶、更有趣的交互體驗(yàn)。

面向場(chǎng)景應(yīng)用，云知聲基于大模型的理解與生成能力，賦能用車、出游、主動(dòng)關(guān)懷、健康、通用聊天五大場(chǎng)景，讓座艙體驗(yàn)從簡(jiǎn)單的語(yǔ)音交互邁向全面智能的個(gè)性化交互。

用車場(chǎng)景

AI汽車大師提供用車手冊(cè)和專業(yè)車載知識(shí)問答，幫助用戶更好地了解和使用他們的車輛，讓駕駛更加安全和便捷。

出游場(chǎng)景

提供出游建議，結(jié)合車外圖片拍攝和視頻合成功能，豐富用戶旅行體驗(yàn)。

主動(dòng)關(guān)懷場(chǎng)景

通過場(chǎng)景策略引擎，云知聲智慧座艙得以智能識(shí)別用戶需求和習(xí)慣并主動(dòng)提供服務(wù)，如天氣提醒、日程安排，甚至在長(zhǎng)途駕駛中提醒休息。

健康場(chǎng)景

通過與車內(nèi)傳感器和各種可穿戴設(shè)備的鏈接，系統(tǒng)可實(shí)時(shí)關(guān)注駕駛員的生理狀態(tài)，如心率、疲勞程度等，提供合理的健康建議、慢性病管理服務(wù)等，并在必要時(shí)發(fā)出警示，保障駕駛安全。

通用聊天場(chǎng)景

針對(duì)高容錯(cuò)、高開放、低精準(zhǔn)的聊天場(chǎng)景，云知聲可提供百變?nèi)嗽O(shè)，打造最知趣知心旅伴，滿足用戶的情感交流需求。

隨著技術(shù)的不斷進(jìn)步，我們可以預(yù)見，車輛將變得更加智能，成為用戶生活中不可或缺的智能伙伴。面向未來(lái)，云知聲致力通過持續(xù)的技術(shù)創(chuàng)新，將每一輛汽車轉(zhuǎn)變?yōu)橐粋€(gè)高度智能化、能夠自我學(xué)習(xí)和進(jìn)化的移動(dòng)生活空間，為用戶帶來(lái)更加豐富和個(gè)性化的駕駛體驗(yàn)。

審核編輯：彭菁