0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

商湯絕影在行業(yè)率先實(shí)現(xiàn)原生多模態(tài)大模型的車端部署

商湯科技SenseTime ? 來源:商湯科技SenseTime ? 2024-07-23 10:52 ? 次閱讀

“基于原生多模態(tài)大模型,商湯絕影正在打造一系列全新的車載智能化產(chǎn)品,推動智能汽車向超級智能體進(jìn)化?!鄙虦?a target="_blank">科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車事業(yè)群總裁王曉剛在WAIC 2024商湯科技“大愛無疆·向新力”人工智能論壇上說。

一個超級智能體的進(jìn)化離不開強(qiáng)大的端側(cè)模型,大量原生多模態(tài)大模型正在從云走向智能汽車為代表的各種智能終端,車端模型部署能力將成為智能汽車進(jìn)化過程中不可或缺的技術(shù)保障。

在論壇上,王曉剛宣布商湯絕影在行業(yè)內(nèi)率先實(shí)現(xiàn)了原生多模態(tài)大模型的車端部署。絕影行業(yè)領(lǐng)先的車載端側(cè)8B模型首包延遲可低至300毫秒以內(nèi),推理速度40 Tokens/秒,并且能夠覆蓋主流算力平臺。

商湯絕影在行業(yè)率先實(shí)現(xiàn)

原生多模態(tài)大模型的車端部署

此前GPT-4o的發(fā)布為消費(fèi)者展示了多模態(tài)實(shí)時交互的方式,讓更多人領(lǐng)略多模態(tài)感知和交互的魅力,也開始幫助釋放多模態(tài)大模型的商業(yè)落地想象空間。

相較于手機(jī),智能汽車才是更適合承載多模態(tài)大模型的落地場景。因?yàn)橹悄芷噧?nèi)外的各種攝像頭是常開的,用戶可以實(shí)時跟汽車通過多模態(tài)的方式進(jìn)行交互。同時,智能汽車的保有量不斷增加,能夠產(chǎn)生豐富的終端用戶反饋和數(shù)據(jù)信息,讓模型不斷迭代成長。

和OpenAI等公司相比,商湯絕影是汽車智能化的核心供應(yīng)商,在智能駕駛和智能座艙領(lǐng)域具備豐富的量產(chǎn)經(jīng)驗(yàn),將以多模態(tài)大模型為核心加速“以人為本”的智能汽車交互革新。

但相比于其他的終端,智能汽車有其特殊性,對安全和實(shí)時響應(yīng)有著非常高的要求,汽車是私密空間,終端用戶非常在意隱私保護(hù)。這就注定了多模態(tài)大模型大部分的任務(wù)將在車載終端完成。商湯絕影能夠以云側(cè)、端云結(jié)合、端側(cè)等全棧方式靈活部署多模態(tài)大模型,讓商湯原生多模態(tài)能力能夠快速落地智能汽車。

在WAIC 2024商湯人工智能論壇上,商湯絕影宣布在行業(yè)率先實(shí)現(xiàn)原生多模態(tài)大模型的車端部署,并在現(xiàn)場演示了搭載在200 TOPS+平臺上的8B模型(即80億參數(shù))車端部署方案,展示強(qiáng)多模態(tài)感知和交互能力。

wKgaomafGuOAFfavAABeskhV_7o211.jpg

相較于動輒就有幾秒鐘延遲的云上部署方案,商湯絕影車載端側(cè)8B多模態(tài)模型可以實(shí)現(xiàn)首包延遲可低至300毫秒以內(nèi),推理速度40 Tokens/秒,引領(lǐng)“以人為本”的智能汽車交互革新。

在WAIC 2024面向公眾的展臺上,商湯絕影還對外展示了在多個不同算力平臺上運(yùn)行2.1B或8B端側(cè)多模態(tài)大模型的適配能力。

明年,上千TOPS算力的車載芯片就會問世?;诟咚懔Φ挠嬎闫脚_,商湯絕影多模態(tài)大模型車端部署方案的首包延遲將大幅度降低,推理速度進(jìn)一步提高,為用戶帶來更加流暢和自然的智能汽車交互體驗(yàn)。

引領(lǐng)多模態(tài)車端部署

商湯絕影有“殺器”

多模態(tài)大模型能夠?qū)⒄Z音、文字、圖像、手勢、視頻等各種模態(tài)進(jìn)行高效且深度地融合,提供更加豐富且自然的人機(jī)交互體驗(yàn)。

過去許多模型處理不同模態(tài)信息是先把語音等輸入轉(zhuǎn)化為文字,文字和圖像結(jié)合進(jìn)行分析,輸出反饋也是先生成文字,根據(jù)文字再生成語音輸出,會有大量信息丟失和很高的延遲。

由“日日新5.5”體系支持的全新商湯多模態(tài)大模型是一種端到端的模型,也就是文字、語音、視頻等模態(tài)一同輸入,模型統(tǒng)一處理后輸出相應(yīng)模態(tài)的信息,相較于過去的方案,多模態(tài)融合的技術(shù)難度是幾何倍數(shù)的提升。

技術(shù)上的高難度是商湯行業(yè)領(lǐng)先的原生多模態(tài)能力的直接體現(xiàn)。今年4月發(fā)布的“日日新5.0”是國內(nèi)首個對標(biāo)GPT-4 Turbo的國產(chǎn)大模型,“日日新5.5”體系更是全面升級,數(shù)學(xué)推理、英文能力和指令跟隨等能力明顯增強(qiáng),交互效果和多項(xiàng)核心指標(biāo)實(shí)現(xiàn)對標(biāo)GPT-4o。

商湯持續(xù)迭代的“日日新”大模型體系是商湯絕影多模態(tài)的車端部署領(lǐng)先行業(yè)的底氣所在,也是絕影的“大殺器”之一。

要讓多模態(tài)大模型從云上落地到車端,商湯絕影還有更多的秘密武器。

由于車載硬件、系統(tǒng)種類繁多,各種加速芯片層出不窮,其他行業(yè)和開源的框架工具很難完全支持和適配,同時也為了解決自回歸方式生成token效率較低的問題,商湯絕影專為多模態(tài)大模型打造了一個“大殺器”——高性能計算引擎“HyperPPL”。它綜合了大語言模型、多模態(tài)模型、CNN模型、前后處理完整的優(yōu)化能力,是智能汽車領(lǐng)域最廣泛的高性能AI芯片異構(gòu)計算平臺,為商湯絕影多模態(tài)大模型落地車端提供強(qiáng)大的計算底座。

HyperPPL目前擴(kuò)展并支持主流車載計算硬件,兼容多種主流操作系統(tǒng),適配多個車載芯片的部署平臺,使得商湯絕影原生多模態(tài)大模型在主流芯片平臺均可快速部署上線。

同時,HyperPPL支持flash decode、segment prefill等400多個硬件算子,并對算子進(jìn)行性能優(yōu)化,同時量化支持int8、int4模式,并支持訓(xùn)練后量化,從而實(shí)現(xiàn)極致推理效率。相較于大多數(shù)開源的Python推理框架、C++推理框架以及訓(xùn)練推理框架,商湯絕影自研HyperPPL方案在Orin平臺上的推理速度更快,超過40 Tokens/S。而對比英偉達(dá)的原生推理框架 TensorRT,絕影的HyperPPL在推理能力相當(dāng)?shù)那闆r下,在內(nèi)存上有明顯優(yōu)勢,即以更小的內(nèi)存達(dá)到和前者相同的推理速度。

不僅如此,商湯絕影HyperPPL還針對車載多人場景進(jìn)行優(yōu)化,使得車內(nèi)多人并發(fā)情況下,車端多模態(tài)大模型的模型推理效率相比單人沒有明顯降低。

這些“大殺器”為商湯絕影引領(lǐng)多模態(tài)大模型的車端部署保駕護(hù)航?;谲嚩嗽嗄B(tài)大模型,商湯絕影將與合作伙伴共同打造全新的車載智能化產(chǎn)品,引領(lǐng)“以人為本”的智能汽車交互革新,加速智能汽車駛?cè)階GI時代。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 人工智能
    +關(guān)注

    關(guān)注

    1804

    文章

    48518

    瀏覽量

    245425
  • 商湯科技
    +關(guān)注

    關(guān)注

    8

    文章

    550

    瀏覽量

    36589
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2965

    瀏覽量

    3718

原文標(biāo)題:80億參數(shù),40 Tokens/秒,0.3秒延遲!商湯絕影行業(yè)首發(fā)原生多模態(tài)大模型車端部署

文章出處:【微信號:SenseTime2017,微信公眾號:商湯科技SenseTime】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    工信部辛國斌到訪上海車展商湯影展臺

    近日,工業(yè)和信息化部副部長辛國斌一行到訪上海車展商湯影展臺。商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、商湯
    的頭像 發(fā)表于 04-30 11:51 ?166次閱讀

    商湯亮相2025上海車展

    近日,第二十一屆上海國際汽車工業(yè)展覽會(下稱“2025上海車展”)隆重開幕,商湯攜系列生成式AI汽車創(chuàng)新產(chǎn)品亮相。
    的頭像 發(fā)表于 04-27 10:44 ?154次閱讀

    商湯科技助力如數(shù)字人超級直播間全新升級

    作為數(shù)字人全行業(yè)首創(chuàng),如數(shù)字人超級直播間可實(shí)現(xiàn)模態(tài)智能運(yùn)營,依托“商湯日日新SenseNov
    的頭像 發(fā)表于 04-23 16:31 ?217次閱讀

    愛芯通元NPU適配Qwen2.5-VL-3B視覺模態(tài)模型

    InternVL2.5-1B/8B/MPO,Huggingface推出的全球最小模態(tài)模型SmloVLM-256M。為工業(yè)界提供了離線部署
    的頭像 發(fā)表于 04-21 10:56 ?1001次閱讀
    愛芯通元NPU適配Qwen2.5-VL-3B視覺<b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>大<b class='flag-5'>模型</b>

    ??低暟l(fā)布模態(tài)模型AI融合巡檢超腦

    基于??涤^瀾大模型技術(shù)體系,??低曂瞥鲂乱淮?b class='flag-5'>多模態(tài)模型AI融合巡檢超腦,全面升級人、、行為、事件等算法,為
    的頭像 發(fā)表于 04-17 17:12 ?441次閱讀

    商湯王曉剛亮相NVIDIA GTC 2025并發(fā)表主題演講

    商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、商湯CEO王曉剛在NVIDIA GTC 2025發(fā)表演講《激發(fā)通用人工智能的創(chuàng)造力,引領(lǐng)智能汽車走向全新的未來》。
    的頭像 發(fā)表于 03-21 14:37 ?438次閱讀

    商湯“日日新”融合大模型登頂大語言與模態(tài)雙榜單

    據(jù)弗若斯特沙利文(Frost & Sullivan, 簡稱“沙利文”)聯(lián)合頭豹研究院發(fā)布的《2025年中國大模型年度評測》結(jié)果顯示:在語言和模態(tài)核心能力測評中,商湯“日日新”融合大
    的頭像 發(fā)表于 03-18 10:35 ?412次閱讀

    商湯科技推出“日日新”融合大模型

    剛剛,商湯正式推出“日日新”融合大模型,領(lǐng)先實(shí)現(xiàn)原生融合模態(tài),深度推理能力與
    的頭像 發(fā)表于 01-10 15:59 ?492次閱讀

    商湯日日新模態(tài)模型權(quán)威評測第一

    剛剛,商湯科技日日新SenseNova模態(tài)模型,在權(quán)威綜合評測權(quán)威平臺OpenCompass的模態(tài)
    的頭像 發(fā)表于 12-20 10:39 ?722次閱讀

    商湯首發(fā)智能座艙大模型創(chuàng)新產(chǎn)品

    近日,2024「實(shí)力AI DAY」舉辦。
    的頭像 發(fā)表于 11-29 09:53 ?356次閱讀

    利用OpenVINO部署Qwen2模態(tài)模型

    模態(tài)模型的核心思想是將不同媒體數(shù)據(jù)(如文本、圖像、音頻和視頻等)進(jìn)行融合,通過學(xué)習(xí)不同模態(tài)之間的關(guān)聯(lián),實(shí)現(xiàn)更加智能化的信息處理。簡單來說
    的頭像 發(fā)表于 10-18 09:39 ?949次閱讀

    商湯發(fā)布國內(nèi)首個病理大模型,開啟病理診斷新篇章

    2024世界人工智能大會(WAIC)期間,作為全球醫(yī)療大模型創(chuàng)新先行者,商湯醫(yī)療攜手瑞金醫(yī)院、華西醫(yī)院、新華醫(yī)院、西京醫(yī)院、中科大附屬第一醫(yī)院、北京清華長庚醫(yī)院,在行業(yè)內(nèi)率先啟動醫(yī)療
    的頭像 發(fā)表于 09-02 09:21 ?1118次閱讀

    商湯科技推出SenseFoundry-VL方舟模態(tài)新智平臺

    WAIC 2024期間,基于 “日日新5.5”大模型體系能力,商湯“方舟城市開放平臺”進(jìn)行全新產(chǎn)品架構(gòu)升級, 推出首個“大模型+城市服務(wù)”的解決方案及應(yīng)用實(shí)踐「SenseFoundry-VL 方舟
    的頭像 發(fā)表于 07-12 14:15 ?888次閱讀
    <b class='flag-5'>商湯</b>科技推出SenseFoundry-VL方舟<b class='flag-5'>多</b><b class='flag-5'>模態(tài)</b>新智平臺

    商湯“日日新”大模型全面賦能2024 WAIC

    7月6日,WAIC 2024迎來第三天。 商湯科技全新升級的「日日新SenseNova 5.5」備受熱議,作為國內(nèi)首個具備流式原生模態(tài)交互能力的大
    的頭像 發(fā)表于 07-08 15:54 ?827次閱讀

    商湯模型C助力LEVC全新智慧出行體驗(yàn)

    模型上車,翼真L380更是為用戶打造了創(chuàng)新的智能座艙體驗(yàn)。作為中國智能座艙的領(lǐng)軍企業(yè),商湯與LEVC翼真汽車強(qiáng)強(qiáng)聯(lián)手,助力AI大模型
    的頭像 發(fā)表于 06-26 15:00 ?1580次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品