商湯絕影真·端到端自動駕駛解決方案UniAD上車首秀

近日，商湯科技發(fā)布全新升級的“日日新SenseNova 5.0”大模型，廣受好評！

6000億參數(shù)的“日日新5.0”采用混合專家架構（MOE），具備更強的知識、數(shù)學、推理及代碼能力，成為國內首個全面對標甚至超越GPT-4 Turbo的大模型，多模態(tài)能力領先GPT-4V。基于端云結合的架構，商湯端側大模型大幅超越同量級大模型，越級比肩7B、13B大模型，更適合車端部署。

依托“日日新SenseNova 5.0”行業(yè)領先硬核實力，商湯絕影打造了一系列大模型車端產品，并在2024北京車展“上車”首秀。

本屆車展，商湯絕影參展的核心關鍵詞是：原生態(tài)大模型、真·端到端自動駕駛UniAD“上車” 、多模態(tài)場景大腦和全新3D交互，帶來AGI時代的全新出行體驗。

智駕方面，商湯絕影首次向公眾展示了面向量產的真·端到端自動駕駛解決方案UniAD(Unified Autonomous Driving)的道路測試表現(xiàn)。

作為全球首個提出感知決策一體化自動駕駛通用模型的公司，商湯絕影的技術落地速度也“絕速引領”。

商湯絕影還帶來了以多模態(tài)場景大腦為核心的AI大模型座艙產品矩陣以及全新座艙3D交互演示，以通用人工智能（AGI）技術，驅動靈活自適應、深度個性化、安全可信賴、有人文關懷的未來出行全新體驗。

商湯科技聯(lián)合創(chuàng)始人、首席科學家、絕影智能汽車事業(yè)群總裁王曉剛表示：“未來汽車智能化的競爭，本質上是通用人工智能技術融合應用的比拼。商湯絕影致力于成為加速智能汽車駛入AGI時代的核心技術伙伴，給智能汽車產業(yè)帶來生產效率和交互體驗的雙重革新，將攜手合作伙伴提供通用人工智能技術驅動的智能汽車全新體驗，共同定義未來出行?！?/p>

像人一樣開車！

真·端到端自動駕駛解決方案UniAD上車首秀

2023年，商湯及其聯(lián)合實驗室提出的行業(yè)首個感知決策一體化自動駕駛通用模型UniAD榮獲CVPR 2023最佳論文，引發(fā)行業(yè)轟動！

僅一年后，UniAD已經(jīng)“上車”！

真·端到端，無需高精地圖，僅靠視覺感知。

無論是復雜城市道路還是無中線的鄉(xiāng)村道路上，車輛都能搞定一系列高難度操作——大角度左轉上橋、避讓占道車輛、施工區(qū)域、繞行跑步行人……做到“像人一樣開車”！

今年以來，受特斯拉FSD V12版本的端到端自動駕駛方案影響，行業(yè)號稱“端到端”智駕方案不斷涌現(xiàn)，但大多由感知和決策兩個模型組成的 “兩段式”架構，存在信息傳遞過濾或丟失的問題。

UniAD將感知、決策、規(guī)劃等模塊都整合到一個全棧Transformer端到端模型，實現(xiàn)感知決策一體化的真·端到端自動駕駛。

UniAD真·端到端：感知決策一體化的通用模型

為什么端到端智駕方案如此重要且緊迫？

一方面是智駕場景（尤其城區(qū)場景）計算的復雜度呈指數(shù)級增長，另一方面?zhèn)鹘y(tǒng)方法人力成本高且難以應對長尾路況(corner case)，而端到端技術可高效、低成本應對這些問題。

具體而言，商湯絕影端到端模型泛化能力強、迭代效率快，可以幫助車企低成本快速開城，純視覺感知的無圖方案，進一步降低系統(tǒng)的軟硬件成本，助力智駕普及。

在端到端系統(tǒng)基礎上，商湯絕影還在車展期間帶來了新一代自動駕駛大模型DriveAGI，推動自動駕駛從數(shù)據(jù)驅動向認知驅動的躍遷。

新一代自動駕駛大模型DriveAGI：

可感知、可交互、可信賴

依托多模態(tài)大模型，DriveAGI將是目前最貼近人類思維模式、最能理解人類意圖并有最強解決駕駛困難場景能力的技術方案，向完全無人駕駛邁出重要一步。

多模態(tài)場景大腦

讓智能座艙“真”懂你！

前不久上市的小米SU7將AI大模型帶進座艙，而商湯“日日新”大模型也全面助力小愛同學車載語音場景應用。

本次車展，商湯絕影展示了以多模態(tài)場景大腦為核心的一系列全景感知、主動關懷且富有創(chuàng)造力的大模型座艙產品。

多模態(tài)場景大腦讓智能汽車可以高效準確地全景感知和深度理解用戶需求和周圍環(huán)境，打通不同應用，將離散的單點功能聚合在一起。

多模態(tài)大模型可以準確感知并識別車外信息

比如，可以基于地理位置推薦符合用戶喜好的餐廳，介紹用戶感興趣的外部自然景物，準確感知識別車型、標志性建筑物等車外信息，打破座艙本身的限制，讓用戶享受更為自由無束縛的出行體驗。

以商湯“大醫(yī)”醫(yī)療健康大模型為橋梁的“旅醫(yī)”，讓用戶在座艙內就可以獲得專業(yè)及個性化的健康管理服務，讓出行更安心。

而基于AIGC大模型技術的“神筆”，可以把用戶簡單的繪畫線條轉變成具有美感的藝術作品，增添駕乘樂趣。

去年Apple Vision Pro的問世展現(xiàn)了3D交互的創(chuàng)新體驗和應用潛力，本次車展，商湯絕影將3D Gaze高精視線交互和3D 動態(tài)手勢交互這兩大全新座艙3D交互演示帶到現(xiàn)場，帶來如同“Vision Pro”裸眼上車、更符合人類直覺的自然交互體驗。

3D Gaze高精視線交互是商湯絕影全球首創(chuàng)的能夠通過視線定位與屏幕圖標進行交互的智能座艙技術，讓用戶無需點按屏幕，通過眼神即可精準控制中控圖標，完成多種交互操作

3D 動態(tài)手勢交互是行業(yè)領先的支持動態(tài)手勢和手部微動作識別的智能座艙技術，用戶通過手勢“隔空”實現(xiàn)各類座艙精細化的交互，打破傳統(tǒng)按鍵和屏幕觸控方式的繁瑣和局限

商湯絕影還在進一步探索艙駕融合，實現(xiàn)智能駕駛和智能座艙在硬件、軟件及應用層面的全面融合，提升用戶體驗、降低系統(tǒng)成本，進一步打破艙內外的界限和束縛，涌現(xiàn)更多創(chuàng)新功能，帶來更安全、更加全方位，更具人文關懷的新體驗。

加速智能汽車駛入AGI時代

商湯絕影與哪吒汽車全面深化戰(zhàn)略合作

AGI的突破掀起技術范式的革新，堅實的核心研發(fā)能力成為行業(yè)競爭的關鍵。商湯絕影率先構建了四大技術基座，正在成長為加速智能汽車駛入AGI時代的核心技術伙伴。

SenseCore商湯大裝置是行業(yè)領先的AI基礎設施，能夠以高達12,000 petaFLOPS的豐沛算力支持商湯絕影系列原生態(tài)大模型的高效迭代；

商湯絕影為智能汽車前瞻構建了UniAD、DriveAGI以及面向座艙的多模態(tài)場景大腦等系列原生態(tài)大模型，加速端到端自動駕駛和大模型在智能座艙場景的落地；

端云協(xié)同和艙駕融合的創(chuàng)新軟硬件架構，讓智能汽車降本增效、涌現(xiàn)創(chuàng)新功能；

全棧的數(shù)據(jù)生產管線，實現(xiàn)大模型的高質量訓練。

車展上，哪吒汽車官宣與商湯絕影全面深化戰(zhàn)略合作，雙方將開啟合作新篇章。商湯絕影將以大算力和原生態(tài)汽車垂類大模型更好地助力哪吒汽車智能化發(fā)展，共同探索更前沿的智能駕駛技術以及多模態(tài)場景大腦帶來的全新智慧出行體驗。

未來一到兩年，智能汽車處在一個關鍵的時間節(jié)點，它與通用人工智能的深度融合將開啟一個全新的時代，車企需要強有力的核心技術伙伴攜手共進。

商湯絕影正是行業(yè)稀缺的同時具備“算力+算法+量產經(jīng)驗”全棧技術領先的核心供應商，是一匹應勢而躍的千里馬，能夠助力合作伙伴在AGI時代持續(xù)領先。

審核編輯：劉清