0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

從小米HAD看端到端大模型技術(shù)的可行性與未來發(fā)展

智駕最前沿 ? 來源:智駕最前沿 ? 2024-11-17 13:21 ? 次閱讀

近日,第二十二屆廣州國(guó)際車展上,小米正式發(fā)布了其全場(chǎng)景智能駕駛方案——Xiaomi HAD。這一方案的核心是基于端到端大模型技術(shù),旨在實(shí)現(xiàn)從車位到車位的高階智能駕駛場(chǎng)景,其技術(shù)亮點(diǎn)包括高精度動(dòng)態(tài)駕駛能力、窄路和復(fù)雜場(chǎng)景適應(yīng)能力,以及自動(dòng)泊車與自主路徑規(guī)劃功能。小米的這次發(fā)布不僅是其進(jìn)軍智能駕駛領(lǐng)域的重要標(biāo)志,更為行業(yè)展示了端到端大模型技術(shù)的廣闊前景。

小米HAD方案中的核心技術(shù)亮點(diǎn)

1. 端到端大模型的引入

Xiaomi HAD采用小米自主研發(fā)的端到端大模型,這一技術(shù)通過整合感知、決策、規(guī)劃和控制的多環(huán)節(jié)任務(wù),實(shí)現(xiàn)了高效的智能駕駛方案。與傳統(tǒng)模塊化方案不同,端到端模型將駕駛過程簡(jiǎn)化為一個(gè)統(tǒng)一的訓(xùn)練和推理任務(wù),大幅減少了冗余計(jì)算和數(shù)據(jù)傳遞延遲。例如,小米HAD展示的“車位到車位”全場(chǎng)景駕駛能力,正是基于大模型在動(dòng)態(tài)感知和路徑優(yōu)化上的強(qiáng)大計(jì)算能力。

2. 復(fù)雜場(chǎng)景處理能力

發(fā)布會(huì)上,小米展示了在ETC、窄路通行、限寬柱通過等復(fù)雜場(chǎng)景下的自動(dòng)駕駛功能。端到端模型能夠通過多模態(tài)數(shù)據(jù)融合(激光雷達(dá)、攝像頭、毫米波雷達(dá)等),實(shí)時(shí)捕捉環(huán)境信息,并生成符合場(chǎng)景特征的精準(zhǔn)駕駛策略。這種能力尤其適合解決傳統(tǒng)模塊化系統(tǒng)在高階駕駛場(chǎng)景中的應(yīng)對(duì)不足問題。

3. 自動(dòng)泊車與場(chǎng)景切換能力

小米HAD支持停車場(chǎng)環(huán)境的自主泊車功能。借助高精度地圖與環(huán)境感知技術(shù),系統(tǒng)能夠識(shí)別停車場(chǎng)的實(shí)際布局,規(guī)劃最佳泊車路徑。這種智能化操作為用戶帶來了極大的便捷,也顯示出端到端大模型在高復(fù)雜度場(chǎng)景中的應(yīng)用潛力。

端到端大模型在智能駕駛中的關(guān)鍵應(yīng)用

1. 高精定位與路徑規(guī)劃

端到端技術(shù)的應(yīng)用離不開高精度定位系統(tǒng)與動(dòng)態(tài)路徑規(guī)劃算法的支持。通過結(jié)合實(shí)時(shí)動(dòng)態(tài)差分定位(RTK)和高精地圖,系統(tǒng)能夠在厘米級(jí)誤差范圍內(nèi)確定車輛位置。同時(shí),端到端模型將實(shí)時(shí)感知環(huán)境中的動(dòng)態(tài)信息,如其他車輛、障礙物與道路標(biāo)識(shí),直接生成最優(yōu)行駛路徑。這種路徑規(guī)劃的高度集成性大幅提升了系統(tǒng)的實(shí)時(shí)性與可靠性。

2. 復(fù)雜場(chǎng)景的多模態(tài)感知

智能駕駛必須面對(duì)各類復(fù)雜場(chǎng)景,如窄路駕駛、限寬柱通行或復(fù)雜停車場(chǎng)環(huán)境。端到端模型能夠通過融合多模態(tài)感知數(shù)據(jù)(激光雷達(dá)、毫米波雷達(dá)、攝像頭等),識(shí)別場(chǎng)景特征并生成相應(yīng)駕駛決策。例如,車輛在狹窄道路上通行時(shí),模型根據(jù)視覺數(shù)據(jù)實(shí)時(shí)調(diào)整方向和速度,確保通過空間的最優(yōu)利用。

3. 動(dòng)態(tài)行為預(yù)測(cè)與決策

動(dòng)態(tài)行為預(yù)測(cè)是端到端大模型的重要組成部分。通過感知周圍車輛、行人及其他動(dòng)態(tài)物體,系統(tǒng)能夠預(yù)測(cè)其未來行為并進(jìn)行前瞻性決策。例如,在限寬通行場(chǎng)景中,模型需結(jié)合環(huán)境預(yù)測(cè),確保車輛安全通過的同時(shí)保持駕駛體驗(yàn)的一致性。這一過程需要強(qiáng)大的實(shí)時(shí)計(jì)算能力與場(chǎng)景理解能力。

端到端技術(shù)的可行性分析

1. 數(shù)據(jù)驅(qū)動(dòng)的技術(shù)可靠性

端到端模型的性能高度依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量與數(shù)量。目前,智能駕駛行業(yè)已經(jīng)積累了海量的道路場(chǎng)景數(shù)據(jù),并建立了覆蓋全球多種場(chǎng)景的高精地圖庫。這些數(shù)據(jù)的支持使得端到端模型在復(fù)雜駕駛場(chǎng)景中的可靠性顯著增強(qiáng)。然而,數(shù)據(jù)分布的不均衡仍然可能在一些特殊場(chǎng)景中導(dǎo)致模型表現(xiàn)下降,例如極端天氣或突發(fā)交通事故。

2. 硬件發(fā)展與計(jì)算資源支持

端到端大模型需要強(qiáng)大的計(jì)算平臺(tái)支持。近年來,高性能車載計(jì)算平臺(tái)(如域控制器)的出現(xiàn),使得在車輛端部署大規(guī)模神經(jīng)網(wǎng)絡(luò)成為可能。同時(shí),基于芯片架構(gòu)優(yōu)化的加速器(如GPU、TPU)能夠提供更高的實(shí)時(shí)計(jì)算能力,為端到端系統(tǒng)的運(yùn)行提供保障。隨著硬件成本的下降和性能的提升,技術(shù)的量產(chǎn)化可行性逐漸提高。

3. 冗余設(shè)計(jì)與安全性保障

盡管端到端模型能夠?qū)崿F(xiàn)全流程自動(dòng)化,其安全性仍需要通過冗余設(shè)計(jì)來進(jìn)一步保障?,F(xiàn)代智能駕駛系統(tǒng)通常引入基于規(guī)則的冗余控制模塊,以在模型失效或決策不當(dāng)時(shí)提供安全兜底方案。此外,實(shí)時(shí)車輛監(jiān)控與智能切換功能能夠在異常情況下切換到手動(dòng)駕駛或更保守的自動(dòng)駕駛模式。這些冗余機(jī)制顯著提升了技術(shù)的可靠性和可用性。

端到端模型面臨的挑戰(zhàn)

1. 泛化能力的瓶頸

雖然端到端模型能夠通過大數(shù)據(jù)訓(xùn)練提高場(chǎng)景適應(yīng)性,但對(duì)于未曾見過的特殊場(chǎng)景,其泛化能力仍存在局限性。例如,狹窄山區(qū)道路或復(fù)雜的鄉(xiāng)村環(huán)境可能會(huì)導(dǎo)致模型表現(xiàn)不佳。這需要行業(yè)進(jìn)一步優(yōu)化數(shù)據(jù)覆蓋范圍和模型設(shè)計(jì)。

2. 法律法規(guī)與社會(huì)接受度

端到端模型的部署需要在技術(shù)與法律之間尋求平衡。當(dāng)前許多國(guó)家尚未完全建立智能駕駛技術(shù)的監(jiān)管框架,公眾對(duì)自動(dòng)駕駛的安全性也存在顧慮。這些問題將直接影響端到端技術(shù)的推廣與商業(yè)化。

3. 成本與商業(yè)化障礙

端到端大模型的研發(fā)和部署需要投入大量資源,包括數(shù)據(jù)采集、模型訓(xùn)練與硬件成本。如何在商業(yè)化過程中降低技術(shù)門檻并提升用戶體驗(yàn),是未來技術(shù)發(fā)展必須解決的關(guān)鍵問題。

未來趨勢(shì)與技術(shù)發(fā)展方向

隨著智能駕駛技術(shù)的不斷演進(jìn),端到端大模型將進(jìn)一步推動(dòng)自動(dòng)駕駛從“輔助”向“全面接管”轉(zhuǎn)變。未來的發(fā)展趨勢(shì)可能包括:1. 場(chǎng)景化技術(shù)優(yōu)化:針對(duì)具體場(chǎng)景(如高速公路駕駛、城區(qū)擁堵通行)進(jìn)行技術(shù)優(yōu)化,提升系統(tǒng)的實(shí)用性。2. 軟硬件協(xié)同進(jìn)化:通過芯片架構(gòu)的優(yōu)化與傳感器技術(shù)的升級(jí),實(shí)現(xiàn)端到端模型更高效地運(yùn)行。3. 標(biāo)準(zhǔn)化與法規(guī)完善:推動(dòng)行業(yè)制定統(tǒng)一標(biāo)準(zhǔn),促進(jìn)法律框架完善,解決技術(shù)推廣的政策瓶頸。

結(jié)語

端到端大模型的興起標(biāo)志著智能駕駛技術(shù)的一次重大飛躍。其高度集成性與場(chǎng)景適應(yīng)性為實(shí)現(xiàn)真正的全自動(dòng)駕駛提供了可能。然而,技術(shù)可行性仍受到數(shù)據(jù)質(zhì)量、硬件支持與法律環(huán)境的制約。隨著技術(shù)的不斷成熟和市場(chǎng)需求的提升,端到端大模型有望在未來幾年成為自動(dòng)駕駛領(lǐng)域的核心技術(shù),并推動(dòng)行業(yè)邁向更高層次的智能化階段。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 智能駕駛
    +關(guān)注

    關(guān)注

    3

    文章

    2521

    瀏覽量

    48763
  • 自動(dòng)駕駛
    +關(guān)注

    關(guān)注

    784

    文章

    13812

    瀏覽量

    166461
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    自動(dòng)駕駛技術(shù)研究與分析

    傳遞和全局優(yōu)化的優(yōu)勢(shì),成為智能駕駛技術(shù)發(fā)展的重要方向。與傳統(tǒng)模塊化架構(gòu)相比,技術(shù)通過深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從傳感器數(shù)據(jù)輸入
    的頭像 發(fā)表于 12-19 13:07 ?172次閱讀

    黑芝麻智能算法參考模型公布

    黑芝麻智能計(jì)劃推出支持華山及武當(dāng)系列芯片的算法參考方案。該方案采用One Model架構(gòu),并在決策規(guī)劃單元引入了VLM視覺語言大模型和PRR行車規(guī)則的概率化表征子模塊,進(jìn)一步提升
    的頭像 發(fā)表于 12-03 12:30 ?294次閱讀
    黑芝麻智能<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>算法參考<b class='flag-5'>模型</b>公布

    小米超級(jí)智能駕駛技術(shù)HAD正式發(fā)布

    近日,雷軍宣布小米智駕技術(shù)邁入新階段,正式推出名為Hyper Autonomous Driving(簡(jiǎn)稱HAD)的超級(jí)智能駕駛技術(shù)。小米汽車
    的頭像 發(fā)表于 11-18 14:17 ?317次閱讀

    連接視覺語言大模型自動(dòng)駕駛

    自動(dòng)駕駛在大規(guī)模駕駛數(shù)據(jù)上訓(xùn)練,展現(xiàn)出很強(qiáng)的決策規(guī)劃能力,但是面對(duì)復(fù)雜罕見的駕駛場(chǎng)景,依然存在局限性,這是因?yàn)?b class='flag-5'>端
    的頭像 發(fā)表于 11-07 15:15 ?244次閱讀
    連接視覺語言大<b class='flag-5'>模型</b>與<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>自動(dòng)駕駛

    智己汽車“”智駕方案推出,老司機(jī)真的會(huì)被取代嗎?

    隨著智能駕駛技術(shù)發(fā)展,行業(yè)已經(jīng)從早期基于簡(jiǎn)單規(guī)則和模塊化邏輯的自動(dòng)駕駛,逐步邁向依托深度學(xué)習(xí)的高復(fù)雜度智能駕駛解決方案,各車企也緊跟潮流,先后宣布了自己的
    的頭像 發(fā)表于 10-30 09:47 ?284次閱讀
    智己汽車“<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>”智駕方案推出,老司機(jī)真的會(huì)被取代嗎?

    InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸

    ChatGPT對(duì)技術(shù)的影響引發(fā)了對(duì)人工智能未來的預(yù)測(cè),尤其是多模態(tài)技術(shù)的關(guān)注。OpenAI推出了具有突破的多模態(tài)模型GPT-4,使各個(gè)領(lǐng)域
    的頭像 發(fā)表于 10-23 11:26 ?405次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸

    智駕進(jìn)程發(fā)力?小鵬、蔚來模型上車

    轉(zhuǎn)型的關(guān)鍵時(shí)期,而智能駕駛技術(shù)發(fā)展被視為這場(chǎng)變革的核心動(dòng)力。作為自動(dòng)駕駛的支撐技術(shù)之一,
    的頭像 發(fā)表于 09-26 09:19 ?277次閱讀
    智駕進(jìn)程發(fā)力?小鵬、蔚來<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>模型</b>上車

    測(cè)試用例怎么寫

    測(cè)試方法,旨在驗(yàn)證整個(gè)應(yīng)用程序從前端后端的流程是否能夠按照預(yù)期工作。它涉及多個(gè)系統(tǒng)組件和接口的交互,確保業(yè)務(wù)流程的完整和正確。 二、編寫
    的頭像 發(fā)表于 09-20 10:29 ?455次閱讀

    實(shí)現(xiàn)自動(dòng)駕駛,唯有?

    自動(dòng)駕駛技術(shù)的迅速發(fā)展,越來越多的企業(yè)開始探索更加智能、高效的解決方案,隨著AI大模型入場(chǎng),自動(dòng)駕駛涌現(xiàn)出許多新的技術(shù),智駕行業(yè)技術(shù)路徑從C
    的頭像 發(fā)表于 08-12 09:14 ?734次閱讀
    實(shí)現(xiàn)自動(dòng)駕駛,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    人臉識(shí)別技術(shù)可行性在于矛盾具有什么

    人臉識(shí)別技術(shù)可行性在于矛盾具有普遍。 一、引言 人臉識(shí)別技術(shù)作為人工智能領(lǐng)域的一項(xiàng)重要技術(shù),近年來得到了廣泛的關(guān)注和應(yīng)用。然而,隨著
    的頭像 發(fā)表于 07-04 09:28 ?515次閱讀

    小鵬汽車發(fā)布國(guó)內(nèi)首個(gè)量產(chǎn)上車的模型

    小鵬汽車近日宣布,國(guó)內(nèi)首個(gè)模型量產(chǎn)上車,這一革命技術(shù)將大幅提升智能駕駛的能力。據(jù)小鵬
    的頭像 發(fā)表于 05-28 11:47 ?714次閱讀

    小鵬汽車發(fā)布模型

    小鵬汽車近日宣布,其成功研發(fā)并發(fā)布了“國(guó)內(nèi)首個(gè)量產(chǎn)上車”的模型,該模型可直接通過傳感器輸入內(nèi)容來控制車輛,標(biāo)志著智能駕駛
    的頭像 發(fā)表于 05-21 15:09 ?689次閱讀

    理想汽車自動(dòng)駕駛模型實(shí)現(xiàn)

    理想汽車在感知、跟蹤、預(yù)測(cè)、決策和規(guī)劃等方面都進(jìn)行了模型化,最終實(shí)現(xiàn)了模型。這種模型不僅
    發(fā)表于 04-12 12:17 ?456次閱讀
    理想汽車自動(dòng)駕駛<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>模型</b>實(shí)現(xiàn)

    牽手NVIDIA 元戎啟行模型將搭載 DRIVE Thor芯片

    NVIDIA的DRIVE Thor芯片適配公司的智能駕駛模型。據(jù)悉,元戎啟行是業(yè)內(nèi)首批能用 DRIVE Thor芯片適配
    發(fā)表于 03-25 11:49 ?338次閱讀
    牽手NVIDIA 元戎啟行<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>模型</b>將搭載 DRIVE Thor芯片

    模型卷入智駕圈 周光:今年上車!

    讓AI像人類司機(jī)一樣開車,今年就能做到。 ? 3月17日,在中國(guó)電動(dòng)汽車百人會(huì)汽車新質(zhì)生產(chǎn)力論壇上,元戎啟行CEO周光表示,智能駕駛模型將會(huì)成就一位“超級(jí)AI司機(jī)”,開啟物理世界
    發(fā)表于 03-18 11:17 ?526次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>模型</b>卷入智駕圈 周光:今年上車!