0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Research端到端自動駕駛模型引領國際挑戰(zhàn)賽

NVIDIA英偉達企業(yè)解決方案 ? 來源:NVIDIA英偉達企業(yè)解決方案 ? 2024-09-09 10:11 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

NVIDIA 在國際計算機視覺與模式識別會議(CVPR)上展示了用于自動駕駛汽車開發(fā)的加速計算和生成式 AI 的突破技術。

NVIDIA 采取行動加速自動駕駛汽車的開發(fā),成為本周于美國西雅圖舉辦的國際計算機視覺與模式識別會議(CVPR)的自動駕駛國際挑戰(zhàn)賽的獲勝者。

NVIDIA Research 繼去年獲得 3D Occupancy 預測冠軍后,今年又憑借 Hydra-MDP 模型在大規(guī)模端到端駕駛類別中擊敗了全球 400 多個參賽者,榮登榜首。

這一里程碑顯示了生成式 AI 在自動駕駛汽車(AV)開發(fā)過程中構(gòu)建物理 AI 部署的重要性。該技術還可應用于工業(yè)環(huán)境、醫(yī)療、機器人等其他領域。

NVIDIA 的獲獎作品還榮獲 CVPR 創(chuàng)新獎,該獎項是對 NVIDIA 改進“任意端到端駕駛模型使用所學習到的開環(huán)代理指標”這一方法的認可。

此外,NVIDIA 還發(fā)布了 NVIDIA Omniverse Cloud Sensor RTX,這是一套可實現(xiàn)物理精確傳感器仿真的微服務,可加速各類完全自主機器的開發(fā)。

端到端駕駛?cè)绾芜\作

比起短跑,自動駕駛汽車開發(fā)競賽更像是一場永無止境的鐵人三項賽,涉及到三個截然不同但又至關重要的部分:AI 訓練、仿真和自動駕駛。每個部分都需要有各自的加速計算平臺,并且專為這三個步驟打造的全棧系統(tǒng),需要組合成一個能夠保證開發(fā)周期不間斷并且性能與安全性也不斷提高的強大“鐵三角”。

為了實現(xiàn)這一目標,首先要在NVIDIA DGX等 AI 超級計算機上對模型進行訓練。然后,通過使用NVIDIA Omniverse平臺并在NVIDIA OVX系統(tǒng)上對模型進行測試和驗證。最后在NVIDIA DRIVE AGX平臺上通過該模型實時處理傳感器數(shù)據(jù)。

建立一個能夠在復雜物理世界中安全導航的自動駕駛系統(tǒng)極具挑戰(zhàn)性。該系統(tǒng)需要全面感知和了解周圍環(huán)境,然后在幾分之一秒內(nèi)做出正確且安全的決策。因此,系統(tǒng)必須具備類似人類的態(tài)勢感知能力,才能處理潛在的危險或罕見情況。

傳統(tǒng)的 AV 軟件開發(fā)一直基于模塊化方法,包括用于物體檢測和追蹤、軌跡預測以及路徑規(guī)劃和控制的獨立組件。

端到端自動駕駛系統(tǒng)采用一個統(tǒng)一模型接收傳感器輸入并生成車輛軌跡,從而簡化了這一過程,有助于避免工作流變得過于復雜并提供了一種更加全面、以數(shù)據(jù)為依據(jù)的方法來處理現(xiàn)實世界中的各種情況。

引領國際挑戰(zhàn)賽

今年的 CVPR 挑戰(zhàn)賽要求參賽者利用 nuPlan 數(shù)據(jù)集開發(fā)出能夠根據(jù)傳感器數(shù)據(jù)生成駕駛軌跡的端到端自動駕駛模型。

所提交的模型將在開源的 NAVSIM 模擬器中進行測試,它的任務是在數(shù)千種從未體驗過的場景中進行導航。比賽根據(jù)安全性、乘客舒適度以及與原始記錄軌跡的偏差等指標對模型性能進行評分。

勝出的 NVIDIA Research 端到端模型能夠獲取攝像頭和激光雷達數(shù)據(jù)以及車輛的軌跡歷史記錄,在傳感器輸入后的五秒鐘內(nèi)就能生成安全的最佳車輛路徑。

NVIDIA 研究人員贏得此次比賽所使用的工作流可以通過 NVIDIA Omniverse 在高保真仿真環(huán)境中進行復制,這意味著自動駕駛仿真開發(fā)人員能夠在現(xiàn)實世界測試自動駕駛汽車之前,先在物理精確的環(huán)境中創(chuàng)建工作流。NVIDIA Omniverse Cloud Sensor RTX微服務將于今年晚些時候推出。請注冊以獲得搶先體驗https://developer.nvidia.com/login。

此外,NVIDIA 提交的作品在 CVPR 自動駕駛大型挑戰(zhàn)賽語言駕駛類別中排名第二。NVIDIA 的模型打通了視覺語言模型和自動駕駛系統(tǒng),通過整合大語言模型的強大功能幫助做出決策并實現(xiàn)可通用、可解釋的駕駛行為。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    5299

    瀏覽量

    106288
  • 計算機視覺
    +關注

    關注

    9

    文章

    1708

    瀏覽量

    46757
  • 自動駕駛
    +關注

    關注

    788

    文章

    14305

    瀏覽量

    170506

原文標題:CVPR 2024 | NVIDIA Research 獲 CVPR 自動駕駛國際挑戰(zhàn)賽“端到端自動駕駛”賽道冠軍

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Nullmax自動駕駛最新研究成果入選ICCV 2025

    近日,國際計算機視覺大會 ICCV 2025 正式公布論文錄用結(jié)果,Nullmax 感知團隊在自動駕駛方向的最新研究成果《HiP-AD
    的頭像 發(fā)表于 07-05 15:40 ?369次閱讀
    Nullmax<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>最新研究成果入選ICCV 2025

    為什么自動駕駛模型有黑盒特性?

    [首發(fā)于智駕最前沿微信公眾號]隨著自動駕駛技術落地,(End-to-End)大模型也成為行業(yè)研究與應用的熱門方向。相較于傳統(tǒng)
    的頭像 發(fā)表于 07-04 16:50 ?194次閱讀
    為什么<b class='flag-5'>自動駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大<b class='flag-5'>模型</b>有黑盒特性?

    數(shù)據(jù)標注方案在自動駕駛領域的應用優(yōu)勢

    10-20TB,其中需要標注的數(shù)據(jù)占比超過60%。在這樣的背景下,數(shù)據(jù)標注方案應運而生,正在重塑自動駕駛的數(shù)據(jù)生產(chǎn)范式。
    的頭像 發(fā)表于 06-23 17:27 ?225次閱讀

    NVIDIA榮獲CVPR 2025輔助駕駛國際挑戰(zhàn)賽冠軍

    NVIDIA 在本周美國田納西州舉辦的國際計算機視覺與模式識別會議(CVPR)上榮獲“輔助駕駛
    的頭像 發(fā)表于 06-16 14:44 ?410次閱讀

    一文帶你厘清自動駕駛架構(gòu)差異

    [首發(fā)于智駕最前沿微信公眾號]隨著自動駕駛技術飛速發(fā)展,智能駕駛系統(tǒng)的設計思路也經(jīng)歷了從傳統(tǒng)模塊化架構(gòu)
    的頭像 發(fā)表于 05-08 09:07 ?283次閱讀
    一文帶你厘清<b class='flag-5'>自動駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>架構(gòu)差異

    自動駕駛中基于規(guī)則的決策和模型有何區(qū)別?

    自動駕駛架構(gòu)的選擇上,也經(jīng)歷了從感知、決策控制、執(zhí)行的三段式架構(gòu)到現(xiàn)在火熱的模型,尤其是在2024年特斯拉推出FSD V12后,各
    的頭像 發(fā)表于 04-13 09:38 ?2882次閱讀
    <b class='flag-5'>自動駕駛</b>中基于規(guī)則的決策和<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大<b class='flag-5'>模型</b>有何區(qū)別?

    東風汽車推出自動駕駛開源數(shù)據(jù)集

    近日,智能網(wǎng)聯(lián)汽車智駕數(shù)據(jù)空間構(gòu)建研討會暨中汽協(xié)會智能網(wǎng)聯(lián)汽車分會、數(shù)據(jù)分會2024年度會議在上海舉辦。會上,東風汽車發(fā)布行業(yè)規(guī)模最大、涵蓋125萬組高質(zhì)量數(shù)據(jù)的自動駕駛開源數(shù)據(jù)
    的頭像 發(fā)表于 04-01 14:54 ?608次閱讀

    NVIDIA Halos自動駕駛汽車安全系統(tǒng)發(fā)布

    NVIDIA 整合了從云端的安全自動駕駛開發(fā)技術套件,涵蓋車輛架構(gòu) AI 模型,包括芯片
    的頭像 發(fā)表于 03-25 14:51 ?598次閱讀

    DiffusionDrive首次在自動駕駛中引入擴散模型

    ? ? 近年來,自動駕駛成為研究熱點,其核心在于從傳感器數(shù)據(jù)直接學習駕駛決策。然而,駕駛
    的頭像 發(fā)表于 03-08 13:59 ?863次閱讀
    DiffusionDrive首次在<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>中引入擴散<b class='flag-5'>模型</b>

    自動駕駛技術研究與分析

    編者語:「智駕最前沿」微信公眾號后臺回復:C-0450,獲取本文參考報告:《自動駕駛行業(yè)研究報告》pdf下載方式。 自動駕駛進入202
    的頭像 發(fā)表于 12-19 13:07 ?875次閱讀

    連接視覺語言大模型自動駕駛

    自動駕駛在大規(guī)模駕駛數(shù)據(jù)上訓練,展現(xiàn)出很強的決策規(guī)劃能力,但是面對復雜罕見的駕駛場景,依然
    的頭像 發(fā)表于 11-07 15:15 ?691次閱讀
    連接視覺語言大<b class='flag-5'>模型</b>與<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>

    Waymo利用谷歌Gemini大模型,研發(fā)端自動駕駛系統(tǒng)

    邁新步,為其機器人出租車業(yè)務引入了一種基于谷歌多模態(tài)大語言模型(MLLM)“Gemini”的全新訓練模型——“多模態(tài)
    的頭像 發(fā)表于 10-31 16:55 ?1698次閱讀

    Mobileye自動駕駛解決方案的深度解析

    自動駕駛技術正處于快速發(fā)展之中,各大科技公司和汽車制造商均在爭相布局,試圖在這個新興領域占據(jù)一席之地。Mobileye作為全球自動駕駛技術的領軍企業(yè)之一,憑借其獨特的
    的頭像 發(fā)表于 10-17 09:35 ?830次閱讀
    Mobileye<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>解決方案的深度解析

    實現(xiàn)自動駕駛,唯有?

    ,去年行業(yè)主流方案還是輕高精地圖城區(qū)智駕,今年大家的目標都瞄到了(End-to-End, E2E)。
    的頭像 發(fā)表于 08-12 09:14 ?1508次閱讀
    實現(xiàn)<b class='flag-5'>自動駕駛</b>,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    理想汽車加速自動駕駛布局,成立“”實體組織

    近期,理想汽車在其智能駕駛領域邁出了重要一步,正式成立了專注于“自動駕駛”的實體組織,該組織規(guī)模超過200人,標志著理想在
    的頭像 發(fā)表于 07-17 15:42 ?1608次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品