0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Omniverse Replicator 將更高效的自動駕駛技術(shù)應(yīng)用于道路

NVIDIA英偉達企業(yè)解決方案 ? 來源:NVIDIA英偉達企業(yè)解決方案 ? 作者:NVIDIA英偉達企業(yè)解 ? 2021-12-15 15:15 ? 次閱讀

基于物理性質(zhì)的傳感器仿真提供有針對性的方法以解決現(xiàn)實世界中的數(shù)據(jù)挑戰(zhàn)。

現(xiàn)實與仿真之間的差距越來越小。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 大會主題演講中宣布推出 NVIDIA Omniverse Replicator ,這是一種生成具有正確標(biāo)注的合成數(shù)據(jù)的引擎,用于訓(xùn)練 AI 網(wǎng)絡(luò)。在演示中,黃仁勛先生展示了 Omniverse Replicator 在使用 DRIVE Sim 開發(fā)自動駕駛汽車時所展示出的強大性能。

DRIVE Sim 是一種基于 Omniverse 構(gòu)建的仿真工具,它可以利用平臺的許多功能。DRIVE Sim 生成的數(shù)據(jù)用于訓(xùn)練構(gòu)成自動駕駛汽車感知系統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)。對于 NVIDIA DRIVE 團隊而言,合成數(shù)據(jù)已成為其自動駕駛汽車開發(fā)工作流程中一個有效且關(guān)鍵的組成部分。

為自動駕駛汽車的感知提供支持的深度神經(jīng)網(wǎng)絡(luò)由兩個部分組成:算法模型和用于訓(xùn)練該模型的數(shù)據(jù)。工程師花費大量時間在算法改進上。但是,由于現(xiàn)實世界如數(shù)據(jù)收集不全、耗時且成本高昂的限制,因此作為該深度神經(jīng)網(wǎng)絡(luò)另一方的數(shù)據(jù)方面仍然不夠完善。

這種不平衡往往導(dǎo)致 DNN 開發(fā)停滯不前,阻礙數(shù)據(jù)收集進展而使之無法滿足模型需求。通過合成數(shù)據(jù)生成工具,開發(fā)者可以更好地控制數(shù)據(jù)開發(fā),適應(yīng)模型的特殊需求。

雖然現(xiàn)實世界數(shù)據(jù)是自動駕駛汽車訓(xùn)練、測試和驗證的關(guān)鍵組成部分,但它仍帶來了重大挑戰(zhàn)。用于訓(xùn)練這些網(wǎng)絡(luò)的數(shù)據(jù)由車隊上的傳感器在車輛實際行駛過程中收集。數(shù)據(jù)一經(jīng)捕獲,必須標(biāo)記有正確的標(biāo)注。標(biāo)記數(shù)據(jù)工作由成千上萬名標(biāo)記員手動完成 – 這個過程既費時又成本高昂,而且可能不準(zhǔn)確。

通過合成數(shù)據(jù)增強現(xiàn)實世界的數(shù)據(jù)采集,可以消除這些瓶頸問題,同時使工程師能夠針對 DNN 開發(fā)采取數(shù)據(jù)驅(qū)動型方法,顯著加快自動駕駛汽車開發(fā)并改進現(xiàn)實世界中的結(jié)果。

仿真到真實的域差距問題

合成數(shù)據(jù)生成是一種用于 AI 訓(xùn)練的知名工具 – 研究人員早在 2016 年就一直在電子游戲(如“俠盜飛車 ( Grand Theft Auto )”)上做試驗,以創(chuàng)建數(shù)據(jù)。

然而,與電子游戲不同,感知 DNN 的質(zhì)量受到數(shù)據(jù)與現(xiàn)實世界之間保真度的嚴(yán)重影響,對數(shù)據(jù)集的訓(xùn)練若不轉(zhuǎn)換到現(xiàn)實世界,則實際上可能會降低網(wǎng)絡(luò)的性能。

這種仿真到現(xiàn)實的差距主要表現(xiàn)在兩個方面。外觀差距對應(yīng)于仿真圖像和真實圖像之間的像素級差異,這是由模擬器生成數(shù)據(jù)的方式引起的。渲染器、傳感器模型、 3D 資產(chǎn)的保真度和材料屬性都可能會導(dǎo)致出現(xiàn)這種差距。

內(nèi)容差距可能是由于缺乏現(xiàn)實世界的內(nèi)容多樣性以及仿真和現(xiàn)實世界背景之間的差異造成的。當(dāng)一個場景的背景與現(xiàn)實不匹配時,就會出現(xiàn)這些不一致情況。例如,現(xiàn)實世界中包含臟亂的道路、凹損的汽車和路邊的緊急救援車輛,所有這些都必須在仿真中重現(xiàn)。另一個重要因素是行為者(如交通和行人)的行為 – 現(xiàn)實的交互是現(xiàn)實數(shù)據(jù)輸出的關(guān)鍵所在。

應(yīng)用 Omniverse Replicator 以縮小仿真到真實的域差距

Omniverse Replicator 旨在縮小外觀和內(nèi)容差距。

為了縮小外觀差距,DRIVE Sim 利用 Omniverse 的 RTX 路徑跟蹤渲染器 為攝像機、雷達、激光雷達和超聲傳感器生成基于物理性質(zhì)的傳感器數(shù)據(jù)。傳感器數(shù)據(jù)中包含了現(xiàn)實世界的效果,包括 LED 閃爍、動態(tài)模糊、滾動快門、激光雷達束發(fā)散和多普勒效應(yīng)等現(xiàn)象。這些詳細信息甚至包括高保真車輛動態(tài),這一點很重要,如車輛在激光雷達掃描過程中的運動會影響產(chǎn)生的激光點云。

此傳感器方程的另一端便是材料。DRIVE Sim 中的材料經(jīng)過物理模擬,可獲得精確的光束反射。DRIVE Sim 包括一個內(nèi)置的激光雷達材料庫和一個即將建成的雷達和超聲波材料庫。

DRIVE Sim 的傳感器功能包括路徑追蹤攝像頭、雷達和激光雷達模型,可捕獲現(xiàn)實世界的效果,如動態(tài)模糊、LED 閃爍、滾動快門和多普勒效應(yīng)。

DRIVE Sim 使用 RTX 路徑跟蹤器以高保真度呈現(xiàn)這些清晨和夜間場景

解決內(nèi)容差距的主要方法之一是在高保真度下?lián)碛懈鄻踊馁Y產(chǎn)。DRIVE Sim 利用 Omniverse 的功能連接到各種內(nèi)容創(chuàng)建工具。但是,生成適當(dāng)?shù)膱鼍耙惨蟊尘罢_無誤。

接下來,Omniverse Replicator 使用稱為域隨機化的功能組織數(shù)據(jù)以執(zhí)行快速場景操作。DRIVE Sim 包括用于此功能和場景構(gòu)建的工具,這些工具在維護現(xiàn)實世界背景的同時創(chuàng)建大量不同的數(shù)據(jù)。由于 Omniverse Replicator 還具有時間準(zhǔn)確性和確定性,數(shù)據(jù)集可以可重復(fù)的方式創(chuàng)建。

DRIVE Sim 提供合適工具以可控且可重復(fù)的方式生成隨機場景,從而為生成的數(shù)據(jù)添加多樣性和多元性。

豐碩成果

通過 NVIDIA 的合成數(shù)據(jù),DRIVE Sim 在加速感知開發(fā)方面已經(jīng)取得了顯著成果。

一個示例是遷移到新的 NVIDIA DRIVE Hyperion 傳感器集。NVIDIA DRIVE Hyperion 8 平臺包括用于完整生產(chǎn)自動駕駛汽車開發(fā)的傳感器。然而,在這些傳感器可用之前,NVIDIA DRIVE 團隊能夠使用合成數(shù)據(jù)為平臺提供 DNN。DRIVE Sim 生成了數(shù)百萬張圖像和真值數(shù)據(jù)用于訓(xùn)練。因此,一旦安裝傳感器,網(wǎng)絡(luò)便已準(zhǔn)備好部署,從而節(jié)省了長達數(shù)月的寶貴開發(fā)時間。

在另一種情況下,用于檢測可駕駛車道空間的 PathNet DNN 在車輛未處于車道中心時難以確定路徑。收集此類數(shù)據(jù)很困難,因為車輛部分駛出車道非常危險(而且違反了 NVIDIA 的數(shù)據(jù)采集策略)。通過基于數(shù)百萬條駛離車道中心行駛路徑的合成圖像對網(wǎng)絡(luò)進行訓(xùn)練,DRIVE Sim 顯著提高了 PathNet 的準(zhǔn)確性。

用于檢測交通燈的 LightNet 和用于檢測和分類路標(biāo)的 SignNet 也是如此。由于缺乏數(shù)據(jù),這些網(wǎng)絡(luò)很難從極度角識別交通燈,并在某些條件下對路標(biāo)進行錯誤分類。工程師能夠設(shè)計數(shù)據(jù)來增強現(xiàn)實世界的數(shù)據(jù)集并提高性能。

通過對這兩個 DNN 進行涵蓋這些問題領(lǐng)域的合成數(shù)據(jù)訓(xùn)練,性能得到迅速提高,消除了開發(fā)過程中的瓶頸問題。

看到人類肉眼所不能看到的事物

合成數(shù)據(jù)改變了 DNN 開發(fā)的本質(zhì)。它具有時間效益和成本效益,為工程師們提供了按需生成定制數(shù)據(jù)集的自由。

開發(fā)者可以指定天氣、照明、行人、道路碎石等元素。他們還可以控制元素的分布,例如在給定數(shù)據(jù)集中指定卡車、公共汽車、汽車和摩托車的特定組合。

合成數(shù)據(jù)提供了人類無法標(biāo)記的正確的標(biāo)注。例如深度信息、速度和多傳感器追蹤。這種正確的標(biāo)注信息可以顯著增強感知性能。

它還有助于標(biāo)記難以標(biāo)記(有時是不可能實現(xiàn))的組件。例如,對于在汽車后方行走的行人,如果被遮擋,人們將無法正確對其貼標(biāo)。但是,通過模擬,即使人們看不到信息,正確的標(biāo)注仍自動可用且具有像素級準(zhǔn)確性。

合成數(shù)據(jù)的一個關(guān)鍵特點是精確的真值標(biāo)簽,用于現(xiàn)實世界中很困難或不可能實現(xiàn)的場景,如在汽車駛過時行人被遮擋的場景。

清理前方道路

作為合成數(shù)據(jù)生成工具的模塊化、開放且可擴展的平臺,Omniverse Replicator 為深度學(xué)習(xí)工程師帶來了強大的新功能。而 DRIVE Sim 則使用這些新功能為自動駕駛汽車開發(fā)者提供模擬測試中的終極靈活性和效率,以便工程師創(chuàng)建所需的數(shù)據(jù)集以加快工作進程。

其結(jié)果是 DNN 更準(zhǔn)確,開發(fā)時間縮短,快速將更安全、更高效的自動駕駛技術(shù)應(yīng)用于道路。

原文標(biāo)題:用于 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自動駕駛汽車開發(fā)并提高感知結(jié)果

文章出處:【微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

審核編輯:彭菁
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2553

    文章

    51523

    瀏覽量

    757352
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5087

    瀏覽量

    103948
  • 自動駕駛
    +關(guān)注

    關(guān)注

    785

    文章

    13960

    瀏覽量

    167272

原文標(biāo)題:用于 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自動駕駛汽車開發(fā)并提高感知結(jié)果

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 0人收藏

    評論

    相關(guān)推薦

    NVIDIA Omniverse擴展至生成式物理AI領(lǐng)域

    NVIDIA近日宣布,其Omniverse?平臺再次實現(xiàn)重大突破,成功推出多個生成式AI模型和藍圖,Omniverse的應(yīng)用范圍進一步擴展至物理AI領(lǐng)域,包括機器人、
    的頭像 發(fā)表于 01-13 10:56 ?425次閱讀

    豐田、Aurora及大陸集團攜手NVIDIA,共推高度自動駕駛車型

    ,豐田基于NVIDIA DRIVE AGX Orin?平臺構(gòu)建其下一代自動駕駛車型。同時,豐田還將采用經(jīng)過安全認(rèn)證的NVIDIA DriveOS操作系統(tǒng),以確保這些車型的高級輔助
    的頭像 發(fā)表于 01-13 10:54 ?379次閱讀

    NVIDIA DRIVE技術(shù)推動自動駕駛發(fā)展

    隨著 AI 技術(shù)的飛速發(fā)展,汽車行業(yè)正經(jīng)歷一場深刻而全面的智能化轉(zhuǎn)型。以 NVIDIA DRIVE 技術(shù)為核心,NVIDIA 正在推動著自動駕駛
    的頭像 發(fā)表于 12-29 16:02 ?428次閱讀

    一文聊聊自動駕駛測試技術(shù)的挑戰(zhàn)與創(chuàng)新

    ,包括場景生成的多樣性與準(zhǔn)確性、多傳感器數(shù)據(jù)融合的精度驗證、高效的時間同步機制,以及仿真平臺與實際場景的匹配等問題。 自動駕駛測試的必要性與現(xiàn)狀 1.1 自動駕駛技術(shù)的復(fù)雜性推動測試變
    的頭像 發(fā)表于 12-03 15:56 ?325次閱讀
    一文聊聊<b class='flag-5'>自動駕駛</b>測試<b class='flag-5'>技術(shù)</b>的挑戰(zhàn)與創(chuàng)新

    自動駕駛技術(shù)的典型應(yīng)用 自動駕駛技術(shù)涉及到哪些技術(shù)

    駕駛員的情況下完成駕駛操作。這一技術(shù)的出現(xiàn)極大地改變了傳統(tǒng)駕駛模式,不僅提高了道路交通的安全性和效率,還有望改變?nèi)藗兊某鲂蟹绞剑瑢Τ鞘薪煌?/div>
    的頭像 發(fā)表于 10-18 17:31 ?1100次閱讀

    NVIDIA Omniverse微服務(wù)助力構(gòu)建大規(guī)模數(shù)字孿生

    NVIDIA Omniverse Cloud Sensor RTX 生成用于加速自動駕駛汽車、機械臂、移動機器人、人形機器人和智能空間 AI 開發(fā)工作的合成數(shù)據(jù)。
    的頭像 發(fā)表于 09-09 10:20 ?580次閱讀

    NVIDIA Research端到端自動駕駛模型引領(lǐng)國際挑戰(zhàn)賽

    NVIDIA 在國際計算機視覺與模式識別會議(CVPR)上展示了用于自動駕駛汽車開發(fā)的加速計算和生成式 AI 的突破技術(shù)。
    的頭像 發(fā)表于 09-09 10:11 ?595次閱讀

    FPGA在自動駕駛領(lǐng)域有哪些優(yōu)勢?

    FPGA(Field-Programmable Gate Array,現(xiàn)場可編程門陣列)在自動駕駛領(lǐng)域具有顯著的優(yōu)勢,這些優(yōu)勢使得FPGA成為自動駕駛技術(shù)中不可或缺的一部分。以下是FPGA在
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領(lǐng)域有哪些應(yīng)用?

    。未來,F(xiàn)PGA將會更多地應(yīng)用于自動泊車、自動剎車、防碰撞、自動駕駛拐彎等領(lǐng)域,為自動駕駛的實現(xiàn)提供更加全面和強大的支持。同時,隨著
    發(fā)表于 07-29 17:09

    自動駕駛識別技術(shù)有哪些

    自動駕駛的識別技術(shù)自動駕駛系統(tǒng)中的重要組成部分,它使車輛能夠感知并理解周圍環(huán)境,從而做出智能決策。自動駕駛識別技術(shù)主要包括多種傳感器及其融
    的頭像 發(fā)表于 07-23 16:16 ?893次閱讀

    NVIDIA發(fā)布Omniverse微服務(wù),為物理AI提供超強助力

    NVIDIA Omniverse Cloud Sensor RTX生成用于加速自動駕駛汽車、機械臂、移動機器人、人形機器人和智能空間AI開發(fā)工作的合成數(shù)據(jù) ? CVPR—
    發(fā)表于 06-18 16:35 ?549次閱讀
    <b class='flag-5'>NVIDIA</b>發(fā)布<b class='flag-5'>Omniverse</b>微服務(wù),為物理AI提供超強助力

    未來已來,多傳感器融合感知是自動駕駛破局的關(guān)鍵

    /L4級自動駕駛賽跑的元年。 馬斯克評論FSD 12.3版本的左轉(zhuǎn)彎操作就像人類司機一樣。如果FSD 12.3版本成功,基本顛覆目前市場上的智能駕駛技術(shù)路線?;凇皵?shù)據(jù)/算法/算力”
    發(fā)表于 04-11 10:26

    NVIDIA和昊鉑宣布雙方合作量產(chǎn)L4級自動駕駛汽車

    北京時間3月19日,在NVIDIA GTC大會上,NVIDIA和昊鉑宣布雙方合作量產(chǎn)L4級自動駕駛汽車。
    的頭像 發(fā)表于 03-20 15:06 ?858次閱讀
    <b class='flag-5'>NVIDIA</b>和昊鉑宣布雙方<b class='flag-5'>將</b>合作量產(chǎn)L4級<b class='flag-5'>自動駕駛</b>汽車

    NVIDIA宣布將以API形式提供Omniverse? Cloud

    NVIDIA Omniverse Cloud API 使開發(fā)者能夠 Omniverse 技術(shù)集成到其設(shè)計與仿真工具和工作流中。
    的頭像 發(fā)表于 03-20 09:45 ?520次閱讀

    NVIDIA Omniverse中的物理模擬功能

    NVIDIA Omniverse? Simulation 作為 NVIDIA Omniverse? 平臺的關(guān)鍵組件之一,由 NVIDIA
    的頭像 發(fā)表于 03-08 11:30 ?1322次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b>中的物理模擬功能

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品