0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
电子发烧友
开通电子发烧友VIP会员 尊享10大特权
海量资料免费下载
精品直播免费看
优质内容免费畅学
课程9折专享价
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于端到端的自動(dòng)駕駛系統(tǒng)只能做demo嗎

電子設(shè)計(jì) ? 來(lái)源:電子設(shè)計(jì) ? 作者:電子設(shè)計(jì) ? 2020-12-26 10:39 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

劍橋大學(xué)工程系團(tuán)隊(duì)創(chuàng)辦的Wayve憑借機(jī)器學(xué)習(xí)算法,只需要使用攝像頭和基本的衛(wèi)星導(dǎo)航就可以實(shí)現(xiàn)自動(dòng)駕駛汽車(chē)在陌生的道路上行駛。

自從2016年,英偉達(dá)公開(kāi)了用于自動(dòng)駕駛汽車(chē)的端到端深度學(xué)習(xí)技術(shù)之后,已經(jīng)有不計(jì)其數(shù)的公司、單位甚至愛(ài)好者用此技術(shù)做出自動(dòng)駕駛的demo。簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu),可以實(shí)現(xiàn)攝像頭輸入到剎車(chē)油門(mén)方向盤(pán)輸出的直接映射。然而這種低門(mén)檻也注定了它可以解決的問(wèn)題并不多,很難應(yīng)對(duì)具體駕駛環(huán)境上的復(fù)雜性。有專(zhuān)家甚至認(rèn)為端到端不適合開(kāi)發(fā)實(shí)用無(wú)人駕駛系統(tǒng),可以做demo,大規(guī)模商用可能非常困難。

端到端只配做demo嗎?由劍橋大學(xué)團(tuán)隊(duì)創(chuàng)辦的Wayve無(wú)人駕駛軟件公司卻不這么認(rèn)為。他們沒(méi)有用高精地圖,也沒(méi)有用激光雷達(dá)等昂貴的傳感器,當(dāng)然也沒(méi)有給汽車(chē)手工輸入規(guī)則,只訓(xùn)練20小時(shí)數(shù)據(jù),就可以在從未跑過(guò)的道路上駕駛。

Wayve 研發(fā)團(tuán)隊(duì)認(rèn)為既然是自動(dòng)駕駛,就不需要手工編碼一些規(guī)定,要充分的展現(xiàn)其智能的特性。團(tuán)隊(duì)采用了當(dāng)下大熱的深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)算法,建立了一個(gè)可以像人類(lèi)一樣慢慢學(xué)習(xí)駕駛的自動(dòng)駕駛系統(tǒng)。

經(jīng)過(guò)探索、優(yōu)化和評(píng)估三個(gè)步驟進(jìn)行迭代,采用深度確定性策略梯度(Deep deterministic policy gradients,DDPG),來(lái)解決車(chē)道保持問(wèn)題。

現(xiàn)有技術(shù)的圖像分類(lèi)體系結(jié)構(gòu)具有數(shù)百萬(wàn)個(gè)參數(shù),而Wayve團(tuán)隊(duì)的網(wǎng)絡(luò)構(gòu)架是一個(gè)深度網(wǎng)絡(luò),有4個(gè)卷積層和3個(gè)完全連接層,總共只有不到1萬(wàn)個(gè)參數(shù),所有處理都在汽車(chē)GPU上執(zhí)行。

在強(qiáng)化學(xué)習(xí)仿真測(cè)試中,通過(guò)隨機(jī)生成曲線車(chē)道,以及道路紋理和車(chē)道標(biāo)記,然后根據(jù)收集的數(shù)據(jù)優(yōu)化策略,再不斷重復(fù)。

結(jié)合了圖像翻譯和行為克隆的端到端零鏡頭框架

大多數(shù)自駕車(chē)公司使用模擬來(lái)驗(yàn)證他們的系統(tǒng),而Wayve讓自動(dòng)駕駛汽車(chē)在仿真中廣泛學(xué)習(xí)如何處理罕見(jiàn)的邊緣情況。Wayve訓(xùn)練汽車(chē)進(jìn)行模擬駕駛,并將學(xué)到的知識(shí)轉(zhuǎn)化到現(xiàn)實(shí)世界。

Wayve沒(méi)有將模擬和現(xiàn)實(shí)世界視為兩個(gè)不同的領(lǐng)域,而是設(shè)計(jì)了一個(gè)框架,將兩者結(jié)合起來(lái),既可以在模擬中訓(xùn)練轉(zhuǎn)向決策,又可以在現(xiàn)實(shí)世界中展現(xiàn)出類(lèi)似的行為而無(wú)需進(jìn)行真正的演示。

Wayve的模型由一對(duì)最初用于圖像轉(zhuǎn)換的卷積變分自動(dòng)編碼器式的網(wǎng)絡(luò)組成,用于圖像翻譯,即無(wú)監(jiān)督圖像到圖像的翻譯網(wǎng)絡(luò)(Unsupervised Image-to-Image Translation Networks, UNIT))。在兩個(gè)域之間沒(méi)有任何已知的對(duì)齊或?qū)?yīng)關(guān)系的情況下,模型能夠在它們之間進(jìn)行轉(zhuǎn)換。下圖是一個(gè)捕捉場(chǎng)景主要布局的例子。值得注意的是,模擬器的視覺(jué)保真度在學(xué)習(xí)駕駛時(shí)并不是最重要的,他們的模擬世界就像卡通一樣,依舊可以很好的完成仿真模擬。Wayve研究稱(chēng),內(nèi)容保真度比視覺(jué)保真度更重要。但是,有效地模擬其他交通參與者的行為仍然是一個(gè)巨大的挑戰(zhàn)。

基于真實(shí)世界的駕駛數(shù)據(jù)和精心設(shè)計(jì)的邊緣案例來(lái)模擬場(chǎng)景

汽車(chē)由基于模型的深層強(qiáng)化學(xué)習(xí)系統(tǒng)驅(qū)動(dòng),該算法從離線收集的真實(shí)數(shù)據(jù)中學(xué)習(xí)預(yù)測(cè)模型。這讓模型學(xué)習(xí)并使用預(yù)測(cè)模型所想象的新場(chǎng)景數(shù)據(jù)來(lái)訓(xùn)練駕駛。

Wayve致力于開(kāi)發(fā)更豐富,更強(qiáng)大的時(shí)態(tài)預(yù)測(cè)模型,并相信這是構(gòu)建智能安全自動(dòng)駕駛汽車(chē)的關(guān)鍵。

目前,該系統(tǒng)已經(jīng)部署在 JaguarI-PACE 車(chē)上。這輛車(chē)贏得了2019年度歐洲年度車(chē)型的稱(chēng)號(hào),未來(lái)將在整個(gè)英國(guó)和歐洲大陸收集數(shù)據(jù)。當(dāng)下,讓數(shù)據(jù)逐漸積累,其驅(qū)動(dòng)算法可能達(dá)到人類(lèi)駕駛員質(zhì)量的95%,能夠處理交通燈,環(huán)形交叉路口,十字路口等。

盡管有人會(huì)覺(jué)得端到端的自動(dòng)駕駛系統(tǒng),既不聰明也不靈活,發(fā)生問(wèn)題難以解釋?zhuān)欢鳺ayve在用其強(qiáng)大的算法證明這種深度學(xué)習(xí)的技術(shù)不只可以做demo,未來(lái)也可以保證安全,也可以商用。

審核編輯 黃昊宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    213

    文章

    29607

    瀏覽量

    212151
  • 自動(dòng)駕駛
    +關(guān)注

    關(guān)注

    788

    文章

    14263

    瀏覽量

    170138
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    數(shù)據(jù)標(biāo)注方案在自動(dòng)駕駛領(lǐng)域的應(yīng)用優(yōu)勢(shì)

    10-20TB,其中需要標(biāo)注的數(shù)據(jù)占比超過(guò)60%。在這樣的背景下,數(shù)據(jù)標(biāo)注方案應(yīng)運(yùn)而生,正在重塑自動(dòng)駕駛的數(shù)據(jù)生產(chǎn)范式。
    的頭像 發(fā)表于 06-23 17:27 ?125次閱讀

    一文帶你厘清自動(dòng)駕駛架構(gòu)差異

    [首發(fā)于智駕最前沿微信公眾號(hào)]隨著自動(dòng)駕駛技術(shù)飛速發(fā)展,智能駕駛系統(tǒng)的設(shè)計(jì)思路也經(jīng)歷了從傳統(tǒng)模塊化架構(gòu)
    的頭像 發(fā)表于 05-08 09:07 ?227次閱讀
    一文帶你厘清<b class='flag-5'>自動(dòng)駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>架構(gòu)差異

    自動(dòng)駕駛中基于規(guī)則的決策和大模型有何區(qū)別?

    自動(dòng)駕駛架構(gòu)的選擇上,也經(jīng)歷了從感知、決策控制、執(zhí)行的三段式架構(gòu)到現(xiàn)在火熱的大模型,尤其是在2024年特斯拉推出FSD V12后,各車(chē)企更是陸續(xù)推出自家的
    的頭像 發(fā)表于 04-13 09:38 ?2840次閱讀
    <b class='flag-5'>自動(dòng)駕駛</b>中基于規(guī)則的決策和<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大模型有何區(qū)別?

    東風(fēng)汽車(chē)推出自動(dòng)駕駛開(kāi)源數(shù)據(jù)集

    近日,智能網(wǎng)聯(lián)汽車(chē)智駕數(shù)據(jù)空間構(gòu)建研討會(huì)暨中汽協(xié)會(huì)智能網(wǎng)聯(lián)汽車(chē)分會(huì)、數(shù)據(jù)分會(huì)2024年度會(huì)議在上海舉辦。會(huì)上,東風(fēng)汽車(chē)發(fā)布行業(yè)規(guī)模最大、涵蓋125萬(wàn)組高質(zhì)量數(shù)據(jù)的自動(dòng)駕駛開(kāi)源數(shù)據(jù)
    的頭像 發(fā)表于 04-01 14:54 ?561次閱讀

    動(dòng)量感知規(guī)劃的自動(dòng)駕駛框架MomAD解析

    自動(dòng)駕駛框架實(shí)現(xiàn)了感知與規(guī)劃的無(wú)縫集成,但通常依賴于一次性軌跡預(yù)測(cè),這可能導(dǎo)致控制不穩(wěn)定,并且對(duì)單頓感知中的遮擋問(wèn)題較為敏感。為解決這一問(wèn)題,我們提出了動(dòng)量感知
    的頭像 發(fā)表于 03-18 09:31 ?857次閱讀
    動(dòng)量感知規(guī)劃的<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>框架MomAD解析

    DiffusionDrive首次在自動(dòng)駕駛中引入擴(kuò)散模型

    ? ? 近年來(lái),自動(dòng)駕駛成為研究熱點(diǎn),其核心在于從傳感器數(shù)據(jù)直接學(xué)習(xí)駕駛決策。然而,駕駛
    的頭像 發(fā)表于 03-08 13:59 ?796次閱讀
    DiffusionDrive首次在<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>中引入擴(kuò)散模型

    自動(dòng)駕駛技術(shù)研究與分析

    傳遞和全局優(yōu)化的優(yōu)勢(shì),成為智能駕駛技術(shù)發(fā)展的重要方向。與傳統(tǒng)模塊化架構(gòu)相比,技術(shù)通過(guò)深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從傳感器數(shù)據(jù)輸入車(chē)輛控制信號(hào)輸出
    的頭像 發(fā)表于 12-19 13:07 ?834次閱讀

    自動(dòng)泊車(chē)的應(yīng)用

    與城市環(huán)境的復(fù)雜性和高速公路駕駛的風(fēng)險(xiǎn)相比,停車(chē)場(chǎng)景的特點(diǎn)是低速、空間有限和高可控性。這些特點(diǎn)為在車(chē)輛中逐步部署自動(dòng)駕駛能力提供了可行
    的頭像 發(fā)表于 12-18 11:38 ?906次閱讀
    <b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>在<b class='flag-5'>自動(dòng)</b>泊車(chē)的應(yīng)用

    爆火的如何加速智駕落地?

    自動(dòng)駕駛,唯有?)技術(shù)通過(guò)消除模塊間數(shù)據(jù)
    的頭像 發(fā)表于 11-26 13:17 ?1044次閱讀
    爆火的<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>如何加速智駕落地?

    連接視覺(jué)語(yǔ)言大模型與自動(dòng)駕駛

    自動(dòng)駕駛在大規(guī)模駕駛數(shù)據(jù)上訓(xùn)練,展現(xiàn)出很強(qiáng)的決策規(guī)劃能力,但是面對(duì)復(fù)雜罕見(jiàn)的駕駛場(chǎng)景,依然
    的頭像 發(fā)表于 11-07 15:15 ?663次閱讀
    連接視覺(jué)語(yǔ)言大模型與<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>

    Waymo利用谷歌Gemini大模型,研發(fā)端自動(dòng)駕駛系統(tǒng)

    邁新步,為其機(jī)器人出租車(chē)業(yè)務(wù)引入了一種基于谷歌多模態(tài)大語(yǔ)言模型(MLLM)“Gemini”的全新訓(xùn)練模型——“多模態(tài)自動(dòng)駕駛模型”(EMMA)。
    的頭像 發(fā)表于 10-31 16:55 ?1640次閱讀

    Mobileye自動(dòng)駕駛解決方案的深度解析

    強(qiáng)大的技術(shù)優(yōu)勢(shì)。 Mobileye的解決方案概述 1.1 什么是
    的頭像 發(fā)表于 10-17 09:35 ?796次閱讀
    Mobileye<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動(dòng)駕駛</b>解決方案的深度解析

    實(shí)現(xiàn)自動(dòng)駕駛,唯有?

    ,去年行業(yè)主流方案還是輕高精地圖城區(qū)智駕,今年大家的目標(biāo)都瞄到了(End-to-End, E2E)。
    的頭像 發(fā)表于 08-12 09:14 ?1432次閱讀
    實(shí)現(xiàn)<b class='flag-5'>自動(dòng)駕駛</b>,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    FPGA在自動(dòng)駕駛領(lǐng)域有哪些應(yīng)用?

    是FPGA在自動(dòng)駕駛領(lǐng)域的主要應(yīng)用: 一、感知算法加速 圖像處理:自動(dòng)駕駛中需要通過(guò)攝像頭獲取并識(shí)別道路信息和行駛環(huán)境,這涉及大量的圖像處理任務(wù)。FPGA在處理圖像上的運(yùn)算速度快,可并行性強(qiáng),且功耗
    發(fā)表于 07-29 17:09

    理想汽車(chē)加速自動(dòng)駕駛布局,成立“”實(shí)體組織

    近期,理想汽車(chē)在其智能駕駛領(lǐng)域邁出了重要一步,正式成立了專(zhuān)注于“自動(dòng)駕駛”的實(shí)體組織,該組織規(guī)模超過(guò)200人,標(biāo)志著理想在
    的頭像 發(fā)表于 07-17 15:42 ?1588次閱讀

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品