0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Waymo利用谷歌Gemini大模型,研發(fā)端到端自動駕駛系統(tǒng)

要長高 ? 2024-10-31 16:55 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

10月31日訊,自動駕駛領域的先鋒Waymo,作為Alphabet旗下的一員,長久以來將其與谷歌DeepMind的緊密合作及深厚的AI研究底蘊視為其在自動駕駛競賽中脫穎而出的關鍵。如今,Waymo再邁新步,為其機器人出租車業(yè)務引入了一種基于谷歌多模態(tài)大語言模型(MLLM)“Gemini”的全新訓練模型——“端到端多模態(tài)自動駕駛模型”(EMMA)。

Waymo最新發(fā)布的研究論文揭示了EMMA模型的面紗。這一創(chuàng)新的端到端訓練模型能夠解析傳感器數據,預測“自動駕駛車輛的未來行駛軌跡”,從而輔助Waymo的無人駕駛車輛做出精準決策,無論是選擇行進路線還是規(guī)避障礙物。

尤為引人注目的是,這是自動駕駛領軍企業(yè)首次公開表示計劃將MLLM技術融入其核心業(yè)務,預示著MLLM的應用范圍或將超越聊天機器人、郵件整理及圖像生成等傳統(tǒng)領域,向自動駕駛這一前沿陣地拓展。

傳統(tǒng)自動駕駛系統(tǒng)往往采用模塊化設計,針對感知、地圖構建、預測及規(guī)劃等特定功能分別開發(fā)。盡管這種模式在過去取得了顯著成效,但Waymo指出,其存在可擴展性問題,模塊間的誤差累積和通信限制影響了整體性能,且面對新環(huán)境時適應性不強。

Waymo認為,像Gemini這樣的MLLM能夠有效解決上述問題。它們作為互聯網大數據培育的“通才”,擁有超越常規(guī)駕駛經驗的廣泛“世界知識”,并通過“鏈式推理”等先進技術展現出強大的邏輯推理能力,能夠模仿人類思維,將復雜任務分解為邏輯步驟。

據Waymo介紹,EMMA模型在應對復雜交通環(huán)境時表現出色,如動物穿越道路或道路施工等情況,都能為無人駕駛汽車規(guī)劃出合理的行駛路徑。

值得注意的是,特斯拉等競爭對手也在積極開發(fā)自動駕駛汽車的端到端模型。特斯拉CEO埃隆·馬斯克曾宣稱,其最新版本的FSD 12.5.5采用了“端到端神經網絡”AI系統(tǒng),直接將攝像頭圖像轉化為駕駛決策。

盡管Waymo在部署無人駕駛車輛方面領先于特斯拉,但它同樣對端到端系統(tǒng)抱有濃厚興趣。Waymo表示,其EMMA模型在軌跡預測、物體識別和道路理解方面取得了優(yōu)異成績。

然而,EMMA也面臨挑戰(zhàn)。Waymo承認,在將模型投入實際應用前,還需克服一些障礙,如EMMA目前無法整合來自激光雷達或雷達的3D傳感器輸入,原因是“計算成本過高”,且僅能處理有限數量的圖像幀。

此外,研究論文中未提及的一個潛在風險是,像Gemini這樣的MLLM可能會產生“幻覺”,這對于容錯率極低的無人駕駛汽車而言是極大的挑戰(zhàn)。因此,在MLLM能夠大規(guī)模應用于自動駕駛之前,仍需開展更多深入研究。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯系本站處理。 舉報投訴
  • 谷歌
    +關注

    關注

    27

    文章

    6231

    瀏覽量

    107994
  • 自動駕駛
    +關注

    關注

    788

    文章

    14296

    瀏覽量

    170443
  • waymo
    +關注

    關注

    2

    文章

    314

    瀏覽量

    25140
收藏 0人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Nullmax自動駕駛最新研究成果入選ICCV 2025

    Nullmax 在一段式核心技術上的深厚積累與創(chuàng)新實力,尤其在
    的頭像 發(fā)表于 07-05 15:40 ?307次閱讀
    Nullmax<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>最新研究成果入選ICCV 2025

    為什么自動駕駛模型有黑盒特性?

    [首發(fā)于智駕最前沿微信公眾號]隨著自動駕駛技術落地,(End-to-End)大模型也成為行業(yè)研究與應用的熱門方向。相較于傳統(tǒng)
    的頭像 發(fā)表于 07-04 16:50 ?182次閱讀
    為什么<b class='flag-5'>自動駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大<b class='flag-5'>模型</b>有黑盒特性?

    一文帶你厘清自動駕駛架構差異

    [首發(fā)于智駕最前沿微信公眾號]隨著自動駕駛技術飛速發(fā)展,智能駕駛系統(tǒng)的設計思路也經歷了從傳統(tǒng)模塊化架構
    的頭像 發(fā)表于 05-08 09:07 ?272次閱讀
    一文帶你厘清<b class='flag-5'>自動駕駛</b><b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>架構差異

    自動駕駛中基于規(guī)則的決策和模型有何區(qū)別?

    自動駕駛架構的選擇上,也經歷了從感知、決策控制、執(zhí)行的三段式架構到現在火熱的模型,尤其是在2024年特斯拉推出FSD V12后,各
    的頭像 發(fā)表于 04-13 09:38 ?2873次閱讀
    <b class='flag-5'>自動駕駛</b>中基于規(guī)則的決策和<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>大<b class='flag-5'>模型</b>有何區(qū)別?

    DiffusionDrive首次在自動駕駛中引入擴散模型

    ? ? 近年來,自動駕駛成為研究熱點,其核心在于從傳感器數據直接學習駕駛決策。然而,駕駛
    的頭像 發(fā)表于 03-08 13:59 ?843次閱讀
    DiffusionDrive首次在<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>中引入擴散<b class='flag-5'>模型</b>

    自動駕駛技術研究與分析

    傳遞和全局優(yōu)化的優(yōu)勢,成為智能駕駛技術發(fā)展的重要方向。與傳統(tǒng)模塊化架構相比,技術通過深度神經網絡實現從傳感器數據輸入車輛控制信號輸出
    的頭像 發(fā)表于 12-19 13:07 ?871次閱讀

    連接視覺語言大模型自動駕駛

    自動駕駛在大規(guī)模駕駛數據上訓練,展現出很強的決策規(guī)劃能力,但是面對復雜罕見的駕駛場景,依然
    的頭像 發(fā)表于 11-07 15:15 ?688次閱讀
    連接視覺語言大<b class='flag-5'>模型</b>與<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>

    Waymo估值超450億美元,自動駕駛領域再掀波瀾

    在科技巨頭紛紛布局自動駕駛技術的今天,谷歌母公司Alphabet旗下的自動駕駛部門Waymo再次成為了業(yè)界的焦點。據外媒最新報道,包括最新一輪融資在內,
    的頭像 發(fā)表于 11-01 15:26 ?1472次閱讀

    Waymo獲56億美元融資,加速自動駕駛服務擴張

    谷歌母公司Alphabet旗下的無人駕駛汽車部門Waymo成功完成了一輪高達56億美元的融資。這筆資金將主要用于推動Waymo自動駕駛出租車
    的頭像 發(fā)表于 10-28 15:52 ?554次閱讀

    Mobileye自動駕駛解決方案的深度解析

    強大的技術優(yōu)勢。 Mobileye的解決方案概述 1.1 什么是
    的頭像 發(fā)表于 10-17 09:35 ?822次閱讀
    Mobileye<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b><b class='flag-5'>自動駕駛</b>解決方案的深度解析

    實現自動駕駛,唯有?

    ,去年行業(yè)主流方案還是輕高精地圖城區(qū)智駕,今年大家的目標都瞄到了(End-to-End, E2E)。
    的頭像 發(fā)表于 08-12 09:14 ?1499次閱讀
    實現<b class='flag-5'>自動駕駛</b>,唯有<b class='flag-5'>端</b><b class='flag-5'>到</b><b class='flag-5'>端</b>?

    FPGA在自動駕駛領域有哪些優(yōu)勢?

    可以根據自動駕駛系統(tǒng)的具體需求,通過編程來配置FPGA的邏輯功能和連接關系,以適應不同的應用場景和算法變化。這種靈活性使得FPGA能夠快速適應自動駕駛技術的快速發(fā)展和變化。 低延遲: 自動駕
    發(fā)表于 07-29 17:11

    FPGA在自動駕駛領域有哪些應用?

    是FPGA在自動駕駛領域的主要應用: 一、感知算法加速 圖像處理:自動駕駛中需要通過攝像頭獲取并識別道路信息和行駛環(huán)境,這涉及大量的圖像處理任務。FPGA在處理圖像上的運算速度快,可并行性強,且功耗
    發(fā)表于 07-29 17:09

    Alphabet向旗下自動駕駛企業(yè)Waymo注資50億美元

    7月24日,科技巨頭谷歌的母公司Alphabet宣布了一項重大投資決策,即向旗下自動駕駛領域的先鋒企業(yè)Waymo注資50億美元,此舉標志著Alphabet對自動駕駛技術未來發(fā)展的堅定承
    的頭像 發(fā)表于 07-24 16:13 ?1627次閱讀

    理想汽車加速自動駕駛布局,成立“”實體組織

    近期,理想汽車在其智能駕駛領域邁出了重要一步,正式成立了專注于“自動駕駛”的實體組織,該組織規(guī)模超過200人,標志著理想在
    的頭像 發(fā)表于 07-17 15:42 ?1604次閱讀

    電子發(fā)燒友

    中國電子工程師最喜歡的網站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品