生成式AI開發(fā)者利用NVIDIA技術(shù)變革車內(nèi)體驗(yàn)

未來的汽車將不僅僅是交通運(yùn)輸方式，而是會(huì)成為智能伙伴，將技術(shù)和舒適性無縫結(jié)合，以提升駕駛體驗(yàn)，并且從內(nèi)到外都將以安全為本。

NVIDIA GTC 于本周在圣何塞會(huì)議中心舉行，這次大會(huì)將重點(diǎn)關(guān)注 NVIDIA 與合作伙伴正在開展的開創(chuàng)性工作：將生成式 AI、大語言模型（LLM）和視覺語言模型（VLM）的變革力量引入移動(dòng)出行領(lǐng)域。

NVIDIA 展示了如何通過深度學(xué)習(xí)和 Transformer 模型提供的強(qiáng)大感知、理解和生成能力，來構(gòu)建車載助手，從而提升駕駛員的行車安全、人身安全和舒適度。

探索理論與實(shí)踐

LLM 是生成式 AI 的一種形式，在很大程度上代表了一類被稱為 Transformer 模型的深度學(xué)習(xí)架構(gòu)，這類學(xué)習(xí)架構(gòu)是一種擅長(zhǎng)學(xué)習(xí)上下文和含義的神經(jīng)網(wǎng)絡(luò)。

視覺語言模型是生成式 AI 的另一類延伸，可提供圖像處理和語言理解功能。傳統(tǒng)或多模態(tài) LLM 主要處理和生成基于文本的數(shù)據(jù)，而 VLM 則不然，它可通過圖像或視頻分析和生成文本。

檢索增強(qiáng)型生成技術(shù)（RAG）允許制造商從特定數(shù)據(jù)庫或網(wǎng)絡(luò)獲取知識(shí)，從而為駕駛員提供幫助。

NVIDIA Avatar Cloud Engine（ACE）和多模態(tài)語言模型綜合使用這些技術(shù)，與 NVIDIA DRIVE 平臺(tái)協(xié)同工作，從而讓汽車制造商開發(fā)自己的智能車載助手。

例如，借助 Avatar 配置器，設(shè)計(jì)師可以為其車型打造獨(dú)特的、符合品牌調(diào)性的角色形象，并配有定制的聲音和情感特性。這些 AI 動(dòng)畫虛擬形象可以自然地完成對(duì)話，提供實(shí)時(shí)的幫助、建議和個(gè)性化互動(dòng)。

此外，AI 增強(qiáng)的周邊環(huán)境可視化利用 360 度攝像頭重建來增強(qiáng)車輛安全性，而智能助手則可以獲取當(dāng)?shù)伛{駛法規(guī)等外部信息來為決策制定提供信息。

個(gè)性化至關(guān)重要，在這方面，AI 助手可以學(xué)習(xí)駕駛員和乘客的習(xí)慣，并調(diào)整其行為以滿足乘員的需求。

汽車領(lǐng)域的生成式 AI 在 GTC 大會(huì)上大顯身手

多個(gè)參與 GTC 大會(huì)的 NVIDIA 合作伙伴還展示了他們使用從邊緣到云端的 NVIDIA 技術(shù)所開發(fā)的最新生成式 AI 成果：

賽輪思的 CaLLM 是一個(gè)專注于汽車領(lǐng)域的 LLM，其在 NVIDIA DRIVE 上運(yùn)行，是賽輪思新一代車載計(jì)算平臺(tái)的基礎(chǔ)。該平臺(tái)于去年年底一經(jīng)推出，就被視為車內(nèi)交互的未來，它配備汽車及移動(dòng)出行專用助手，可提供集成的座艙體驗(yàn)。賽輪思正在與 NVIDIA 工程團(tuán)隊(duì)協(xié)作，以進(jìn)一步集成 CaLLM 和 NVIDIA AI Foundation 模型。通過共同努力，賽輪思正在充分利用 NVIDIA DGX 云這一開發(fā)平臺(tái)，同時(shí)應(yīng)用“護(hù)欄”來增強(qiáng)性能，并利用 NVIDIA AI Enterprise 來優(yōu)化推理。今年，NVIDIA 和賽輪思將繼續(xù)與多家汽車 OEM 攜手合作，共同開拓這一解決方案。

Wayve 正在幫助開創(chuàng)自主化具身 AI （Embodied AI）新時(shí)代，他們的新一代 AV2.0 采用大型具身 AI 基礎(chǔ)模型處理數(shù)據(jù)。該模型通過學(xué)習(xí)使用 AI 端到端技術(shù)來驅(qū)動(dòng)自監(jiān)督，實(shí)現(xiàn)從輸入感知結(jié)果到輸出駕駛行動(dòng)的全過程。這家英國初創(chuàng)公司已經(jīng)推出了 GAIA-1，這是一種由 NVIDIA 賦能的生成式世界模型，適用于自動(dòng)駕駛汽車開發(fā)；該模型可與 LINGO-1 配合使用，LINGO-1 是一款閉環(huán)駕駛評(píng)論工具，使用自然語言來增強(qiáng) AI 駕駛模型的學(xué)習(xí)能力和可解釋性。

理想汽車在去年 6 月推出了多模態(tài)認(rèn)知模型 Mind GPT。該模型基于開源庫 NVIDIA TensorRT-LLM，是理想汽車 AI 助手“理想同學(xué)”的基礎(chǔ)，具有場(chǎng)景理解、生成、知識(shí)保留和推理功能。理想汽車目前正在開發(fā) DriveVLM 來增強(qiáng)自動(dòng)駕駛能力，使系統(tǒng)能夠理解復(fù)雜的場(chǎng)景，特別是對(duì)傳統(tǒng)自動(dòng)駕駛來說具有挑戰(zhàn)性的場(chǎng)景，例如非結(jié)構(gòu)化道路、罕見異常物體以及意外的交通事件。這一先進(jìn)模型在 NVIDIA GPU 上進(jìn)行訓(xùn)練，并利用 TensorRT-LLM 和 NVIDIA Triton 推理服務(wù)器在數(shù)據(jù)中心生成數(shù)據(jù)。借助 NVIDIA DRIVE 和 TensorRT-LLM 的推理優(yōu)化，DriveVLM 可在嵌入式系統(tǒng)上高效運(yùn)行。

蔚來已推出 NOMI GPT，提供 NOMI 百科問答、座艙氛圍大師、用車助手等智能體驗(yàn)?；?LLM 提供的功能以及由 NVIDIA AI 堆棧支持的高效計(jì)算平臺(tái)，NOMI GPT 不僅具有基礎(chǔ)的語音識(shí)別和指令執(zhí)行功能，還可以借助深度學(xué)習(xí)來理解和處理車內(nèi)人員更為復(fù)雜的語句和指令。

吉利正在與 NVIDIA 共同致力于提供智能座艙體驗(yàn)，以及邊云加速協(xié)同。吉利正在應(yīng)用生成式 AI 和 LLM 技術(shù)，使用自然語言處理、對(duì)話系統(tǒng)和預(yù)測(cè)分析來提供智能導(dǎo)航和語音助手，進(jìn)而提供更智能、個(gè)性化和安全的駕駛體驗(yàn)。在將 LLM 部署到生產(chǎn)環(huán)境中時(shí)，吉利使用 NVIDIA TensorRT-LLM 來實(shí)現(xiàn)更高效的推理。對(duì)于更復(fù)雜的任務(wù)或需要大規(guī)模數(shù)據(jù)支持的場(chǎng)景，吉利將在云端對(duì)大模型進(jìn)行部署。

Waabi 正在構(gòu)建用于自動(dòng)駕駛的 AI，并將利用 NVIDIA DRIVE Thor 提供的生成式 AI 能力來實(shí)現(xiàn)其突破性的自動(dòng)貨運(yùn)解決方案，將安全可靠的自主技術(shù)引入卡車運(yùn)輸行業(yè)。

聯(lián)想推出了一款名為 UltraBoost 的新型 AI 加速引擎，該引擎將在 NVIDIA DRIVE 上運(yùn)行，具備 AI 模型引擎和 AI 編譯器工具鏈，可推進(jìn)車內(nèi) LLM 的部署。

SoundHound AI 使用 NVIDIA 技術(shù)來運(yùn)行其結(jié)合了實(shí)時(shí)和生成式 AI 功能的車載語音界面，即使車輛沒有云連接，該界面也能提供響應(yīng)。借助這一解決方案，駕駛員可以訪問 SoundHound 的車輛智能產(chǎn)品，通過自然語音直接從汽車手冊(cè)和其他數(shù)據(jù)源即時(shí)提供設(shè)置、故障排除和其他信息，而無需紙質(zhì)文檔。

塔塔集團(tuán)旗下的塔塔咨詢服務(wù)公司利用其基于 AI 的技術(shù)和工程創(chuàng)新，打造了由 NVIDIA GPU 和軟件框架支持的 Automotive GenAI 套件。該套件能夠加速軟件定義車輛的設(shè)計(jì)、開發(fā)和驗(yàn)證，同時(shí)充分利用各種 LLM 和 VLM 為車載和基于云的系統(tǒng)提供支持。

MediaTek 宣布推出四款適用于 Dimensity Auto 座艙平臺(tái) （Dimensity Auto Cockpit）產(chǎn)品系列的車規(guī)級(jí) SoC，為從豪華到入門級(jí)的新一代智能汽車提供基于 AI 的卓越座艙體驗(yàn)。為了支持深度學(xué)習(xí)功能，Dimensity Auto 座艙平臺(tái)芯片組集成了 NVIDIA 下一代 GPU 加速的 AI 運(yùn)算和 NVIDIA RTX 圖形處理技術(shù)，支持在車內(nèi)運(yùn)行 LLM，可賦能車載語音助手、多屏顯示、駕駛警覺性監(jiān)測(cè)等先進(jìn)的 AI 安全和娛樂應(yīng)用。

審核編輯：劉清