DRIVE Labs“常學(xué)常新”系列「第七站」：為駕乘人員的安全保駕護(hù)航

DRIVE Labs 系列文章

第七站：為駕乘人員的安全保駕護(hù)航

自動(dòng)駕駛汽車(chē)在行駛中會(huì)穿過(guò)大街小巷、經(jīng)歷白天黑夜，途中可能會(huì)在十字路口與其他車(chē)輛“狹路相逢”，也有可能需要在城市街道避讓行人，不同的道路設(shè)計(jì)和光線(xiàn)明暗都會(huì)影響自動(dòng)駕駛汽車(chē)的道路判斷與決策結(jié)果，從而影響行駛的安全性。DRIVE Labs“常學(xué)常新”系列是 NVIDIA DRIVE 團(tuán)隊(duì)推出的、以一輛自動(dòng)駕駛汽車(chē)從出發(fā)到最終目的地為線(xiàn)索的系列文章，共分 8 期主題，將為大家詳細(xì)解析自動(dòng)駕駛汽車(chē)如何一路“過(guò)關(guān)斬將”，以及 NVIDIA 技術(shù)與產(chǎn)品在不同場(chǎng)景中提供的支持，以便讀者能更好地了解自動(dòng)駕駛。

本期是第七期“為駕乘人員的安全保駕護(hù)航”，將為大家介紹自動(dòng)駕駛汽車(chē)如何利用 AI 軟件、安全力場(chǎng)（Safety Force Field，SFF）并通過(guò)主動(dòng)學(xué)習(xí)，保證行車(chē)安全，為駕乘人員保駕護(hù)航。

上期文章主要介紹了介紹用于評(píng)估汽車(chē)攝像頭可見(jiàn)度和汽車(chē)遠(yuǎn)光燈控制的不同深度神經(jīng)網(wǎng)絡(luò)（DNN）以及 AI 賦能的汽車(chē)光源感知等內(nèi)容，本期將為大家介紹可保護(hù)車(chē)輛不受碰撞的 SFF、可守護(hù)駕駛員專(zhuān)注前方道路以實(shí)現(xiàn)安全行駛的 AI 軟件以及能夠優(yōu)化夜間行人檢測(cè)的主動(dòng)學(xué)習(xí)方法。話(huà)不多說(shuō)，一起來(lái)看看吧！

汽車(chē)行駛過(guò)程中會(huì)經(jīng)過(guò)很多情況復(fù)雜的路口，也會(huì)經(jīng)過(guò)擁有不同照明條件的道路，在這些路況下，可能會(huì)有擦肩而過(guò)或迎面駛來(lái)的車(chē)輛，也會(huì)有來(lái)回穿梭的行人，如何在保證自動(dòng)駕駛汽車(chē)本身安全性的同時(shí)，兼顧其他道路使用者的便利性及安全性也至關(guān)重要。

NVIDIA安全力場(chǎng)助力安心駕駛

利用 Safety Force Field 避免碰撞

現(xiàn)實(shí)的交通狀況變幻莫測(cè)。為實(shí)現(xiàn)真正的安全，車(chē)輛需要能監(jiān)控周邊環(huán)境并保護(hù)乘客遠(yuǎn)離潛在的危險(xiǎn)和碰撞。NVIDIA 使用 SFF 防撞軟件來(lái)單獨(dú)監(jiān)控車(chē)輛主規(guī)劃和控制系統(tǒng)的操作，基于高性能的計(jì)算功能，來(lái)幫助車(chē)輛遠(yuǎn)離傷害，并確保其不會(huì)造成危險(xiǎn)后果（如以上視頻所示）。

SFF 專(zhuān)為避免碰撞而設(shè)計(jì)，是一種穩(wěn)固可靠的駕駛策略，能夠分析并預(yù)測(cè)車(chē)輛所處環(huán)境。它好比一個(gè)獨(dú)立的監(jiān)督員，可對(duì)車(chē)輛的主要規(guī)劃和控制系統(tǒng)進(jìn)行操作監(jiān)督，既可以人為操作也可以自主運(yùn)行。具體而言，SFF 會(huì)對(duì)主要系統(tǒng)的控制決策進(jìn)行實(shí)時(shí)復(fù)核。如果 SFF 判定控制操作不安全，它將否決并糾正主要系統(tǒng)的決策。

SFF 性能已通過(guò)數(shù)學(xué)方式驗(yàn)證，即使用真實(shí)數(shù)據(jù)進(jìn)行模擬的魯棒性驗(yàn)證。如果道路上的所有車(chē)輛均遵循該框架行駛，并且感知和車(chē)輛控制都在預(yù)先設(shè)計(jì)的范圍內(nèi)運(yùn)行，便不會(huì)出現(xiàn)危險(xiǎn)情形或碰撞事故。SFF 在實(shí)現(xiàn)此性能的同時(shí)仍允許平日的正常駕駛，且不會(huì)進(jìn)行過(guò)度防護(hù)。

此外，SFF 還遵循一種核心的防碰撞原理，而非大量規(guī)則與異常情形，因而能流暢地應(yīng)對(duì)高速公路駕駛、復(fù)雜的城鎮(zhèn)環(huán)境和能見(jiàn)度較低的情形。該策略能綜合考慮剎車(chē)（縱向）與方向盤(pán)（橫向）約束，從而使車(chē)輛執(zhí)行大量動(dòng)作。

汽車(chē)廠(chǎng)商在開(kāi)發(fā)自動(dòng)駕駛汽車(chē)的過(guò)程中，可以將 NVIDIA SFF 與自有的駕駛軟件相結(jié)合，將此策略用作移動(dòng)規(guī)劃軟件的安全保護(hù)層，從而監(jiān)控并預(yù)防異常動(dòng)作，以保證行車(chē)安全。

DRIVE IX 以 AI 賦能安全駕駛

NVIDIA DRIVE IX AI 算法執(zhí)行直觀(guān)的車(chē)內(nèi)感知

自動(dòng)駕駛技術(shù)持續(xù)發(fā)展帶來(lái)了大量的自動(dòng)駕駛功能來(lái)“解放”人類(lèi)駕駛員的雙手，但即使借助先進(jìn)的駕駛員輔助系統(tǒng)將更多駕駛功能自動(dòng)化，人類(lèi)駕駛員依然需要保持注意力集中，逐步建立對(duì) AI 系統(tǒng)的信任。

傳統(tǒng)的駕駛員監(jiān)控系統(tǒng)通常無(wú)法理解“微妙提示”，比如駕駛員的認(rèn)知狀態(tài)、行為和其他動(dòng)作，這些細(xì)微的行為往往能夠表明他們是否處于合格的駕駛狀態(tài)。以上視頻將為大家演示 NVIDIA DRIVE IX 如何感知駕駛員的注意力、活動(dòng)、情感、行為、姿勢(shì)、言語(yǔ)、手勢(shì)和情緒，以便實(shí)現(xiàn)更加智能且安全的自動(dòng)駕駛。

NVIDIA DRIVE IX 是一個(gè)開(kāi)放、可擴(kuò)展的座艙軟件平臺(tái)，可為自動(dòng)駕駛汽車(chē)可視化和全方位的艙內(nèi)感知提供智能體驗(yàn)軟件，為駕乘人員提供 AI 驅(qū)動(dòng)的豐富座艙體驗(yàn)，包括具有增強(qiáng)現(xiàn)實(shí)和虛擬現(xiàn)實(shí)的智能可視化、對(duì)話(huà)式 AI 和內(nèi)部監(jiān)測(cè)。

DRIVE IX 采用多種 DNN 來(lái)識(shí)別人臉并“解密”駕駛員表情：

• GazeNet DNN 用于追蹤視線(xiàn)，通過(guò)檢測(cè)駕駛員的視線(xiàn)并將其映射到道路上以確認(rèn)他們是否看到前方障礙物；

• SleepNet DNN 用于監(jiān)測(cè)睡意，識(shí)別駕駛員的眼睛是否睜開(kāi)，并通過(guò)一個(gè)狀態(tài)機(jī)確定其疲憊程度；

• ActivityNet DNN 用于追蹤駕駛員行為，例如使用手機(jī)、手是否放在方向盤(pán)以及駕駛員對(duì)于路況的注意力；

除了監(jiān)測(cè)駕駛員是否注意力集中外，DRIVE IX 還采用了單獨(dú)的 DNN 來(lái)識(shí)別駕駛員的情緒，評(píng)估駕駛員是否能進(jìn)行安全駕駛。

開(kāi)發(fā)人員可通過(guò)將上述 DNN 與手勢(shì) DNN 和語(yǔ)音功能相結(jié)合，構(gòu)建多模式、對(duì)話(huà)式 AI 產(chǎn)品，例如自動(dòng)語(yǔ)音識(shí)別、自然語(yǔ)言處理和語(yǔ)音合成，并將其用于艙內(nèi)個(gè)性化設(shè)置和虛擬助手應(yīng)用程序。

此外，汽車(chē)制造商還可以借助 DRIVE IX 的駕駛員監(jiān)測(cè)功能來(lái)開(kāi)發(fā)基于 AI 的高級(jí)駕駛員理解功能，通過(guò)對(duì)汽車(chē)進(jìn)行編程，在駕駛員注意力不集中時(shí)發(fā)出警告，或者在駕乘者緊張時(shí)讓駕駛艙能夠調(diào)節(jié)設(shè)置以安撫其情緒，以逐步建立駕乘者與 AI 系統(tǒng)之間的信任，創(chuàng)造更安全、更愉悅的智能汽車(chē)體驗(yàn)。

主動(dòng)學(xué)習(xí)助力自動(dòng)駕駛汽車(chē)

“看準(zhǔn)”夜間行人

自動(dòng)駕駛功能需應(yīng)對(duì)各種不同的現(xiàn)實(shí)狀況，需要通過(guò)不同來(lái)源的大量信息來(lái)進(jìn)行全方位訓(xùn)練。負(fù)責(zé)自動(dòng)駕駛功能的 DNN 也需要通過(guò)正確且全面的數(shù)據(jù)來(lái)開(kāi)展詳盡的訓(xùn)練。該訓(xùn)練需要包含各種情況，無(wú)論是在日常道路中可能遇到的情況，還是一些開(kāi)發(fā)人員希望自動(dòng)駕駛汽車(chē)在行駛中永遠(yuǎn)不會(huì)遇到的不尋常情況。

主動(dòng)學(xué)習(xí)是一種用于機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)篩選方法，可以自動(dòng)找到這些多樣化的數(shù)據(jù)。相較于人工操作，它只需花費(fèi)小部分時(shí)間即可構(gòu)建更好的數(shù)據(jù)集。通過(guò)主動(dòng)學(xué)習(xí)，自動(dòng)駕駛系統(tǒng)可以在選擇有價(jià)值的數(shù)據(jù)點(diǎn)時(shí)自動(dòng)執(zhí)行篩選過(guò)程。

通過(guò)主動(dòng)學(xué)習(xí)，AI 可以自動(dòng)選擇正確的訓(xùn)練數(shù)據(jù)。具體而言，自動(dòng)駕駛系統(tǒng)可利用一組專(zhuān)用的 DNN 遍閱一個(gè)圖像幀池，標(biāo)記出容易混淆的幀。然后對(duì)這些幀進(jìn)行標(biāo)記，并將其添加到訓(xùn)練數(shù)據(jù)集中。此過(guò)程可以改善 DNN 在高難度環(huán)境條件（例如夜間行人檢測(cè)）下的感知能力。并且與手動(dòng)選擇的數(shù)據(jù)相比，使用主動(dòng)學(xué)習(xí)數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，行人檢測(cè)的精度可提高 3 倍，對(duì)自行車(chē)檢測(cè)的精度可提高 4.4 倍。

以上就是本期全部?jī)?nèi)容。希望大家喜歡本次的自動(dòng)駕駛之旅，下期我們將帶大家進(jìn)入自動(dòng)駕駛旅程的最后一段—停車(chē)與泊車(chē)，敬請(qǐng)期待！點(diǎn)擊“閱讀原文”，觀(guān)看更多 NVIDIA DRIVE Labs & Dispatch 視頻，了解 NVIDIA DRIVE 軟件如何助力自動(dòng)駕駛。

往期精彩回看

「入門(mén)篇」：自動(dòng)駕駛基礎(chǔ)功能

「第二站」：基本路況感知

「第三站」：讀懂交通標(biāo)志與信號(hào)燈

「第四站」：監(jiān)控車(chē)外的風(fēng)吹草動(dòng)

「第五站」：提高道路狀況的可見(jiàn)性

「第六站」：基于洞察的智能規(guī)劃

掃描海報(bào)二維碼，即可觀(guān)看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛 GTC23 主題演講重播！