全面詳解特斯拉的FSD車道算法

特斯拉一直強(qiáng)調(diào)其純視覺自動駕駛方案的強(qiáng)大，人類感知、認(rèn)知世界時(shí)，有70%-80%的數(shù)據(jù)，都是通過視覺進(jìn)行處理的。這至少意味著，在“智能”的產(chǎn)生過程中，視覺占據(jù)了極其重要的地位。而特斯拉選擇依靠純視覺技術(shù)的持續(xù)升級不斷向自動駕駛發(fā)起挑戰(zhàn)，某種程度上是在復(fù)現(xiàn)智能的進(jìn)化過程。

那么，什么是 FSD？

下面視頻為您深度解讀特斯拉自動駕駛系統(tǒng)（FSD）技術(shù)思路與核心原理：

值得關(guān)注的是，特斯拉在強(qiáng)大的 FSD 系統(tǒng)中，應(yīng)用了大量 AI 算法，例如：

路徑及運(yùn)動規(guī)劃算法：算法植入到終端，終端通過算法感知環(huán)境，規(guī)劃路徑，確保安全，平順前進(jìn)；

環(huán)境感知算法：Occupancy 算法用于可活動空間探測；Lane & Objects 算法用于交通中車道線、物體識別以及運(yùn)動信息探測；

訓(xùn)練數(shù)據(jù)設(shè)施：超算中心用來支持?jǐn)?shù)據(jù)處理，算法訓(xùn)練；

自動標(biāo)注算法：標(biāo)注數(shù)據(jù)，訓(xùn)練環(huán)境感知算法識別這類場景或者物體；

環(huán)境虛擬仿真：合成制造虛擬場景；

數(shù)據(jù)引擎：測試軟件獲取真實(shí)場景環(huán)境數(shù)據(jù)，閉環(huán)數(shù)據(jù)引擎，更正標(biāo)簽等。

1.?路徑以及運(yùn)動規(guī)劃算法：應(yīng)對無保護(hù)左轉(zhuǎn)

特斯拉采用的規(guī)劃模型名為交互搜索（Interaction Search），主要分為五個(gè)步驟：

樹搜索過程有兩個(gè)核心模塊，即決策樹生成和決策樹剪枝。

預(yù)先構(gòu)建人類駕駛行為和虛擬駕駛行為庫供算法查詢的技術(shù)思路節(jié)省了計(jì)算時(shí)間，決策樹提供了利用各項(xiàng)指標(biāo)去框定選擇最優(yōu)路徑的能力。

2. 環(huán)境感知算法：實(shí)現(xiàn)交通參與者行為預(yù)測

面對復(fù)雜駕駛場景：六個(gè)方向的交叉路口，每個(gè)路口均有較多行駛車輛、靜止車輛、行人等交通參與者。即使車上配 8 個(gè)攝像頭，如遇到其他車遮擋，其預(yù)測難度也大大增加。對此，特斯拉公布了一種詳細(xì)架構(gòu) Occupancy Network 用以進(jìn)行交通參與者（車輛、行人等）行為預(yù)測。

（1）Occupancy Network?算法

特斯拉環(huán)境感知主要依賴視覺，其提出 Occupancy Networks 算法用來探索可運(yùn)動 3D 空間，該算法在算力和內(nèi)存之間取得很好的效率，大概 10ms 可建模完成，此算法已經(jīng)運(yùn)行在所有 FSD 的特斯拉上，Occupancy Network 算法工作流如下：

Queryable Outputs：去卷積之后的反向物體有些可能不能完全代表真實(shí)的物體的大小，所以特斯拉算法采用查詢法去數(shù)據(jù)庫中查詢真實(shí)世界的結(jié)果，進(jìn)行位置和大小的矯正再進(jìn)行空間放置。

（2）車道識別算法

傳統(tǒng)車道識別算法采用 2D 分割算法，如 RegNet，在高速以及清晰高度結(jié)構(gòu)化的場景應(yīng)用較好，但在面對復(fù)雜的城市應(yīng)用場景，如繁忙交通中交匯口前車遮擋等無法采集到足夠數(shù)據(jù)時(shí)，特斯拉如何在不依賴高精地圖僅僅依靠純時(shí)間算法情況下進(jìn)行對車道信息的精準(zhǔn)識別呢？特斯拉給出的答案是：采用神經(jīng)元算法預(yù)測，生成全套車道實(shí)例及其相互連接。

特斯拉最新的 FSD 車道算法由以下三個(gè)組件組成：

車道識別算法創(chuàng)新性地借鑒語言算法來解決視覺算法問題。

3. 語義分割+自動標(biāo)注+場景仿真：完成周邊車輛預(yù)測

面對復(fù)雜駕駛場景：如高速公路上行駛，車前攝像頭出現(xiàn)雪花盲區(qū)或起霧導(dǎo)致其視線無法看清前車時(shí)，對車輛自主決策、自動安全駕駛等提出巨大挑戰(zhàn)。

（1）語義分割

（2）自動標(biāo)注

A. 車道線自動標(biāo)注步驟

B. 場景仿真

即使特斯拉有大量數(shù)據(jù)和高效的自動化標(biāo)注工具，也并不意味著它們的數(shù)據(jù)夠用?，F(xiàn)實(shí)場景的復(fù)雜程度超乎想象，比如場景非常罕見以至于幾乎收集不到（例：高速上人車狗同時(shí)飛奔），或者是場景復(fù)雜程度超過自動化工具能力（例：一條街上塞了重重疊疊的幾十上百號人）。特斯拉依靠過去收集到的數(shù)據(jù)，仿真出全新的、自帶標(biāo)注的場景以供訓(xùn)練。

視覺仿真的先決條件是要準(zhǔn)備自動標(biāo)注的真實(shí)世界道路信息 和豐富的圖形素材庫，然后依次執(zhí)行以下步驟：

特斯拉提出，F(xiàn)SD 核心技術(shù)難點(diǎn)之一在于汽車如何去理解復(fù)雜的動態(tài)駕駛場景，保證自動駕駛的安全性。在座艙內(nèi)對 BIVMS（Bulit-in Vehicle Intelligent Monitor System）開發(fā)過程中，其核心技術(shù)難點(diǎn)之一同樣在于 BVIMS 如何去理解復(fù)雜、多樣化的駕駛員動態(tài)駕駛場景，以保證其識別的準(zhǔn)確性和提醒的合理性，需在面向復(fù)雜場景時(shí)將技術(shù)做深做精，減少誤識別、漏識別等情況，打造高性能產(chǎn)品以快速搶占座艙智能化市場。隨著座艙內(nèi)功能的愈發(fā)豐富，為了提升用戶越來越高的交互體驗(yàn)需求，參考特斯拉 FSD 采用多攝像頭純視覺方案，智能座艙內(nèi)可同樣采用多攝像頭方案（DMS，即 Driver-Monitor-System；OMS，即 Occupancy Monitoring System；TOF，即 Time-of-flight），基于多傳感器融合方案大大提高座艙算法識別精度，在數(shù)據(jù)豐富性和精準(zhǔn)性上不斷提升，開發(fā)多模態(tài)、3D TOF 應(yīng)用、AR-HUD（Augmented Reality Head-Up Display）、健康檢測等極具創(chuàng)新性的車載產(chǎn)品，此方案也是智能座艙視覺領(lǐng)域后期開發(fā)的演進(jìn)思路和發(fā)展趨勢。

審核編輯：黃飛