特斯拉AI主管解釋為何不用激光雷達(dá)：我們有超算和深度學(xué)習(xí)

從當(dāng)下各大汽車OEM在新車上采用的自動/輔助駕駛方案來看，不少用到了英偉達(dá)、Mobileye或是地平線的高性能芯片，也有用到Lumina、Velodyne或覽沃的激光雷達(dá)。但歸根結(jié)底這些都是機(jī)器視覺加上先進(jìn)傳感器的方案，而特斯拉卻一直堅(jiān)持采用攝像頭的純視覺方案，成了諸多車廠中的一個(gè)“異類”。

在上月舉辦的機(jī)器視覺和模式識別國際會議（CVPR 2021）上，特斯拉AI主管Andrej Karpathy解釋了為何特斯拉用不到激光雷達(dá)。Andrej Karpathy畢業(yè)于斯坦福大學(xué)，也是AI大神李飛飛的得意門生之一，他在畢業(yè)后成了OpenAI的一位研究員，隨后被埃隆·馬斯克親自挖去特斯拉做AI主管。

低成本、易維護(hù)且方便更新的純視覺系統(tǒng)

深度神經(jīng)網(wǎng)絡(luò)是自動駕駛技術(shù)的主要技術(shù)之一，通過處理車載攝像頭傳輸?shù)臄?shù)據(jù)來分析道路、標(biāo)志、汽車、障礙和行人。但深度學(xué)習(xí)在圖像中檢測物體往往會出現(xiàn)失誤，因此多數(shù)自動駕駛公司，比如Waymo等，都采用激光雷達(dá)來繪制車身周圍的3D地圖，補(bǔ)全神經(jīng)網(wǎng)絡(luò)缺失的信息。

然而Andrej提到，激光雷達(dá)在自動駕駛上也有自己的難處，你必須用高成本的激光雷達(dá)預(yù)繪制環(huán)境，然后創(chuàng)建高分辨率地圖，將街道和交通燈聯(lián)系在一起，最后只能局限于這些地圖來駕駛。不過，繪制每個(gè)地點(diǎn)的精確地圖是相當(dāng)困難的，并不是路測車輛收集構(gòu)建好這些高分辨率地圖就完事了，還需要長期的維持工作，很難保證這些基礎(chǔ)設(shè)備和數(shù)據(jù)的更新工作。

特斯拉并沒有采用激光雷達(dá)和高分辨率地圖結(jié)合的方案，Andrej稱“對特斯拉來說，一切都是初次發(fā)生的，單單靠車身上的八個(gè)攝像頭”。經(jīng)過幾年的迭代，特斯拉的自動駕駛工作絕大多數(shù)都是由攝像頭實(shí)現(xiàn)，以至于車身上其他的傳感器開始“吃灰”。為此，特斯拉也在今年5月宣布，即日起北美制造的Model 3和Model Y也不再配備毫米波雷達(dá)，全面過渡到以攝像頭為主，輔以超聲波雷達(dá)的特斯拉視覺系統(tǒng)。

自動標(biāo)注生成的數(shù)據(jù)集和高效的神經(jīng)網(wǎng)絡(luò)

在許多激光雷達(dá)和攝像頭的參數(shù)性能比較中，測距往往都是攝像頭的弱項(xiàng)。然而，人類本身也是用“眼鏡”這一純視覺方案來進(jìn)行距離和速度判斷的，那么人工神經(jīng)網(wǎng)絡(luò)能否做到這一點(diǎn)呢？Andrej稱在過去幾個(gè)月的研究工作中發(fā)現(xiàn)，這個(gè)問題的答案是肯定的。

特斯拉的工作室為了創(chuàng)建這樣一個(gè)可以精確檢測物體距離、速度和加速度的深度學(xué)習(xí)系統(tǒng)，將這一挑戰(zhàn)視為監(jiān)督式學(xué)習(xí)的問題。監(jiān)督式學(xué)習(xí)是機(jī)器學(xué)習(xí)中常用的一個(gè)方法，此處則被用于在標(biāo)注數(shù)據(jù)訓(xùn)練后，讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何檢測物體和它們的附加屬性。

而打造這樣一個(gè)系統(tǒng)，需要的是大量的視頻數(shù)據(jù)、清晰精確的標(biāo)準(zhǔn)數(shù)據(jù)和諸多極端情況組成的數(shù)據(jù)集。

特斯拉與其他具備數(shù)據(jù)采集能力的汽車品牌相比有著一個(gè)獨(dú)到的優(yōu)勢，那就是數(shù)量。有了百萬輛配備攝像頭的汽車，特斯拉根本不愁數(shù)據(jù)量。

在雨雪等條件下依然能夠正常運(yùn)轉(zhuǎn)的自動標(biāo)注 / 特斯拉

那么這種標(biāo)注是如何進(jìn)行的呢？一種可行方案是依靠數(shù)據(jù)標(biāo)注公司進(jìn)行手工標(biāo)注，但這樣做的話不僅耗時(shí)耗力，成本也不低。特斯拉的自動標(biāo)注技術(shù)結(jié)合了神經(jīng)網(wǎng)絡(luò)、雷達(dá)數(shù)據(jù)和人類審查。由于這一數(shù)據(jù)集是離線標(biāo)注的，所以神經(jīng)網(wǎng)絡(luò)可以來回播放視頻，將預(yù)測與事實(shí)進(jìn)行比對，從而調(diào)整其參數(shù)，恰恰與實(shí)時(shí)運(yùn)行的測試時(shí)推理相反。

這種離線標(biāo)注還有一個(gè)好處，那就是特斯拉工程師得以實(shí)現(xiàn)無法部署在車上的密集運(yùn)算型物體檢測網(wǎng)絡(luò)，將其用于低延遲的實(shí)時(shí)應(yīng)用中去。而雷達(dá)的數(shù)據(jù)只是用于進(jìn)一步驗(yàn)證神經(jīng)網(wǎng)絡(luò)的推理，這個(gè)過程還可以讓人工介入，進(jìn)行一些判斷上的編輯、驗(yàn)證和調(diào)整工作。

為了實(shí)現(xiàn)更好的速度和加速度判斷，在打造這一數(shù)據(jù)集的過程中，特斯拉團(tuán)隊(duì)花了4個(gè)月時(shí)間開發(fā)了221個(gè)觸發(fā)器來指出物體檢測系統(tǒng)上還需哪些調(diào)整，比如雷達(dá)與視覺對比不符、物體邊框抖動、純靠主攝像頭進(jìn)行的檢測等等。這些觸發(fā)器部署在消費(fèi)車輛中，進(jìn)行了7輪靜默模式的運(yùn)轉(zhuǎn)，這些觸發(fā)器并不會對車輛下達(dá)任何指令，而輸出的數(shù)據(jù)會和雷達(dá)數(shù)據(jù)和駕駛員本身行為進(jìn)行比較。

最后生成的數(shù)據(jù)集中，特斯拉自動駕駛團(tuán)隊(duì)已經(jīng)收集了1.5PB的數(shù)據(jù)，由100萬個(gè)10秒視頻和60億物體標(biāo)注組成。

特斯拉自動駕駛神經(jīng)網(wǎng)絡(luò)架構(gòu) / 特斯拉

為了充分利用這一數(shù)據(jù)集，特斯拉自動駕駛團(tuán)隊(duì)打造了一個(gè)高效的循環(huán)神經(jīng)網(wǎng)絡(luò)。數(shù)據(jù)經(jīng)過多層次的網(wǎng)絡(luò)結(jié)構(gòu)，從而輸出多個(gè)參數(shù)。這種架構(gòu)為分布式分工創(chuàng)造了條件，當(dāng)前特斯拉有一個(gè)由20人左右組成的團(tuán)隊(duì)，他們正在全力訓(xùn)練這一神經(jīng)網(wǎng)絡(luò)，負(fù)責(zé)各自的模塊。

用來訓(xùn)練深度學(xué)習(xí)模型的超級計(jì)算機(jī)

為了處理如此龐大的工作量自然也需要強(qiáng)大的機(jī)器，特斯拉當(dāng)前有三臺用于自動駕駛開發(fā)的超算集群。其中最新的一臺包含720個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都由8張英偉達(dá)A100 80GB加速卡組成，等于一臺機(jī)器就內(nèi)置了5760個(gè)GPU。該機(jī)器的算力達(dá)到了驚人的1.8 EFLOPS，配備了10PB的頂級NVME存儲，速率達(dá)到1.6 TBps。

內(nèi)部超級計(jì)算機(jī) / 特斯拉

除此之外，為了保障自動駕駛的流暢運(yùn)行，其自研的FSD自動駕駛芯片也有著強(qiáng)悍的性能。特斯拉的優(yōu)勢在于其垂直集成的開發(fā)，這意味著不論是其CPU、GPU還是NPU，都能最大限度地利用這一神經(jīng)網(wǎng)絡(luò)驅(qū)動的視覺方案。

FSD自動駕駛芯片 / 特斯拉

小結(jié)

目前特斯拉的FSD自動駕駛系統(tǒng)已經(jīng)進(jìn)入了測試階段，已經(jīng)有2000余名的車主在使用這一技術(shù)。特斯拉也在繼續(xù)開發(fā)這一系統(tǒng)，加入更多的駕駛功能。

NHTSA對4月27日前后生產(chǎn)的Model Y評級 / NHTSA

不過，特斯拉拋棄毫米波雷達(dá)的做法也引來的一些是非，美國國家公路交通安全管理局（NHTSA）表示，取消毫米波雷達(dá)的Model 3和Model Y將失去具備部分先進(jìn)安全功能的標(biāo)簽。尚不清楚這未來經(jīng)過測試調(diào)研后，幾款車型會不會重新獲得這些認(rèn)證，不過可以肯定的是，特斯拉已經(jīng)打算在攝像頭為主的純視覺方案上堅(jiān)定不移地走下去了。