特斯拉AI總監(jiān)Karpathy親自揭秘特斯拉純視覺系統(tǒng)

在 2021 年計算機(jī)視覺與模式識別大會上，特斯拉AI 高級總監(jiān) Andrej Karpathy 分享了一些特斯拉在過去幾個月中所做的事情，會上 Karpath 闡明了特斯拉在自動駕駛領(lǐng)域的重要性，并介紹了該公司的最新超級計算機(jī)等相關(guān)內(nèi)容。

在自動駕駛領(lǐng)域，傳感器的問題一直分為視覺派和激光雷達(dá)派。特斯拉 CEO 伊隆 · 馬斯克是堅定的視覺派，他曾多次 diss 激光雷達(dá)，認(rèn)為它「很荒唐，注定要失敗」。

近日，在 CVPR 2021 線上自動駕駛研討會（WAD）上，特斯拉人工智能高級總監(jiān) Andrej Karpathy 發(fā)表了主題演講，揭秘了特斯拉如何訓(xùn)練 100% 的純視覺自動駕駛神經(jīng)網(wǎng)絡(luò)。

在演講中，Karpathy 談到了特斯拉在過去幾個月中所做的一些事情。首先他闡明了特斯拉在自動駕駛領(lǐng)域的重要性，并指出：當(dāng)前「社會交通方面狀況不佳」，指的是這些由金屬制成的車輛在人類的控制下以高動能快速行駛——或者就像他所描述的：受人肉（Meat computer use in today’s transportation）控制。

此外，Karpathy 還透露了該公司的最新超級計算機(jī)。該計算機(jī)允許汽車制造商放棄雷達(dá)和激光雷達(dá)等輔助設(shè)備，完全依賴高質(zhì)量的光學(xué)攝像機(jī)實現(xiàn)自動駕駛。

Karpathy 闡述了目前交通環(huán)境中「人類駕駛員」的幾個簡單事實：

人們通常以 80mph 的速度駕駛重量大約一噸的汽車，可能存在 250ms 的反應(yīng)延遲，而駕駛員需要轉(zhuǎn)頭和使用后視鏡來查看交通狀況，有時他們甚至不能注意力完全集中。此外，調(diào)查發(fā)現(xiàn)：

全球每天有約 3700 人死于車禍；

交通運輸成本較高。

Karpathy 表示：「歸根結(jié)底是人本身并不擅長駕駛，會造成一些交通事故。我們希望實現(xiàn)交通自動化，并讓整個人類社會受益?！?/p>

他指出，使用計算機(jī)芯片代替人類駕駛在安全性和便利性方面都有很多好處：

同樣以 80mph 的速度為例，使用計算機(jī)芯片控制駕駛，反應(yīng)延遲《《100 毫秒，可以進(jìn)行 360 度的感知，并且「計算機(jī)駕駛員」在駕駛過程中是全神貫注的。因此，自動駕駛未來會減少交通事故，并大幅降低交通運輸成本。

特斯拉的獨特之處

Karpathy 進(jìn)一步闡述了特斯拉在自動駕駛方面的獨特之處：「我們采取循序漸進(jìn)的方法來實現(xiàn)自動駕駛。特別是我們已經(jīng)擁有了使用 Autopilot 包的客戶和數(shù)百萬輛汽車，Autopilot 軟件一直在運行，并完善了一些保障安全的功能，當(dāng)然也包括 Autopilot 功能。在我們?yōu)榭蛻籼峁┌踩捅憷耐瑫r，我們的團(tuán)隊正在開發(fā)完全自動駕駛（Full Self-Driving，F(xiàn)SD）功能?！?/p>

Karpathy 在演講中播放了一段演示自動緊急制動的視頻。當(dāng)司機(jī)開過一個十字路口時，一個行人突然出現(xiàn)了。汽車檢測到行人后，目標(biāo)檢測啟動，猛踩剎車以避免碰撞。

下一個演示是一個交通管制警告的例子，該例子顯示司機(jī)分心了，他可能在看手機(jī)，沒有因為前面的紅綠燈變紅而剎車。而車子檢測到了紅燈，因此它發(fā)出警告聲，司機(jī)開始減速。

接下來的兩個視頻是踏板誤踩補救機(jī)制 （Pedal Misapplication Mitigation，PMM） 的示例。在第一個示例中，駕駛員正在停車并試圖轉(zhuǎn)彎。然而，他犯了一個錯誤踩下油門而不是剎車。此時自動駕駛系統(tǒng)啟動，檢測到行人，突然剎車。

Karpathy 展示的最后一個場景是另一個司機(jī)試圖停車。司機(jī)向右轉(zhuǎn)，以為在踩剎車然而他踩的是油門，此時系統(tǒng)啟動制動，阻止了事故的發(fā)生。

Karpathy 還展示了特斯拉在舊金山自動導(dǎo)航的另一個視頻，并指出他展示了所有的預(yù)測——你可以看到的線條和物體，表明系統(tǒng)也看到了相同的東西。

這些都說明計算機(jī)控制的自動駕駛能夠比人類駕駛員做得更好，Karpathy 說：「作為工程師，我們當(dāng)然會推廣自動駕駛，對我們來說，零干預(yù)驅(qū)動實際上是相當(dāng)常規(guī)的，尤其在人口稀少的地區(qū)?！?/p>

值得注意的是，特斯拉不同于其他自動駕駛公司，他們采用的是純視覺系統(tǒng)。

視覺 VS 雷達(dá)，該選哪一個

「這是一個在十字路口左轉(zhuǎn)的 Waymo，這個視頻為什么這么令人印象深刻？我想強調(diào)的一點是，盡管視覺和雷達(dá)兩種情況看起來是一樣的——有一輛車在十字路口左轉(zhuǎn)，但就系統(tǒng)的可擴(kuò)展性而言，情況卻大不相同?！筀arpathy說道。

所以，行業(yè)中很多競爭的方法都采用了這種激光雷達(dá) + 高清地圖的方法。

Karpathy 解釋說，使用雷達(dá)的系統(tǒng)必須用激光雷達(dá)傳感器預(yù)先繪制環(huán)境地圖，同時還要制作高清地圖。他們還必須插入所有的車道，紅綠燈，在測試時，車輛需要定位到地圖上，以便駕駛。

雷達(dá)傳感器已經(jīng)廣泛地應(yīng)用在很多乘用車和卡車當(dāng)中，通過無線電波技術(shù)，即便在能見度差的情況下也能檢測快速接近的物體，是為汽車駕駛安全提供保障的傳感器之一。

但特斯拉公司表示北美市場的 Model 3 和 Model Y 車輛的輔助駕駛 AutoPilot 系統(tǒng)中，將放棄使用雷達(dá)傳感器，轉(zhuǎn)而聚焦攝像頭視覺為中心的解決方案。他們將依靠攝像頭視覺系統(tǒng)和神經(jīng)網(wǎng)絡(luò)處理來實現(xiàn)「Autopilot、全自動駕駛（FSD）和某些主動安全功能。」

Karpathy 說：「我們采取的方法主要是基于視覺，依靠 8 個環(huán)繞車身并能夠覆蓋 360° 的攝像頭。所以我們第一次來到一個十字路口，我們必須弄清楚車道在哪里，它們?nèi)绾芜B接，交通燈在哪里，哪些是相關(guān)的，什么交通燈控制什么車道，所有的事情都發(fā)生在當(dāng)下，發(fā)生在那輛車上，我們之前并沒有高清地圖等信息?！?/p>

Karpathy 表示這是一種更具可擴(kuò)展性的方案，基于此他們需要一個能夠預(yù)測速度、加速度等信息的神經(jīng)網(wǎng)絡(luò)，首先需要一個滿足以下條件的數(shù)據(jù)集：

包含數(shù)百萬視頻的大型數(shù)據(jù)集；

經(jīng)過預(yù)處理，帶有多種標(biāo)簽的高質(zhì)量數(shù)據(jù)集；

該數(shù)據(jù)集要豐富多樣，包含一些邊緣樣例。

Karpathy 進(jìn)一步介紹了特斯拉的數(shù)據(jù)引擎：

最終他們得到了一個包含一百萬條視頻，60 億對象標(biāo)簽的數(shù)據(jù)集，該數(shù)據(jù)集后續(xù)還將繼續(xù)完善更新。

接下來，研究團(tuán)隊需要在這個超大型數(shù)據(jù)集上構(gòu)建一個神經(jīng)網(wǎng)絡(luò)。這個神經(jīng)網(wǎng)絡(luò)將是一個通用的視覺系統(tǒng)，原則上可以部署在任何需要的地方。這也是特斯拉研發(fā)團(tuán)隊正在做的事情。

使用上述方案，特斯拉能夠規(guī)避「突然減速」問題和基于雷達(dá)的系統(tǒng)的信號中斷，提供平穩(wěn)的駕駛狀態(tài)。

Karpathy 解釋說，特斯拉在過去幾年里構(gòu)建的視覺系統(tǒng)非常好，比其他傳感器都要好。攝像頭承擔(dān)了感知方面的大部分工作，現(xiàn)在特斯拉正在移除一些傳感器，因為這些傳感器正在成為不必要的輔助。

「三周前，我們開始運送完全沒有雷達(dá)的汽車。我們脫離了雷達(dá)，只靠視覺駕駛這些車。而我們這樣做的原因，正如伊隆在推特上所表達(dá)的，『當(dāng)雷達(dá)和視覺不一致時，你相信哪一個？視覺的精確度要高得多，因此，與其進(jìn)行傳感器融合，不如在視覺方面加大投入。』」

在演講中，Karpathy 還展示了特斯拉完全自動駕駛（FSD）芯片。

此外，Karpathy 還講解了特斯拉的超級計算機(jī)集群，也是特斯拉即將推出的新超級計算機(jī) Dojo 的「先行版本」。特斯拉聲稱該新集群具有一些相當(dāng)瘋狂的參數(shù)，應(yīng)該會使其成為全球第五的計算機(jī)：

720 個 80GB 8x A100 節(jié)點（共 5760 個 GPU）；

1.8 EFLOPS（720 節(jié)點 * 312 TFLOPS-FP16-A100 * 8 gpu / 節(jié)點）；

10 PB「熱層」NVME 存儲 @ 1.6 TBps；

總交換容量為 640 Tbps。

編輯：jq