車道的視覺識別缺陷:三張紙片將特斯拉“騙”上錯誤路線

隨著高級輔助駕駛系統(tǒng)已經(jīng)逐漸應(yīng)用到大眾車型中，這一技術(shù)的安全性也受到越來越多的關(guān)注。

近日，騰訊科恩實驗室公布了一項在特斯拉 Model S 上進行的安全性研究，并發(fā)布報告指出了三個缺陷。其中包括一個與雨刷相關(guān)的視覺識別缺陷和兩個輔助駕駛相關(guān)的缺陷。

該團隊通過不同方法誤導(dǎo)車輛對環(huán)境、道路的感知，進而讓車輛作出“開啟雨刷”、“變道”的錯誤決策。此外，該團隊還通過攻擊輔助駕駛系統(tǒng)實現(xiàn)用游戲手柄控制車輛行進。

視頻|實驗過程展示（來源：騰訊科恩實驗室）

一、雨刷的視覺識別缺陷

正常情況下，特斯拉能夠在圖像識別技術(shù)的支持下，自動根據(jù)天氣狀況開啟雨刷功能并調(diào)節(jié)雨刷工作速度。

在實驗中，團隊將特斯拉停在一個室內(nèi)環(huán)境中，在車輛前播放特定的干擾畫面，使車輛得出了下雨的錯誤判斷，導(dǎo)致雨刷自動啟動。實驗室表示，這是利用 AI 對抗樣本生成技術(shù)生成特定圖像并實現(xiàn)了對汽車的干擾，而在隨機生成的畫面中則不會出現(xiàn)這種情況。

（來源：騰訊科恩實驗室）

二、車道的視覺識別缺陷：三張紙片將特斯拉“騙”上錯誤路線。

特斯拉 Autopilot 輔助駕駛系統(tǒng)能夠識別道路上的車道線，進行沿道路行進和變道等操作。

在科恩實驗室發(fā)布的視頻演示中，道路特定位置上擺放三張小紙片，一般情況下人類駕駛員都難以輕易察覺紙片的存在，然而特斯拉在 Autopilot 駕駛模式下行駛到該位置時，突然作出轉(zhuǎn)向決策進入到隔壁的逆行車道。

（來源：騰訊科恩實驗室）

從結(jié)果上來看，紙片的放置干擾了車輛對車道的判斷，最終導(dǎo)致車輛作出如此離奇的決策。

騰訊團隊在報告中指出，在天氣識別和車道識別上，特斯拉都是基于視覺識別技術(shù)感知環(huán)境，再作出決策。團隊研究了特斯拉車道識別過程，在實際的道路上擺放了數(shù)個紙片，實現(xiàn)了物理上的對抗圖像攻擊（adversarial image attack），讓汽車產(chǎn)生了錯誤的車道判斷。

事實上，盡管機器學(xué)習(xí)在很多視覺識別任務(wù)上都有很好的表現(xiàn)，但同時也存在問題，機器學(xué)習(xí)易受到對抗樣本的干擾，甚至是一些人類難以察覺的擾動都會讓系統(tǒng)產(chǎn)生完全不同的判斷。此次特斯拉被誤導(dǎo)的實驗現(xiàn)象也符合這一原理。

對這一結(jié)果，特斯拉回應(yīng)表示，這是人為改變了汽車所處的物理環(huán)境，引起了特斯拉行進的變化。在現(xiàn)實情況下，駕駛員的操作可以覆蓋 Autopilot 的決策。特斯拉再次強調(diào)駕駛員應(yīng)該隨時準(zhǔn)備好接管汽車。

三、遙控器操控車輛行駛

科恩實驗室此前曾利用漏洞獲得了 Model S（版本 2018.6.1）的 Autopilot 控制權(quán)，在最新的實驗中，團隊實現(xiàn)了在 Autopilot 系統(tǒng)沒有被車主主動開啟的情況下，也可以利用 Autopilot 功能實現(xiàn)通過游戲手柄對車輛行駛方向進行操控。

（來源：騰訊科恩實驗室）

對這一漏洞，特斯拉回應(yīng)表示，報告里面提到的漏洞已在 2017 年的一次安全更新中修復(fù)了。此外，特斯拉稱多年來并沒有用戶反映有車輛被遙控器操控的案例出現(xiàn)。

在智能化程度越來越高的情況下，車上的系統(tǒng)漏洞成為一個越來越被重視的問題。事實上，所有的操作系統(tǒng)都無可避免地存在漏洞。在過去 4 年里，特斯拉一直進行著一個漏洞獎勵項目，對每個發(fā)現(xiàn)特斯拉漏洞人給予上萬美元的獎勵。而對于已經(jīng)發(fā)現(xiàn)的漏洞，特斯拉則能在一次次的升級中進行修復(fù)。

不過話說回來，車輛的安全與用戶的人身安全息息相關(guān), 特別是隨著自動駕駛技術(shù)的運用，在未來很長一段時間內(nèi)，關(guān)于車輛系統(tǒng)安全問題的爭議還將一直持續(xù)下去。

而對于普通的車主來說，汽車智能化程度的提升毫無疑問能夠提升我們的用車體驗，但同時我們必須接受的是，自動駕駛系統(tǒng)可能永遠無法達到永不犯錯、無懈可擊的程度。因此，對輔助駕駛系統(tǒng)保持一個警惕的心，保持注意力、拿好方向盤，隨時將車輛掌握在自己手里才是正解。