Perceptive Automata正在讓自動(dòng)駕駛汽車實(shí)現(xiàn)像人類一樣的推理和判斷

來(lái)自哈佛大學(xué)的初創(chuàng)公司Perceptive Automata正在讓自動(dòng)駕駛汽車實(shí)現(xiàn)像人類一樣的推理和判斷。

行人檢測(cè)( Pedestrian Detection)一直是計(jì)算機(jī)視覺(jué)研究中的熱點(diǎn)和難點(diǎn)。在過(guò)去的研究中，行人檢測(cè)要解決的問(wèn)題是：找出圖像或視頻幀中所有的行人，包括位置和大小，一般用矩形框表示，和人臉檢測(cè)類似，這也是典型的目標(biāo)檢測(cè)問(wèn)題。由于人的外觀差異大，遮擋，復(fù)雜的背景以及行人的速度不同，給檢測(cè)帶來(lái)了很大的難度。再加上即使你成功檢測(cè)到目標(biāo)，無(wú)法預(yù)知行人的下一步動(dòng)作，也同樣會(huì)產(chǎn)生安全風(fēng)險(xiǎn)。

近日，來(lái)自哈佛大學(xué)的初創(chuàng)公司 Perceptive Automata 公布了他們最新的研究成果，他們通過(guò)深度學(xué)習(xí)將這種人類才有的直覺(jué)應(yīng)用于自動(dòng)駕駛汽車中。

當(dāng)人在駕駛過(guò)程中，你會(huì)通過(guò)行人的面部表情，肢體行為，對(duì)方手持物品等視覺(jué)線索，只需輕輕一瞥，就可以了解到一個(gè)人的很多信息。比如你可以判斷正在過(guò)馬路的行人是否已經(jīng)疲憊、正在分心或是很匆忙，根據(jù)他的穿著打扮也可以看出他是下班回家還是去健身房。大腦非常擅長(zhǎng)處理此類感知，以至于人類都很難意識(shí)到自己在做的這些判斷。

當(dāng)無(wú)人駕駛的研發(fā)過(guò)程中，把行人的肢體語(yǔ)言或?qū)Ψ绞殖治锲返纫曈X(jué)線索作為駕駛決策形成的重要信息，通過(guò)使用一些深度學(xué)習(xí)算法，使用真實(shí)世界的人類行為數(shù)據(jù)來(lái)訓(xùn)練算法，同時(shí)運(yùn)行這些算法以此來(lái)驅(qū)動(dòng)汽車的 AI技術(shù)，汽車就能夠更為全面地了解周圍環(huán)境，從而增強(qiáng)安全性。

有人會(huì)說(shuō)“理都懂，然并卵”，然而 Perceptive Automata 的軟件正在實(shí)現(xiàn)這項(xiàng)不可能完成的任務(wù)。

Perceptive Automata的行人行為理解算法

傳統(tǒng)訓(xùn)練方法會(huì)使用一系列同一物體的圖片，教會(huì)神經(jīng)網(wǎng)絡(luò)辨別該物體。例如，工程師會(huì)向深度學(xué)習(xí)算法展示數(shù)百萬(wàn)張救護(hù)車的圖片，然后該軟件就能夠自主識(shí)別出救護(hù)車。

Perceptive Automata 沒(méi)有使用指向同一概念的多張圖片進(jìn)行訓(xùn)練，而是讓數(shù)據(jù)可以用一幅圖向神經(jīng)網(wǎng)絡(luò)傳達(dá)一系列信息。通過(guò)結(jié)合面部表情與其他標(biāo)志物（如某人正拿著咖啡或手機(jī)），該軟件可以推斷出行人的注意力集中在何處。

Perceptive Automata 訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可理解人類行為，從而實(shí)現(xiàn)安全的自動(dòng)駕駛。他們同時(shí)借助了 NVIDIA DRIVE強(qiáng)大的性能以及節(jié)能的特性，通過(guò)車載深度學(xué)習(xí)平臺(tái)讓軟件可以分析一系列肢體語(yǔ)言標(biāo)志，并推斷出行人的路線。該軟件可以對(duì)汽車視野內(nèi)的一個(gè)人或整個(gè)人群進(jìn)行計(jì)算，從而為道路上的每個(gè)人創(chuàng)造更安全的環(huán)境。

其聯(lián)合創(chuàng)始人薩姆安東尼說(shuō)：“我們正在建立一個(gè)模塊，讓自動(dòng)駕駛汽車能夠了解人類在路上的心態(tài)?！彼嬖V我們，該軟件將“讓自動(dòng)駕駛汽車能夠看到一個(gè)人，并以類似人的理解，'這個(gè)人想過(guò)馬路，這個(gè)人知道我的車在這里。'”通常情況下，機(jī)器學(xué)習(xí)算法可以利用客觀數(shù)據(jù)來(lái)訓(xùn)練算法，Perceptive Automata 是依賴于人的主觀判斷思路來(lái)提供用于訓(xùn)練其算法的數(shù)據(jù)。

該公司要求人們觀看視頻剪輯，然后在其中標(biāo)記行人，最好能判斷每個(gè)行人是否試圖過(guò)馬路以及他是否注意到了這輛車。Perceptive Automata的工程師然后使用這個(gè)標(biāo)記視頻數(shù)據(jù)集來(lái)訓(xùn)練機(jī)器學(xué)習(xí)算法，以做出同樣的判斷。

該公司把其研究成果做成了一個(gè)軟件模塊，任何自動(dòng)駕駛汽車制造商都可以購(gòu)買(mǎi)并放入其現(xiàn)有的駕駛堆棧中。Perceptive Automata 認(rèn)為，自動(dòng)駕駛汽車制造商應(yīng)該將其視為一種額外的傳感器，可以有效地讀取車輛周圍行人的思想。然后，將這種“傳感器”數(shù)據(jù)與來(lái)自攝像機(jī)，激光雷達(dá)和其他硬件傳感器的數(shù)據(jù)相結(jié)合，以實(shí)現(xiàn)更平穩(wěn)，更自信的駕駛。

聽(tīng)起來(lái)很心動(dòng)，但是開(kāi)發(fā)自動(dòng)駕駛汽車的公司是否真的會(huì)將此功能外包給第三方做，而不是在內(nèi)部開(kāi)發(fā)這種功能。安東尼告訴我們，制造自動(dòng)駕駛汽車的公司有很多東西在他們的盤(pán)子里，他們寫(xiě)了無(wú)數(shù)的代碼去保證車輛安全，如果有現(xiàn)成的軟件模塊，他們不會(huì)再去花費(fèi)更多的時(shí)間去研究這些細(xì)節(jié)。對(duì)于那些正在全力以赴的實(shí)現(xiàn)無(wú)人駕駛商業(yè)化的公司來(lái)說(shuō)，他們真正的戰(zhàn)場(chǎng)在讓測(cè)試車隊(duì)如何更安全的路測(cè)上。Nvidia將Perceptive Automata 作為合作伙伴，Perceptive Automata目前的客戶包括汽車制造商及其一級(jí)供應(yīng)商，以及一些創(chuàng)業(yè)公司。

行人意圖研究現(xiàn)狀

該公司相關(guān)論文筆者目前并沒(méi)有找到，關(guān)于此類研究目前較少。西班牙巴塞羅那自治大學(xué)計(jì)算機(jī)科學(xué)系（UAB）Zhijie Fang 等人通過(guò)分析行人的姿勢(shì)來(lái)確定他或她是否要進(jìn)入道路。他們基于CNN的現(xiàn)成2D行人姿勢(shì)估計(jì)方法，從單目圖像開(kāi)發(fā)行人意圖的檢測(cè)器。在一個(gè)合適的人體骨架上，定義了關(guān)鍵點(diǎn)的相對(duì)特征，和高效的機(jī)器學(xué)習(xí)方法（SVM，RF）一起，能夠理解諸如交叉與停止，彎曲和行動(dòng)等行人的動(dòng)作。Perceptive Automata 認(rèn)為這種完全基于他們觀察到的行為來(lái)預(yù)測(cè)行人運(yùn)動(dòng)的方法，沒(méi)有結(jié)合行人的心態(tài)來(lái)注釋訓(xùn)練數(shù)據(jù)。

通過(guò)行為科學(xué)去建立AI正成為下一代人工智能汽車的重要研究方向。李德毅院士團(tuán)隊(duì)曾在《自駕駛交互認(rèn)知》論文中也表達(dá)過(guò)：目前自動(dòng)駕駛技術(shù)在交互認(rèn)知上的缺失，不僅體現(xiàn)在行人的肢體語(yǔ)言交互，還體現(xiàn)在基于自然語(yǔ)言的交互認(rèn)知等方面。這種結(jié)合了行為科學(xué)（包括認(rèn)知心理學(xué)，神經(jīng)科學(xué)和心理物理學(xué)）技術(shù)，通過(guò)軟件平臺(tái)底層的機(jī)器學(xué)習(xí)模型來(lái)訓(xùn)練行人意圖識(shí)別的方法相比普通的目標(biāo)識(shí)別似乎更加智能。至少，將來(lái)無(wú)人車與行人不必分開(kāi)，讓行人擁有換用的“人行道”。