這種新型AI系統(tǒng)用少量人工神經(jīng)元控制車輛轉(zhuǎn)向

自動駕駛汽車是當前機器學習研究者和工程師們正在探索的最復(fù)雜任務(wù)之一。它覆蓋很多方面，而且要求必須高度穩(wěn)定，只有這樣我們才能保證自動駕駛汽車在道路上安全運行。通常，自動駕駛算法的訓(xùn)練需要大量真實人類駕車的訓(xùn)練數(shù)據(jù)，我們試圖讓深度神經(jīng)網(wǎng)絡(luò)理解這些數(shù)據(jù)，并復(fù)現(xiàn)人類遇到這些情況時的反應(yīng)。

眾所周知，當數(shù)據(jù)量足夠多時，深度監(jiān)督模型會被訓(xùn)練得很好，但目前的深度學習仍存在泛化性能不好和訓(xùn)練效率不高的問題，研究人員一直在尋求構(gòu)建智能模型的新方法。當前人們探求的方向總是更深的網(wǎng)絡(luò)，但這意味著更高的算力消耗。因此正如人們所思考的那樣，必須尋找一種需要更少數(shù)據(jù)或更少神經(jīng)網(wǎng)絡(luò)層的方法，讓機器實現(xiàn)智能化。

▲ 模仿線蟲進行控制的神經(jīng)網(wǎng)絡(luò)

最近，來自MIT CSAIL、維也納工業(yè)大學、奧地利科技學院的團隊已經(jīng)開發(fā)了一種基于線蟲大腦的新型AI系統(tǒng)。研究成果登上了最近的《自然·機器智能》雜志。

他們發(fā)現(xiàn)，具有19個控制神經(jīng)元的單個算法，通過253個突觸將32個封裝的輸入特征連接到輸出，可以學習把高維輸入映射到操縱命令。

這種新的AI系統(tǒng)用少量人工神經(jīng)元控制車輛轉(zhuǎn)向。而基于CNN和LSTM的神經(jīng)網(wǎng)絡(luò)打造同樣的自動駕駛系統(tǒng)，網(wǎng)絡(luò)結(jié)構(gòu)則要復(fù)雜得多。

▲ 使用CNN實現(xiàn)車輛屆時系統(tǒng)

該方法受線蟲等小型動物大腦的啟發(fā)，僅用數(shù)十個神經(jīng)元即可控制自動駕駛汽車，而常規(guī)深度神經(jīng)網(wǎng)絡(luò)方法（如 Inception、ResNet、VGG 等）則需要數(shù)百萬神經(jīng)元。這一新型網(wǎng)絡(luò)僅使用 75000 個參數(shù)、19 個神經(jīng)元，比之前減少了數(shù)萬倍！

該方法還帶來了額外的好處，由于神經(jīng)元數(shù)量稀少，這樣的網(wǎng)絡(luò)不再是深度模型的「黑箱」，人們可以知道網(wǎng)絡(luò)在每個運行階段的情況。該研究項目負責人 Radu Grosu 教授表示：「正如線蟲（nematode C. elegans）這種生命，它們以驚人的少量神經(jīng)元實現(xiàn)有趣的行為模式?！?/p>

▲ 三種不同的神經(jīng)連接模型

這是因為線蟲的神經(jīng)系統(tǒng)能夠以高效、協(xié)調(diào)的方式處理信息。該系統(tǒng)證明深度學習模型仍有改進空間。如果線蟲在進化到接近最優(yōu)的神經(jīng)系統(tǒng)結(jié)構(gòu)后，能夠憑借極少量神經(jīng)元做出有趣的行為反應(yīng)，那我們也可以讓機器做到。該神經(jīng)系統(tǒng)可以讓線蟲執(zhí)行移動、動作控制和導(dǎo)航行為，而這恰恰是自動駕駛等應(yīng)用所需要的。

該研究參與者之一 Thomas Henzinger 教授表示，他們按照這一神經(jīng)系統(tǒng)，「開發(fā)了一種新型數(shù)學神經(jīng)元和突觸模型」——liquid time constant（LTC）神經(jīng)元。簡化神經(jīng)網(wǎng)絡(luò)的一種方式是使之變得稀疏，即并非每一個單元都與其他單元相連接。當一個單元被激活時，其他單元未被激活，這可以降低計算時間，因為所有未被激活單元沒有任何輸出（或者輸出為 0，可以極大地加快計算速度）。

▲ 神經(jīng)網(wǎng)絡(luò)專注于圖像的非常具體的部分

這一新系統(tǒng)包括兩部分。

首先是一個緊湊的卷積神經(jīng)網(wǎng)絡(luò)，用于從輸入圖像像素中提取結(jié)構(gòu)特征。使用這類信息，網(wǎng)絡(luò)能夠確定圖像的哪些部分較為重要或有趣，并僅將這部分圖像傳輸至下一個步驟。

該研究提出新架構(gòu)的端到端表示。

第二個部分即「控制系統(tǒng)」，它利用一組生物啟發(fā)神經(jīng)元做出的決策來控制汽車。這一控制系統(tǒng)又叫做「神經(jīng)電路策略」（neural circuit polic，NCP）。

它將緊湊卷積模型的輸出數(shù)據(jù)轉(zhuǎn)換到僅有 19 個神經(jīng)元的 RNN 架構(gòu)中（該架構(gòu)受線蟲神經(jīng)系統(tǒng)的啟發(fā)），進而控制汽車。

▲ NCP 網(wǎng)絡(luò)的實現(xiàn)細節(jié)參見相關(guān)論文及 GitHub 項目

這帶來了參數(shù)量的銳減。論文一作 Mathias Lechner 表示「NCP 比之前的 SOTA 模型小了三個數(shù)量級」，參見下表 2。

▲ 網(wǎng)絡(luò)規(guī)模對比

由于該架構(gòu)規(guī)模很小，因此我們可以看清楚其注意力在輸入圖像的哪一部分。研究者發(fā)現(xiàn)，用這么小的網(wǎng)絡(luò)提取圖像最重要部分時，這些神經(jīng)元只關(guān)注路邊和視野。在目前著重于分析圖像每一個細節(jié)的人工智能系統(tǒng)中，這是很獨特的行為。

與其他網(wǎng)絡(luò)相比，傳輸至 NCP 網(wǎng)絡(luò)的信息可謂少之又少。僅通過上圖，我們就可以發(fā)現(xiàn)該方法比現(xiàn)有方法更加高效，計算速度也更快。

責任編輯：haq