機器學(xué)習(xí)的變革,隨機和分散的網(wǎng)絡(luò)

如今的人工智能系統(tǒng)，例如受到神經(jīng)元和神經(jīng)系統(tǒng)連接啟發(fā)的人工神經(jīng)網(wǎng)絡(luò)，在很多任務(wù)上表現(xiàn)得都不錯。同樣，這些系統(tǒng)需要強大的計算力和大量訓(xùn)練數(shù)據(jù)，這也使得它們能在圍棋等游戲上達到甚至超越人類水平、能夠檢測出圖像中的汽車、能分辨是貓是狗。但是，賓夕法尼亞大學(xué)的計算神經(jīng)科學(xué)家Konrad Kording表示：“它們在音樂編曲或?qū)懚坦适路矫嫒匀槐憩F(xiàn)不佳。它們在對實際情況進行有效推理時仍然有困難?！?/span>

為了突破這些限制，一些研究小組回過頭來思考，大腦能否為創(chuàng)造新想法提供創(chuàng)意。但是其中有些人選擇的研究對象看起來似乎很難：對氣味的感知?？茖W(xué)家們嘗試創(chuàng)建一種更好方法，理解器官是如何處理化學(xué)信息的，從而發(fā)現(xiàn)了與人工智能問題相關(guān)的編碼策略。此外，嗅覺回路與更復(fù)雜的大腦區(qū)域非常相似，這些區(qū)域?qū)?gòu)建更好地機器能提供幫助。

現(xiàn)在，計算機科學(xué)家們開始在機器學(xué)習(xí)環(huán)境中研究這些發(fā)現(xiàn)。

機器學(xué)習(xí)的變革

目前使用的領(lǐng)先的機器學(xué)習(xí)技術(shù)，有些是在模仿視覺系統(tǒng)的結(jié)構(gòu)，基于對信息的分層提取。當(dāng)大腦的視覺皮層接收到感知數(shù)據(jù)，它首先會選取一些小的、明確的特點，例如線條、結(jié)構(gòu)、顏色等。神經(jīng)科學(xué)家David Hubel和Torsten Wiesel在上世紀(jì)50和60年代發(fā)現(xiàn)，視覺系統(tǒng)中特殊的神經(jīng)元對應(yīng)著視網(wǎng)膜中相同位置的像素。這一發(fā)現(xiàn)讓他們獲得了諾貝爾獎。

隨著視覺信息在大腦皮層神經(jīng)元中傳遞，有關(guān)線條、結(jié)構(gòu)和顏色的詳細信息組合在一起構(gòu)成了輸入的抽象表示，即判斷目標(biāo)物體時人臉，之后確定他的身份。網(wǎng)絡(luò)中的每一層都能幫助該器官達到這一目標(biāo)。

深度神經(jīng)網(wǎng)絡(luò)也是用相似的分層方式搭建的，這對機器學(xué)習(xí)和AI研究來說是一場革命。想要教會這些網(wǎng)絡(luò)辨認目標(biāo)物體，例如人臉，它們就需要輸入上千張樣本圖片。有了足夠的樣本，它就能在新圖片和語境中識別出目標(biāo)人臉。

研究人員在圖像分類、語音識別、語言翻譯以及其他機器學(xué)習(xí)應(yīng)用中都取得了較大的成功。華盛頓大學(xué)計算神經(jīng)科學(xué)中心的研究者Charles Delahunt表示：“我把深度網(wǎng)絡(luò)看作是貨運列車。它們非常強大，只要你有足夠平的空地，就能在上面鋪設(shè)鐵軌、建造設(shè)施。但是我們知道生物系統(tǒng)并不需要這些，它們可以解決深度網(wǎng)絡(luò)目前無法解決的問題。”

自動駕駛汽車是AI領(lǐng)域的熱點話題，當(dāng)汽車在新環(huán)境中實時導(dǎo)航時，這一環(huán)境可能經(jīng)常在變化，充滿了噪音，受視覺系統(tǒng)啟發(fā)的深度學(xué)習(xí)技術(shù)可能會失靈?；蛟S，只依靠視覺導(dǎo)航也許不是正確的方法。麻省理工學(xué)院的生物物理學(xué)家Adam Marblestone認為，這種視覺上的成功是歷史發(fā)展的巧合。這一系統(tǒng)也是科學(xué)家們最了解的，能有明確的機器學(xué)習(xí)任務(wù)應(yīng)用。

但是，加利福尼亞一名計算機科學(xué)家Saket Navlakha表示：“每一種刺激并非是按同一種方式進行處理的，例如視覺和嗅覺都是不同種類的信號……所以可能存在不同的方法，處理不同類型的數(shù)據(jù)。我認為除了研究視覺系統(tǒng)的工作原理外，還有很多需要了解的事。”

Saket Navlakha

他和他的同事們開始研究昆蟲的嗅覺系統(tǒng)背后的秘密。上個世紀(jì)九十年代，生物學(xué)家Linda Buck和Richard Axel發(fā)現(xiàn)了有關(guān)氣味接收器的基因，這才開始了對嗅覺的研究。但是從那時起，嗅覺系統(tǒng)僅僅能從蒼蠅或其他昆蟲中輕易地研究。有些科學(xué)家認為，視覺系統(tǒng)并不能用于一般的計算挑戰(zhàn)任務(wù)中。

Delahunt說：“我們研究嗅覺，是因為它是一個有限的系統(tǒng)，你可以相對完整地描述它?！焙仗馗５驴ご髮W(xué)的計算神經(jīng)科學(xué)家Michael Schmuker表示：“人們已經(jīng)能用視覺做出很強大的結(jié)果了，也許嗅覺同樣如此?！?/p>

隨機和分散的網(wǎng)絡(luò)

嗅覺和視覺在很多角度都不同。味道是非結(jié)構(gòu)化的，它們沒有線條，也無法在空間中進行分類。它們是各種成分和濃度的混合體，并且難以用種類進行區(qū)分。所以并不確定應(yīng)該關(guān)注哪些特征。

嗅覺系統(tǒng)中的神經(jīng)元是對整個接收區(qū)域隨機采樣，并非針對某一特定區(qū)域。在類似視覺皮層的映射系統(tǒng)中，神經(jīng)元所在的位置解釋了它所攜帶的信息。但是在嗅覺皮層中卻不是這樣的，信息分布在系統(tǒng)中，要讀取數(shù)據(jù)需要對少量神經(jīng)元進行采樣。

以果蠅的嗅覺循環(huán)為例：50個投射神經(jīng)元從接收器中接收了輸入，每個都對不同的模塊有反應(yīng)。一種氣味可能會讓多種不同神經(jīng)元有反應(yīng)，而且每種神經(jīng)元可以表示多種氣味。這樣的信息非常會亂，各種表示也相互重疊。之后，這些信息被隨機投射到2000個Kenyon細胞上，該細胞中含有特殊的氣味，其中包含的維度比之前多了40倍，分辨氣味更加容易。

一旦果蠅的嗅覺循環(huán)完成，它就需要找到一種方法用非重疊的神經(jīng)元區(qū)分味道。它通過對數(shù)據(jù)“稀疏化”完成這一過程，只有大約100個Kenyon細胞對特定氣味有反應(yīng)，這就能夠給每種氣味打上唯一的標(biāo)簽。

簡單來說，雖然傳統(tǒng)的深度網(wǎng)絡(luò)會在“學(xué)習(xí)”的過程中改變它們連接的力量，但嗅覺系統(tǒng)通常不會通過調(diào)整投射神經(jīng)元和Kenyon細胞之間的連接而訓(xùn)練自己。

本世紀(jì)初，研究者創(chuàng)建了相應(yīng)算法來判斷隨機嵌入和更高維度的分散是如何幫助提高計算效率的。英國斯科塞斯大學(xué)的Thomas Nowotny和加利福尼亞大學(xué)圣迭戈分校的Ramón Huerta利用支持向量機進行這一問題的研究。他們認為，不論是自然還是人工的信息處理系統(tǒng)，在利用隨機組織和維度擴張來高效地表示復(fù)雜數(shù)據(jù)時，方法都是相同的。

基于此，Nowotny和他的同事們繼續(xù)探尋嗅覺和機器學(xué)習(xí)之間的關(guān)系，看二者之間是否有更深的聯(lián)系。2009年，他們證明了一種基于昆蟲的嗅覺模型可以辨認手寫數(shù)字。即使去除了大部分神經(jīng)元，也不會過度影響模型性能。

但在這之后，就很少有相關(guān)研究出現(xiàn)。直到最近一些科學(xué)家們開始回顧嗅覺的生物系統(tǒng)能否改善相關(guān)的機器學(xué)習(xí)問題。

基于嗅覺的多種成果

Delahunt和他的同事們重復(fù)了Nowotny等人的部分工作，用飛蛾的嗅覺系統(tǒng)作為基礎(chǔ)，將它與傳統(tǒng)的機器學(xué)習(xí)模型相比。只提供不到20個樣本，基于飛蛾的模型能更好地識別出手寫數(shù)字，但是隨著訓(xùn)練數(shù)據(jù)的增加，其他模型也能得出更精確的結(jié)果。

至于學(xué)習(xí)速度，嗅覺似乎表現(xiàn)得更好。在這種情況下，學(xué)習(xí)不再是尋找最佳特征和表示，而是減少了辨認大量隨機特征的機會，很多都是無用的。南方醫(yī)科大學(xué)的生物學(xué)家Fei Peng表示：“如果能點擊一下鼠標(biāo)就能完成訓(xùn)練，不就太完美了嗎？”

嗅覺策略的其中一個著名案例是去年Navlakha實驗室的成果，研究者們想找到一種基于嗅覺的方法，利用相似性進行搜索。就像各類視頻網(wǎng)站總是在頁面邊緣推薦相關(guān)信息一樣，器官也要在辨認氣味時快速做出對比和判斷。果蠅最初可能會學(xué)習(xí)接近成熟的香蕉味道，遠離醋味，但是由于環(huán)境非常復(fù)雜，充滿噪聲，它無法多次聞到同樣的氣味。當(dāng)它感知到一種新味道后，果蠅要思考之前聞過的哪種氣味更接近，這樣才能做出正確的反應(yīng)。

Charles Delahunt（左）和J.Nathan Kutz（右）

Navlakha創(chuàng)造了一種基于氣味相似性的搜索算法，將其應(yīng)用到了圖片數(shù)據(jù)集上。他和他的團隊發(fā)現(xiàn)他們的算法比傳統(tǒng)的非生物方法好兩到三倍。除此之外，Peng和他的同事們，基于螞蟻的嗅覺模型研究它們是如何進行導(dǎo)航的。Nowotny正在研究嗅覺系統(tǒng)是如何處理混合物的，例如器官可以在多種味道的混合中分辨出一種特定的味道。

這一想法可能對AI領(lǐng)域的“雞尾酒問題”有所幫助，這一問題是指想在嘈雜的環(huán)境中分離多種對話有多困難。如果一間房間里有很多說話者，AI可能通過分辨聲音信號來確定不同的發(fā)言者。

結(jié)語

嗅覺是一種古老的系統(tǒng)，可以追溯到細菌的生化感知能力，很多生物的器官都用它來探索環(huán)境。讓科學(xué)家們感到欣慰的是，嗅覺系統(tǒng)的結(jié)構(gòu)和許多物種大腦的其他區(qū)域驚人地相似，特別是涉及記憶和導(dǎo)航的海馬體，以及負責(zé)運動控制的小腦。

嗅覺循環(huán)可以用作理解海馬體和小腦使用的復(fù)雜學(xué)習(xí)算法和計算的手段，并且可以應(yīng)用于AI之上。研究人員已經(jīng)開始轉(zhuǎn)向研究注意力和各種形式的認知過程，希望能找到改進當(dāng)前機器學(xué)習(xí)架構(gòu)和機制的方法。而嗅覺可能提供了一種更簡單的方法建立這些連接。