深讀解析反向傳播算法在解決模型優(yōu)化問題的方面應(yīng)用

此外，如果讀讀我年輕時(shí)這方面的經(jīng)典著作《脳の計(jì)算理論 （腦的計(jì)算理論）》，就能深刻體會(huì)到當(dāng)時(shí)的氛圍。不過這本書已經(jīng)絕版了，很難入手。

1986 年 Nature 的論文意味著神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)的分離

在這樣一個(gè)神經(jīng)網(wǎng)絡(luò)和心理學(xué)還有生理學(xué)不可分的時(shí)候，正是開頭提到的那篇1986年的Nature論文橫空出現(xiàn)，將神經(jīng)網(wǎng)絡(luò)從中拉了出來。

如果對(duì)神經(jīng)科學(xué)有些了解的人，可能知道就連神經(jīng)科學(xué)中，關(guān)于對(duì)等反向傳播的“大腦皮質(zhì)內(nèi)從高階區(qū)域向低階區(qū)域的反饋信號(hào)”意義的討論本身，其實(shí)也是2000年前后沒那么久之前的事情了。從2000年再往前推14年的話，說不定議論反向傳播人們只會(huì)把你當(dāng)成怪人。

于是這樣，在“這東西不管怎么看也找不到什么生理學(xué)的依據(jù)”的情況下提出反向傳播，對(duì)生理學(xué)根據(jù)基本無視，提出具有范式轉(zhuǎn)移的反向傳播機(jī)制，還有配套的梯度法進(jìn)行最優(yōu)化，并向大家展示了其強(qiáng)大的實(shí)用性。這，才是我個(gè)人認(rèn)為1986年 Nature 論文最大的意義。

在最后結(jié)論部分，Nature 論文給出了這樣的總結(jié)：

這樣的學(xué)習(xí)方法，似乎并不是大腦學(xué)習(xí)的一種合理模型。然而，將這個(gè)方法應(yīng)用在各種各樣的任務(wù)上后顯示，通過權(quán)重空間的梯度下降，可以構(gòu)建出很有趣的內(nèi)部表征。這表明，很值得在神經(jīng)網(wǎng)絡(luò)中找出更有生理可行性的方法來進(jìn)行梯度下降。

這里直接坦言“雖然反向傳播沒有生理學(xué)依據(jù)，但很有用”。從另一個(gè)角度來看的話，說不定這就是神經(jīng)網(wǎng)絡(luò)從不得不有心理學(xué)或生理學(xué)證據(jù)的枷鎖中，掙脫的第一步呢。

而且提出這樣重要觀點(diǎn)的，還不是像應(yīng)用數(shù)學(xué)或計(jì)算機(jī)工程學(xué)這樣的“外人”，而是聯(lián)結(jié)主義中支柱般存在的 Rumelhart 和 Hinton 二人，這樣看來無疑意義更加偉大。并且，雖然Hinton老師現(xiàn)在被認(rèn)為是深度學(xué)習(xí)的三始祖之一，還是神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的大牛，但看看維基百科的話就會(huì)發(fā)現(xiàn)，他本來其實(shí)是認(rèn)知心理學(xué)家（Rumelhart 也一樣）。

當(dāng)然，并不是說這之后神經(jīng)網(wǎng)絡(luò)就完全和心理學(xué)生理學(xué)分離了，至少看文獻(xiàn)的話大概在2000年之前，仍被納入聯(lián)結(jié)主義中去。但是，根據(jù)已明確表示出來的，神經(jīng)網(wǎng)絡(luò)不一定要依賴心理學(xué)和生理學(xué)的趨勢(shì)，未來將會(huì)更徹底從心理學(xué)生理學(xué)還有聯(lián)結(jié)主義中分離出來吧。

向著“模式識(shí)別” “機(jī)器學(xué)習(xí)”轉(zhuǎn)移，之后進(jìn)一步成為深度學(xué)習(xí)

我本科雖然是計(jì)算機(jī)科學(xué)的學(xué)生，但在1999年時(shí)卻記得“機(jī)器學(xué)習(xí)”這個(gè)詞并不常見。用的更多的是“模式識(shí)別”這個(gè)詞。作為參考，看了看維基百科“Pattern recognition”的詞條，發(fā)現(xiàn)引用里面果然大部分都是在2000年前后，和我當(dāng)時(shí)的印象一致。

順便一提，這是我本科時(shí)上課用到的經(jīng)典教科書（《好懂的模式識(shí)別》）?，F(xiàn)在看來似乎這本書的續(xù)篇更加有名，但這本書還是將模式識(shí)別基本的東西都提到了，是本挺好的入門書。

這本書當(dāng)然也提到了神經(jīng)網(wǎng)絡(luò)和反向傳播。此外，過去神經(jīng)科學(xué)等教科書上提到神經(jīng)網(wǎng)絡(luò)時(shí)，一定會(huì)提到從小腦與感知機(jī)的異同到神經(jīng)網(wǎng)絡(luò)的各種歷史，而這本書卻沒對(duì)這方面花太大篇幅。

此外，就如其他各種有名教科書一樣，反而是以如何基于鏈?zhǔn)椒▌t導(dǎo)出反向傳播，還有如何實(shí)現(xiàn)它為主來說明。順便一提，我最初開始數(shù)據(jù)科學(xué)家的工作時(shí)，就是從書架上抽出這本書，一邊看著梯度法的公式，一邊從零實(shí)現(xiàn)反向傳播算法。

正如2000年左右，神經(jīng)網(wǎng)絡(luò)已被看做脫離了心理學(xué)和生理學(xué)范疇的“模式識(shí)別”的一種。之后和“機(jī)器學(xué)習(xí)”的成功一起被看做是統(tǒng)計(jì)學(xué)習(xí)模型的一種，再然后是2006年Hinton老師的Science論文，還有就是通過2012年的 ImageNet Challenge，神經(jīng)網(wǎng)絡(luò)和它的終極形態(tài)深度學(xué)習(xí)，慢慢以機(jī)器學(xué)習(xí)王者的姿態(tài)穩(wěn)居寶座之上。

現(xiàn)在的神經(jīng)網(wǎng)絡(luò)研究，有著各種奇思妙想的網(wǎng)絡(luò)模型層出不窮“我想出來的網(wǎng)絡(luò)才是最好的”亂況，還有不斷引入最先端的最優(yōu)化解法，和利用過去完全想象不到的超大規(guī)模并行處理運(yùn)行的進(jìn)步，此外也有單作為數(shù)學(xué)理論分析對(duì)象和作為發(fā)現(xiàn)新物體性質(zhì)的應(yīng)用研究手段等等。神經(jīng)網(wǎng)絡(luò)簡(jiǎn)直慢慢成了將工程學(xué)和計(jì)算機(jī)科學(xué)各流派精粹集中在一起的天下第一武道大會(huì)。

順帶一提，維基百科日文版的“神經(jīng)網(wǎng)絡(luò)”詞條中，也有類似的描述。

Neural Network（神經(jīng)網(wǎng)絡(luò)，縮寫：NN）是一種數(shù)學(xué)模型，旨在通過計(jì)算機(jī)模擬表達(dá)腦功能中的一些特征。雖然研究起源于對(duì)生物體大腦的建模，但由于對(duì)神經(jīng)科學(xué)看法的改變，逐漸與大腦模型的差異變得顯著。為了區(qū)分于生物學(xué)和神經(jīng)科學(xué)上的神經(jīng)網(wǎng)絡(luò)，所以也稱為人工神經(jīng)網(wǎng)絡(luò)。

人工神經(jīng)網(wǎng)絡(luò)（ANN）或聯(lián)結(jié)主義系統(tǒng)，是大致由構(gòu)成動(dòng)物大腦的生物神經(jīng)網(wǎng)絡(luò)啟發(fā)的計(jì)算系統(tǒng)，人工神經(jīng)網(wǎng)絡(luò)最初的目的是想像人腦一樣解決問題。但隨著時(shí)間的推移，注意力重點(diǎn)開始轉(zhuǎn)移到了執(zhí)行特定任務(wù)上去，導(dǎo)致了從生物學(xué)的偏離。

這里明確表達(dá)了類似“神經(jīng)網(wǎng)絡(luò)已經(jīng)脫離了人腦本身”的看法。距離1986年的Nature論文過去32年，神經(jīng)網(wǎng)絡(luò)現(xiàn)在已慢慢遠(yuǎn)離聯(lián)結(jié)主義的起源，開始成為了大家公認(rèn)的機(jī)器學(xué)習(xí)王者。

雖然開頭那句話已說了很多遍了，但是還是要重復(fù)一遍：“產(chǎn)生了讓神經(jīng)網(wǎng)絡(luò)從心理學(xué)和生理學(xué)分離，并向著機(jī)器學(xué)習(xí)方向轉(zhuǎn)移的契機(jī)”，才是1986年那篇 Nature 論文的最大意義。這便是我翻閱神經(jīng)網(wǎng)絡(luò)歷史后得出的感想。

現(xiàn)在神經(jīng)網(wǎng)絡(luò)還繼續(xù)沿用“神經(jīng)”的理由

順帶一提，過去作為討論神經(jīng)信息處理頂級(jí)會(huì)議的 NIPS，維基百科英文版最近的描述也已發(fā)生巨大的轉(zhuǎn)變。

該會(huì)議在2016年有5,000名注冊(cè)參與者，2017年有8,000名，使其成為人工智能領(lǐng)域最大的會(huì)議。除了機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)，NIPS 涉及的其他領(lǐng)域包括認(rèn)知科學(xué)，心理學(xué)，計(jì)算機(jī)視覺，統(tǒng)計(jì)語言學(xué)和信息論。

雖然NIPS首字母縮寫中的“神經(jīng)”已成為一種歷史殘留物，但自2012年后深度學(xué)習(xí)的復(fù)興，加上高速計(jì)算機(jī)和大數(shù)據(jù)的推動(dòng)，在語音識(shí)別，圖像物體識(shí)別，語言翻譯等領(lǐng)域取得驚人的成果。

上面毫不客氣地直接寫到“NIPS 首字母縮寫中的“神經(jīng)”已成了一種歷史殘留物”。其實(shí)2013年去太浩湖參加那年的 NIPS 時(shí)，雖然其中還有部分關(guān)于神經(jīng)活動(dòng)信號(hào)數(shù)據(jù)分析的研究，好像“神經(jīng)”尚還健在，但更多還是與深度學(xué)習(xí)相關(guān)的研究。

此后就變得更加多了。

在圍棋中的世界冠軍級(jí)表現(xiàn)，是基于靈感來自視覺皮層（ConvNet）的層次結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，和受基礎(chǔ)神經(jīng)節(jié)啟發(fā)（時(shí)間差分學(xué)習(xí)）的強(qiáng)化學(xué)習(xí)。

還有“盡管如此，受大腦啟發(fā)的神經(jīng)網(wǎng)絡(luò)（和其綜合運(yùn)用）還是有很大的應(yīng)用可能性”，我同意這一點(diǎn)。 而且我還認(rèn)為正因?yàn)檫@點(diǎn)，即使在已不把模仿人腦當(dāng)做目標(biāo)的現(xiàn)在，神經(jīng)網(wǎng)絡(luò)還繼續(xù)沿用“神經(jīng)”這個(gè)詞。

最后

關(guān)于2000年以前的情況，大都是從我碰巧同時(shí)學(xué)過的神經(jīng)科學(xué)和計(jì)算機(jī)科學(xué)的經(jīng)驗(yàn)，還有各種文獻(xiàn)中參考而得出來的。當(dāng)然我自身并沒有在那個(gè)時(shí)代去體驗(yàn)這些。如果在文章中關(guān)于事件關(guān)系還有解釋中發(fā)現(xiàn)錯(cuò)誤的話，非常高興你能指出來m(_ _)m。

引用

* 1：我認(rèn)為這是當(dāng)然后續(xù)ImageNet挑戰(zhàn)的必要的科學(xué)論文在2006年和2012年韓丁老師

* 2：但是出汗這么多，有些不再手頭放手是在書本

* 3：但是，這篇文章略有惡意描述，所以要小心處理

* 4：小腦感知理論也有過早死亡的天才戴維·馬爾在35歲提出的事實(shí)，似乎經(jīng)常談到今天著名的成功故事

* 5：例如https://papers.nips.cc/paper/421-analog-computation-at-a-critical-point-a-novel-function-for-neuronal-oscillations.pdf如該側(cè)

* 6：肯定有2和1/2維草圖模型

* 7：在已知為具有分層結(jié)構(gòu)，諸如各種類型的感官字段的位點(diǎn)的特定功能的神經(jīng)解剖學(xué)

* 8：（神經(jīng)科學(xué)的趨勢(shì)，2000年）Lamme和Roelfsema是我反復(fù)讀畢業(yè)論文的學(xué)生當(dāng)時(shí)http://www.kylemathewson.com/wp-content/uploads/2010/03/LammeRoelfsema-2000-TiN-Reentrant- Vision.pdf

* 9：例如，在“神經(jīng)元的活動(dòng)，并在皮層區(qū)域的皮層之間的層次之間的反饋投影的關(guān)系”的一個(gè)評(píng)論性論文將保持，直到2000年左右，多少回https://www.ncbi.nlm.nih.gov/考研/？長(zhǎng)期=審查+％5Bptyp％5D +反饋+％5Bti％5D +神經(jīng)元+皮質(zhì)

* 10：因?yàn)檫@是某次研究會(huì)議的主要內(nèi)容

* 11：沒有比標(biāo)題更容易理解的印象。

* 12：最后的程度，英國(guó)石油公司在情節(jié)提出感知批評(píng)和魯梅哈特由明斯基辯駁的歷史故事是休息時(shí)間出來

* 13：對(duì)于首次提出在SVM是1963年，因?yàn)閿U(kuò)展是由是92年到非線性SVM Vapnik等例子老板，居然之嫌“機(jī)器學(xué)習(xí)”作為工程領(lǐng)域很久以前就是我正在發(fā)芽