Hinton的那篇Capsule論文終于揭下了神秘的面紗

近日，Hinton的那篇Capsule論文終于揭下了神秘的面紗，也因?yàn)樵撈撐?，他被刊進(jìn)了各大媒體的頭版頭條。

在論文中，Capsule被Hinton大神定義為這樣一組神經(jīng)元：其活動(dòng)向量所表示的是特定實(shí)體類型的實(shí)例化參數(shù)。

他的實(shí)驗(yàn)表明，鑒別式訓(xùn)練的多層Capsule系統(tǒng)，在MNIST手寫數(shù)據(jù)集上表現(xiàn)出目前最先進(jìn)的性能，并且在識(shí)別高度重疊數(shù)字的效果要遠(yuǎn)好于CNN。

該論文無疑將是今年12月初NIPS大會(huì)的重頭戲。

不過，對(duì)于這篇論文的預(yù)熱，Hinton大神可是早有準(zhǔn)備。

一個(gè)月前，在多倫多接受媒體采訪時(shí)，Hinton大神斷然宣稱要放棄反向傳播，讓整個(gè)人工智能從頭再造。不明就里的媒體們頓時(shí)蒙圈不少。

8月份的時(shí)候，Hinton大神還用一場(chǎng)“卷積神經(jīng)網(wǎng)絡(luò)都有哪些問題？”的演講來介紹他手中的Capsule研究，他認(rèn)為“CNN的特征提取層與次抽樣層交叉存取，將相同類型的相鄰特征檢測(cè)器的輸出匯集到一起”是大有問題的。

當(dāng)時(shí)的演講中，Hinton大神可沒少提CNN之父Yann LeCun的不同觀點(diǎn)。畢竟，當(dāng)前的CNN一味追求識(shí)別率，對(duì)于圖像內(nèi)容的“理解”幫助有限。

而要進(jìn)一步推進(jìn)人工智能，讓它能像人腦一樣理解圖像內(nèi)容、構(gòu)建抽象邏輯，僅僅是認(rèn)出像素的排序肯定是不夠的，必須要找到方法來對(duì)其中的內(nèi)容進(jìn)行良好的表示……這就意味著新的方法和技術(shù)。

而當(dāng)前的深度學(xué)習(xí)理論，自從Hinton大神在2007年（先以受限玻爾茲曼機(jī)進(jìn)行訓(xùn)練、再用有監(jiān)督的反向傳播算法進(jìn)行調(diào)優(yōu)）確立起來后，除了神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)上的小修小改，很多進(jìn)展都集中在梯度流上。

正如知乎大V“SIY.Z”在《淺析Hinton最近提出的Capsule計(jì)劃》時(shí)所舉的例子。 （https://zhuanlan.zhihu.com/p/29435406）

sigmoid會(huì)飽和，造成梯度消失。于是有了ReLU。

ReLU負(fù)半軸是死區(qū)，造成梯度變0。于是有了LeakyReLU，PReLU。

強(qiáng)調(diào)梯度和權(quán)值分布的穩(wěn)定性，由此有了ELU，以及較新的SELU。

太深了，梯度傳不下去，于是有了highway。

干脆連highway的參數(shù)都不要，直接變殘差，于是有了ResNet。

強(qiáng)行穩(wěn)定參數(shù)的均值和方差，于是有了BatchNorm。

在梯度流中增加噪聲，于是有了 Dropout。

RNN梯度不穩(wěn)定，于是加幾個(gè)通路和門控，于是有了LSTM。

LSTM簡(jiǎn)化一下，有了GRU。

GAN的JS散度有問題，會(huì)導(dǎo)致梯度消失或無效，于是有了WGAN。

WGAN對(duì)梯度的clip有問題，于是有了WGAN-GP。

而本質(zhì)上的變革，特別是針對(duì)當(dāng)前CNN所無力解決的動(dòng)態(tài)視覺內(nèi)容、三維視覺等難題……進(jìn)行更為基礎(chǔ)的研究，或許真有可能另辟蹊徑。

這當(dāng)然是苦力活，Hinton大神親自操刀的話，成功了會(huì)毀掉自己賴以成名的反向傳播算法和深度學(xué)習(xí)理論，失敗了則將重蹈愛因斯坦晚年“宇宙常數(shù)”的覆轍。

所以，李飛飛對(duì)他在這里的勇氣大為贊賞：

如今Capsule的論文剛剛出來，深度學(xué)習(xí)的各路大神并沒有貿(mào)然對(duì)其下評(píng)論，深夜中的外媒亦尚未就此發(fā)稿，甚至就連技術(shù)圈內(nèi)一向口水不斷的Hacker News，今天也是靜悄悄地一片。

不過，可以肯定的一點(diǎn)是，一個(gè)月后的NIPS大會(huì)，Capsule更進(jìn)一步的效果必定會(huì)有所顯現(xiàn)。

至于Hinton此舉對(duì)于深度學(xué)習(xí)和整個(gè)人工智能界的后續(xù)影響，包括Yann LeCun在內(nèi)的各路大神恐怕都不敢冒下結(jié)論，咱們還是靜等時(shí)間來驗(yàn)證Hinton大神的苦心孤詣到底值不值得吧。

這正如Hinton大神在接受吳恩達(dá)采訪時(shí)所說的：

如果你的直覺很準(zhǔn)，那你就應(yīng)該堅(jiān)持，最終必能有所成就；反過來你直覺不好，那堅(jiān)不堅(jiān)持也就無所謂了。反正你從直覺里也找不到堅(jiān)持它們的理由。

當(dāng)然，營(yíng)長(zhǎng)肯定是相信Hinton大神的直覺的，更是期待人工智能能在當(dāng)前的水平上更進(jìn)一步。

盡管意義不同，Hinton大神此舉卻讓營(yíng)長(zhǎng)想到了同在古稀之年的開爾文勛爵，他1900年那場(chǎng)關(guān)于物理學(xué)“兩朵烏云”的演講可是“預(yù)言”得賊準(zhǔn)：

“紫外災(zāi)難”讓年近不惑的普朗克為量子力學(xué)開創(chuàng)了先河，“以太漂移”讓剛剛畢業(yè)的愛因斯坦開始思考狹義相對(duì)論，經(jīng)典物理學(xué)的大廈就此崩塌。

那么，人工智能上空所飄蕩的到底是一朵“烏云”呢？還是一個(gè)新的時(shí)代？讓我們拭目以待。

責(zé)任編輯：lq