實(shí)例分析神經(jīng)網(wǎng)絡(luò)給我們帶來(lái)的變化

如今不迷戀深度學(xué)習(xí)是不可能的，你可以看到神經(jīng)網(wǎng)絡(luò)正在發(fā)揮它無(wú)止境的技巧。在我看來(lái)，神經(jīng)網(wǎng)絡(luò)給我們留下深刻印象至少有兩個(gè)原因：
　　（1）神經(jīng)網(wǎng)絡(luò)可以從弱先驗(yàn)中學(xué)習(xí)建立許多良好的自然功能模型
　　將分層、分布式的表示與快速的、經(jīng)GPU優(yōu)化的梯度計(jì)算結(jié)合的思想是非常強(qiáng)大的。初期的神經(jīng)網(wǎng)絡(luò)會(huì)碰到局部最優(yōu)的問(wèn)題，但是訓(xùn)練更深層網(wǎng)絡(luò)的能力解決了此問(wèn)題，并使得反向傳播大放光彩。在通過(guò)簡(jiǎn)單的架構(gòu)決策得到少量的專業(yè)知識(shí)之后，深度學(xué)習(xí)的實(shí)踐者們現(xiàn)在找到了一系列強(qiáng)大的參數(shù)函數(shù)以及優(yōu)化它們的實(shí)用方法。
　　第一個(gè)這種架構(gòu)決策是卷積或者遞歸結(jié)構(gòu)的使用，向模型輸入空間和時(shí)間上不變的數(shù)據(jù)。單憑這點(diǎn)，神經(jīng)網(wǎng)絡(luò)在圖像分類，語(yǔ)音識(shí)別，機(jī)器翻譯，Atari游戲以及許多其他領(lǐng)域都表現(xiàn)得十分出色。最近，基于輸入數(shù)據(jù)自頂向下關(guān)注點(diǎn)（top-down attention ）的機(jī)制在圖像和自然語(yǔ)言任務(wù)中體現(xiàn)了它的價(jià)值，然而可微的內(nèi)存模型比如磁帶和堆棧甚至可以讓網(wǎng)絡(luò)從只有一對(duì)輸入輸出的簡(jiǎn)單算法中學(xué)習(xí)規(guī)則。
　　（2）神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到驚人有用的表示
　　當(dāng)社區(qū)仍然急切等待非監(jiān)督式學(xué)習(xí)的出現(xiàn)時(shí)，深度監(jiān)督式學(xué)習(xí)已經(jīng)在構(gòu)建可歸納和可解釋特征方面體現(xiàn)了令人印象深刻的才能。也就是說(shuō)，神經(jīng)網(wǎng)絡(luò)在被訓(xùn)練預(yù)測(cè)P（y|x）時(shí)學(xué)習(xí)到的特征通常是可解釋的，并且為一些其他相關(guān)函數(shù)P（z|x）建模非常有用。
　　舉幾個(gè)例子：
　　用于分類場(chǎng)景的卷積神經(jīng)網(wǎng)絡(luò)的單元通?？梢詫W(xué)習(xí)在這些場(chǎng)景中特定的物體（比如燈塔），即使它們沒(méi)有被明確的訓(xùn)練這么做（Zhou et al.， 2015）。
　　圖像分類網(wǎng)絡(luò)中底層的相關(guān)系數(shù)能夠提供一幅圖像藝術(shù)風(fēng)格出奇良好的簽名，可以對(duì)一幅圖像使用其他風(fēng)格來(lái)合成新圖像（Gatys et al.， 2015）。
　　一種遞歸神經(jīng)網(wǎng)絡(luò)［文末有更正］被訓(xùn)練用來(lái)預(yù)測(cè)句子中丟失的詞語(yǔ)，可以學(xué)習(xí)到有意義的單詞組合，簡(jiǎn)單的矢量運(yùn)算可以用來(lái)尋找語(yǔ)義類比。比如：
　　vking - vman + vwoman ≈ vqueenvParis - vFrance + vItaly ≈ vRomevWindows - vMicrosoft + vGoogle ≈ vAndroid
　　我毫不懷疑，在未來(lái)幾年，神經(jīng)網(wǎng)絡(luò)將會(huì)運(yùn)用于更多的任務(wù)之中，更深入地整合到行業(yè)里去，并將繼續(xù)有新的超能力讓研究者耳目一新。這當(dāng)然有道理，我也無(wú)意貶低深度學(xué)習(xí)目前和未來(lái)的影響；但是關(guān)于這些模型智能的樂(lè)觀情緒令人擔(dān)憂，讓人又想起20世紀(jì)60年代人工智能的冬天。
　　從過(guò)去幾年的進(jìn)步可以推斷，我們會(huì)相信，深度強(qiáng)人工智能的出現(xiàn)指日可待，只需多一些架構(gòu)技巧，更大的數(shù)據(jù)集和更強(qiáng)勁的計(jì)算能力就能夠?qū)崿F(xiàn)。我認(rèn)為有兩點(diǎn)有力的原因可以增加對(duì)此的懷疑。
　　首先，僅僅依靠單個(gè)任務(wù)，想要讓機(jī)器有廣泛的智能或者有能力獲得這種智能是個(gè)壞主意。50年代的下跳棋機(jī)器驚艷了研究者，很多人認(rèn)為這是邁向人類水平推理的一大步，但現(xiàn)在我們意識(shí)到在這種游戲中達(dá)到人類水平或超人類水平要比達(dá)到人類水平的強(qiáng)智能要簡(jiǎn)單太多了。事實(shí)上，即使是最優(yōu)秀的人，也很容易被簡(jiǎn)單啟發(fā)式搜索算法打敗。這種算法可能無(wú)法促進(jìn)機(jī)器智能的長(zhǎng)遠(yuǎn)目標(biāo)，盡管它表面上看起來(lái)會(huì)非常智能，在人工智能的其他領(lǐng)域也是一樣，比如80年代的專家系統(tǒng)。 在大多數(shù)任務(wù)中，人類水平或超人類水平的性能不一定是通往接近人類機(jī)能的必要墊腳石。
　　同樣的道理，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)可解釋詞語(yǔ)組合的能力，并不意味著它是成為人類水平理解世界的正確工具。這些有目的性的統(tǒng)計(jì)模型在對(duì)世界沒(méi)有更豐富感知的情況下，單從文本中就可以學(xué)習(xí)到有意義的關(guān)系令人印象深刻，令人吃驚，但這可能會(huì)讓人談?wù)撊蝿?wù)意想不到的簡(jiǎn)單而不是模型的能力。比如跳棋機(jī)器可以通過(guò)樹(shù)搜索來(lái)贏得勝利，許多語(yǔ)義關(guān)系可以這么做來(lái)從文本數(shù)據(jù)中學(xué)習(xí)。這兩者都有令人印象深刻的智能行為，但都不是達(dá)到真正機(jī)器智能的方式。
　　我想特別說(shuō)明神經(jīng)網(wǎng)絡(luò)的長(zhǎng)處，以及與人類智能如何聯(lián)系。深度學(xué)習(xí)產(chǎn)生了驚人的判別模型，生成模型和特征提取，但它們的共同之處都是需要非常大的訓(xùn)練數(shù)據(jù)集。在n和d非常高的情況下，它作為一種強(qiáng)大的通用模式識(shí)別工具使用。這可能是這種范式中最佳的工具。
　　這非常適合大腦能夠解決的一種特定類型的問(wèn)題：找到良好的表示來(lái)描述通過(guò)感官收到的持續(xù)、巨大的數(shù)據(jù)。在任何感官?gòu)沫h(huán)境獲取信息前，視覺(jué)和聽(tīng)覺(jué)系統(tǒng)需要從原始像素和聲波中對(duì)數(shù)據(jù)進(jìn)行折疊，拉伸和扭曲，轉(zhuǎn)換成能夠從信號(hào)中更好捕獲復(fù)雜統(tǒng)計(jì)規(guī)律的數(shù)據(jù)形式。不管這種能力是從頭開(kāi)始學(xué)習(xí)還是通過(guò)進(jìn)化而形成的，大腦能夠嫻熟地解決這個(gè)問(wèn)題——甚至，有最新證據(jù)表明大腦發(fā)現(xiàn)的表示與神經(jīng)網(wǎng)絡(luò)發(fā)現(xiàn)的差異并不大。我認(rèn)為，深度學(xué)習(xí)可以為許多感知問(wèn)題提供了不起的起點(diǎn)。
　　這就是說(shuō)，這種高n、高d的范式是非常特別的，并不適合用來(lái)描述大量的智能行為。人類思維的多面性包括規(guī)劃完成新目標(biāo)，從他人的行為中推斷他們的目的，學(xué)習(xí)結(jié)構(gòu)化理論來(lái)描述世界規(guī)則，發(fā)明實(shí)驗(yàn)來(lái)驗(yàn)證這些理論，僅從一個(gè)例子中學(xué)習(xí)識(shí)別新物體種類。它們往往會(huì)有一些從少量觀測(cè)數(shù)據(jù)中得到的不確定原則推斷。對(duì)于神經(jīng)網(wǎng)絡(luò)取得的所有成就，它們僅僅在不同于以上提到的任務(wù)的基本任務(wù)中證明了自己的價(jià)值。如果表面上看起來(lái)它們?cè)谒蟹矫娑既〉贸晒?，那么是因?yàn)樗鼈儗W(xué)習(xí)了上百次的例子，而人類并沒(méi)這么做。
　　深度學(xué)習(xí)給我?guī)?lái)了邁向機(jī)器智能的一個(gè)途徑，而且我們現(xiàn)在可以使用許多不同的工具。從擁有大量數(shù)據(jù)的弱先驗(yàn)中，在高維度下學(xué)習(xí)良好特征，是一種的、令人興奮的能力，但我們不應(yīng)該就認(rèn)為大部分智能Agent面臨的問(wèn)題都能夠用這種方式解決。神經(jīng)網(wǎng)絡(luò)中的梯度下降可能可以幫助建立思考機(jī)器的組成部分，但它本身是沒(méi)有思考能力的。
　　更正：用來(lái)生成單詞類比的模型實(shí)際上是一種對(duì)數(shù)線性跨詞序列模型（log linear skip-gram model），用來(lái)區(qū)別負(fù)樣本中臨近單詞對(duì)（Mikolov et al.， 2013）。非常感謝fnl的指正。
?