三句話讓你認(rèn)識深度學(xué)習(xí)

開宗明義，三句話認(rèn)識深度學(xué)習(xí)。

深度學(xué)習(xí)是一種機器學(xué)習(xí)

深度學(xué)習(xí)首先是一種機器學(xué)習(xí)。深度學(xué)習(xí)的基礎(chǔ)，叫做神經(jīng)網(wǎng)絡(luò)，這本身就是一種機器學(xué)習(xí)算法。近年來，隨著深度學(xué)習(xí)的火熱和深入人心，人們漸漸將這一概念獨立出來，由此有了深度學(xué)習(xí)和傳統(tǒng)機器學(xué)習(xí)的區(qū)分。

如今神經(jīng)網(wǎng)絡(luò)快速發(fā)展，傳統(tǒng)的機器學(xué)習(xí)何去何從？

其實，都只是算法，一種解決問題的辦法，而已。

關(guān)于算法，關(guān)于機器學(xué)習(xí)，我們引用卡內(nèi)基梅隆大學(xué)（Carnegie Mellon University）Tom Michael Mitchell教授在其1997年出版的書籍Machine Learning中的定義， —— “如果一個程序可以在任務(wù)T上，隨著經(jīng)驗E的增加，效果P也可以隨之增加，則稱這個程序可以從經(jīng)驗中學(xué)習(xí)”[1]

怎么理解這句話呢？以推薦系統(tǒng)為例，我們使用某一類機器學(xué)習(xí)算法（“一個程序”），根據(jù)用戶的過往記錄做推薦（“任務(wù)T”），那么隨著用戶的過往記錄不斷積累（“經(jīng)驗E”），能夠做的推薦就更準(zhǔn)確（“效果P”）。

簡而言之，機器的“學(xué)習(xí)”，是通過以往的經(jīng)驗，即數(shù)據(jù)，學(xué)習(xí)數(shù)據(jù)內(nèi)部的邏輯，并將學(xué)到的邏輯應(yīng)用在新數(shù)據(jù)上，進行預(yù)測。

深度學(xué)習(xí)是一種機器學(xué)習(xí)，要真的追究起來，人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)，三者大概是下面這個關(guān)系。

人工智能、機器學(xué)習(xí)和深度學(xué)習(xí)三者的關(guān)系

深度學(xué)習(xí)是一個數(shù)學(xué)問題

機器學(xué)習(xí)和數(shù)學(xué)，是深度學(xué)習(xí)的一體兩面。

機器學(xué)習(xí)是深度學(xué)習(xí)的方法論，數(shù)學(xué)是其背后的理論支撐。

其實每一種算法，究其根本，都是一種數(shù)學(xué)表達。無論是機器學(xué)習(xí)，還是深度學(xué)習(xí)，都是試圖找到一個函數(shù)，這個函數(shù)可以簡單，可以復(fù)雜，函數(shù)的表達并不重要，只是一個工具，重要的是這個函數(shù)能夠盡可能準(zhǔn)確的擬合出輸入數(shù)據(jù)和輸出結(jié)果間的關(guān)系。就像我們在各個任務(wù)中做的那樣，比如語音識別、圖像識別、下圍棋，人機問答系統(tǒng)：

機器學(xué)習(xí)在找輸入和輸出之間的關(guān)系

這就是機器學(xué)習(xí)要做到的事，找到一個數(shù)學(xué)表達，即上述例子中的函數(shù)f。

而深度學(xué)習(xí)的魅力在于，它的數(shù)學(xué)表達特別的強！

深度學(xué)習(xí)的強大是有數(shù)學(xué)原理支撐的，這個原理叫做“萬能近似定理”（Universal approximation theorem）。這個定理的道理很簡單 —— 神經(jīng)網(wǎng)絡(luò)可以擬合任何函數(shù)，不管這個函數(shù)的表達是多么的復(fù)雜。

因為這個定理，深度學(xué)習(xí)在擬合函數(shù)這一方面的能力十分強大、暴力和神秘。

但是，哪有免費的午餐，深度學(xué)習(xí)的強大也帶來了對應(yīng)的問題 —— 黑箱化

深度學(xué)習(xí)是一個黑箱

黑箱的意思是，深度學(xué)習(xí)的中間過程不可知，深度學(xué)習(xí)產(chǎn)生的結(jié)果不可控。

一方面，我們比較難知道網(wǎng)絡(luò)具體在做些什么；另一方面，我們很難解釋神經(jīng)網(wǎng)絡(luò)在解決問題的時候，為什么要這么做，為什么有效果。

在傳統(tǒng)的機器學(xué)習(xí)中，算法的結(jié)構(gòu)大多充滿了邏輯，這種結(jié)構(gòu)可以被人分析，最終抽象為某種流程圖或者一個代數(shù)上的公式，最典型的比如決策樹，具有非常高的可解釋性。

一個決策樹的例子

到了深度學(xué)習(xí)，這樣子的直觀就不見了。簡單來說，深度學(xué)習(xí)的工作原理，是通過一層層神經(jīng)網(wǎng)絡(luò)，使得輸入的信息在經(jīng)過每一層時，都做一個數(shù)學(xué)擬合，這樣每一層都提供了一個函數(shù)。因為深度學(xué)習(xí)有好多層，通過這每一層的函數(shù)的疊加，深度學(xué)習(xí)網(wǎng)絡(luò)的輸出就無限逼近目標(biāo)輸出了。這樣一種“萬能近似”，很多時候是輸入和輸出在數(shù)值上的一種耦合，而不是真的找到了一種代數(shù)上的表達式。當(dāng)我們在說”擬合“、”函數(shù)“這一類詞的時候，你或許認(rèn)為我們會像寫公式一樣把輸入和輸出之間的關(guān)系列在黑板上。但事實并不是這樣，深度學(xué)習(xí)擬合出來的函數(shù)，一般人還真寫不出來……

所以，很多時候，你的深度學(xué)習(xí)網(wǎng)絡(luò)能很好的完成你的任務(wù)，可是你并不知道網(wǎng)絡(luò)學(xué)習(xí)到了什么，也不知道網(wǎng)絡(luò)為什么做出了特定的選擇。知其然而不知其所以然，這可以看作是深度學(xué)習(xí)的常態(tài)，也是深度學(xué)習(xí)工作中的一大挑戰(zhàn)。

盡管如此，深度學(xué)習(xí)還是好用的……

誰用誰知道！

所以 ——

擁抱不確定性，愛上深度學(xué)習(xí)。