機(jī)器學(xué)習(xí)算法神經(jīng)網(wǎng)絡(luò)入門

眼下最熱門的技術(shù)，絕對是人工智能。人工智能的底層模型是"神經(jīng)網(wǎng)絡(luò)"（neural network）。許多復(fù)雜的應(yīng)用（比如模式識別、自動控制）和高級模型（比如深度學(xué)習(xí)）都基于它。學(xué)習(xí)人工智能，一定是從它開始。

什么是神經(jīng)網(wǎng)絡(luò)呢？網(wǎng)上似乎缺乏通俗的解釋。

前兩天，我讀到 Michael Nielsen 的開源教材《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》（Neural Networks and Deep Learning），意外發(fā)現(xiàn)里面的解釋非常好懂。下面，我就按照這本書，介紹什么是神經(jīng)網(wǎng)絡(luò)。

這里我要感謝優(yōu)達(dá)學(xué)城的贊助，本文結(jié)尾有他們的《前端開發(fā)（進(jìn)階）》課程的消息，歡迎關(guān)注。

一、感知器

歷史上，科學(xué)家一直希望模擬人的大腦，造出可以思考的機(jī)器。人為什么能夠思考？科學(xué)家發(fā)現(xiàn)，原因在于人體的神經(jīng)網(wǎng)絡(luò)。

外部刺激通過神經(jīng)末梢，轉(zhuǎn)化為電信號，轉(zhuǎn)導(dǎo)到神經(jīng)細(xì)胞（又叫神經(jīng)元）。

無數(shù)神經(jīng)元構(gòu)成神經(jīng)中樞。

神經(jīng)中樞綜合各種信號，做出判斷。

人體根據(jù)神經(jīng)中樞的指令，對外部刺激做出反應(yīng)。

既然思考的基礎(chǔ)是神經(jīng)元，如果能夠"人造神經(jīng)元"（artificial neuron），就能組成人工神經(jīng)網(wǎng)絡(luò)，模擬思考。上個(gè)世紀(jì)六十年代，提出了最早的"人造神經(jīng)元"模型，叫做"感知器"（perceptron），直到今天還在用。

上圖的圓圈就代表一個(gè)感知器。它接受多個(gè)輸入（x1，x2，x3...），產(chǎn)生一個(gè)輸出（output），好比神經(jīng)末梢感受各種外部環(huán)境的變化，最后產(chǎn)生電信號。

為了簡化模型，我們約定每種輸入只有兩種可能：1 或 0。如果所有輸入都是1，表示各種條件都成立，輸出就是1；如果所有輸入都是0，表示條件都不成立，輸出就是0。

二、感知器的例子

下面來看一個(gè)例子。城里正在舉辦一年一度的游戲動漫展覽，小明拿不定主意，周末要不要去參觀。

他決定考慮三個(gè)因素。天氣：周末是否晴天？同伴：能否找到人一起去？價(jià)格：門票是否可承受？

這就構(gòu)成一個(gè)感知器。上面三個(gè)因素就是外部輸入，最后的決定就是感知器的輸出。如果三個(gè)因素都是 Yes（使用1表示），輸出就是1（去參觀）；如果都是 No（使用0表示），輸出就是0（不去參觀）。

三、權(quán)重和閾值

看到這里，你肯定會問：如果某些因素成立，另一些因素不成立，輸出是什么？比如，周末是好天氣，門票也不貴，但是小明找不到同伴，他還要不要去參觀呢？

現(xiàn)實(shí)中，各種因素很少具有同等重要性：某些因素是決定性因素，另一些因素是次要因素。因此，可以給這些因素指定權(quán)重（weight），代表它們不同的重要性。

天氣：權(quán)重為8

同伴：權(quán)重為4

價(jià)格：權(quán)重為4

上面的權(quán)重表示，天氣是決定性因素，同伴和價(jià)格都是次要因素。

如果三個(gè)因素都為1，它們乘以權(quán)重的總和就是 8 + 4 + 4 = 16。如果天氣和價(jià)格因素為1，同伴因素為0，總和就變?yōu)?8 + 0 + 4 = 12。

這時(shí)，還需要指定一個(gè)閾值（threshold）。如果總和大于閾值，感知器輸出1，否則輸出0。假定閾值為8，那么 12 > 8，小明決定去參觀。閾值的高低代表了意愿的強(qiáng)烈，閾值越低就表示越想去，越高就越不想去。

上面的決策過程，使用數(shù)學(xué)表達(dá)如下。

上面公式中，x表示各種外部因素，w表示對應(yīng)的權(quán)重。

四、決策模型

單個(gè)的感知器構(gòu)成了一個(gè)簡單的決策模型，已經(jīng)可以拿來用了。真實(shí)世界中，實(shí)際的決策模型則要復(fù)雜得多，是由多個(gè)感知器組成的多層網(wǎng)絡(luò)。

上圖中，底層感知器接收外部輸入，做出判斷以后，再發(fā)出信號，作為上層感知器的輸入，直至得到最后的結(jié)果。（注意：感知器的輸出依然只有一個(gè)，但是可以發(fā)送給多個(gè)目標(biāo)。）

這張圖里，信號都是單向的，即下層感知器的輸出總是上層感知器的輸入?，F(xiàn)實(shí)中，有可能發(fā)生循環(huán)傳遞，即 A 傳給 B，B 傳給 C，C 又傳給 A，這稱為"遞歸神經(jīng)網(wǎng)絡(luò)"（recurrent neural network），本文不涉及。

五、矢量化

為了方便后面的討論，需要對上面的模型進(jìn)行一些數(shù)學(xué)處理。

外部因素x1、x2、x3寫成矢量，簡寫為x

權(quán)重w1、w2、w3也寫成矢量(w1, w2, w3)，簡寫為w

定義運(yùn)算w?x = ∑ wx，即w和x的點(diǎn)運(yùn)算，等于因素與權(quán)重的乘積之和

定義b等于負(fù)的閾值b = -threshold

感知器模型就變成了下面這樣。

六、神經(jīng)網(wǎng)絡(luò)的運(yùn)作過程

一個(gè)神經(jīng)網(wǎng)絡(luò)的搭建，需要滿足三個(gè)條件。

輸入和輸出

權(quán)重（w）和閾值（b）

多層感知器的結(jié)構(gòu)

也就是說，需要事先畫出上面出現(xiàn)的那張圖。

其中，最困難的部分就是確定權(quán)重（w）和閾值（b）。目前為止，這兩個(gè)值都是主觀給出的，但現(xiàn)實(shí)中很難估計(jì)它們的值，必需有一種方法，可以找出答案。

這種方法就是試錯(cuò)法。其他參數(shù)都不變，w（或b）的微小變動，記作Δw（或Δb），然后觀察輸出有什么變化。不斷重復(fù)這個(gè)過程，直至得到對應(yīng)最精確輸出的那組w和b，就是我們要的值。這個(gè)過程稱為模型的訓(xùn)練。

因此，神經(jīng)網(wǎng)絡(luò)的運(yùn)作過程如下。

確定輸入和輸出

找到一種或多種算法，可以從輸入得到輸出

找到一組已知答案的數(shù)據(jù)集，用來訓(xùn)練模型，估算w和b

一旦新的數(shù)據(jù)產(chǎn)生，輸入模型，就可以得到結(jié)果，同時(shí)對w和b進(jìn)行校正

可以看到，整個(gè)過程需要海量計(jì)算。所以，神經(jīng)網(wǎng)絡(luò)直到最近這幾年才有實(shí)用價(jià)值，而且一般的 CPU 還不行，要使用專門為機(jī)器學(xué)習(xí)定制的 GPU 來計(jì)算。

七、神經(jīng)網(wǎng)絡(luò)的例子

下面通過車牌自動識別的例子，來解釋神經(jīng)網(wǎng)絡(luò)。

所謂"車牌自動識別"，就是高速公路的探頭拍下車牌照片，計(jì)算機(jī)識別出照片里的數(shù)字。

這個(gè)例子里面，車牌照片就是輸入，車牌號碼就是輸出，照片的清晰度可以設(shè)置權(quán)重（w）。然后，找到一種或多種圖像比對算法，作為感知器。算法的得到結(jié)果是一個(gè)概率，比如75%的概率可以確定是數(shù)字1。這就需要設(shè)置一個(gè)閾值（b）（比如85%的可信度），低于這個(gè)門檻結(jié)果就無效。

一組已經(jīng)識別好的車牌照片，作為訓(xùn)練集數(shù)據(jù)，輸入模型。不斷調(diào)整各種參數(shù)，直至找到正確率最高的參數(shù)組合。以后拿到新照片，就可以直接給出結(jié)果了。

八、輸出的連續(xù)性

上面的模型有一個(gè)問題沒有解決，按照假設(shè)，輸出只有兩種結(jié)果：0和1。但是，模型要求w或b的微小變化，會引發(fā)輸出的變化。如果只輸出0和1，未免也太不敏感了，無法保證訓(xùn)練的正確性，因此必須將"輸出"改造成一個(gè)連續(xù)性函數(shù)。

這就需要進(jìn)行一點(diǎn)簡單的數(shù)學(xué)改造。

首先，將感知器的計(jì)算結(jié)果wx + b記為z。

z=wx+b

然后，計(jì)算下面的式子，將結(jié)果記為σ(z)。

σ(z)=1/(1+e^(-z))

這是因?yàn)槿绻鹺趨向正無窮z → +∞（表示感知器強(qiáng)烈匹配），那么σ(z) → 1；如果z趨向負(fù)無窮z → -∞（表示感知器強(qiáng)烈不匹配），那么σ(z) → 0。也就是說，只要使用σ(z)當(dāng)作輸出結(jié)果，那么輸出就會變成一個(gè)連續(xù)性函數(shù)。

原來的輸出曲線是下面這樣。

現(xiàn)在變成了這樣。

實(shí)際上，還可以證明Δσ滿足下面的公式。

即Δσ和Δw和Δb之間是線性關(guān)系，變化率是偏導(dǎo)數(shù)。這就有利于精確推算出w和b的值了。