解析激活函數(shù)作用

激活函數(shù)是用來(lái)加入非線性因素的，解決線性模型所不能解決的問(wèn)題。

下面我分別從這個(gè)方面通過(guò)例子給出自己的理解~

@lee philip@顏沁睿倆位的回答已經(jīng)非常好了，我舉的例子也是來(lái)源于他們，在這里加入了自己的思考，更加詳細(xì)的說(shuō)了一下~

開(kāi)講~

首先我們有這個(gè)需求，就是二分類問(wèn)題，如我要將下面的三角形和圓形點(diǎn)進(jìn)行正確的分類，如下圖：

利用我們單層的感知機(jī), 用它可以劃出一條線, 把三角形和圓形樣本分割開(kāi)：

上圖直線是由

得到，那么該感知器實(shí)現(xiàn)預(yù)測(cè)的功能步驟如下，就是我已經(jīng)訓(xùn)練好了一個(gè)感知器模型，后面對(duì)于要預(yù)測(cè)的樣本點(diǎn)，帶入模型中。

如果y>0,那么就說(shuō)明是直線的右側(cè)，也就是正類（我們這里是三角形）。

如果y<0,那么就說(shuō)明是直線的左側(cè)，也就是負(fù)類（我們這里是圓形），雖然這和我們的題目關(guān)系不大，但是還是提一下~

好吧，很容易能夠看出，我給出的樣本點(diǎn)根本不是線性可分的，一個(gè)感知器無(wú)論得到的直線怎么動(dòng)，都不可能完全正確的將三角形與圓形區(qū)分出來(lái)，那么我們很容易想到用多個(gè)感知器來(lái)進(jìn)行組合，以便獲得更大的分類問(wèn)題，好的，下面我們上圖，看是否可行：

好的，我們已經(jīng)得到了多感知器分類器了，那么它的分類能力是否強(qiáng)大到能將非線性數(shù)據(jù)點(diǎn)正確分類開(kāi)呢~我們來(lái)分析一下：

我們能夠得到

哎呀呀，不得了，這個(gè)式子看起來(lái)非常復(fù)雜，估計(jì)應(yīng)該可以處理我上面的情況了吧，哈哈哈哈~不一定額，我們來(lái)給它變個(gè)形.上面公式合并同類項(xiàng)后等價(jià)于下面公式：

嘖嘖，估計(jì)大家都看出了，不管它怎么組合，最多就是線性方程的組合，最后得到的分類器本質(zhì)還是一個(gè)線性方程，該處理不了的非線性問(wèn)題，它還是處理不了。

就好像下圖，直線無(wú)論在平面上如果旋轉(zhuǎn)，都不可能完全正確的分開(kāi)三角形和圓形點(diǎn)：

既然是非線性問(wèn)題，總有線性方程不能正確分類的地方~

那么拋開(kāi)神經(jīng)網(wǎng)絡(luò)中神經(jīng)元需不需要激活函數(shù)這點(diǎn)不說(shuō)，如果沒(méi)有激活函數(shù)，僅僅是線性函數(shù)的組合解決的問(wèn)題太有限了，碰到非線性問(wèn)題就束手無(wú)策了.那么加入激活函數(shù)是否可能能夠解決呢？

在上面線性方程的組合過(guò)程中，我們其實(shí)類似在做三條直線的組合，如下圖：

下面我們來(lái)講一下激活函數(shù)，我們都知道，每一層疊加完了之后，我們需要加入一個(gè)激活函數(shù)（激活函數(shù)的種類也很多，如sigmod等等~）這里就給出sigmod例子，如下圖：

通過(guò)這個(gè)激活函數(shù)映射之后，輸出很明顯就是一個(gè)非線性函數(shù)！能不能解決一開(kāi)始的非線性分類問(wèn)題不清楚，但是至少說(shuō)明有可能啊，上面不加入激活函數(shù)神經(jīng)網(wǎng)絡(luò)壓根就不可能解決這個(gè)問(wèn)題~

同理，擴(kuò)展到多個(gè)神經(jīng)元組合的情況時(shí)候，表達(dá)能力就會(huì)更強(qiáng)~對(duì)應(yīng)的組合圖如下：（現(xiàn)在已經(jīng)升級(jí)為三個(gè)非線性感知器在組合了）

跟上面線性組合相對(duì)應(yīng)的非線性組合如下：

這看起來(lái)厲害多了，是不是最后再通過(guò)最優(yōu)化損失函數(shù)的做法，我們能夠?qū)W習(xí)到不斷學(xué)習(xí)靠近能夠正確分類三角形和圓形點(diǎn)的曲線，到底會(huì)學(xué)到什么曲線，不知道到底具體的樣子，也許是下面這個(gè)

那么隨著不斷訓(xùn)練優(yōu)化，我們也就能夠解決非線性的問(wèn)題了~

所以到這里為止，我們就解釋了這個(gè)觀點(diǎn)，加入激活函數(shù)是用來(lái)加入非線性因素的，解決線性模型所不能解決的問(wèn)題。