深度學(xué)習(xí)基礎(chǔ)知識(1)

一、深度學(xué)習(xí)基礎(chǔ)

1、首先，我們簡單了解什么是感知器，感知器就是單個神經(jīng)元。

深度學(xué)習(xí)模擬的是人體的大腦，神經(jīng)元的樹突在接收到特定的輸入刺激后，其胞體就會被激活，并通過軸突向其它神經(jīng)元輸出興奮，從而導(dǎo)致更多的神經(jīng)元被激活，這是大腦思考的基礎(chǔ)。 這個過程簡化為當(dāng)神經(jīng)遞質(zhì)的濃度達(dá)到一個特定的閾值，就可以通過電信號傳導(dǎo)興奮。

在深度學(xué)習(xí)中，生物學(xué)中的過程建模為上圖，神經(jīng)元可以表示成圖中的?，當(dāng)接受到輸入信號時，會乘以權(quán)重w1和w2，神經(jīng)元計算出總和，超過閾值θ時被激活，輸出1。 θ稱為偏置，w1和w2稱為權(quán)重。

令b=-θ，公式可以改寫為下圖：

偏置和權(quán)重的作用是：w1和w2表示輸入對激活的重要性，b用來調(diào)整激活的難易程度。

2、邏輯門的實現(xiàn)

我們來看一下硬件中的邏輯電路是如何通過神經(jīng)元實現(xiàn)的。

1'與門

(w1,w2,θ)=(0.5,0.5,0.7)滿足與門 (x1,x2,y)=000,010,100,111

2'與非門

(w1,w2,θ)=(-0.5,-0.5,-0.7)滿足與非門 (x1,x2,y)=001,011,101,110

3’或門

(w1,w2,θ)=(0.5,0.5,0.3)滿足或門 (x1,x2,y)=000,011,101,111

調(diào)整權(quán)重和閾值可以從硬件底層實現(xiàn)不同的邏輯門。 但是同時我們會發(fā)現(xiàn)，無論如何調(diào)整參數(shù)都無法實現(xiàn)異或門。

(w1,w2,b)=(1,1,-0.5)時x1+x2-0.5>=0?，在坐標(biāo)系中畫出x2=0.5-x1的直線，直線右側(cè)表示神經(jīng)元被激活時的輸入。 左圖表示或門，右圖表示異或門，異或門的對角表示激活，沒有直線可以分隔開。 由此可見，神經(jīng)元實現(xiàn)的是線性化的運(yùn)算，如果要實現(xiàn)異或門這種非線性的運(yùn)算，就只能用多層感知器。

3、多層感知器

在數(shù)字電路中，異或門為y=AB'+A'B=AA'+AB'+A'B+A'B'=(A+B)(A'+B')=(A+B)(AB)'，左圖用三個基本邏輯門可以實現(xiàn)異或。 右圖是多個神經(jīng)元的表現(xiàn)方式。

對于復(fù)雜函數(shù)，感知器有實現(xiàn)的可能性，但是參數(shù)需要手動設(shè)置。 為了解決這個問題，神經(jīng)網(wǎng)絡(luò)應(yīng)運(yùn)而生，它可以自動學(xué)習(xí)到參數(shù)。 那么，神經(jīng)網(wǎng)絡(luò)如何自動學(xué)習(xí)呢？ 隨著學(xué)習(xí)的深入，后面會慢慢揭曉！