卷積神經(jīng)網(wǎng)絡(luò)中全連接層作用理解總結(jié)

前言

一般來(lái)說(shuō)，卷積神經(jīng)網(wǎng)絡(luò)會(huì)有三種類型的隱藏層——卷積層、池化層、全連接層。卷積層和池化層比較好理解，主要很多教程也會(huì)解釋。

? 卷積層(Convolutional layer)主要是用一個(gè)采樣器從輸入數(shù)據(jù)中采集關(guān)鍵數(shù)據(jù)內(nèi)容；

? 池化層(Pooling layer)則是對(duì)卷積層結(jié)果的壓縮得到更加重要的特征，同時(shí)還能有效控制過(guò)擬合。

但是可憐的全連接層(Fully Connected layer)很多時(shí)候都被忽略了，可能大佬們覺(jué)得我們都能懂吧。。查閱了一下資料，大概理解了全連接層的作用，即將前面經(jīng)過(guò)多次卷積后高度抽象化的特征進(jìn)行整合，然后可以進(jìn)行歸一化，對(duì)各種分類情況都輸出一個(gè)概率，之后的分類器(Classifier)可以根據(jù)全連接得到的概率進(jìn)行分類。

這是我理解過(guò)后的總結(jié)，如有不當(dāng)之后也敬請(qǐng)指正。當(dāng)然結(jié)合了國(guó)內(nèi)外很多篇文章才最終大概理解了全連接層的作用。最近又沉迷翻譯，這篇文章就準(zhǔn)備翻譯下stackexchange里面關(guān)于CNN中FC layer的作用。

水平有限，歡迎各位指正。

卷積神經(jīng)網(wǎng)絡(luò)中全連接層作用(What do the fully connected layers do in CNNs?)

Question：我理解了卷積層和池化層的作用，但是我不能理解卷積神經(jīng)網(wǎng)絡(luò)中全連接層的作用。為什么不能將前一層直接輸出到輸出層呢？

Answer：卷積層的輸出代表著數(shù)據(jù)的高級(jí)特征。當(dāng)輸出可以被扁平化并且能夠被連接到輸出層時(shí)，添加一個(gè)全連接層通常能以簡(jiǎn)易的方式學(xué)習(xí)到這些非線性組合特征。
實(shí)質(zhì)上，卷積層提供了一個(gè)有意義、低維度且?guī)缀醪蛔兊奶卣骺臻g，然后全連接層在這個(gè)空間里學(xué)習(xí)一個(gè)（非線性）方程。
注：從全連接層轉(zhuǎn)換為卷積層是很方便的。將這些頂層全連接層轉(zhuǎn)換為卷積層是很有幫助的。

Q：所以我們通過(guò)反向傳播來(lái)學(xué)習(xí)連接層之間的權(quán)重，這是否正確？

A：是的，錯(cuò)誤通過(guò)反向傳播從全連接層傳播到卷積層和池化層。

Q：所以，全連接層的目的就是就像PCA(主成分分析)，它通過(guò)學(xué)習(xí)全部的權(quán)重來(lái)整合了“好”的特征并減少其他特征。

A：這主要取決于你特征的非線性組合。所有的特征都可能是好的（假設(shè)你沒(méi)有死掉的特征），那么這些特征的組合就可能更好。