卷積神經網絡的主要兩個特征

卷積神經網絡（CNN）是一種目前計算機視覺領域廣泛使用的深度學習網絡，與傳統(tǒng)的人工神經網絡結構不同，它包含有非常特殊的卷積層和降采樣層（有些文章和書籍里又稱之為池化層、匯合層），其中卷積層和前一層采用局部連接和權值共享的方式進行連接，從而大大降低了參數數量。降采樣層可以大幅降低輸入維度，從而降低網絡復雜度，使網絡具有更高的魯棒性，同時能夠有效的防止過擬合。由于以上設計，卷積網絡主要用來識別縮放，位移以及其他形式扭曲不變的二維圖形，并且可以直接以原始圖片作為輸入，而無需進行復雜的預處理工作。

卷積神經網絡的結構

常見的卷積網絡前面幾層是卷積層和降采樣層交替出現(xiàn)的，然后跟著一定數量的全連接層。如圖所示，這是著名的LeNet-5卷積神經網絡，在上世紀90年代，它被大量應用于手寫數字的識別。這個網絡一共含有7層(不包含輸入層)，輸入是32*32的圖片，C1是卷積層，它含有6個特征圖，每一個的尺寸為28*28,卷積核的尺寸為5*5, S2是一個降采樣層，將輸入由28*28降維成14*14，同樣，C3是一個卷積層，S4為一個降采樣層，后面全部為全連接層。

局部連接與權值共享

卷積層最主要的兩個特征就是局部連接和權值共享，有些地方又叫做稀疏連接和參數共享，總之都是一個意思。所謂局部連接，就是卷積層的節(jié)點僅僅和其前一層的部分節(jié)點相連接，只用來學習局部特征。局部感知結構的構思理念來源于動物視覺的皮層結構，其指的是動物視覺的神經元在感知外界物體的過程中起作用的只有一部分神經元。在計算機視覺中，圖像中的某一塊區(qū)域中，像素之間的相關性與像素之間的距離同樣相關，距離較近的像素間相關性強，距離較遠則相關性就比較弱，由此可見局部相關性理論也適用于計算機視覺的圖像處理領域。因此，局部感知采用部分神經元接受圖像信息，再通過綜合全部的圖像信息達到增強圖像信息的目的。從下圖中我們可以看到，第n+1層的每個節(jié)點只與第n層的3個節(jié)點相連接，而非與前一層全部5個神經元節(jié)點相連，這樣原本需要5*3=15個權值參數，現(xiàn)在只需要3*3=9個權值參數，減少了40%的參數量，同樣，第n+2層與第n+1層之間也用同樣的連接方式。這種局部連接的方式大幅減少了參數數量，加快了學習速率，同時也在一定程度上減少了過擬合的可能。

局部連接

卷積層的另一大特征是權值共享，比如一個3*3的卷積核，共9個參數，它會和輸入圖片的不同區(qū)域作卷積，來檢測相同的特征。而只有不同的卷積核才會對應不同的權值參數，來檢測不同的特征。如下圖所示，通過權值共享的方法，這里一共只有3組不同的權值，如果只用了局部連接的方法，共需要3*4=12個權值參數，而加上了權值共享的方法后，現(xiàn)在僅僅需要3個權值，更進一步地減少參數數量。

權值共享