Chris_zhangrx的博客

Abstract

在 LSVRC-2010 數(shù)據(jù)集上我們訓練了分成 120 萬張分成 1000 類的高分辨率圖片，在測試集上分別獲得了top-1，top-5 錯誤率分別是37.5%和17.0%。本神經(jīng)網(wǎng)絡包含6千萬個參數(shù)，65萬個神經(jīng)元，由 5 個卷積層加 3 個全連接層組成。為了減少過擬合，使用了Dropout策略。同時我們使用這個模型參加了ILSVRC-2012 比賽，相較于第二名 TOP-5 錯誤率為 26.2%，我們以 15.3% 贏得了比賽。

1.PROLOGUE

Ynn LeCun和他的伙伴有一篇關于神經(jīng)網(wǎng)絡的文章在頂級會議上被拒了，那時的研究者相信更多地還是需要人為地去設計特征。 1980s 神經(jīng)學家和物理學家相信分層的結構特征檢測器更具有魯棒性，但具體不知道分層結構會學習到什么樣的特征。那時候部分研究者發(fā)現(xiàn)可以通過BP算法去有效的訓練多層特征檢測器，對于每個圖像，分類器的性能取決于每個連接點上的權值。

BP推出雖然解決了訓練的問題，但是還是不能滿足當時人們的期望，特別是網(wǎng)絡結構很深的時候，不能得到很好的結果，所以那時人們都覺得很難，但 2 年后，我們發(fā)現(xiàn)這是錯誤的，主要原因是沒有足夠多的數(shù)據(jù)集和足夠大的計算能力。

2.Introduction

本文主要貢獻如下：

1. 我們在ImageNet上訓練了一個卷積神經(jīng)網(wǎng)絡，并且取得了目前最高的準確率

2. 我們寫了一個基于2D卷積的GPU優(yōu)化實施方案，并開源了它

3. 用了 ReLU，多 GPU 訓練，局部泛化來提升性能并縮短訓練時間

4. 用了 Dropout，數(shù)據(jù)增廣來防止過擬合

5. 使用了5層卷積加3層全連接層，結構也很重要，減少網(wǎng)絡深度性能會變差

（因為計算能力的限制，用了2塊3GB的 GTX580 GPU 訓練了5-6天）

3. The Dataset

ImageNet是一個有超過1500萬張帶有標簽的高分辨率圖片，這些圖片被分成22000類，這些圖片主要來自網(wǎng)上，人工打標簽。 ILSVRC 比賽用了它的一個子集，接近1000類，平均每一類包含1000張圖片，共有120萬張訓練圖片，5萬張驗證圖片，15萬張測試集圖片。

ILSVRC-2010是唯一一個測試集也有標簽的版本，所以我們主要用這個數(shù)據(jù)集來進行實驗，不過我們也參加了 ILSVRC-2012 的比賽。

ImageNet 只要有 2 個指標， top-1 和 top-5 。 top-5 是指正確的類別沒有出現(xiàn)在前5個最有可能的類別中。因為 ImageNet 包含了不同分辨率的圖片，而系統(tǒng)需要固定尺寸的圖片，所以我們將數(shù)據(jù)集下采樣成 256x256 的大小。對于長方形的圖片，我們首先將短邊編程256，然后在中心截取一個 256x256 的區(qū)域，除了訓練時減去每個像素的均值意外，我們不對圖片做任何的預處理。

4. The Architecture

結構主要包含了8層，5層卷積層，3層全連接層，下面就介紹一些新的，不常見的我們網(wǎng)絡的特征。我們根據(jù)它們的重要程度，順序說明。

4.1. Rectified Linear Unit nonlinearity

在一個簡單的 4 層卷積網(wǎng)絡上比 tanh 函數(shù)訓練達到25%錯誤率的速度快了6倍，所以這里我們使用了 ReLUs 來訓練神經(jīng)網(wǎng)絡加快訓練速度以應對過擬合（overfitting）的情況。

4.2. Training on multiple GPUs

一個單 GTX580 只有3GB內(nèi)存，（因為訓練訓練圖像大小已經(jīng)固定成256了）所以這就限制了我們神經(jīng)網(wǎng)絡的最大尺寸。實驗證明 120 萬個訓練樣本對訓練網(wǎng)絡來說是足夠了，但是對一個 GPU 來說太大了，因此我們用了兩個平行的 GPU 進行訓練，將訓練參數(shù)一分為二，并且只讓它們之間在固定的層通信，例如第三層卷積層的輸入來自整個第二層，而，第四層輸入只來自和它在同一個 GPU 的第三層，這樣的做法，相較于只在一塊 GPU 上訓練一般的參數(shù)，分別降低了 1.7%，1.2% 的 top-1，top-5，并且還能稍微有加快訓練速度的效果。

4.3. Local response normalization

雖然 ReLUs 不需要再對輸入進行泛化來防止飽和，當輸入都是正例時，學習也能進行，但是，我們還是發(fā)現(xiàn)加入局部正規(guī)化可以幫助提升模型的泛化能力。

用以上公式，相關參數(shù)用驗證機來調(diào)節(jié)。在文中用了 k = 2 ， n = 5，α = 10e-4 ， β = 0.75。我們在某些特定的層將正規(guī)化應用在 ReLUs 之后。實驗證明，這樣分別可以降低1.4%，1.2% 的 top-1 ， top-5。并且簡單的4層卷積網(wǎng)絡在 Cifar10 上使用正規(guī)話錯誤率從13%降到了11%。

4.4. Overlapping pooling

就是采用有重疊區(qū)域的 pooling 操作，分別降低 0.4%，0.2% 的 top-1，top-5，并且有輕微的降低過擬合的可能。

4.5. Overall architecture

因為是雙 GPU 訓練，第 2，4，5的卷積層只與同一個 GPU 的卷積相連，第 3 層卷積層完全連接第 2 層。LRN層用在第1，2卷積層。最大值池化層用在了第1，2，5層。ReLU在每個卷積層和全卷積層都有使用。

5. Reducing Overfitting

5.1. Data augmentation

第一種增廣方式是我們在 256x256 的圖像上隨機剪切一個 224x224 大小的圖像，并將他們水平翻轉(zhuǎn)后的樣本也用來訓練網(wǎng)絡。在測試時，我們以4個角以及中心同樣剪切成 224x224 大小的圖片并水平翻轉(zhuǎn)（一張圖片變 10 張圖片）輸入網(wǎng)絡后，將10張圖片的softmax值加起來求平均，輸出最終結果。

第二種增廣方式是改變圖像 RGB 通道的值。這個方法降低了 1% 的 top-1 準確率。

5.2. Dropout

被dropout掉的層不參與前向傳播和反向傳播，這樣每一個樣本訓練的時候網(wǎng)絡的結構都是不同的，我們在前2層的全連接層使用了 0.5 概率的 dropout，這也使迭代次數(shù)需要翻倍，訓練才能收斂。

6. Details of learning

才用了隨機梯度下降（SGD）算法進行訓練，batch size = 128，momentum = 0.9， weight decay = 0.0005，實驗證明，這里加入小數(shù)值的 weight dacay 對訓練很重要，它不僅僅是一個正則化器，它還可以降低訓練的錯誤率。

我們初始化為零均值，標準差為0.01的高斯分布，并且將第2，4，5卷積層和全卷積層的偏置設置成常數(shù)1，其他層設置成常數(shù)0，學習率從0.01開始，從訓練開始到訓練結束，學習率以10的倍數(shù)下降了3次（基本30 epoches下降一次），訓練了 90 epoches 。

7. Results

還有一點很有取的是，兩塊 GPU 訓練一塊主要是色彩信息，一塊主要是輪廓信息。

8.Discussion

值得一提的是，我們的網(wǎng)絡移除任何一個卷積層性能都會下降。移除任意中間層都會降低 2% 的 top-1 準確率，所以網(wǎng)絡的深度對于我們的結果也很重要。