卷積神經(jīng)網(wǎng)絡(luò)的七個(gè)注意事項(xiàng)

卷積神經(jīng)網(wǎng)絡(luò)注意事項(xiàng)

1）數(shù)據(jù)集的大小和分塊

數(shù)據(jù)驅(qū)動(dòng)的模型一般依賴于數(shù)據(jù)集的大小，CNN和其他經(jīng)驗(yàn)?zāi)Ｐ鸵粯?，能夠適用于任意大小的數(shù)據(jù)集，但用于訓(xùn)練的數(shù)據(jù)集應(yīng)該足夠大， 能夠覆蓋問(wèn)題域中所有已知可能出現(xiàn)的問(wèn)題，

設(shè)計(jì)CNN的時(shí)候，數(shù)據(jù)集應(yīng)該包含三個(gè)子集：訓(xùn)練集、測(cè)試集、驗(yàn)證集

訓(xùn)練集：包含問(wèn)題域中的所有數(shù)據(jù)，并在訓(xùn)練階段用來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)重

測(cè)試集：在訓(xùn)練的過(guò)程中用于測(cè)試網(wǎng)絡(luò)對(duì)訓(xùn)練集中未出現(xiàn)的數(shù)據(jù)的分類性能，根據(jù)網(wǎng)絡(luò)在測(cè)試集上的性能情況，網(wǎng)絡(luò)的結(jié)構(gòu)可能需要作出調(diào)整，或者增加訓(xùn)練循環(huán)次數(shù)。

驗(yàn)證集：驗(yàn)證集中的數(shù)據(jù)統(tǒng)一應(yīng)該包含在測(cè)試集和訓(xùn)練集中沒(méi)有出現(xiàn)過(guò)的數(shù)據(jù)，用于在網(wǎng)絡(luò)確定之后能夠更好的測(cè)試和衡量網(wǎng)絡(luò)的性能

Looney等人建議，數(shù)據(jù)集中65%的用于訓(xùn)練，25%的用于測(cè)試，10%用于驗(yàn)證

2）數(shù)據(jù)預(yù)處理

為了加速訓(xùn)練算法的收斂速度，一般都會(huì)采用一些數(shù)據(jù)預(yù)處理技術(shù)，其中包括：去除噪聲、輸入數(shù)據(jù)降維、刪除無(wú)關(guān)數(shù)據(jù)等。

數(shù)據(jù)的平衡化在分類問(wèn)題中異常重要，一般認(rèn)為訓(xùn)練集中的數(shù)據(jù)應(yīng)該相對(duì)于標(biāo)簽類別近似于平均分布，也就是每一個(gè)類別標(biāo)簽所對(duì)應(yīng)的數(shù)據(jù)集在訓(xùn)練集中是基本相等的，以避免網(wǎng)絡(luò)過(guò)于傾向于表現(xiàn)某些分類的特點(diǎn)。

為了平衡數(shù)據(jù)集，應(yīng)該移除一些過(guò)度富余的分類中的數(shù)據(jù)，并相應(yīng)補(bǔ)充一些相對(duì)樣例稀少的分類中的數(shù)據(jù)。

還有一個(gè)方法就是復(fù)制一部分這些樣例稀少分類中的數(shù)據(jù)，并在這些數(shù)據(jù)中加入隨機(jī)噪聲。

3）數(shù)據(jù)規(guī)則化

將數(shù)據(jù)規(guī)則化到統(tǒng)一的區(qū)間（如［0，1］）中具有很重要的優(yōu)點(diǎn)：防止數(shù)據(jù)中存在較大數(shù)值的數(shù)據(jù)造成數(shù)值較小的數(shù)據(jù)對(duì)于訓(xùn)練效果減弱甚至無(wú)效化，一個(gè)常用的方法是將輸入和輸出數(shù)據(jù)按比例調(diào)整到一個(gè)和激活函數(shù)相對(duì)應(yīng)的區(qū)間。

4）網(wǎng)絡(luò)權(quán)值初始化

CNN的初始化主要是初始化卷積層和輸出層的卷積核（權(quán)值）和偏置

網(wǎng)絡(luò)權(quán)值初始化就是將網(wǎng)絡(luò)中的所有連接權(quán)重賦予一個(gè)初始值，如果初始權(quán)重向量處在誤差曲面的一個(gè)相對(duì)平緩的區(qū)域的時(shí)候，網(wǎng)絡(luò)訓(xùn)練的收斂速度可能會(huì)很緩慢，一般情況下網(wǎng)絡(luò)的連接權(quán)重和閾值被初始化在一個(gè)具有0均值的相對(duì)小的區(qū)間內(nèi)均勻分布。

5）BP算法的學(xué)習(xí)速率

如果學(xué)習(xí)速率選取的較大，則會(huì)在訓(xùn)練過(guò)程中較大幅度的調(diào)整權(quán)值w，從而加快網(wǎng)絡(luò)的訓(xùn)練速度，但是這和造成網(wǎng)絡(luò)在誤差曲面上搜索過(guò)程中頻繁抖動(dòng)，且有可能使得訓(xùn)練過(guò)程不能收斂。

如果學(xué)習(xí)速率選取的較小，能夠穩(wěn)定的使得網(wǎng)絡(luò)逼近于全局最優(yōu)點(diǎn)，但也可能陷入一些局部最優(yōu)，并且參數(shù)更新速度較慢。

自適應(yīng)學(xué)習(xí)率設(shè)定有較好的效果。

6）收斂條件

有幾個(gè)條件可以作為停止訓(xùn)練的判定條件，訓(xùn)練誤差、誤差梯度、交叉驗(yàn)證等。一般來(lái)說(shuō)，訓(xùn)練集的誤差會(huì)隨著網(wǎng)絡(luò)訓(xùn)練的進(jìn)行而逐步降低。

7）訓(xùn)練方式

訓(xùn)練樣例可以有兩種基本的方式提供給網(wǎng)絡(luò)訓(xùn)練使用，也可以是兩者的結(jié)合：逐個(gè)樣例訓(xùn)練（EET）、批量樣例訓(xùn)練（BT）。

在EET中，先將第一個(gè)樣例提供給網(wǎng)絡(luò)，然后開始應(yīng)用BP算法訓(xùn)練網(wǎng)絡(luò)，直到訓(xùn)練誤差降低到一個(gè)可以接受的范圍，或者進(jìn)行了指定步驟的訓(xùn)練次數(shù)。然后再將第二個(gè)樣例提供給網(wǎng)絡(luò)訓(xùn)練。

EET的優(yōu)點(diǎn)是相對(duì)于BT只需要很少的存儲(chǔ)空間，并且有更好的隨機(jī)搜索能力，防止訓(xùn)練過(guò)程陷入局部最小區(qū)域。

EET的缺點(diǎn)是如果網(wǎng)絡(luò)接收到的第一個(gè)樣例就是劣質(zhì)（有可能是噪音數(shù)據(jù)或者特征不明顯）的數(shù)據(jù)，可能使得網(wǎng)絡(luò)訓(xùn)練過(guò)程朝著全局誤差最小化的反方向進(jìn)行搜索。

相對(duì)的，BT方法是在所有訓(xùn)練樣例都經(jīng)過(guò)網(wǎng)絡(luò)傳播后才更新一次權(quán)值，因此每一次學(xué)習(xí)周期就包含了所有的訓(xùn)練樣例數(shù)據(jù)。

BT方法的缺點(diǎn)也很明顯，需要大量的存儲(chǔ)空間，而且相比EET更容易陷入局部最小區(qū)域。

而隨機(jī)訓(xùn)練（ST）則是相對(duì)于EET和BT一種折衷的方法，ST和EET一樣也是一次只接受一個(gè)訓(xùn)練樣例，但只進(jìn)行一次BP算法并更新權(quán)值，然后接受下一個(gè)樣例重復(fù)同樣的步驟計(jì)算并更新權(quán)值，并且在接受訓(xùn)練集最后一個(gè)樣例后，重新回到第一個(gè)樣例進(jìn)行計(jì)算。

ST和EET相比，保留了隨機(jī)搜索的能力，同時(shí)又避免了訓(xùn)練樣例中最開始幾個(gè)樣例如果出現(xiàn)劣質(zhì)數(shù)據(jù)對(duì)訓(xùn)練過(guò)程的過(guò)度不良影響。