深度學(xué)習(xí)中的不同Normalization方法小結(jié)

1為什么要 Normalization

在深度神經(jīng)網(wǎng)絡(luò)中，存在一種內(nèi)部協(xié)變偏移（internal covariate shift）現(xiàn)象，它是由于訓(xùn)練過(guò)程中不斷變化的網(wǎng)絡(luò)參數(shù)導(dǎo)致網(wǎng)絡(luò)各層的輸入分布發(fā)生變化。

例如，輸入層中某些具有較高數(shù)值的特征可能會(huì)起到主導(dǎo)作用，從而在網(wǎng)絡(luò)中產(chǎn)生偏差，即只有這些特征對(duì)訓(xùn)練結(jié)果有貢獻(xiàn)。

例如，假設(shè)特征 1 的值介于 1 和 5 之間，特征 2 的值介于 100 和 10000 之間。在訓(xùn)練期間，由于兩個(gè)特征的規(guī)模不同，特征 2 將主導(dǎo)網(wǎng)絡(luò)，只有該特征對(duì)模型作出貢獻(xiàn)。

這僅僅是一層的情況，如果從整個(gè)深度神經(jīng)網(wǎng)絡(luò)來(lái)看，那就更加復(fù)雜了。Google 在其論文中將這一現(xiàn)象總結(jié)為，

Internal Covariate Shift簡(jiǎn)稱 ICS，是由于訓(xùn)練過(guò)程中網(wǎng)絡(luò)參數(shù)的變化引起的網(wǎng)絡(luò)激活分布的變化。

網(wǎng)絡(luò)中的每一層的參數(shù)更新會(huì)導(dǎo)致本層的激活輸出的分布發(fā)生變化，也就是后面層的輸入的分布發(fā)生變化。而深度神經(jīng)網(wǎng)絡(luò)往往涉及到很多層的疊加，通過(guò)層層疊加，會(huì)引發(fā)后面層非常劇烈的變化，這就給深度模型的訓(xùn)練帶來(lái)了巨大挑戰(zhàn)。

由于上述原因，引入了稱為 normalization 的概念來(lái)解決這些問(wèn)題。

Normalization 有很多優(yōu)點(diǎn)，包括

減少內(nèi)部協(xié)變偏移以改善訓(xùn)練；

將每個(gè)特征縮放到相似的范圍以防止或減少網(wǎng)絡(luò)中的偏差；

通過(guò)防止權(quán)重在整個(gè)地方爆炸并將它們限制在特定范圍內(nèi)來(lái)加速優(yōu)化過(guò)程；

通過(guò)輔助正則化減少網(wǎng)絡(luò)中的過(guò)擬合。

Normalization 也可以結(jié)合概率論來(lái)解釋。一般來(lái)說(shuō)，機(jī)器學(xué)習(xí)中的方法比較偏愛(ài)獨(dú)立同分布的數(shù)據(jù)。當(dāng)然并不是所有算法都有這個(gè)要求，但獨(dú)立同分布的數(shù)據(jù)往往可以簡(jiǎn)化一般模型的訓(xùn)練，提升模型的預(yù)測(cè)能力。

在把數(shù)據(jù)輸入模型之前，對(duì)其經(jīng)過(guò)白化（whitening）處理是一個(gè)不錯(cuò)的預(yù)處理步驟。

比如上圖（左）的數(shù)據(jù)，先經(jīng)過(guò)零均值化以及去相關(guān)性操作，得到中間的形式，各個(gè)特征相互獨(dú)立；再讓所有特征具有單位標(biāo)準(zhǔn)差，最終得到獨(dú)立同分布的數(shù)據(jù)。

但深度學(xué)習(xí)中往往不直接使用白化操作，白化中間需要用到 PCA。如果對(duì)輸入數(shù)據(jù)作一次 PCA，那也僅僅是針對(duì)線性模型，但如果針對(duì)神經(jīng)網(wǎng)絡(luò)中的中間每一層在激活后再使用白化，那計(jì)算代價(jià)太過(guò)高昂。

那怎么辦呢？不妨模仿白化，但可以作一些簡(jiǎn)化，比如不考慮去相關(guān)性，而是對(duì)各層的激活輸出在一定范圍內(nèi)作標(biāo)準(zhǔn)化處理，再加一定的縮放和偏移。這里的操作范圍可以不同，于是就有了一堆 Normalization 方法。

2Batch Normalization

Batch Normalization 側(cè)重于標(biāo)準(zhǔn)化任何特定層的輸入（即來(lái)自前一層的激活）。

下圖左邊網(wǎng)絡(luò)中沒(méi)有 BN 層，右邊網(wǎng)絡(luò)中在隱藏層前加入了 BN 層，即對(duì)輸入層在小批次上作了 Normalization。

標(biāo)準(zhǔn)化輸入意味著網(wǎng)絡(luò)中任何層的輸入都應(yīng)該近似零均值以及單位方差。簡(jiǎn)單來(lái)說(shuō)，BN 層通過(guò)減去當(dāng)前小批量中的輸入均值并除以標(biāo)準(zhǔn)差來(lái)變換當(dāng)前小批量中的每個(gè)輸入。

總結(jié)一下：簡(jiǎn)而言之，BN 使得梯度更具預(yù)測(cè)性，從而有效改善網(wǎng)絡(luò)訓(xùn)練。

下面，讓我們看看 BN 的一些優(yōu)點(diǎn)：

BN 加速深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

對(duì)于每個(gè)輸入小批量，我們計(jì)算不同的統(tǒng)計(jì)量，這引入了某種正則化。正則化技術(shù)起到在訓(xùn)練期間限制深度神經(jīng)網(wǎng)絡(luò)復(fù)雜度的作用。

每個(gè)小批量都有不同的小分布，這些小分布之間的變化稱為內(nèi)部協(xié)變偏移，BN 被認(rèn)為消除了這種現(xiàn)象。

BN 對(duì)通過(guò)網(wǎng)絡(luò)的梯度流也提供了有利影響：它減少了梯度對(duì)參數(shù)尺度或其初始值的依賴性，從而使我們能夠使用更高的學(xué)習(xí)率。

然而，下面是批量標(biāo)準(zhǔn)化的幾個(gè)缺點(diǎn)：

BN 在每次訓(xùn)練迭代中計(jì)算批次數(shù)據(jù)的統(tǒng)計(jì)量（Mini-batch 均值和方差），因此在訓(xùn)練時(shí)需要更大的批次大小，以便它可以有效地逼近來(lái)自 mini-batch 的總體均值和方差。這使得 BN 更難訓(xùn)練用于對(duì)象檢測(cè)、語(yǔ)義分割等應(yīng)用的網(wǎng)絡(luò)，因?yàn)樗鼈兺ǔＩ婕案叻直媛剩ㄍǔ８哌_(dá) 1024，2048 等）的輸入數(shù)據(jù)，使用大批量進(jìn)行訓(xùn)練在計(jì)算上往往是不可行的。

BN 不適用于 RNN。問(wèn)題是 RNN 與之前的時(shí)間戳具有循環(huán)連接，并且在 BN 層中的每個(gè)時(shí)間步長(zhǎng)都需要單獨(dú)的 和 ，這反而增加了額外的復(fù)雜性并使 BN 與 RNN 一起使用變得更加困難。

不同的訓(xùn)練和測(cè)試計(jì)算：在測(cè)試（或推理）期間，BN 層不會(huì)從測(cè)試數(shù)據(jù) mini-batch（上面算法表中的步驟 1 和 2）計(jì)算均值和方差，而是使用固定均值和從訓(xùn)練數(shù)據(jù)計(jì)算的方差。這在使用 BN 時(shí)需要謹(jǐn)慎，并引入了額外的復(fù)雜性。在 pytorch 中，model.eval()確保在評(píng)估模型中設(shè)置模型，因此 BN 層利用它來(lái)使用從訓(xùn)練數(shù)據(jù)預(yù)先計(jì)算的固定均值和方差。

3Weight Normalization

針對(duì) BN 的缺點(diǎn)，Saliman 等人提出了 WN。他們的想法是將權(quán)重向量的大小與方向解耦，從而重新參數(shù)化網(wǎng)絡(luò)以加快訓(xùn)練速度。

重新參數(shù)化是什么意思呢？

WN 加速了類(lèi)似于 BN 的訓(xùn)練，與 BN 不同的是，它也適用于 RNN。但是與 BN 相比，使用 WN 訓(xùn)練深度網(wǎng)絡(luò)的穩(wěn)定性較差，因此在實(shí)踐中并未得到廣泛應(yīng)用。

4Layer Normalization

受 BN 的啟發(fā)，Hinton 等人提出的 Layer Normalization 沿特征方向而不是小批量方向?qū)せ钸M(jìn)行 normalization。這通過(guò)消除對(duì)批次的依賴來(lái)克服 BN 的缺點(diǎn)，也使得 RNN 更容易應(yīng)用 BN。

與 BN 不同，LN 直接從整個(gè)隱藏層的神經(jīng)元的總輸入估計(jì)統(tǒng)計(jì)量，因此 normalization 不會(huì)在訓(xùn)練數(shù)據(jù)之間引入任何新的依賴關(guān)系。它適用于 RNN，并提高了幾個(gè)現(xiàn)有 RNN 模型的訓(xùn)練時(shí)間和泛化性能。最近，它還與 Transformer 模型一起配合使用。

注意上圖中的顏色走向，與 BN 有所不同，LN 對(duì)某一個(gè)層中所有特征進(jìn)行歸一化，而不是在小批量中對(duì)輸入特征進(jìn)行歸一化。

5Group Normalization

與 LN 類(lèi)似，GN 也沿特征方向進(jìn)行操作，但與 LN 不同的是，它將特征劃分為若干組并分別對(duì)每個(gè)組進(jìn)行 normalization。在實(shí)踐中，GN 比 LN 常常表現(xiàn)得更好，它的參數(shù) num_groups 可以設(shè)為超參數(shù)。

如果覺(jué)得 BN、LN、GN 有點(diǎn)令人困惑，下圖給出了一個(gè)總結(jié)。給定形狀 (N, C, H, W) 的激活，BN 歸一化 N 方向，LN 和 GN 歸一化 C 方向，但 GN 額外地將 C 通道分組并單獨(dú) normalize 各個(gè)組。

下圖中可以看到一個(gè)簡(jiǎn)單的編碼器-解碼器網(wǎng)絡(luò)架構(gòu)，帶有額外的 AdaIN 層用于樣式對(duì)齊。

其中，

分別計(jì)算每個(gè)輸出通道的均值和標(biāo)準(zhǔn)差，可以結(jié)合下圖來(lái)理解。

本質(zhì)上，WS 旨在單獨(dú)調(diào)控每個(gè)輸出通道的權(quán)重的一階統(tǒng)計(jì)量。通過(guò)這種方式，WS 在反向傳播期間對(duì)梯度進(jìn)行 normalization。

從理論上和實(shí)驗(yàn)上都驗(yàn)證了它通過(guò)標(biāo)準(zhǔn)化卷積層中的權(quán)重來(lái)平滑損失情況。

理論上，WS 減少了損失和梯度的 Lipschitz 常數(shù)。核心思想是將卷積權(quán)重保持在一個(gè)緊湊的空間中，從而平滑了損失并改進(jìn)了訓(xùn)練。

論文作者將 WS 與 GN 結(jié)合使用，取得了不錯(cuò)效果。

在 ImageNet 和 COCO 上比較normalization方法，GN+WS 大大優(yōu)于單獨(dú)使用 BN 和 GN。

8小結(jié)

最后，為了便于比較和分析它們的工作原理，我們將上述幾種主要normalization方法匯聚在一個(gè)圖中。

當(dāng)在論文或具體網(wǎng)絡(luò)架構(gòu)中遇到這些名詞時(shí)，腦子中可以浮現(xiàn)出對(duì)應(yīng)的圖來(lái)輔助理解。




審核編輯：劉清