調(diào)試神經(jīng)網(wǎng)絡所遵循的五項原則

很多情況下，研究人員會遇到一個問題：使用機器學習框架實現(xiàn)的神經(jīng)網(wǎng)絡可能與理論模型相去甚遠。驗證這款模型是否可靠，直接方式就是不斷修正和調(diào)參。例如，在 2018 年 8 月，谷歌大腦的 Ian Goodfellow 等人，通過引入由覆蓋性引導的模糊方法（coverage-guided fuzzing，CGF），推出了一款自動為神經(jīng)網(wǎng)絡 debug 的開源庫 TensorFuzz。

想要調(diào)試機器學習模型其實并不容易，因為找 bug 這個過程需要付出的代價實在太高了。即便是對于相對簡單的前饋神經(jīng)網(wǎng)絡，研究人員也需要經(jīng)常討論網(wǎng)絡架構、權重初始化和網(wǎng)絡優(yōu)化等問題。

正如 Chase Robert 此前在 “如何最小化測試機器學習代碼” 的一篇文章中曾描述了這類問題：“神經(jīng)網(wǎng)絡會繼續(xù)訓練，損失會持續(xù)減少；訓練幾小時后會收斂，但效果卻很差……”

對此，在單一的工具之外，Cecelia Shao 通過提供一種思路以表達她對調(diào)試神經(jīng)網(wǎng)絡所遵循的五項原則：

從繁就簡

確認模型損失

檢查中間輸出和連接

診斷參數(shù)

追蹤工作

1. 從繁就簡

具有正規(guī)化和學習率（learning rate）調(diào)度器的復雜架構的神經(jīng)網(wǎng)絡，將單一神經(jīng)網(wǎng)絡更難調(diào)試。

首先，構建一個相對簡單的模型：構建一個具有單個隱藏層的小模型，并進行驗證；然后逐漸添加模型的復雜性，同時檢驗模型結構的每個層面（附加層、參數(shù)等）是否有效。

其次，在單個數(shù)據(jù)節(jié)點上訓練模型：可以使用一兩個訓練數(shù)據(jù)點（data point）以確認模型是否過度擬合。神經(jīng)網(wǎng)絡應立即過度擬合，訓練準確率為 100%，這表明模型符合；如果模型無法過度擬合這些數(shù)據(jù)點，就證明太小或存在 bug。

2. 確認模型損失

模型損失是評估模型性能的主要方式，也是模型設置重要參數(shù)以進行評估的依據(jù)，因此需要確保：

模型損失適用于任務（使用分類交叉熵損失（cross-entropy los）進行多分類問題或使用 focal loss 以解決不平衡問題）；

正確衡量損失函數(shù)的重要性。如果你使用多種類型的損失函數(shù)，如 MSE、對抗性、L1、feature loss,，那么請確保所有損失以正確的方式排序。

3. 檢查中間輸出和連接

為了調(diào)試神經(jīng)網(wǎng)絡，你需要理解神經(jīng)網(wǎng)絡內(nèi)部的動態(tài)、不同中間層所起的作用，以及層與層之間是如何連接起來的。不過，你可能遇到以下問題：

不正確的梯度更新表達式

權重未得到應用

梯度消失或爆發(fā)

如果梯度值為 0，則意味著優(yōu)化器中的學習率可能太小，且梯度更新的表達式不正確。

除了關注梯度的絕對值之外，還要確保監(jiān)視每個層匹配的激活、權重的大小。例如，參數(shù)更新的大小（權重和偏差）應為 1-e3。

需要指出的是，一種稱為 “Dying ReLU” 或“梯度消失”的現(xiàn)象中，ReLU 神經(jīng)元在學習其權重的負偏差項后將輸出為 0。這些神經(jīng)元不會在任何數(shù)據(jù)點上得到激活。

你可以采用梯度檢驗（gradient checking）通過數(shù)值方法逼近梯度以檢驗這些錯誤。如果它接近計算梯度，則正確實施反向傳播。

關于可視化神經(jīng)網(wǎng)絡的主要方法，F(xiàn)aizan Shaikh 舉出了三個例子：

初始方法：展現(xiàn)訓練模型的整體結構，這些方法包括展示神經(jīng)網(wǎng)絡各個層的形狀或過濾器（filters）以及每個層中的參數(shù)；

基于激活的方法：破譯單個神經(jīng)元或一組神經(jīng)元的激活函數(shù)；

基于梯度的方法：在訓練模型時，操作由前向或后向通道形成的梯度。

還有有許多可用的工具可用于可視化各個層的激活和連接，例如 ConX 和 Tensorboard。

4. 診斷參數(shù)

神經(jīng)網(wǎng)絡具有大量彼此相互作用的參數(shù)，使得優(yōu)化也變得非常困難。

Batch size：你希望 batch size 可大到足以準確評估誤差梯度，小到足以使隨機梯度下降（SGD）可以規(guī)范網(wǎng)絡。batch size 將導致學習過程在訓練過程中以噪聲成本快速瘦臉，并可能導致優(yōu)化困難。

學習率（Learning rate）：太低會導致收斂緩慢或陷入局部最小值的風險，太高則會導致優(yōu)化發(fā)散。

機器學習框架，如 Keras、Tensorflow、PyTorch、MXNet 現(xiàn)在都有關于使用學習率收斂緩慢文檔或示例：

Keras

https://keras.io/callbacks/#learningratescheduler

Tensorflow - https://www.tensorflow.org/api_docs/python/tf/train/exponential_decay

PyTorch - https://pytorch.org/docs/stable/_modules/torch/optim/lr_scheduler.html

MXNet - https://mxnet.incubator.apache.org/versions/master/tutorials/gluon/learning_rate_schedules.html

梯度剪切（Gradient clipping?）：在反向傳播中，用于剪切參數(shù)梯度的最大值或最大范數(shù)。

Batch 標準化（normalization ）：用于標準化每層的輸入，以對抗內(nèi)部協(xié)變量移位問題。

隨機梯度下降（Stochastic Gradient Descent ，SGD）：使用動量、自適應學習率、Nesterov 更新。

正則化：對于構建可推廣模型至關重要，因為它增加了對模型復雜性或極端參數(shù)值的懲罰。同時，它顯著降低了模型的方差，并且不顯著增加偏差。

Dropout：是另一種規(guī)范網(wǎng)絡以防止過度擬合的技術。在訓練時，以某個概率 p（超參數(shù)）保持神經(jīng)元活動來實現(xiàn)丟失，否則將其設置為 0。結果，網(wǎng)絡必須在每個訓練 batch 中使用不同的參數(shù)子集，這減少了特定參數(shù)的變化而變得優(yōu)于其他參數(shù)。

5. 全程跟蹤工作

通過對工作更好地跟蹤，可以輕松查看和重現(xiàn)之前的試驗，以減少重復工作。

不過，手動記錄信息可能很難做到且進行多次實驗，像 comet.ml 這樣的工具可以幫助自動追蹤數(shù)據(jù)集、更改代碼、實驗歷史和生產(chǎn)模型，包括關于模型的關鍵信息，如超參數(shù)、模型性能指標和環(huán)境細節(jié)。

神經(jīng)網(wǎng)絡對數(shù)據(jù)、參數(shù)，甚至 packages 的微小變化都非常敏感，這導致了模型的性能下降。工作跟蹤是標準化環(huán)境和建模工作流程的第一步。