【連載】深度學(xué)習(xí)筆記4：深度神經(jīng)網(wǎng)絡(luò)的正則化

今天要寫的是關(guān)于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中的一項(xiàng)關(guān)鍵技術(shù)：正則化。相信在機(jī)器學(xué)習(xí)領(lǐng)域摸爬滾打多年的你一定知道正則化是防止模型過(guò)擬合的核心技術(shù)之一，關(guān)于欠擬合和過(guò)擬合的問(wèn)題

總的來(lái)說(shuō)，監(jiān)督機(jī)器學(xué)習(xí)的核心原理莫過(guò)于如下公式：

該公式可謂是機(jī)器學(xué)習(xí)中最核心最關(guān)鍵最能概述監(jiān)督學(xué)習(xí)的核心思想的公式了：所有的有監(jiān)督機(jī)器學(xué)習(xí)，無(wú)非就是正則化參數(shù)的同時(shí)最小化經(jīng)驗(yàn)誤差函數(shù)。最小化經(jīng)驗(yàn)誤差是為了極大程度的擬合訓(xùn)練數(shù)據(jù)，正則化參數(shù)是為了防止過(guò)分的擬合訓(xùn)練數(shù)據(jù)。你看，多么簡(jiǎn)約數(shù)學(xué)哲學(xué)。正如之前所說(shuō)，監(jiān)督機(jī)器學(xué)習(xí)是為了讓我們建立的模型能夠發(fā)現(xiàn)數(shù)據(jù)中普遍的一般的規(guī)律，這個(gè)普遍的一般的規(guī)律無(wú)論對(duì)于訓(xùn)練集還是未知的測(cè)試集，都具有較好的擬合性能。通俗點(diǎn)舉例就是，考試能力很強(qiáng)，應(yīng)用能力很差，或者是模擬考很強(qiáng)，高考卻一般。

先不扯遠(yuǎn)了，繼續(xù)回到公式。第一項(xiàng)經(jīng)驗(yàn)誤差函數(shù)在機(jī)器學(xué)習(xí)中無(wú)疑地位重要，但它不是筆者今天要講的，今天要講的是公式的第二項(xiàng)：正則化項(xiàng)。第二項(xiàng)中 λ 為正則化系數(shù)，通常是大于 0 的，是一種調(diào)整經(jīng)驗(yàn)誤差項(xiàng)和正則化項(xiàng)之間關(guān)系的系數(shù)。λ = 0 時(shí)相當(dāng)于該公式?jīng)]有正則化項(xiàng)，模型全力討好第一項(xiàng)，將經(jīng)驗(yàn)誤差進(jìn)行最小化，往往這也是最容易發(fā)生過(guò)擬合的時(shí)候。隨著 λ 逐漸增大，正則化項(xiàng)在模型選擇中的話語(yǔ)權(quán)越來(lái)越高，對(duì)模型的復(fù)雜性的懲罰也越來(lái)越厲害。所以，在實(shí)際的訓(xùn)練過(guò)程中，λ 作為一種超參數(shù)很大程度上決定了模型生死。

L1 和 L2 范數(shù)

系數(shù) λ 說(shuō)完了，然后就是正則化項(xiàng)，正則化項(xiàng)形式有很多，但常見(jiàn)的也就是 L1 和 L2 正則化。下面筆者就帶大家好好拾掇拾掇這些個(gè) L1 L2。

在說(shuō)常見(jiàn)的 L1 和 L2 之前，先來(lái)看一下 L0 正則化。L0 正則化也就是 L0 范數(shù)，即矩陣中所有非 0 元素的個(gè)數(shù)。如何我們?cè)谡齽t化過(guò)程中選擇了 L0 范數(shù)，那該如何理解這個(gè) L0 呢？其實(shí)非常簡(jiǎn)單，L0 范數(shù)就是希望要正則化的參數(shù)矩陣 W 大多數(shù)元素都為 0。如此簡(jiǎn)單粗暴，讓參數(shù)矩陣 W 大多數(shù)元素為 0 就是實(shí)現(xiàn)稀疏而已。說(shuō)到這里，權(quán)且打住，想必同樣在機(jī)器學(xué)習(xí)領(lǐng)域摸爬滾打的你一定想問(wèn)，據(jù)我所知稀疏性不通常都是用 L1 來(lái)實(shí)現(xiàn)的嗎？這里個(gè)中緣由筆者不去細(xì)講了，簡(jiǎn)單說(shuō)結(jié)論：在機(jī)器學(xué)習(xí)領(lǐng)域，L0 和 L1 都可以實(shí)現(xiàn)矩陣的稀疏性，但在實(shí)踐中，L1 要比 L0 具備更好的泛化求解特性而廣受青睞。先說(shuō)了 L1，但還沒(méi)解釋 L1 范數(shù)是什么，L1 范數(shù)就是矩陣中各元素絕對(duì)值之和，正如前述所言，L1 范數(shù)通常用于實(shí)現(xiàn)參數(shù)矩陣的稀疏性。至于為啥要稀疏，稀疏有什么用，通常是為了特征選擇和易于解釋方面的考慮。

再來(lái)看 L2 范數(shù)。相較于 L0 和 L1，其實(shí) L2 才是正則化中的天選之子。在各種防止過(guò)擬合和正則化處理過(guò)程中，L2 正則化可謂風(fēng)頭無(wú)二。L2 范數(shù)是指矩陣中各元素的平方和后的求根結(jié)果。采用 L2 范數(shù)進(jìn)行正則化的原理在于最小化參數(shù)矩陣的每個(gè)元素，使其無(wú)限接近于 0 但又不像 L1 那樣等于 0，也許你又會(huì)問(wèn)了，為什么參數(shù)矩陣中每個(gè)元素變得很小就能防止過(guò)擬合？這里我們就拿深度神經(jīng)網(wǎng)絡(luò)來(lái)舉例說(shuō)明吧。在 L2 正則化中，如何正則化系數(shù)變得比較大，參數(shù)矩陣 W 中的每個(gè)元素都在變小，線性計(jì)算的和 Z 也會(huì)變小，激活函數(shù)在此時(shí)相對(duì)呈線性狀態(tài)，這樣就大大簡(jiǎn)化了深度神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，因而可以防止過(guò)擬合。

至于 L1 和 L2，江湖上還有一些混名，L1 就是江湖上著名的 lasso，L2 呢則是嶺回歸。二者都是對(duì)回歸損失函數(shù)加一個(gè)約束形式，lasso 加的是 L1 范數(shù)，嶺回歸加的是 L2 范數(shù)。可以從幾何直觀上看看二者的區(qū)別。

L1 和 L2 的下降速度

L1 和 L2 的模型空間

神經(jīng)網(wǎng)絡(luò)的正則化

說(shuō)了半天的范數(shù)，下面我們就來(lái)看看在神經(jīng)網(wǎng)絡(luò)中如何進(jìn)行正則化操作防止過(guò)擬合。為了跟前面筆記保持一致，我們?cè)谏窠?jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中繼續(xù)采用交叉熵?fù)p失函數(shù)：

加了正則化項(xiàng)之后，損失函數(shù)形式如上所示，損失函數(shù)變了，反向傳播的梯度計(jì)算也就變了，相應(yīng)的反向傳播也需要重新定義函數(shù)。

帶正則化項(xiàng)的損失函數(shù)的定義：

def compute_cost_with_regularization(A3, Y, parameters, lambd):  """
  Implement the cost function with L2 regularization. See formula (2) above.

  Arguments:
  A3 -- post-activation, output of forward propagation, of shape (output size, number of examples)
  Y -- "true" labels vector, of shape (output size, number of examples)
  parameters -- python dictionary containing parameters of the model

  Returns:
  cost - value of the regularized loss function (formula (2))
  """
  m = Y.shape[1]
  W1 = parameters["W1"]
  W2 = parameters["W2"]
  W3 = parameters["W3"]

  cross_entropy_cost = compute_cost(A3, Y) # This gives you the cross-entropy part of the cost


  L2_regularization_cost = 1/m * lambd/2 * (np.sum(np.square(W1))+np.sum(np.square(W2))+np.sum(np.square(W3)))

  cost = cross_entropy_cost + L2_regularization_cost  
  return cost

反向傳播的函數(shù)定義：

def backward_propagation_with_regularization(X, Y, cache, lambd):  """
  Implements the backward propagation of our baseline model to which we added an L2 regularization.

  Arguments:
  X -- input dataset, of shape (input size, number of examples)
  Y -- "true" labels vector, of shape (output size, number of examples)
  cache -- cache output from forward_propagation()
  lambd -- regularization hyperparameter, scalar

  Returns:
  gradients -- A dictionary with the gradients with respect to each parameter, activation and pre-activation variables
  """

  m = X.shape[1]
  (Z1, A1, W1, b1, Z2, A2, W2, b2, Z3, A3, W3, b3) = cache

  dZ3 = A3 - Y

  dW3 = 1./m * np.dot(dZ3, A2.T) + lambd/m * W3
  db3 = 1./m * np.sum(dZ3, axis=1, keepdims = True)

  dA2 = np.dot(W3.T, dZ3)
  dZ2 = np.multiply(dA2, np.int64(A2 > 0))

  dW2 = 1./m * np.dot(dZ2, A1.T) + lambd/m * W2
  db2 = 1./m * np.sum(dZ2, axis=1, keepdims = True)

  dA1 = np.dot(W2.T, dZ2)
  dZ1 = np.multiply(dA1, np.int64(A1 > 0))

  dW1 = 1./m * np.dot(dZ1, X.T) + lambd/m * W1
  db1 = 1./m * np.sum(dZ1, axis=1, keepdims = True)

  gradients = {"dZ3": dZ3, "dW3": dW3, "db3": db3,"dA2": dA2,         "dZ2": dZ2, "dW2": dW2, "db2": db2, "dA1": dA1, 
         "dZ1": dZ1, "dW1": dW1, "db1": db1}  
  return gradients

在實(shí)例中，加了正則化項(xiàng)和沒(méi)加正則化項(xiàng)的模型分類結(jié)果可如圖所見(jiàn)：

未經(jīng)正則化處理的分類模型結(jié)果

加上正則化后的模型分類結(jié)果

效果顯而易見(jiàn)，加了正則化之后，神經(jīng)網(wǎng)絡(luò)的過(guò)擬合情況得到極大的緩解。

本文來(lái)自《自興動(dòng)腦人工智能》項(xiàng)目部：凱文。