PyTorch教程之時(shí)間反向傳播

如果您完成了第 9.5 節(jié)中的練習(xí)，您會(huì)發(fā)現(xiàn)梯度裁剪對(duì)于防止偶爾出現(xiàn)的大量梯度破壞訓(xùn)練穩(wěn)定性至關(guān)重要。我們暗示爆炸梯度源于長序列的反向傳播。在介紹大量現(xiàn)代 RNN 架構(gòu)之前，讓我們仔細(xì)看看反向傳播在數(shù)學(xué)細(xì)節(jié)中是如何在序列模型中工作的。希望這個(gè)討論能使梯度消失和爆炸的概念更加精確。如果你還記得我們?cè)?5.3 節(jié)介紹 MLP 時(shí)通過計(jì)算圖進(jìn)行前向和反向傳播的討論，那么 RNN 中的前向傳播應(yīng)該相對(duì)簡單。在 RNN 中應(yīng)用反向傳播稱為 時(shí)間反向傳播 ( Werbos, 1990 ). 此過程要求我們一次擴(kuò)展（或展開）RNN 的計(jì)算圖。展開的 RNN 本質(zhì)上是一個(gè)前饋神經(jīng)網(wǎng)絡(luò)，具有相同的參數(shù)在整個(gè)展開的網(wǎng)絡(luò)中重復(fù)出現(xiàn)的特殊屬性，出現(xiàn)在每個(gè)時(shí)間步長。然后，就像在任何前饋神經(jīng)網(wǎng)絡(luò)中一樣，我們可以應(yīng)用鏈?zhǔn)椒▌t，通過展開的網(wǎng)絡(luò)反向傳播梯度。每個(gè)參數(shù)的梯度必須在參數(shù)出現(xiàn)在展開網(wǎng)絡(luò)中的所有位置上求和。從我們關(guān)于卷積神經(jīng)網(wǎng)絡(luò)的章節(jié)中應(yīng)該熟悉處理這種權(quán)重綁定。

出現(xiàn)并發(fā)癥是因?yàn)樾蛄锌赡芟喈?dāng)長。處理由超過一千個(gè)標(biāo)記組成的文本序列并不罕見。請(qǐng)注意，從計(jì)算（太多內(nèi)存）和優(yōu)化（數(shù)值不穩(wěn)定）的角度來看，這都會(huì)帶來問題。第一步的輸入在到達(dá)輸出之前要經(jīng)過 1000 多個(gè)矩陣乘積，還需要另外 1000 個(gè)矩陣乘積來計(jì)算梯度。我們現(xiàn)在分析可能出現(xiàn)的問題以及如何在實(shí)踐中解決它。