基于BP算法的前饋神經(jīng)網(wǎng)絡(luò)
首先給出只包含一個隱層的BP神經(jīng)網(wǎng)絡(luò)模型（兩層神經(jīng)網(wǎng)絡(luò)）：
BP神經(jīng)網(wǎng)絡(luò)其實由兩部分組成：
- 前饋神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)是前饋的，其權(quán)重都不回送到輸入單元，或前一層輸出單元（數(shù)據(jù)信息是單向傳播的，不會回流），區(qū)別于循環(huán)神經(jīng)網(wǎng)絡(luò)RNN。
- BP算法（Back Propagation）：誤差反向傳播算法，用于更新網(wǎng)絡(luò)中的權(quán)重。
BP神經(jīng)網(wǎng)絡(luò)思想：
- 表面上：1. 數(shù)據(jù)信息的前向傳播，從輸入層到隱含層，最后到輸出層。2. 誤差的反向傳播：輸出結(jié)果與真實結(jié)果的誤差值，從輸出層傳遞到隱含層，最后到輸入層。
- 本質(zhì)上：針對每個輸入樣本，采用隨機梯度下降算法，動態(tài)更新網(wǎng)絡(luò)中的權(quán)重和偏倚，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出。
BP神經(jīng)網(wǎng)絡(luò)算法推導(dǎo)（更新權(quán)重和偏倚）：
從上面推導(dǎo)可以發(fā)現(xiàn)：
對于任意從神經(jīng)元i（輸出神經(jīng)元/隱層神經(jīng)元）至 神經(jīng)元j（隱層神經(jīng)元/輸出層神經(jīng)元）的權(quán)重w ijwijw_{ij}，其權(quán)重更新量Δw ijΔwijDelta w_{ij}=學(xué)習(xí)步長η ηeta × × imes 前一層神經(jīng)元的輸出（x ixix_{i} 或y jyjy_{j}）× × imes 后一層神經(jīng)元（y jyjy_{j}或o koko_{k}）的誤差
神經(jīng)元偏倚的變化量：ΔΘ ΔΘ Delta Theta=學(xué)習(xí)步長η ηeta × × imes 乘以神經(jīng)元的誤差
BP神經(jīng)網(wǎng)絡(luò)算法過程
網(wǎng)絡(luò)的初始化：包括權(quán)重和偏倚的初始化
計算隱含層的輸入輸出
計算輸出層的輸入輸出
誤差的計算：隱層和輸出層的誤差
權(quán)值的更新：1. 輸入層—隱層。2. 隱層—輸出層
偏倚的更新：神經(jīng)元的步長η ηeta × × imes 相應(yīng)的誤差err
判斷算法迭代是否結(jié)束：1.超過迭代次數(shù)，2.相鄰的兩次誤差之間的差別小于閾值等。
誤差的反向傳播描述
反向傳播過程是這樣的：輸出層每個節(jié)點都會得到一個誤差e（d k ?o kdk?okd_{k}-o_{k}），把e作為輸出層反向輸入，這時候就像是輸出層當(dāng)輸入層一樣把誤差往回傳播，先得到輸出層誤差err kerrkerr_{k}，然后將輸出層err kerrkerr_{k}根據(jù)連接權(quán)重往隱層傳輸，得到隱層誤差err jerrjerr_{j}。具體如下圖所示（畫的有點難看，將就看吧。。）
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4789瀏覽量
101611 -
BP神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
2文章
127瀏覽量
30662
發(fā)布評論請先 登錄
相關(guān)推薦
什么是BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法
BP神經(jīng)網(wǎng)絡(luò)的反向傳播算法（Backpropagation Algorithm）是一種用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的有效方法。以下是關(guān)于BP
BP神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)的關(guān)系
），是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它通過反向傳播算法進(jìn)行訓(xùn)練。BP神經(jīng)網(wǎng)絡(luò)由輸入層、一個或多個隱藏層和
如何編寫一個BP神經(jīng)網(wǎng)絡(luò)
BP（反向傳播）神經(jīng)網(wǎng)絡(luò)是一種多層前饋神經(jīng)網(wǎng)絡(luò)，它通過反向傳播算法來訓(xùn)練
BP神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)機制
BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network），即反向傳播神經(jīng)網(wǎng)絡(luò)，是一種基于梯度下降算法的多層前
全連接前饋神經(jīng)網(wǎng)絡(luò)與前饋神經(jīng)網(wǎng)絡(luò)的比較
隨著人工智能技術(shù)的飛速發(fā)展，神經(jīng)網(wǎng)絡(luò)作為其核心組成部分，在各個領(lǐng)域展現(xiàn)出了強大的應(yīng)用潛力和價值。在眾多神經(jīng)網(wǎng)絡(luò)類型中，全連接前饋神經(jīng)網(wǎng)絡(luò)（F
bp神經(jīng)網(wǎng)絡(luò)和反向傳播神經(jīng)網(wǎng)絡(luò)區(qū)別在哪
反向傳播神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network，簡稱BP神經(jīng)網(wǎng)絡(luò)）是一種多層前饋
bp神經(jīng)網(wǎng)絡(luò)算法的基本流程包括哪些
BP神經(jīng)網(wǎng)絡(luò)算法，即反向傳播神經(jīng)網(wǎng)絡(luò)算法，是一種常用的多層前
bp神經(jīng)網(wǎng)絡(luò)算法過程包括
BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network）是一種多層前饋神經(jīng)網(wǎng)絡(luò)，具有強大的非線性映射能力，廣泛應(yīng)用于模式
反向傳播神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別
反向傳播神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network，簡稱BP神經(jīng)網(wǎng)絡(luò)）是一種多層前饋
bp神經(jīng)網(wǎng)絡(luò)是前饋還是反饋
BP神經(jīng)網(wǎng)絡(luò)，即反向傳播（Backpropagation）神經(jīng)網(wǎng)絡(luò)，是一種前饋神經(jīng)網(wǎng)絡(luò)（Feed
bp神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)區(qū)別是什么
結(jié)構(gòu)、原理、應(yīng)用場景等方面都存在一定的差異。以下是對這兩種神經(jīng)網(wǎng)絡(luò)的比較： 基本結(jié)構(gòu) BP神經(jīng)網(wǎng)絡(luò)是一種多層前饋
BP神經(jīng)網(wǎng)絡(luò)的原理、結(jié)構(gòu)及 訓(xùn)練方法
BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network）是一種基于梯度下降算法的多層前饋
BP神經(jīng)網(wǎng)絡(luò)激活函數(shù)怎么選擇
BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network）是一種多層前饋神經(jīng)網(wǎng)絡(luò)，其核心思想是通過反向傳播
bp神經(jīng)網(wǎng)絡(luò)模型怎么算預(yù)測值
BP神經(jīng)網(wǎng)絡(luò)（Backpropagation Neural Network，簡稱BP網(wǎng)絡(luò)）是一種多層前饋
BP神經(jīng)網(wǎng)絡(luò)算法的基本流程包括
BP神經(jīng)網(wǎng)絡(luò)算法，即反向傳播（Backpropagation）神經(jīng)網(wǎng)絡(luò)算法，是一種多層前
工商網(wǎng)監(jiān)
評論