關於BP演算法

① BP演算法的BP演算法基本介紹

含有隱層的多層前饋網路能大大提高神經網路的分類能力，但長期以來沒有提出解決權值調整問題的有效演算法。1986年，Rumelhart和McCelland領導的科學家小組在《Parallel Distributed Processing》一書中，對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播（Error Back Propagation，簡稱BP）演算法進行了詳盡的分析，實現了Minsky關於多層網路的設想。
BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳入，經各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網路的學習訓練過程。此過程一直進行到網路輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。
BP演算法的網路結構示意圖

② bp神經網路演算法介紹 bp神經網路演算法簡介

1、BP（Back Propagation）網路是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播演算法訓練的多層前饋網路，是應用最廣泛的神經網路模型之一。BP網路能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網路的權值和閾值，使網路的誤差平方和最小。BP神經網路模型拓撲結構包括輸入層（input）、隱層(hide layer)和輸出層(output layer)。

2、BP神經網路演算法是在BP神經網路現有演算法的基礎上提出的，是通過任意選定一組權值，將給定的目標輸出直接作為線性方程的代數和來建立線性方程組，解得待求權，不存在傳統方法的局部極小及收斂速度慢的問題，且更易理解。

③ 讀懂反向傳播演算法（bp演算法）

反向傳播演算法可以說是神經網路最基礎也是最重要的知識點。基本上所以的優化演算法都是在反向傳播算出梯度之後進行改進的。同時，也因為反向傳播演算法是一個遞歸的形式，一層一層的向後傳播誤差即可，很容易實現（這部分聽不懂沒關系，下面介紹）。不要被反向傳播嚇到，掌握其核心思想就很容易自己手推出來。

我們知道神經網路都是有一個loss函數的。這個函數根據不同的任務有不同的定義方式，但是這個loss函數的目的就是計算出當前神經網路建模出來輸出的數據和理想數據之間的距離。計算出loss之後，根據反向傳播演算法就可以更新網路中的各種參數以此使loss不斷下降，即可使輸出的數據更加理想。
所以，現在的任務是，已知一個網路的loss之後，如何根據loss來更新參數呢？具體點即如何更新網路節點中的權重w和偏差b的值呢？

這里我們採用的是全連接神經網路進行說明。
要想把這個過程說清楚，首先需要將神經網路中各個參數用文字表達清楚。定義的就是w和b在網路中的准確位置。

對於 表示的是神經網路中第 層第k個節點到神經網路中第 層第j個節點之間的權重。注意w的下標是首位表示的是節點後層節點的位置，末尾表示是前層節點的位置。理解這樣的表達方式在後面的計算中會很好理解。
同理，對於b的表示：

b的表示相比於w要簡單一些，符號 表示第l層網路在第j個節點的偏置。無論w還是b的表示，上標都是表示層數。並且 和 表示都是第l層網路第j個節點的參數。所以該節點的輸出可以表示為：

神經網路輸出之後會經過一個激活函數，這用激活函數用 表示，則經過激活函數輸出為：

至此，根據上面符號 、 、 、 。我們可以對於神經網路裡面每一個數據准確的表示了。

給定一個損失函數之後，用 表示，說白了反向傳播就是求∂C/∂w和∂C/∂b，然後將這個值乘以和對應的w，b進行相減就可以實現一次的參數更新了。為什麼這樣的操作就可以優化網路，減小loss值呢？

來源於導數的概念和速度相關。∂C/∂w和∂C/∂b相當於loss值C相對於w和v變化的速度。如果∂C/∂w是正的，則增大w，C也會增大，如果希望C減小的話，應該減小w；並且∂C/∂w的絕對值越大，表示w對C的值影響越大，w稍微有一點變化，C就會有大幅變化。如果要優化C變小，w應該對應的減少多少呢？也沒有一個確定的答案。這里通過變化的速度和學習率相乘作為一個減小的值。通過多輪迭代。最終是希望c達到最小點。而當函數落入最小值的時候，無論是局部最小還是全局最小，其周圍一定是平滑的。所以此時∂C/∂w和∂C/∂b將會變得很小甚至為0，即參數不在更新了。當函數在局部最小點處參數不在更新出現梯度消失的問題時，目前也有各種trick進行解決。不是這里的重點。

為了好說明，這里定義一個很簡單的損失函數C：

接下來就是有意思的階段了。這里還是利用上一節中∂C/∂w和∂C/∂b的解釋。如果我們想要求出∂C/∂w和∂C/∂b的值，即具體的 、 對C影響速率的值，我們找一個中間變數∂C/∂ 。因為我們知道:

我們定義：

當我們知道了 值之後，我們根據 式子可以很容易求出 。
利用導數的鏈式法則：

很容易推出來不是？同理可以求出：

可以看出通過媒介 很容易求出∂C/∂w和∂C/∂b。那麼我們現在來理解一下 到底是什麼意思，以及如何求出來每一個l層j節點的 值。

根據定義：

可以看出來 就是 對於C的影響大小(聯系之前說的導數和速率的關系)。而 是第 層第 個神經元未進過激活函數之前的輸出。所以我們可以理解 為網路中第 層第 個神經元對loss的影響。所以很直觀的看法就是我們先求出單個神經元對loss值得影響，然後再計算該神經元內部參數對於loss的影響。

ok,如果我們已經理解了為什麼要引入 變數以及如何利用該變數計算具體參數的梯度後，接下來我們就可以看看如何獲得 值。反向傳播的名字我想也就是通過計算 的方式而來的。是一層一層遞歸而來的。

既然說是遞歸的方式，我們來思考一下 和 之間有什麼關系，如果找到這個關系之後，我們就可以默認我們如果知道最後一層網路節點的 值，我們就可以獲得倒數第二層網路節點的 值，倒數第三層，倒數第四層，……以此推類即可獲得整個網路的每個節點的 值。至此我們的反向傳播也基本完成了。
所以最重要的有兩點：

先看問題1，直接根據求導的鏈式法則就可以找出兩個的關系，具體公式如下，可以多看看手寫一下，思路上也很簡單。

覺得這樣的鏈式公式還是很直觀的，如果不好理解，可以自己畫一個神經網路圖，連上節點與節點之間的線，標上參數，然後推一下應該就能理解了。
這里的 都表示的未經過激活函數的神經元的輸出。 表示激活函數。因為：

所以：

帶入上式就可以得出：

至此就找出了 和 之間的關系了。
(還能簡化，根據最開始我們定義的 ）。

理解起來就是網路中前面一層某一個神經元對於loss的影響與該層的後一層所有的神經元對loss的影響、該神經元的輸出大小、該神經元與後一層神經元連接的權重有關系的，並且是一個累加的效應。這樣的理解也是非常直觀合乎常理的。

現在萬事具備，只差問題2了。即假設最後一層網路是L，最後一層 如何計算得出。最後一層的 值就像一個導火索，一旦有了開始，就可以利用我們之前推出來的： 公式進行反向傳播了(反向傳播還是很形象的不是？)。現在解決這個問題。這個問題就是和損失函數具體怎麼定義有關系了。不過我們先不考慮C的具體形式，根據通用的鏈式法則我們可以得到：

這里需要注意的是最後一層激活函數使用的是哪種。最後一層激活函數在計算某一個神經元的輸出時可能會結合其他節點的輸出來計算。比如softmax激活函數，其輸出的是一個概率值【0,1】。輸出大小就是結合輸出所有的值。

現在我們來考慮兩個具體的損失函數，並且採用之前定義的均方誤差損失函數 ：

求導為：
因為sigmoid輸出的值僅僅和輸入的x值有關 。所以 當 時值為0.所以：

根據上面，BP推導有三部曲，先求出 ，再根據 分別求出 、 。總結公式如下：

啟動上面反傳的導火索是最後一層的 值，計算公式為：

根據最後一層不同類型的激活函數不同對待。

④ BP演算法的介紹

BP演算法，誤差反向傳播（Error Back Propagation, BP）演算法。BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。

⑤ 什麼是BP演算法

誤差反向傳播（Error Back Propagation, BP）演算法
1、BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。
1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。

BP演算法基本介紹
含有隱層的多層前饋網路能大大提高神經網路的分類能力，但長期以來沒有提出解決權值調整問題的游戲演算法。1986年，Rumelhart和McCelland領導的科學家小組在《Parallel Distributed Processing》一書中，對具有非線性連續轉移函數的多層前饋網路的誤差反向傳播（Error Back Proragation，簡稱BP）演算法進行了詳盡的分析，實現了Minsky關於多層網路的設想。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。
BP演算法的基本思想是，學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。正向傳播時，輸入樣本從輸入層傳人，經各隱層逐層處理後，傳向輸出層。若輸出層的實際輸出與期望的輸出(教師信號)不符，則轉入誤差的反向傳播階段。誤差反傳是將輸出誤差以某種形式通過隱層向輸入層逐層反傳，並將誤差分攤給各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權值的依據。這種信號正向傳播與誤差反向傳播的各層權值調整過程，是周而復始地進行的。權值不斷調整的過程，也就是網路的學習訓練過程。此過程一直進行到網路輸出的誤差減少到可接受的程度，或進行到預先設定的學習次數為止。

⑥ 什麼是BP演算法

bp演算法,即反向傳播方法,是用來訓練前向網路的一種普遍演算法

⑦ bp演算法是什麼

誤差反向傳播演算法：

BP演算法的基本思想是，學習過程包括兩個過程：信號前向傳播和誤差後向傳播。

（1）前向傳播:輸入樣本->輸入層->各隱層(處理)->輸出層。

（2）錯誤反向傳播:輸出錯誤(某種形式)->隱藏層(逐層)->輸入層。

BP演算法基本介紹：

多層隱含層前饋網路可以極大地提高神經網路的分類能力，但長期以來一直沒有提出解決權值調整問題的博弈演算法。

1986年，Rumelhart和McCelland領導的科學家團隊出版了《並行分布式處理》一書，詳細分析了具有非線性連續傳遞函數的多層前饋網路的誤差反向比例（BP）演算法，實現了Minsky關於多層網路的思想。由於誤差的反向傳播演算法常用於多層前饋網路的訓練，人們常直接稱多層前饋網路為BP網路。

⑧ BP演算法的實現步驟

BP演算法實現步驟（軟體）：
1）初始化
2）輸入訓練樣本對，計算各層輸出
3）計算網路輸出誤差
4）計算各層誤差信號
5）調整各層權值
6）檢查網路總誤差是否達到精度要求
滿足，則訓練結束；不滿足，則返回步驟2）
3、多層感知器（基於BP演算法）的主要能力：
1）非線性映射：足夠多樣本－>學習訓練
能學習和存儲大量輸入－輸出模式映射關系。只要能提供足夠多的樣本模式對供BP網路進行學習訓練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。
2）泛化：輸入新樣本（訓練時未有）－>完成正確的輸入、輸出映射
3）容錯：個別樣本誤差不能左右對權矩陣的調整
4、標准BP演算法的缺陷：
1）易形成局部極小（屬貪婪演算法，局部最優)而得不到全局最優；
2）訓練次數多使得學習效率低下，收斂速度慢（需做大量運算）；
3）隱節點的選取缺乏理論支持；
4）訓練時學習新樣本有遺忘舊樣本趨勢。
注3：改進演算法—增加動量項、自適應調整學習速率（這個似乎不錯)及引入陡度因子

⑨ BP學習演算法是什麼類型的學習演算法它主要有哪些不足

BP演算法是由學習過程由信號的正向傳播與誤差的反向傳播兩個過程組成。由於多層前饋網路的訓練經常採用誤差反向傳播演算法，人們也常把將多層前饋網路直接稱為BP網路。

雖然BP演算法得到廣泛的應用，但它也存在不足，其主要表現在訓練過程不確定上，具體如下。

1，訓練時間較長。對於某些特殊的問題，運行時間可能需要幾個小時甚至更長，這主要是因為學習率太小所致，可以採用自適應的學習率加以改進。

2，完全不能訓練。訓練時由於權值調整過大使激活函數達到飽和，從而使網路權值的調節幾乎停滯。為避免這種情況，一是選取較小的初始權值，二是採用較小的學習率。

3，易陷入局部極小值。BP演算法可以使網路權值收斂到一個最終解，但它並不能保證所求為誤差超平面的全局最優解，也可能是一個局部極小值。

這主要是因為BP演算法所採用的是梯度下降法，訓練是從某一起始點開始沿誤差函數的斜面逐漸達到誤差的最小值，故不同的起始點可能導致不同的極小值產生，即得到不同的最優解。如果訓練結果未達到預定精度，常常採用多層網路和較多的神經元，以使訓練結果的精度進一步提高，但與此同時也增加了網路的復雜性與訓練時間。

4，「喜新厭舊」。訓練過程中，學習新樣本時有遺忘舊樣本的趨勢。

(9)關於BP演算法擴展閱讀：

BP演算法最早由Werbos於1974年提出，1985年Rumelhart等人發展了該理論。BP網路採用有指導的學習方式，其學習包括以下4個過程。

1，組成輸入模式由輸入層經過隱含層向輸出層的「模式順傳播」過程。

2，網路的期望輸出與實際輸出之差的誤差信號由輸出層經過隱含層逐層休整連接權的「誤差逆傳播」過程。

3，由「模式順傳播」與「誤差逆傳播」的反復進行的網路「記憶訓練」過程。

4，網路趨向收斂即網路的總體誤差趨向極小值的「學習收斂」過程。

⑩ BP演算法的簡介

1）正向傳播：輸入樣本－>輸入層－>各隱層（處理）－>輸出層
注1：若輸出層實際輸出與期望輸出（教師信號）不符，則轉入2）（誤差反向傳播過程）
2）誤差反向傳播：輸出誤差（某種形式）－>隱層（逐層）－>輸入層
其主要目的是通過將輸出誤差反傳，將誤差分攤給各層所有單元，從而獲得各層單元的誤差信號，進而修正各單元的權值（其過程，是一個權值調整的過程）。
注2：權值調整的過程，也就是網路的學習訓練過程（學習也就是這么的由來，權值調整）。