lms演算法程序

㈠ 什麼是最小均方(LMS)演算法

全稱 Least mean square 演算法。中文是最小均方演算法。
感知器和自適應線性元件在歷史上幾乎是同時提出的，並且兩者在對權值的調整的演算法非常相似。它們都是基於糾錯學習規則的學習演算法。感知器演算法存在如下問題：不能推廣到一般的前向網路中；函數不是線性可分時，得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS演算法，由於其容易實現而很快得到了廣泛應用，成為自適應濾波的標准演算法。
LMS演算法步驟：
1,、設置變數和參量：
X(n)為輸入向量，或稱為訓練樣本
W(n)為權值向量
b(n)為偏差
d(n)為期望輸出
y(n)為實際輸出
η為學習速率
n為迭代次數
2、初始化，賦給w(0)各一個較小的隨機非零值，令n=0
3、對於一組輸入樣本x(n)和對應的期望輸出d，計算
e(n)=d(n)-X^T(n)W(n)
W(n+1)=W(n)+ηX(n)e(n)
4、判斷是否滿足條件，若滿足演算法結束，若否n增加1，轉入第3步繼續執行。

㈡ lms瀛︿範綆楁硶鐨勬ラ

LMS錛堟渶灝忓潎鏂癸級瀛︿範綆楁硶鏄涓縐嶉傚簲鎬ф護娉㈢畻娉曪紝涓昏佹ラゅ寘鎷鍒濆嬪寲鏉冮噸銆佽＄畻璇宸銆佹洿鏂版潈閲嶅拰榪浠ｅ勭悊銆
璇︾粏瑙ｉ噴錛
1. 鍒濆嬪寲鏉冮噸
鍦ㄥ紑濮婰MS綆楁硶涔嬪墠錛岄渶瑕佸瑰緟奼傝В鐨勬潈閲嶈繘琛屽垵濮嬪寲銆傝繖閫氬父璁劇疆涓鴻緝灝忕殑闅忔満鍊礆紝浠ョ『淇濈畻娉曚粠鐩稿逛腑絝嬬殑璧風偣寮濮嬨備緥濡傦紝濡傛灉鎴戜滑鏈変竴涓鍖呭惈涓変釜鏉冮噸鐨勭嚎鎬фā鍨嬶紝閭ｄ箞鎴戜滑鍙鑳戒細灝嗗垵濮嬫潈閲嶈劇疆涓篬0.1, 0.1, 0.1]銆
2. 璁＄畻璇宸
鎺ヤ笅鏉ワ紝鎴戜滑闇瑕佽＄畻妯″瀷棰勬祴鍊間笌鐪熷疄鍊間箣闂寸殑璇宸銆傚湪LMS綆楁硶涓錛屾垜浠閫氬父浣跨敤鍧囨柟璇宸錛圡SE錛変綔涓鴻宸搴﹂噺銆傚亣璁炬垜浠鐨勬ā鍨嬮勬祴鍊間負y_pred錛岀湡瀹炲間負y_true錛岄偅涔堟垜浠鍙浠ラ氳繃浠ヤ笅鍏寮忚＄畻璇宸錛
error = y_true - y_pred
3. 鏇存柊鏉冮噸
璁＄畻璇宸鍚庯紝鎴戜滑闇瑕佹牴鎹璇宸鏉ユ洿鏂版潈閲嶃侺MS綆楁硶浣跨敤姊搴︿笅闄嶇殑鏂規硶鏉ヨ皟鏁存潈閲嶏紝浠ヤ嬌璇宸鏈灝忓寲銆傛潈閲嶇殑鏇存柊閲忎笌璇宸鍜屽︿範鐜囷紙涓涓鐢ㄦ埛瀹氫箟鐨勫弬鏁幫紝鐢ㄤ簬鎺у埗鏉冮噸鏇存柊鐨勯熷害錛夌殑涔樼Н鎴愭ｆ瘮銆傚亣璁炬垜浠鐨勫︿範鐜囦負lr錛屾潈閲嶅悜閲忎負w錛岄偅涔堟潈閲嶇殑鏇存柊鍙浠ヨ〃紺轟負錛
w_new = w_old + lr error
4. 榪浠ｅ勭悊
浠ヤ笂榪囩▼灝嗗湪姣忎竴嬈¤凱浠ｄ腑閲嶅嶈繘琛岋紝鐩村埌妯″瀷鎬ц兘杈懼埌婊℃剰鐨勬按騫蟲垨涓嶅啀鏄捐憲鎻愰珮銆傚湪姣忔¤凱浠ｄ腑錛屾垜浠閮戒細鏍規嵁褰撳墠鏉冮噸涓嬬殑璇宸鏉ユ洿鏂版潈閲嶏紝鐒跺悗璁＄畻鏂扮殑璇宸錛屽啀嬈℃洿鏂版潈閲嶏紝浠ユょ被鎺ㄣ
鎬葷粨鏉ヨ達紝LMS瀛︿範綆楁硶鏄涓涓閫氳繃涓嶆柇璋冩暣鍜屼紭鍖栨潈閲嶄互鏈灝忓寲棰勬祴璇宸鐨勮繃紼嬨傚畠鎻愪緵浜嗕竴縐嶇郴緇熺殑鏂規硶鏉ュ勭悊鍚勭嶇嚎鎬у洖褰掗棶棰橈紝灝ゅ叾鍦ㄥ勭悊澶ц勬ā鏁版嵁鎴栧湪綰垮︿範鍦烘櫙涓琛ㄧ幇鍑鴻壇濂界殑鎬ц兘鍜岄傚簲鎬с

㈢ lms演算法是什麼

LMS（Least mean square）演算法，即最小均方誤差演算法。

lms演算法由美國斯坦福大學的B Widrow和M E Hoff於1960年在研究自適應理論時提出，由於其容易實現而很快得到了廣泛應用，成為自適應濾波的標准演算法。在濾波器優化設計中，採用某種最小代價函數或者某個性能指標來衡量濾波器的好壞，而最常用的指標就是均方誤差，也把這種衡量濾波器好壞的方法叫做均方誤差准則。

lms演算法的特點

根據小均方誤差准則以及均方誤差曲面，自然的我們會想到沿每一時刻均方誤差 的陡下降在權向量面上的投影方向更新，也就是通過目標函數的反梯度向量來反 復迭代更新。由於均方誤差性能曲面只有一個唯一的極小值，只要收斂步長選擇恰當， 不管初始權向量在哪，後都可以收斂到誤差曲面的小點，或者是在它的一個鄰域內。