lms算法程序

㈠ 什么是最小均方(LMS)算法

全称 Least mean square 算法。中文是最小均方算法。
感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似。它们都是基于纠错学习规则的学习算法。感知器算法存在如下问题：不能推广到一般的前向网络中；函数不是线性可分时，得不出任何结果。而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。
LMS算法步骤：
1,、设置变量和参量：
X(n)为输入向量，或称为训练样本
W(n)为权值向量
b(n)为偏差
d(n)为期望输出
y(n)为实际输出
η为学习速率
n为迭代次数
2、初始化，赋给w(0)各一个较小的随机非零值，令n=0
3、对于一组输入样本x(n)和对应的期望输出d，计算
e(n)=d(n)-X^T(n)W(n)
W(n+1)=W(n)+ηX(n)e(n)
4、判断是否满足条件，若满足算法结束，若否n增加1，转入第3步继续执行。

㈡ lms瀛︿範绠楁硶镄勬ラ

LMS锛堟渶灏忓潎鏂癸级瀛︿範绠楁硶鏄涓绉嶉傚簲镐ф护娉㈢畻娉曪纴涓昏佹ラゅ寘𨰾鍒濆嫔寲𨱒冮吨銆佽＄畻璇宸銆佹洿鏂版潈閲嶅拰杩浠ｅ勭悊銆
璇︾粏瑙ｉ喷锛
1. 鍒濆嫔寲𨱒冮吨
鍦ㄥ紑濮婰MS绠楁硶涔嫔墠锛岄渶瑕佸瑰緟姹傝В镄勬潈閲嶈繘琛屽埯濮嫔寲銆傝繖阃氩父璁剧疆涓鸿缉灏忕殑闅忔満鍊硷纴浠ョ‘淇濈畻娉曚粠鐩稿逛腑绔嬬殑璧风偣寮濮嬨备緥濡傦纴濡傛灉鎴戜滑链変竴涓鍖呭惈涓変釜𨱒冮吨镄勭嚎镐фā鍨嬶纴闾ｄ箞鎴戜滑鍙鑳戒细灏嗗埯濮嬫潈閲嶈剧疆涓篬0.1, 0.1, 0.1]銆
2. 璁＄畻璇宸
鎺ヤ笅𨱒ワ纴鎴戜滑闇瑕佽＄畻妯″瀷棰勬祴鍊间笌鐪熷疄鍊间箣闂寸殑璇宸銆傚湪LMS绠楁硶涓锛屾垜浠阃氩父浣跨敤鍧囨柟璇宸锛圡SE锛変綔涓鸿宸搴﹂噺銆傚亣璁炬垜浠镄勬ā鍨嬮勬祴鍊间负y_pred锛岀湡瀹炲间负y_true锛岄偅涔堟垜浠鍙浠ラ氲繃浠ヤ笅鍏寮忚＄畻璇宸锛
error = y_true - y_pred
3. 镟存柊𨱒冮吨
璁＄畻璇宸钖庯纴鎴戜滑闇瑕佹牴鎹璇宸𨱒ユ洿鏂版潈閲嶃侺MS绠楁硶浣跨敤姊搴︿笅闄岖殑鏂规硶𨱒ヨ皟鏁存潈閲嶏纴浠ヤ娇璇宸链灏忓寲銆傛潈閲岖殑镟存柊閲忎笌璇宸鍜屽︿範鐜囷纸涓涓鐢ㄦ埛瀹氢箟镄勫弬鏁帮纴鐢ㄤ簬鎺у埗𨱒冮吨镟存柊镄勯熷害锛夌殑涔樼Н鎴愭ｆ瘆銆傚亣璁炬垜浠镄勫︿範鐜囦负lr锛屾潈閲嶅悜閲忎负w锛岄偅涔堟潈閲岖殑镟存柊鍙浠ヨ〃绀轰负锛
w_new = w_old + lr error
4. 杩浠ｅ勭悊
浠ヤ笂杩囩▼灏嗗湪姣忎竴娆¤凯浠ｄ腑閲嶅嶈繘琛岋纴鐩村埌妯″瀷镐ц兘杈惧埌婊℃剰镄勬按骞虫垨涓嶅啀鏄捐宪鎻愰珮銆傚湪姣忔¤凯浠ｄ腑锛屾垜浠閮戒细镙规嵁褰揿墠𨱒冮吨涓嬬殑璇宸𨱒ユ洿鏂版潈閲嶏纴铹跺悗璁＄畻鏂扮殑璇宸锛屽啀娆℃洿鏂版潈閲嶏纴浠ユょ被鎺ㄣ
镐荤粨𨱒ヨ达纴LMS瀛︿範绠楁硶鏄涓涓阃氲繃涓嶆柇璋冩暣鍜屼紭鍖栨潈閲崭互链灏忓寲棰勬祴璇宸镄勮繃绋嬨傚畠鎻愪緵浜嗕竴绉岖郴缁熺殑鏂规硶𨱒ュ勭悊钖勭岖嚎镐у洖褰挜梾棰桡纴灏ゅ叾鍦ㄥ勭悊澶ц勬ā鏁版嵁鎴栧湪绾垮︿範鍦烘櫙涓琛ㄧ幇鍑鸿坛濂界殑镐ц兘鍜岄傚簲镐с

㈢ lms算法是什么

LMS（Least mean square）算法，即最小均方误差算法。

lms算法由美国斯坦福大学的B Widrow和M E Hoff于1960年在研究自适应理论时提出，由于其容易实现而很快得到了广泛应用，成为自适应滤波的标准算法。在滤波器优化设计中，采用某种最小代价函数或者某个性能指标来衡量滤波器的好坏，而最常用的指标就是均方误差，也把这种衡量滤波器好坏的方法叫做均方误差准则。

lms算法的特点

根据小均方误差准则以及均方误差曲面，自然的我们会想到沿每一时刻均方误差 的陡下降在权向量面上的投影方向更新，也就是通过目标函数的反梯度向量来反 复迭代更新。由于均方误差性能曲面只有一个唯一的极小值，只要收敛步长选择恰当， 不管初始权向量在哪，后都可以收敛到误差曲面的小点，或者是在它的一个邻域内。