算法收敛性

❶ 有人知道影响自适应LMS算法收敛性、收敛速度、失调量的因素么

一种具有双瞬变因子的LMS自适应滤波算法�

曾召华 刘贵忠 马社祥

（西安交通大学信息与通信工程研究所 西安710049）

【摘要】 作者在文献〔4〕中提出了一种改进的瞬变步长SPLMS自适应滤波算法。本文在SPLMS算法的基础上，进一步提出一种基于瞬变步长、瞬变平滑因子的双瞬变SPLMS算法—DSPLMS算法。该算法除具有常规LMS算法简单的优点外，还具有更高的起始收敛速率、更小的权失调噪声和更大的抑噪能力。文中重点讨论瞬变步长、瞬变平滑因子的变化特性。计算机仿真结果支持了理论分析。
【关键词】 自适应滤波器，失调噪声，收敛速度，最小均方误差，瞬变因子
1 引言
自适应滤波器及其相应算法是多年来人们广泛研究的课题。基于Widrow－Hoff标准的LMS算法和其相应的自适应滤波器以其算法和结构简单，便于实时信号处理等优点，在不同领域得到了最为广泛的应用。而为克服常规的固定步长LMS或牛顿LMS（Newton LMS，即NLMS）自适应算法在收敛速率、跟踪速率与权失调噪声之间要求上存在的较大矛盾，人们发展了各种各样的改进型LMS算法，如基于瞬变步长LMS自适应滤波算法〔1～6〕、基于正交变换（DCT、FFT、小波变换、子带滤波）的新型LMS均衡算法〔7～8〕。基于模糊判断的自适应LMS系统识别和基于最小四次均方误差的LMS自适应平稳收敛算法〔9～10〕。在所有改进型LMS算法中，瞬变步长LMS自适应滤波算法是研究最为广泛的一类LMS自适应滤波算法。本文算法也是基于瞬变因子的一种改进LMS自适应滤波算法。
2 SPLMS算法分析及问题的提出
在文献〔4〕中，作者对上述方案进行了大量的计算机仿真和理论分析，结果表明：（1）上述诸种算法的收敛速率与系统输入信噪比SNR直接相关，信噪比SNR越高，它们的收敛速率普遍提高；随着信噪比SNR的降低，它们的收敛速率减慢，甚至出现发散现象，因此它们必须在弱干扰下完成规一化起动，即在起始过程中噪声要相当小，否则效果不佳。（2）在上述所有算法中，由于采用瞬时平方误差性能函数e2k来代替均方误差性能函数，所以其算法的权值收敛过程表现为加权矢量的平均值变化规律和由于噪声引起的随机起伏项的叠加。因此，噪声方差越大，则随机起伏项越大，表现为权值振动也就越大。（3）为了追求更快的收敛性，往往增大μ和M，但滤波器阶数越高，步长因子μ和输入功率越大，就便得失调系数也越大。在有限次数起动迭代过程中，也就很难收敛到较稳态值，所以必须寻求更佳的瞬态步长算法。
文献〔4〕在准最小均方（Pseudo－LMS，即PLMS）误差算法基础上通过采用滑动时间窗，减少PLMS算法起动过程的计算量；同时在权值迭代中加一平滑迭代而使PLMS算法具备全局较强的抗噪性能，较快速收敛性能而提出了SPLMS算法，即：

其中rk为M阶滤波器输入信号的功率估值；Wk为滤波器的第k步M维最优权矢量估值；Xk是滤波器输入信号的M维输入数据矢量；dk为希望输出；μk为滤波器第k步瞬态步长。切换条件中，阈值μ类似于LMS算法的步长因子μL，满足：

μL＜μ＜1／trR，R＝E〔XkXTk〕（7）

为待定的算法常数，是μk变化的动态平衡点。而α是一常数为平滑因子，它决定上一次的权值变化对本次权值更新的影响程度。k0是采用式（2）规一化启动后，算法收敛到较稳态时的步数。式（4）是μk下降的递推算法，式（5）是μk上升的平滑递推算法。λ为上升的速度因子，满足0＜λ＜1。在实际应用中，考虑到学习过程的启动速度，一般取较大的λ值，即：

0．9＜λ＜1，k0＝25～35，｜α｜＜0．3（8）

SPLMS算法的实质是：在开始k0步中，采用启动速度较快的MLMS（Mend LMS）算法收敛到相对较稳态的状态；然后在k≥k0＋1过程中，采用瞬态步长μk来训练算法。而μk根据不同的切换条件将围绕μ作升降变化，其迭代计算主要表现为不降即升的动态过程。α主要根据经验来取值，输入数据的非平稳性越大，噪声方差越大时，增大α可明显抑制振动，从而加速收敛过程；在噪声小时减小α。
但SPLMS算法也有一明显不足，即α主要根据经验来取值，没有理论上的确切依据。α取值不当，反而容易造成算法收敛性能更差，甚至发散的现象。从理论上分析，α与瞬态步长μk和输出误差ek（文中定义为：ek＝dk－WTk Xk）应有一定关系。在算法启动阶段，ek较大，为追求启动速度而常取较大步长μk，但μk越大，权失调系数也就越大，有时反而起不到应有的作用，这时就应相应增加α值来平滑权失调噪声；在算法渐趋稳定，步长μk渐趋于常数，ek渐趋于0，此时α也应渐趋于0。综合起来就是：α应随步长μk和误差ek瞬时变化而变化，也应是一瞬变因子。本文重点就是寻求瞬变因子αk的数学表达式以满足上述分析的要求。
3 改进的双瞬变因子SPLMS算法——DSPLMS算法
3．1 μk的变化特性
从式（4）和式（5）可以看出，在k≥k0＋1过程中，μk根据不同的切换条件将围绕μ作升降变化，μk的迭 代计算主要表现为不降即升的动态过程。对于式（5），设k≥kr时，μk＜μ，则在k≥kr＞k0＋1的上升过程中：

即上升速度按指数衰减，使趋于平衡点μ的上升速度迅速减小。其变化过程类似于一电阻电容串联电路上电容的充电过程。对式（4），由于μk＝μk－1／（1＋Rk），Rk＞0，即使很小的Rk经过一步迭代就足以使μk＜μ，再次切换到上升过程。当rk较大时，下降形成的负脉冲也较大。
综上所述，在k≥k0＋1的收敛过程中，μk的时变特性等价于幅值极不对称的随机正负尖脉冲序列组成的瞬态分量和直流分量μ的线性叠加。瞬态分量的负脉冲强度与rk瞬值对应，有利于抑制局部自激或短暂发散，减小权矢量噪声，提高稳定度。在rk较小、算法渐趋于稳定时，瞬变分量趋于0，μk～μ。
3．2 αk的变化特性
定义：ΔWk＝Wk＋1－Wk为自适应滤波器的权系数增量；ξ为均方误差性能函数，ξ＝E〔ek〕2，ek＝dk－WTk Xk为输出误差，则SPLMS算法的权系数更新公式由式（1）可重写为：

Wk＋1＝Wk－μk�＾Wξk＋αΔWk－1（10）

其中�Wξ为ξ的梯度函数，＾W为�Wξ的第k步估计。由式（10）的系数更新公式，我们可写出均方误差性能函数的表达式：

式中上标T表示矢量的转置。若用一矢量�＾Wζk＋1去左乘式（10），则可得到：
＾Wξk＋1Wk＋1＝�＾Wζk＋1Wk－μk�＾Wζk＋1�＾Wζk＋�＾Wζk＋1αΔWk－1（13）

利用式（12）的结论，可将式（13）化简为：

�＾TWζk＋1ΔWk＝0（14）

由于参量μk和α均为实的标量因子，故式（14）又可写成：

（μk�＾TWζk＋1）（αΔWk）＝0（15）

式（15）清楚地表明：在SPLMS算法中，自适应滤波器的权系数在迭代过程中，其均方误差性能函数的梯度估值与权系数增量始终存在一个正交关系。ΔWk－1对ΔWk的调节作用是在当前梯度估值方向上，给出与梯度估值方向正交矢量，并以这两个矢量所构成的合矢量来改变权系数空间的权重。
对于FIR结构的LMS自适应系统而言，其均方误差性能函数在平稳输入时为一个二次型函数，在收敛点附近仍可视为一个二次型函数，故有：

ξ（Wk＋1）＝WTk RWk－2WTk P＋C（16）

式中R＝E〔XTk Xk〕为输入信号的自相关矩阵，P＝E〔dkXk〕为所需信号与输入信号的互相关矢量，C＝E〔d2k〕，则由式（16）可得：

将式（17）代入式（18），则式（18）可变形为：

式（19）就是本文给出的瞬变平滑因子αk的数学表达式。显然，它满足前面分析时所提出的要求，且在算法达到稳态收敛时，满足：

limk→∞αk＝0（20）

3．3 改进的双瞬变SPLMS算法——DSPLMS算法
用式（19）中αk的表达式替换式（1）中的α，就得到本文提出的具有双瞬变因子的LMS算法——DSPLMS算法，即
Wk＋1＝Wk＋2μk（dk－WTk Xk）Xk＋αk（Wk－Wk－1）（21）

μk＝λ／（1＋2λrk），0≤k≤k0（22）

由式（19）、（20）可知，αk是一个与μk成正比且具有衰减性的瞬变因子，从而使本文提出的DSPLMS算法比SPLMS算法更能快速稳定收敛；与常规LMS算法相比，其性能有极大的提高，为实时信号处理提供了一个较好的算法。
4 计算机仿真
仿真实验的结构如图1所示，其中dk为随机输入信号，nk为高斯白噪声，ek为输出误差，xk为自适应滤波器的输入，yk为滤波器输出，此时xk＝dk＋nk。

在图2中，dk是均值为0、方差为1的高斯白噪声；nk是与dk不相关的均值为0、方差为1的高斯白噪声；滤波器参数：M＝32，λ＝0．9，μL＝0．005，μ＝0．01，α＝0．1。在图3中，nk为均值为0、方差为0．1的高斯白噪声，其它参数同图2。图2、3为分别采用LMS、SPLMS和DSPLMS算法进行滤波的学习曲线比较图。

从图2（强干扰启动）和图3（较弱干扰启动）中可以看出：在强干扰下，DSPL MS 具有比SPLMS好、比LMS好得多的启动速度和收敛速度；而在弱干扰下，DSPLMS仍具有比SPLMS快、比LMS快得多的启动速度。从图中同时还可看出：DSPLMS与SPLM S具有几乎相同的收敛速度，它们的收敛速度比LMS快得多。
5 结语
加进瞬变平滑项的规一化起动，使DSPLMS具有更高的起始收敛速度、更小的权失调噪声和更大的抑噪能力；在平稳连接之后的稳态过程中，该算法趋于步长为μ的LMS算法性能，但由于瞬变分量负脉冲的作用，在相近的权失调量下可按式（7）取较大的μ值，增强算法对时变参数过程的跟踪处理能力；输入数据的非平稳性越大，噪声方差越大时，加进的瞬变平滑项使权失调噪声减小，从而使本文提出的DSPLMS算法比SPLMS算法更能快速稳定地收敛；与常规LMS算法相比，其性能有极大的提高，可以明显抑制振动，从而加速收敛过程。

网址：http://www.bjx.com.cn/files/WX/XDLD/2000-1/14.htm

❷ 遗传算法的收敛性问题

是算子有问题，交叉的方法都是比较简单的，但对于某些情况可能并不好用，也就是说算法本身无法体现出优胜劣汰的规则，可能因此导致无法收敛。

收敛数列令为一个数列，且A为一个固定的实数，如果对于任意给出的b>0,存在一个正整数N，使得对于任意n>N,有|an-A|<b,则数列存在极限A，数列被称为收敛。非收敛的数列被称作“发散”（divergence)数列。

可见收敛不是指数值越来越小，而是指与极限值的距离（即差的绝对值）越来越小，只要你的目标函数是压缩映射，那么使用遗传算法就一定可以计算出全局收敛的近似值。

(2)算法收敛性扩展阅读：

由于遗传算法不能直接处理问题空间的参数,因此必须通过编码将要求解的问题表示成遗传空间的染色体或者个体。这一转换操作就叫做编码，也可以称作（问题的）表示（representation）。

遗传算法在搜索进化过程中一般不需要其他外部信息，仅用评估函数来评估个体或解的优劣，并作为以后遗传操作的依据。由于遗传算法中，适应度函数要比较排序并在此基础上计算选择概率，所以适应度函数的值要取正值。由此可见，在不少场合，将目标函数映射成求最大值形式且函数值非负的适应度函数是必要的。

❸ 牛顿迭代法的全局收敛性和局部收敛性有何区别各自有什么作用要详细点的,

总的来说局部收敛性指的是初值取在根的局部时算法(一般)具有二阶收敛速度,全局收敛性是指初值在定义域内任取时算法是否收敛,若收敛其速度如何,收敛到哪个根.
具体来说
局部收敛性有如下定理
设已知 f(x) = 0 有根 a,f(x) 充分光滑(各阶导数存在且连续).
若 f'(a) != 0(单重零点),则初值取在 a 的某个邻域内时,迭代法 x[n+1] = x[n] - f(x[n])/f'(x[n]) 得到的序列 x[n] 总收敛到 a,且收敛速度至少是二阶的.
若 f'(a) == 0(多重零点),则初值取在 a 的某个邻域内时,收敛速度是一阶的.
记 g(x)=x-f(x)/f'(x),其中"某个邻域"可由 |g'(x)|

❹ 牛顿迭代法的收敛条件是什么

一、收敛条件：
1、全局收敛性是指初值在定义域内任取时算法是否收敛,若收敛其速度如何,收敛到哪个根.具体来说。
2、局部收敛性有如下定理
设已知 f(x) = 0 有根 a,f(x) 充分光滑(各阶导数存在且连续).
若 f'(a) != 0(单重零点),则初值取在 a 的某个邻域内时,迭代法 x[n+1] = x[n] - f(x[n])/f'(x[n]) 得到的序列 x[n] 总收敛到 a,且收敛速度至少是二阶的.
若 f'(a) == 0(多重零点),则初值取在 a 的某个邻域内时,收敛速度是一阶的.
记 g(x)=x-f(x)/f'(x),其中"某个邻域"可由 |g'(x)|
二、牛顿迭代法的简单介绍：
牛顿迭代法（Newton's method）又称为牛顿-拉夫逊（拉弗森）方法（Newton-Raphson method），它是牛顿在17世纪提出的一种在实数域和复数域上近似求解方程的方法。多数方程不存在求根公式，因此求精确根非常困难，甚至不可能，从而寻找方程的近似根就显得特别重要。方法使用函数f(x）的泰勒级数的前面几项来寻找方程f(x) = 0的根。牛顿迭代法是求方程根的重要方法之一，其最大优点是在方程f(x) = 0的单根附近具有平方收敛，而且该法还可以用来求方程的重根、复根，此时线性收敛，但是可通过一些方法变成超线性收敛。另外该方法广泛用于计算机编程中。

❺ 什么是二阶收敛和二次收敛

二阶收敛就是说某函数的二阶导数收敛 。

二次收敛性是若一算法对Q正定的二次目标函数（f(x)=0.5xQx+bx+c)能在有限步内找出极小点来。

在原函数的某一点处用一个二次函数近似原函数，然后用这个二次函数的极小值点作为原函数的下一个迭代点。

上面这句话也说明，若原函数本身是一个二次函数，则牛顿法一步就能到达极小点或鞍点。若原函数本身是一个二次正定函数，则牛顿法一步到达最小值点。

(5)算法收敛性扩展阅读：

牛顿法的二阶收敛性：

若初始点 x0 充分靠近极值点 x*，并且极值点 x* 的黑塞矩阵非奇异，并且黑塞矩阵在极值点附近 Lipschitz 连续，则牛顿法具有二阶收敛性。

注：Lipschitz 连续是一种比普通连续性更强的连续，它限制了函数的改变速度。对于函数可行域的任意两点，存在一个常数 K。

牛顿迭代法二阶收敛。

❻ 算法收敛性的概念

算法收敛性的概念？算法的收敛是指经过多步迭代之后
得出的数值不应该无限的增大，
而是趋于某个数值，
不收敛的算法是不能用的，
你也根本得不出结果的，算法的稳定性：稳定性是指算法对于计算过程中的误差（舍入误差、截断误差等）不敏感,即稳定的算法能得到原问题的相邻问题的精确解.算法的收敛性：收敛这一概念和稳定性不是一个层次的,它只在部分算法中出现,比如迭代求解.迭代中的收敛指经过有限步骤的迭代可以得到一个稳定的解（继续迭代变化不大,小于机器精度,浮点数系统认为不变）.但是这个解是不是原问题的解,要看问题的病态性了：如果问题是病态的,则很有可能不是准确的解.
更不用考虑其可靠性了，仅表个人理解。

❼ LMS算法 收敛性的问题，收敛曲线不对，不知道自己写的基于功率倒置的LMS算法代码对不对，请大家帮忙看看

LMS算法是首先通过期望信号与实际信号的误差，再通过最陡下降法，进行与误差成一定步长的迭代运算，从而使结果更趋近于最佳值。LMS算法的原理即使将E(e^2)视为e^2，简化了运算。