第五章基本自适应算法

第五章基本自适应算法第一页，共九十五页，编辑于2023年，星期四5.1LMS算法第二页，共九十五页，编辑于2023年，星期四河南工业大学下图所示为自适应横向滤波器的结构及其功能：（1）具有可调节抽头权系数的横向滤波器，权系数，表示在n时刻的值。（2）在自适应状态能调节这些权系数的机理过程。这个过程首先自动调节滤波器系数的自适应训练步骤，然后利用滤波系数加权延迟线抽头上的信号来产生输出信号，将输出信号与期望信号进行对比，所得的误差值通过一定的自适应控制算法再用来调节权值以保证滤波器处在最佳状态，达到实现滤波的目的。5.1.1最陡下降法第三页，共九十五页，编辑于2023年，星期四河南工业大学W1(n)Wm(n)自适应控制算法W2(n)Wm-1(n)Z-1Z-1Z-1-+d(n)y(n)e(n)x(n)x(n-1)x(n-m+1)x(n-m+1)图５－１自适应横向滤波器结构框图第四页，共九十五页，编辑于2023年，星期四河南工业大学显然，输出信号y(n)是(5-1)

e(n)=d(n)-y(n)

(5-2)

自适应滤波器控制机理是用误差序列e(n)按照某种准则和算法对其系数进行调节的，最终使代价函数最小化，达最佳滤波状态.按照均方误差（MSE）准则所定义的目标函数为：F(e(n))=ξ(n)=E(e²(n))=E[d²(n)-2d(n)y(n)+y²(n)]

(5-3)第五页，共九十五页，编辑于2023年，星期四河南工业大学综合前面几个式子目标函数可以写成ξ(n)=E[d²(n)]-2E[d(n)wT(n)x(n)]+E[wT(n)x(n)xT(n)w(n)]

(5-4)

当滤波系数固定时，目标函数又可写成：ξ(n)=ξ=[d²(n)]-2wTP+wTRw

(5-5)

可见，自适应滤波器的目标函数是延迟线抽头系数（加权或滤波系数）的二次函数。当矩阵R和矢量P已知时，可以由权系数矢量w直接求其解。第六页，共九十五页，编辑于2023年，星期四河南工业大学

令代表n时刻的M*1维度矢量，M为滤波器系数的数目，w(n)为自适应滤波器在n时刻的滤波系数或权矢量。按照最陡下降法调节滤波系数，则在n+1时刻的滤波系数或权矢量w(n+1)可以用下列简单递归关系来计算

w

(n+1）=w(n）+1/2μ[-]

(5-6)

其中μ是一个正实数，通常称它为收敛因子或步长，n为迭代次数,▽为梯度矢量.根据梯度矢量定义，▽(n)可以写成

(5-7)

第七页，共九十五页，编辑于2023年，星期四河南工业大学当系数为最佳值,即是维纳解,梯度矢量应等于零即：E[e(n)x(n)]=0

(5-8)

则误差性能函数的梯度向量为：

=2RW(n)-2P(5-9)

权值迭代算法的基本表达式为：w(n+1)=w(n)+μ[P-RW(n)](5-10)在MMSE准则下最陡下降算法稳定收敛的充分必要条件为:

0<μ<2/λmax式中λmax为相关矩阵R的最大特征值.第八页，共九十五页，编辑于2023年，星期四河南工业大学5.1.2最小均方(LMS)算法1、LMS算法的基本原理

最小均方（LMS）自适应算法就是一种以期望响应和滤波输出信号之间误差的均方值最小为准的，依据输入信号在迭代过程中估计梯度矢量，并更新权系数以达到最优的自适应迭代算法。LMS算法是一种梯度最速下降方法，其显著的特点是它的简单性。这算法不需要计算相应的相关函数，也不需要进行矩阵运算。

1960年美国斯坦福大学的Widrow等提出了最小均方（LMS）算法，这是一种用瞬时值估计梯度矢量的方法.

(5-11)

第九页，共九十五页，编辑于2023年，星期四河南工业大学2、LMS算法的公式按照自适应滤波器滤波系数矢量的变化与梯度矢量估计的方向之间的关系，可以写出：

(5-12)把前面所推关系式代入式(5-11)得：

(5-13)第十页，共九十五页，编辑于2023年，星期四河南工业大学3、LMS算法原理框图图５－２LMS算法原理流图x(n)Id(n)+-e(n)W(n+1)W(n)∑第十一页，共九十五页，编辑于2023年，星期四河南工业大学4、LMS算法的计算步骤如下：我们利用时间n=0的滤波系数矢量为任意的起始值W(0)，然后开始。(1)由现在时刻n的滤波器滤波系数矢量估值，输入信号矢量x(n)以及期望信号d(n),计算误差信号：(5-14)(2)利用递归法计算滤波器系数矢量的更新估值：

(5-15)(3)将时间指数n增加1，回到步骤(1)，重复上述计算步骤，一直到达稳态为止.由此可见,LMS算法简单，它既不要计算输入信号的相关函数，又不要求矩阵之逆，因而得到了广泛的应用。但是，由于LMS算法采用梯度矢量瞬时估计，它有大的方差，以致不能获得最优滤波性能。第十二页，共九十五页，编辑于2023年，星期四河南工业大学5、LMS算法的性能分析一、自适应收敛性自适应滤波器系数矢量的起始值w(0)是任意常数，应用LMS算法调节滤波系数具有随机性而使系数矢量w(n)带来非平稳过程，通常为了简化LMS算法的统计分析，往往假设算法连续迭代之间存在以下的充分条件：（1）每个输入信号样本矢量x(n)与其过去全部样本矢量x(k),k=0,1,2,…,n-1是统计独立的，不相关的，即：

E[x(n)xH(K)]=0;k=0,1,2,…,n-1

(5-16)第十三页，共九十五页，编辑于2023年，星期四河南工业大学（2）每个输入信号样本矢量x(n)与全部过去的期望信号d(k)k=0,1,2,…,n-1也是统计独立且不相关的，即：

E[x(n)d(k)]=0;k=0,1,2,…,n-1

(5-17)（3）期望样本信号d(n)依赖于输入过程样本矢量x(n)，但全部过去的期望信号样本是统计独立的.（4）滤波器抽头输入信号矢量x(n)与期望信号d(n)包含着全部n的共同的高斯分布随机变量.第十四页，共九十五页，编辑于2023年，星期四河南工业大学由前面的计讨论可知，自适应滤波器在n+1时刻的滤波系数矢量依赖于三个输入：（1）输入过程的过去样本矢量x(k),k=n,n-1,…,0;（2）期望信号的以前样本值d(k),k=n,n-1,…,0;（3）滤波系数矢量的起始值.现在将系数误差矢量Δw(n）代入式(5-15)得(5-18)式中wo是最佳滤波系数矢量，Δw(n）是误差矢量即Δw(n）=w(n)-w0第十五页，共九十五页，编辑于2023年，星期四河南工业大学如将W0移至等式左边，则等于系数误差矢量的更新值，于是式(5-18)可写成

(5-19)

对式(5-19)两边取数学期望，得到(5-20)LMS算法与前述最陡下降算法有相同的精确数学表达式。第十六页，共九十五页，编辑于2023年，星期四河南工业大学因些，要使LMS算法收敛于均值，必须使步长参数满足下列条件：

0<μ<2/λmax

(5-21)

λmax是相关矩阵R的最大特征值。在此条件下，迭代计算次数n接近无穷大时，自适应滤波系数矢量w(n)近似等于最佳维纳解w0。第十七页，共九十五页，编辑于2023年，星期四河南工业大学二、平均MSE-学习曲线如前节所述，最陡下降算法每次迭代都要精确计算梯度矢量，使自适应横向滤波器权矢量或滤波系数矢量w(n)能达到最佳维纳解w0,这时滤波器均方误差（MSE）为最小.LMS算法用瞬时值估计梯度存在误差的噪声估计，结果使滤波器权矢量估值只能近似于最佳维纳解，这意味着滤波均方误差ξ(n)随着迭代次数n的增加而出现小波动地减小，最后ξ(∞)不是等于而是稍大于其值。如下图所示，步长参数μ选用的越小，则噪化指数衰减曲线上的波动幅度将越小，即学习曲线的平滑度越好.第十八页，共九十五页，编辑于2023年，星期四河南工业大学对于自适应横向滤波器总体来说，假设每个滤波器LMS算法用相同的步长和同等的起始系数矢量w(0),并从同一统计群体随机地选取各个平稳的各态历经（遍历性）的输入信号，由此计算自ξmin0MSEn图5-3单条学习曲线第十九页，共九十五页，编辑于2023年，星期四河南工业大学平均MSEξminnξ

ex(n)图5-4总体平均学习曲线适应滤波器总体平均学习曲线，如下图所示，这是一个平滑的总体平均学习曲线，通常它是由50到200个单独LMS算法的结果加以平均而得到的，显然，我们可以用E[ξ(n)]表示的平均LMS来描述LMS算法的动态性质.第二十页，共九十五页，编辑于2023年，星期四河南工业大学三、失调在自适应滤波器中，失调(Misadjustment)是衡量其滤波性能的一个技术指标，它被定义为总体平均超量均方误差值ξex(∞)与最小均方误差ξmin之比，即(5-22)证明可知：(1)失调为自适应LMS算法提供了一个很有用的测度，比如，10%失调意味着自适应算法所产生的总体平均MSE高于最小均方误差的增量值为10%；(2)失调是随滤波系数数目线性增加的；(3)失调可以做得任意小，只要选用大的时间常数，也就是小的步长值即可。第二十一页，共九十五页，编辑于2023年，星期四河南工业大学但是，滤波器自适应收敛过程需要长的时间，影响了滤波器自学习、自训练的速度，所以，自适应滤波器LMS算法的失调与自适应收敛过程之间存在着矛盾，如何缩短收敛过程，而且有很小的失调，这是值得研究的问题。第二十二页，共九十五页，编辑于2023年，星期四5.2RLS算法第二十三页，共九十五页，编辑于2023年，星期四河南工业大学5.2.1预备知识5.2.2矩阵求逆引理5.2.3指数加权递归最小二乘算法5.2.4正则化参数的选择5.2.5误差平方加权和的更新递归第二十四页，共九十五页，编辑于2023年，星期四河南工业大学在本节中，我们将推广最小二乘的应用，以便推出一种设计自适应横向滤波器的递归算法。即给定n-1次迭代滤波器抽头权向量最小二乘估计，依据新到达的数据计算n次迭代权向量的最新估计。我们把这一算法称为递归最小二乘（RLS，recursiveleast-squares）算法（滤波器）。第二十五页，共九十五页，编辑于2023年，星期四河南工业大学在RLS滤波器的推进过程中，我们首先回顾最小二乘法的一些基本关系式。然后，应用矩阵代数中矩阵求逆引理所揭示的关系，导出RLS滤波器。RLS滤波器的一个重要特点是，它的收敛速率比一般的LMS滤波器快一个数量级。这是因为RLS滤波器通过利用数据相关矩阵之逆，对输入数据（假定这些数据的均值为零）进行了白化处理。然而，性能的改善以RLS滤波器计算复杂性的增加为代价。第二十六页，共九十五页，编辑于2023年，星期四河南工业大学

在最小二乘的递归实现中，我们从给定的初始条件出发，通过应用新的数据样本值中所包含的信息对旧的估计值进行更新。因此我们发现，可测数据的长度是可变的。因而，把待最小化的代价函数表示为ξ(n)，其中n是可测数据的可变长度。另外，习惯上还在ξ(n)的定义中引入加权因子。于是，可以写出

(5-23)其中e(i)是期望d(i)与i时刻抽头输入为的横向滤波器输出y(i)之差，如下图5-５所示。

5.2.1预备知识u(i),u(i-1),…,u(i-M+1)第二十七页，共九十五页，编辑于2023年，星期四河南工业大学图5-5具有时变抽头权值的横向滤波器即输出信号∑∑∑y(i)输入信号u(i)u(i-1)u(i-M+1)u(i-M+2)………(5-2４)第二十八页，共九十五页，编辑于2023年，星期四河南工业大学其中u(i)是i时刻的抽头输入向量，定义为(5-25)式中w(n)是n时刻抽头权向量，定义为

(5-26)注意，在代价函数定义的观测区间１≤i≤n内，横向滤波器的抽头权值保持不变．式（5-23）中的加权因子满足如下关系

i=1,2,…n第二十九页，共九十五页，编辑于2023年，星期四河南工业大学一般说来，加权因子的使用是为了保证“遗忘”掉久远的过去数据，以便当滤波器工作在非平稳时，能跟踪观测数据的统计变化。通常所用的加权因子是指数加权因子，或所谓遗忘因子,定义为(5-27)式中λ是一个接近1，但又小于1的正常数。当λ=1时,对应一般的最小二乘法。粗略地说，1-λ的倒数可以用来衡量算法的记忆能力；而λ=1的特殊情况，则应对于无限记忆。i=1,2,…n第三十页，共九十五页，编辑于2023年，星期四河南工业大学正则化

最小二乘估计和最小二乘法一样，是一个病态的求逆问题。在该问题中，给定构成抽头输入向量u(n)的输入数据和相应的期望响应d(n)（其中n是变量），要求估计出多重回归模型中的未知向量，该向量与d(n)和u(n)有关．最小二乘估计的病态特性源于以下原因：输入数据中的信息不足以唯一地构建输入输出间的映射关系。

在输入数据中不可以避免地存在着噪声或不精确性，这为构建输入输出映射关系增加了不确定性。第三十一页，共九十五页，编辑于2023年，星期四河南工业大学为使估计问题变为非病态，需要某种与输入输出映射关系有关的先验信息。这意味着必须扩展代价函数公式，使其能考虑先验信息。为满足这一需要，我们把待最小化的代价函数扩展为两部分之和

(5-28)（这里假设使用了预加窗）代价函数的两个分量如下：

1）误差加权平方和

(5-29)第三十二页，共九十五页，编辑于2023年，星期四河南工业大学它与输入数据有关。这个分量反映出期望响应d(i)与滤波器实际响应y(i)之间的指数加权误差，且y(i)与抽头输入向量u(i)的关系可用公式表示为2)正则化项式中

是一个正实数，称为正则化参数．除了因子外，正则化项只取决于抽头权向w(n).将这一项包含在代价函数中，以便通过平滑作用来稳定递归最小二乘问题的解。(5-30)(5-31)第三十三页，共九十五页，编辑于2023年，星期四河南工业大学

从严格意义上说，项是正则化的近似形式。原因有两个:(1)首先指数加权因子λ介于0<λ≤1之间；从而，当λ<1时，随着n的增大趋于零。这意味着时间的推移，项对代价函数的影响会逐渐减小（即逐渐被遗忘）。(2)正则化项应是形式，其中是由RLS滤波器实现的输入输出映射关系，D是差分算子。式(5-28)的正则化项通常用在RLS滤波器设计中。第三十四页，共九十五页，编辑于2023年，星期四河南工业大学正则方程的变形

将式(5-28)

展开并进行整理，我们发现，在代价函数中增加正则化项，相当于将抽头输入向量u(i)的M×M时间平均相关矩阵表示为式中I是M×M单位阵。容易发现，增加正则化项还有这样的作用：它使得相关矩阵Φ(n)在从n=0开始的整个计算过程中非奇异。将上式修正为相关矩阵的过程叫做对角加载。(5-32)第三十五页，共九十五页，编辑于2023年，星期四河南工业大学横向滤波器抽头输入与期望响应之间的M×１时间平均互相关向量z(n)为

它将不受正则化的影响，此处依然假定使用预加窗法。根据前面讨论过的最小二乘法，可使用代价函数获得最小值的最优M×１抽头权向量由正则方程定义。递归最小二乘问题的正则方程可用矩阵形式写为：这里的Φ(n)和z(n)分别由式(5-32)和式(5-33)决定。(5-33)(5-34)第三十六页，共九十五页，编辑于2023年，星期四河南工业大学

将对应于i=n的项与式(5-32)右边的求和项分开，可写出根据定义，上式右边括号内的表达式等于相关矩阵Φ(n-1)。于是，可得用于更新抽头输入相关矩阵的递归公式其中Φ(n-1)是相关矩阵的过去值，矩阵乘积在更新过程中起着“修正”项的作用。注意，上式的递归过程与初始条件无关。Φ(n)和z(n)的递归算法

(5-35)(5-36)第三十七页，共九十五页，编辑于2023年，星期四河南工业大学类似地，可以导出抽头输入与期望响应之间互相关向量的更新公式为了按式(5-32)计算抽头权向量的最小二乘估计，必须确定相关矩阵Φ(n)的逆。然而在实际中，我们通常尽量避免这样做，因为这种运算非常耗时，特别是当抽头数M很大时。另外，我们希望能够递归计算n=1,2,…∞时抽头权向量的最小二乘估计。我们发现，利用矩阵代数中矩阵求逆引理，可以实现上述两个目标。(5-37)第三十八页，共九十五页，编辑于2023年，星期四河南工业大学5.2.2矩阵求逆引理设A和B是两个M×M正定阵，它们之间的关系为其中，D是N×M正定阵，C是M×N矩阵。根据矩阵求逆引理，可将A的逆矩阵表示为该引理在此不做证明，书中有介绍。在下一节，我们将说明怎样应用矩阵求逆引理，得到计算抽头权向量最小二乘解的递归公式。(5-38)(5-39)第三十九页，共九十五页，编辑于2023年，星期四河南工业大学5.2.3指数加权递归最小二乘算法假定相关矩阵Φ(n)是非奇异的，因而它可逆。我们对式(5-36)所表示的递归方程应用矩阵求逆引理，首先做如下设定第四十页，共九十五页，编辑于2023年，星期四河南工业大学然后，将这些定义代入矩阵求逆引理，可得计算相关矩阵逆阵的递归方程如下

为了方便计算，令和(5-40)(5-41)(5-42)第四十一页，共九十五页，编辑于2023年，星期四河南工业大学用上面的定义，可将式(5-40)改写为M×M矩阵P(n)叫做逆相关矩阵，M×1向量K(n)叫做增益向量，后面将会解释这样叫的原因。式(5-43)是RLS算法的Riccati方程。整理K(n)表达式，可得(5-43)(5-44)第四十二页，共九十五页，编辑于2023年，星期四河南工业大学换句话说，增益向量K(n)可以定义为经相关矩阵Φ(n)逆矩阵变换的抽头输入向量u(n).这一结论，连同可以用来定义增益向量我们可以将上式简化为

K(n)=P(n)u(n)

(5-45)(5-46)第四十三页，共九十五页，编辑于2023年，星期四河南工业大学抽头权向量的时间更新下面，我们要导出更新抽头权向量最小二乘估计的递归公式。为此，用式(5-32)、式(5-37)、式(5-41)来表示抽头权向量n次迭代时的最小二乘估计(5-47)将式(5-47)右边第一项中P(n)用式(5-43)代替，可得第四十四页，共九十五页，编辑于2023年，星期四河南工业大学最后，应用P(n)u(n)等于增益向量K(n)，可得更新抽头向量的递归方程为(5-48)(5-49)第四十五页，共九十五页，编辑于2023年，星期四河南工业大学其中是一个先验估计误差。內积表示基于n-1时刻抽头权向量最小二乘估计旧值的期望响应d(n)的估值。根据调整抽头权向量的表达式和表示先验估计误差的表达式可用图5-6(a)所示的框图表示递归最小二乘算法。

(5-50)第四十六页，共九十五页，编辑于2023年，星期四河南工业大学一般说来，先验估计误差ξ(n)不同于下式(5-51)的后验估计误差其计算设计抽头权向量在时刻n（当前时刻）的最小二乘估计。实际上，我们可以将ξ(n)视为更新抽头权向量之前e(n)的暂时值。但要注意的是，在导出式(5-49)递归算法的最小二乘优化问题中，我们实际上是基于e(n)而不是基于ξ(n)使代价函数ξ(n)最小。(5-51)第四十七页，共九十五页，编辑于2023年，星期四河南工业大学输出横向滤波器输入向量U(n)自适应权值控制机制∑误差ξ(n)期望响应d(n)图5-6(a)框图RLS算法+-∑∑K(n)增益图5-6(b)信号流图-+第四十八页，共九十五页，编辑于2023年，星期四河南工业大学RLS算法小结式(5-42),(5-43),(5-49),(5-50)组成了RLS算法，并在表(5-1)中总结。特别要注意的是，式(5-50)表述了该算法的滤波过程，据此激励横向滤波器以计算先验估计误差ξ(n)。式(5-49)描述了算法的自适应过程，据此可通过在其过去值的基础上增加一个量来递推抽头权向量，该量等于先验估计误差ξ(n)复共轭与时变增益向量K(n)的乘积(“增益向量”由此得名)。第四十九页，共九十五页，编辑于2023年，星期四河南工业大学式(5-42),(5-43),使得我们能够更新增益向量本身。上述RLS算法的一个重要特点是，每一次迭代中的相关矩阵Φ(n)的逆矩阵为简单的标量相除所代替。图(5-6a)给出RLS算法的框图，图(5-6b)则是RLS算法的信号流图。表1RLS算法小结算法初始化第五十页，共九十五页，编辑于2023年，星期四河南工业大学表1续第五十一页，共九十五页，编辑于2023年，星期四河南工业大学注意，在表1的总结中，增益向量K(n)的计算分两步进行：首先，计算用表示的中间量。第二，用计算K(n)从有限精度运算的角度看，分两步计算K(n)比直接用式(5-25)计算K(n)更可取。

为对RLS滤波器进行初始化，需要指定两个量：初始权向量。习惯上令。初始相关矩阵Φ(n)。令式(5-8)中的n=0，如果使用预加窗，可以得到

其中δ是正则化参数。参数δ的设定与信噪比有关，高信噪比时取小值；低信噪比时则取较大值。这样做的合理性可以在正则化的意义得到证明。第五十二页，共九十五页，编辑于2023年，星期四河南工业大学5.2.4正则化参数的选择

在Moustakides的详细研究(1997)中，评价了在平稳环境下RLS算法的收敛性能，它有两个特殊的可变参数：抽头输入数据的信噪比(SNR)，这个量由流行的运行条件决定。正则化参数δ，它由设计人员控制。第五十三页，共九十五页，编辑于2023年，星期四河南工业大学为了总结Moustakides研究成果的实验条件，用F(x)表示一个关于x的矩阵函数，用f(x)表示一个关于x的非负标量函数。其中，变量x属于集合Ψ。于是，我们可引入如下定义

F(x)=θ(f)(5-52)第五十四页，共九十五页，编辑于2023年，星期四河南工业大学如前所述，RLS滤波器初始化包括设定时间平均相关矩阵的初始值，即这里存在独立于变量x的常数，使得对所有x

Ψ

其中式(5-52)中引入的定义的意义将变得很明显。(5-53)(5-54)第五十五页，共九十五页，编辑于2023年，星期四河南工业大学其中,是数据样值u(n)的方差。因此,根据式(5-55)和式(5-57)正则化参量δ可定义为正则化参量δ与信噪比的关系已由Moustakides(1997)给出详细说明。特别是，Φ(0)，可表示为(5-55)其中(5-56)是一个确定的正定阵，定义为(5-57)(5-58)第五十六页，共九十五页，编辑于2023年，星期四河南工业大学参数α为区分相关矩阵Φ(n)初始值的大、中、小提供了数学基础。特别是对下列情况

(5-59)

我们可根据式(5-55)的定义来区别以下三种情况：第五十七页，共九十五页，编辑于2023年，星期四河南工业大学

有了这些定义和三种不同的初始条件，我们可以总结出式(5-35)支配下RLS算法初始化过程中有关正则化参数δ的选择方法(moustakides,1997)如下：

1）高信噪比：当抽头输入噪声电平低（即输入SNR较高，如30dB或更高数量级）时，RLS算法呈现指数级的快速收敛率，只要相关矩阵以足够小的范数初始化。典型地，通过设定α=1来满足这个要求。随着α减小到零[即随着Φ(0)的矩阵范数增加]，RLS算法的收敛性会变差。

第五十八页，共九十五页，编辑于2023年，星期四河南工业大学2）中等信噪比：在中等SNR环境下（即输入SNR为10dB数量级时），RLS算法的收敛速率比高信噪比情况下的最佳收敛速率要差。但是RLS算法的收敛特性对-1≤α<0范围内矩阵Φ(0)范数的变化不敏感。第五十九页，共九十五页，编辑于2023年，星期四河南工业大学3）低信噪比：最后一点，当抽头输入的噪声电平较高（即输入信噪比SNR为-10dB数量级或更低）时，用具有较大矩阵范数的相关矩阵Φ(0)对RLS算法初始化（即α≤-1）更可取，因为这种条件可以产生最好的全局性能。第六十页，共九十五页，编辑于2023年，星期四河南工业大学这些结论对平稳环境或慢时变环境成立。但是，如果环境状态突变，而且这一变化发生在RLS滤波器达到稳态时，则该滤波器就会将这一突变视为用较大的Φ(0)进行新一轮的初始化，这里的n=0对应于环境突变的那个瞬间。在这种情况下，最好停止RLS滤波器的工作，改用一个较小的Φ(0)进行初始化而重新开始新一轮的迭代。第六十一页，共九十五页，编辑于2023年，星期四河南工业大学5.2.5误差平方加权和的更新递归当抽头权向量等于其最小二乘估计时，误差平方加权和可达到最小值.为计算，可用关系式(5-60)其中定义(使用本章的表示)为(5-61)第六十二页，共九十五页，编辑于2023年，星期四河南工业大学(5-62)上式最后一项中的z(n)已被还原为原来的形式。根据定义，式(5-62)右边第一个括号中的表达式等于。另外，根据定义，第二个括号中的表达式等于先验误差

ξ(n)的复共轭。因此，将式(5-37)(5-49)和式(5-61)代入式(5-60)，得第六十三页，共九十五页，编辑于2023年，星期四河南工业大学上式中，第二行应用了相关矩阵Φ(n)的埃尔米特性质，在第三行用到了等于最小二乘估计.对最后一项，我们用增益向量K(n)的定义来表示内积.第六十四页，共九十五页，编辑于2023年，星期四河南工业大学其中e(n)是后验估计误差。式(5-63)是更新误差加权平方和的递归公式。由此可见，ξ(n)的复共轭与e(n)的乘积表示更新过程中的修正项。注意，该乘积是实数，这意味着，总有(5-64)(5-63)因此，式(5-62)可化简为第六十五页，共九十五页，编辑于2023年，星期四河南工业大学收敛因子式(5-63)涉及两种不同的估计误差：先验估计误差ξ(n)和后验估计误差e(n)，它们之间有着本质的联系。为了建立这种估计误差之间的联系，可从式(5-51)的定义出发，将式(5-49)代入(5-51)，得(5-65)第六十六页，共九十五页，编辑于2023年，星期四河南工业大学上式中的最后一行，应用了式(5-50)的定义。后验估计误差e(n)与先验估计误差ξ(n)的比值称为收敛因子，记为r(n)。因此，可以写出(5-66)其值由增益向量k(n)和抽头输入向量u(n)唯一确定。第六十七页，共九十五页，编辑于2023年，星期四河南工业大学示例：单个权值自适应噪声消除器下面，我们考虑如下图５-７所示的单一加权双输入自适应噪声消除器。两个输入微机部信号d(n)（由承载信息的信号分量和加性干扰组成）和参考信息u(n)（它与干扰相关而与承载信息的信号无关）。要求利用参考信号与基本信号的相关性，抑制自适应噪声消除器输出端的干扰。第六十八页，共九十五页，编辑于2023年，星期四河南工业大学图５-７单一加权自适应噪声消除器∑基本信号d(n)参考信号u(n)输出

ξ(n)+-第六十九页，共九十五页，编辑于2023年，星期四河南工业大学应用RLS算法可得该消除器的一组方程，经整理为(5-67)(5-68)(5-69)第七十页，共九十五页，编辑于2023年，星期四河南工业大学在最后一个方程中，零均值参考信号u(n)的方差估计是P(n)的倒数，它是RLS算法中矩阵P(n)的标量形式，即(5-71)(5-70)第七十一页，共九十五页，编辑于2023年，星期四河南工业大学将式(5-67)~(5-70)描述的算法与应用归一化LMS算法得到的一组方程进行比较，能够获得一些新的认识。在我们所介绍的范围内，人们特别感兴趣的归一化LMS算法由前面章节中给出。RLS算法与归一化LMS算法之间的主要差别在于，归一化LMS算法中的常数δ被RLS算法中增益因子k(n)分母中的时变项所代替。该因子控制着式(5-59)中RLS滤波器抽头权值的修正。第七十二页，共九十五页，编辑于2023年，星期四河南工业大学RLS算法的收敛性分析

本节将讨论平稳环境下RLS算法的收敛特性，此处假定λ为1(λ小于1的情况这里不予讨论)。为了给出下面的讨论做准备，我们做三点假设，这三点都它们各自的合理性。

第七十三页，共九十五页，编辑于2023年，星期四河南工业大学假设Ⅰ

期望响应d(n)与抽头输入向量u(n)之间的关系由如下多重线性回归模型描述其中是回归参数向量，是测量噪声，它是均值为零、方差为的白噪声，因而与回归量u(n)无关。(5-72)第七十四页，共九十五页，编辑于2023年，星期四河南工业大学图5-8给出了式(5-72)所述关系。∑………∑∑测量误差d(n)u(n-M+1)u(n)u(n-1)入输图5-8多重线性回归模型第七十五页，共九十五页，编辑于2023年，星期四河南工业大学假设Ⅱ输入信号向量u(n)由随机过程生成，其自相关函数是各态历经的。假设Ⅱ意味着，可用时间平均代替集平均，特别地，可将输入向量u(n)的集平均相关矩阵表示为对于n>M(5-73)其中Φ(n)是u(n)的时间平均相关矩阵，且要求n>M,以保证横向滤波器的每一个抽头上部有输入信号。式(5-73)的近似将随着时间n的增加得到改善。第七十六页，共九十五页，编辑于2023年，星期四河南工业大学假设Ⅲ加权误差向量ε(n)的波动比输入信号向量u(n)的波动慢。假设Ⅲ成立的合理性在于，加权误差向量ε(n)是RLS算法n次迭代中一系列变化量的累加。这一性质可表示为(5-74)此式由式(5-49)得出。尽管K(i)和都与u(i)有关，但式(5-74)中的和对ε(n)具有平滑作用。实际上，RLS滤波器起到了时变低通滤波器的作用。下面的讨论都是基于以上u(n)和d(n)的三点假设。第七十七页，共九十五页，编辑于2023年，星期四河南工业大学RLS算法的均值收敛性由正则方程(5-34)解,可得n>M其中，对λ=1有(5-75)和(5-76)(5-77)将式(5-62)代入式(5-77)，然后应用式(5-76)，可得第七十八页，共九十五页，编辑于2023年，星期四河南工业大学(5-78)式中的最后一行，我们应用了λ=1时的式(5-32)。由此，可以将式(5-75)重新写为(5-79)对式(5-79)的两边取数学期望，并引用假设Ⅰ和假设Ⅱ，可以写出第七十九页，共九十五页，编辑于2023年，星期四河南工业大学n>M(5-80)其中p是期望响应d(n)与输入向量u(n)之间的集平均互相关向量。式(5-80)表明，RLS算法在均值意义上是收敛的。如果n大于滤波器长度M的有限值，则由于用Φ(0)=δI对算法进行初始化，所以估计是有偏的。但当n趋于无限时，偏差将趋于0。第八十页，共九十五页，编辑于2023年，星期四河南工业大学RLS算法的均方偏差加权误差相关矩阵定义为(5-81)将式(5-79)代入式(5-81)，并且忽略初始化的影响(这一点对n>M成立)，可得第八十一页，共九十五页，编辑于2023年，星期四河南工业大学在假设Ⅰ条件下，输入向量u(n)以及由它所得的与测量噪声无关。因此，可以将K(n)表示为两个期望的积由于测量噪声是白色的（假设Ⅰ），我们有(5-82)第八十二页，共九十五页，编辑于2023年，星期四河南工业大学其中是的方差。因此，加权误差相关矩阵变为最后，引用嵌入在式(5-73)中的假设Ⅱ，可写出n>M(5-83)第八十三页，共九十五页，编辑于2023年，星期四河南工业大学均方偏差定义为(5-84)其中tr[.]表示矩阵求逆算子。根据式(5-83),RLS算法的均方偏差为n>M(5-85)第八十四页，共九十五页，编辑于2023年，星期四河