自适应信号处理(第六章一些改进的自适应算法)

第六章改进的自适应LMS算法

6.1LMS牛顿算法6.2归一化LMS算法6.3变换域LMS算法6.4频域LMS算法6.5简介其它LMS算法自适应滤波器6.1LMS牛顿算法

当滤波器的输入信号为有色随机过程时，特别是输入信号为高度相关的情况，大多数自适应滤波算法的收敛速度都要下降，对于典型的LMS算法，此问题更加突出。LMS牛顿算法可以很好地解决这个问题。它不仅可以提高收敛速度也不会太增加计算复杂度.

LMS牛顿算法公式推导：自适应横向滤波器的滤波系数矢量的二次方函数所构成的均方误差曲面，可由其均方误差ξ(n+1)描述滤波特性，（6-1-1）

将(6-1-1)式和相应的ξ(n)关系式相减，可以得到

(6-1-2)

式中，▽(n)=-2P+2Rw(n)是均方误差MSE曲面上相当于滤波系数w(n)点的梯度矢量。而ξ(n)表示自适应滤波系数w(n)点的均方误差值。

由于滤波器的均方误差可以写成：两边分别对w(n+1)的瞬时(n+1)值求偏导数，并令其等于零，经整理后，得到

(6-1-3)

这就是牛顿方法迭代计算公式。在理想情况下，R和▽(n)精确已知，此算法可达最佳滤波结果，且在一次简单迭代运算后就得最佳解，即：

(6-1-4)

实际应用中，仅有效地估计自相关矩阵R和梯度矢量，这也适应LMS算法的基本思想和原则，所以把和的估计值用到类似牛顿方法迭代计算公式中，如下式

(6-1-5)

这里,0<μ<1,应用收敛因子μ是为了保证R与▽(n)的噪化估计也能使算法收敛.

当输入信号为平稳随机过程时，R的无偏估计值等于

(6-1-6)

因为估值的数学期望为因此是无偏的。当然，还有其他相关矩阵估计方法，这里不再赘述了.

为了避免求的逆，我们可以利用下列矩阵反演引理公式：

(6-1-7)其中，A和C为非奇异矩阵.如果我们选用,可以导出的计算公式：(6-1-8)

从每次迭代运算所需乘法来看，上式计算的运算量为O(),低于直计算的逆的运算量O().

如果在式(6-1-5)中用LMS算法来估计梯度矢量，则LMS牛顿算法的滤波权系数更新公式将如下式：

(6-1-9)

(6-1-10)

初始条件选取为：

δ为小的正数

(6-1-11)式(6-1-8)~(6-1-11)组成了LMS牛顿算法。

小结：LMS梯度方向趋向于理想梯度方向，类似地，由相乘所生成的矢量的方向接近于牛顿的方向，所以LMS牛顿算法朝均方误差曲面最小点方向的路径收敛。而且算法的收敛特性表明与相关矩阵R的特征值扩张无关.一种快速LMS牛顿算法

直接计算式(6-1-9)中的来实现LMS牛顿算法。算法的基本思想是用自回归（AR）模型来做输入信号矢量的建模，即用阶为0到M-1的预测器的反向预测误差把矢量X(n)换成新矢量，即有

b(n)=Lx(n)(6-1-12)(6-1-13)

式中，L为下三角矩阵，它由预测器系数表示其元素，这里为第i阶预测器的第j个系数，三角矩阵L的形式是

我们可以认为，都是互不相关的，这意味着它们的相关矩阵是一个对角线矩阵，所以求它的逆矩阵比较容易，即

(6-1-14)可得到这是一种快速LMS牛顿算法.6.2归一化LMS

基本思路：不希望用与估计输入信号矢量有关的相关的矩阵来加快LMS算法的收敛速度，可用变步长方法来缩短其自适应收敛过程，变步长μ(n)的更新公式写成

(6-2-1)

式中，表示滤波权矢量迭代更新的调整量。为了达到快速收敛的目的，必须合适地选择变步长μ(n)的值，一个可能的策略是尽可能多地减小瞬时平方误差，即用瞬时平方误差作为均方误差MSE的简单估计，这也是LMS算法的基本思想。瞬时平方误差可以写成

(6-2-2)

如果滤波权矢量的变化量,则对应的平方误差可以由上式得到

(6-2-3)

在此情况下，瞬时平方误差的变化量定义为

(6-2-4)

把的关系式代入式(6-2-4)中，得到

(6-2-5)

这个步长值μ(n)导致

出现负的值，这对应于的最小点，相当于平方误差等于零。(6-2-6)

为了增加收敛速度，合适地选取μ(n)使平方误差最小化，故将式(6-2-5)

对变系数μ(n)求偏导数，并令其等于零，求得：

为了控制失调量，考虑到基于瞬时平方误差的导数不等于均方误差MSE求导数值，所以以LMS算法的更新迭代公式作如下修正：

(6-2-7)

式中，μ为控制失调的固定收敛因子，γ参数是为避免过小导致步长值太大而设置的。通常称式(6-2-7)为归一化LMS算法的迭代公式.

为了保证自适应滤波器的工作稳定，固定收敛因子μ的选取应满足一定的数值范围。现在我们来讨论这个问题。首先考虑到下列关系：

(6-2-8)

然后对收敛因子的平均值应用更新LMS的方向e(n)x(n)是μ/2tr[R]，最后，将归一化LMS算法的更新公式与经典LMS算法更新公式相比较，可以得到收敛因子μ的上界不等式条件，如下：

0<μ(n)=μ/2tr[R]<1//2tr[R](6-2-9)

或0<μ<2

显然，由式(6-2-7)与(6-2-9)可构成归一化LMS算法，其中0≤

γ≤1，选择不同的γ值可以得到不同的算法.当γ=0时，由式(6-2-7)可以写成

(6-2-10)

这种算法是NLMS算法的泛化形式，其中随机梯度估计是除以输入信号矢量元素平方之和。所以步长变化范围比较大，可有较好的收敛性能。

在此情况下，算法的归一化均方误差NMSE可由式(6-2-10)得到

(6-2-11)

最佳滤波权矢量可由对w(n)求偏导数，并令其等于零，即由式

得到最佳滤波权系数：

(6-2-12)

式中，

(6-2-13)

上式可知，自相关矩阵和互相关量都含有归一化因子，在稳定状态x(n)和d(n)时，假定自相关矩阵R’存在可逆性。同时，由式(6-2-11)可看出，当且仅当时，归一化LMS算法的均方误差可等于零。这需要对d(n)用输入信号矢量线性组合进行精确地建模。此时，最佳滤波权矢量变成合宜的线性权系数矢量。当γ=1时，NLMS算法更新公式可以写成

(6-2-14)

由此可得到NLMS算法的特殊形式：

(6-2-15)

或

(6-2-16)

此式表明等效步长是输入信号的非线性变量，它使变步长由大逐步变小，加速了收敛过程，计算量较之LMS算法稍有增加.两个改进型LMS算法，均属变步长的LMS算法:6.2.1时域正交LMS（TDO-LMS）算法此算法是基于对平方误差时间上的平均，即对下式取最小值，

(6-2-17)

按上式对权系数矢取偏导数，并令其为零，得到时域正交准则下序列x(n)对d(n)进行线性估计的最佳权系数矢量w0,即：

(6-2-18)

这意味着用时域正交LMS算法的权矢量更新运算公式，可对线性估计的权矢量作自适应调整，使其趋于最佳。Huffman的TDO-LMS更新公式：m=0,1,2,…n…

(6-2-19)当m取足够大时，上式可近似写成

(6-2-20)与上面讨论的归一化LMS算法权矢量更新公式类似。6.2.2修正LMS（MLMS）算法

MLMS算法是在LMS算法中权矢量的较正量和梯度估计之间人为地引入一个时延，利用现时刻的梯度估计代替前一刻的梯度估计，即:

(6-2-21)

因为是w(n+1)的函数，而且可解。式(6-2-21)用瞬时梯度信息可表示为：

w(n+1)=w(n)+µe(n+1)x(n+1)

(6-2-22)代入式(6-2-22)得：将自适应步长是可变收敛因子，它随着信号输入功率变化可加快收敛速度,从而使用MLMS算法的性能有了很大的改进，特别是步长因子的值较大时。整理后得：

小结

归一化LMS算法，时域正交LMS算法及修正LMS算法都是以输入信号功率控制变步长的LMS算法，利用梯度信息调整滤波器权系数使其达到最佳值这一点完全相同。但它们的自适应过程较快，性能有了很大改进。6.3变换域LMS算法1、适用条件：当输入信号具有高度的相关性时，采用变换域算法可以增加LMS算法的收敛速度。2、基本思路：先对输入信号进行一次正交变换以去其相关性或衰减其相关性，然后将变换后的信号加到自适应滤波器实现滤波处理，从而改善了相关矩阵的条件数。酉变换Z-1自适应算法Z-1Z-1y(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉变换酉变换酉变换Z-1自适应算法Z-1Z-1y(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉变换酉变换3、变换域LMS（TRLMS）算法框图4、TRLMS算法公式推导：

X(n)=Tx(n)

(6-3-1)

其中TTH=I,T*TH=I,T为变换阵，I为单位阵；“*”表示共轭。已知LMS自适应滤波器的均方误差MSE是:

(6-3-2)

式中：△w(n)=w(n)-w0,在变换域情况下，TRLMS算法的均方误差MSE变为：

(6-3-3)式中，代表变换域自适应滤波器的权系数矢量。变换域自适应滤波器的自相关矩阵RTR可由式(6-2-3)写成：

(6-3-4)

如果滤波器中信号分量之间没有相关性,则矩阵是一对角线矩阵,此时变换矩阵的列将含有R的正交特征矢量.

用归一化LMS算法来更新变换域算法的系数。变换后信号分量Xi(n)用其功率实现归一化，权系数的更新公式可写成：其中为控制估计精度和跟踪能力的平滑系数，

式(6-3-5)的矩阵形式表示为：

(6-3-7)式中是一个对角线矩阵，其元素是变换后信号分量功率估值加上常数γ的逆。当μ取的合适时，TR-LMS的权系数收敛到下列最佳：

其是W0为自适应滤波器权系数的最佳维纳解。6.4频域LMS自适应滤波器前面我们学习的都是时域LMS自适应滤波器，本节讨论频域自适应滤波器算法。1、基本思路：本算法在自适应滤波前把输入信号变换到频域，然后在频域上实现自适应滤波处理，仍用梯度下降法调整权系数。2、算法优点：（1）和时域相比，处理数据量减少。因为频域变换都有快速算法，利用变换相乘代替了卷积运算，加快了收敛过程。（2）与前述经典梯度下降法相比，自适应过程的收敛性有所改善。（3）频域法容易进行信号分块处理。变换变换计算误差时变滤波器W(k)逆变换自适应算法X(k)Y(k)E(k)D(k)输入信号x(n)输出y(n)期望响应d(n)计算误差D(k)计算误差3、频域自适应滤波器原理框图

输入信号x(n)和期望响应d(n)分别形N点数据块，然后做N点快速傅里叶变换(FFT)，每个FFT变换输出组成N个复数点X(k)和D(k)，具有权系数矢量W(k)输出为Y(k)，它等于

Y(k)=X(k)W(k)

（6-4-1）4、算法公式推导上式表明时域内卷积等于其变换的乘积。其中第k个数据块的频域权系数矢量W(k)和输入信号FFT系数的对角线矩阵X(k)分别定义如下：从图上可看出，计算误差E(k)等于是E(k)=D(k)-Y(k)(