自适应信号处理(第六章一些改进的自适应算法)

1、第六章 改进的自适应LMS算法 6.1 LMS牛顿算法牛顿算法 6.2 归一化归一化LMS算法算法 6.3 变换域变换域LMS算法算法 6.4 频域频域LMS算法算法 6.5 简介其它简介其它LMS算法自适应滤波器算法自适应滤波器6.1 LMS6.1 LMS牛顿算法牛顿算法 当滤波器的输入信号为有色随机过程时，特别是输入信号为高度相关的情况，大多数自适应滤波算法的收敛速度都要下降，对于典型的LMS算法，此问题更加突出。LMS牛顿算法可以很好地解决这个问题。它不仅可以提高收敛速度也不会太增加计算复杂度. LMS牛顿算法公式推导：牛顿算法公式推导： 自适应横向滤波器的滤波系数矢量的二次方函数所构成

2、的均方误差曲面，可由其均方误差(n+1)描述滤波特性，) 1() 1() 1(2) 1(2nRwnwPnwnHHd（6-1-1） 将(6-1-1)式和相应的(n)关系式相减，可以得到 (6-1-2) 式中，(n)=-2P+2Rw(n) 是均方误差MSE曲面上相当于滤波系数w(n)点的梯度矢量。而(n)表示自适应滤波系数w(n)点的均方误差值 。)() 1()() 1()() 1()()() 1(nwnwRnwnwnwnwnnnHH 由于滤波器的均方误差可以写成： 两边分别对w(n+1)的瞬时(n+1)值求偏导数，并令其等于零，经整理后，得到 (6-1-3) 这就是牛顿方法迭代计算公式。在理想情

3、况下，R和(n)(n)精确已知，此算法可达最佳滤波结果，且在一次简单迭代运算后就得最佳解，即： ( (6-1-4)()()(minnwRnwnH)(2/1)() 1(1nRnwnw01)1(wPRnw 实际应用中，仅有效地估计自相关矩阵R和梯度矢量，这也适应LMS算法的基本思想和原则，所以把 和 的估计值用到类似牛顿方法迭代计算公式中，如下式 (6-1-5) 这里,01,应用收敛因子是为了保证R与(n)(n)的噪化估计也能使算法收敛. R)(n)()()()1(1nnRnwnw当输入信号为平稳随机过程时，R的无偏估计值等于 (6-1-6) 因为估值的数学期望为 因此是无偏的。当然，还有其他相关

4、矩阵估计方法，这里不再赘述了.niTRixixEnnRE0)()() 1/1 ()()()(11)1(1)()(11)(0nxnxnnRnnixixnnRTniT 为了避免求 的逆，我们可以利用下列矩阵反演引理公式： (6-1-7)其中，A和C为非奇异矩阵.如果我们选用 ,可以导出 的计算公式：(6-1-8)(nR1111111DACBDABAABCDACnxDBnRAT),(),1()1 ()(1nR)() 1()()/1 () 1()()() 1() 1()1 / 1 ()(11111nxnRnxnRnxnxnRnRnRTT 从每次迭代运算所需乘法来看，上式计算 的运算量为O( ),低于直

5、计算 的逆的运算量O( ).)(1nR)(nR 如果在式(6-1-5)中用LMS算法来估计梯度矢量，则LMS牛顿算法的滤波权系数更新公式将如下式： (6-1-9) (6-1-10)()()()() 1(1nxnRnenwnw)()()()(nwnxndneH32 初始条件选取为初始条件选取为： 为小的正数 (6-1-11)式(6-1-8)(6-1-11)组成了LMS牛顿算法。 小结小结：LMS梯度方向趋向于理想梯度方向，类似地，由 相乘所生成的矢量的方向接近于牛顿的方向，所以LMS牛顿算法朝均方误差曲面最小点方向的路径收敛。而且算法的收敛特性表明与相关矩阵R的特征值扩张无关.TxwIR0.0)

6、1()0()1(1)(1nR一种快速一种快速LMS牛顿算法牛顿算法 直接计算式(6-1-9)中的 来实现LMS牛顿算法。算法的基本思想是用自回归（AR）模型来做输入信号矢量的建模，即用阶为0到M-1的预测器的反向预测误差把矢量X(n)换成新矢量 ，即有 b(n)=Lx(n) (6-1-12)()(1nxnRTMnxnxnxnX)1() 1()()(TMnbnbnbn)()()()(110b1.00.100.0100.0011 , 13, 12, 11, 11 , 22, 21 , 1MMMMMMMaaaaaaaL(6-1-13) 式中，L为下三角矩阵，它由预测器系数 表示其元素，这里 为第i阶

7、预测器的第j个系数，三角矩阵L的形式是jia,jia, 我们可以认为， 都是互不相关的，这意味着它们的相关矩阵 是一个对角线矩阵，所以求它的逆矩阵比较容易，即 (6-1-14)可得到 这是一种快速LMS牛顿算法.TTTTTbbLnLRLnXnLXEnLXnLXEnbnbER)()()()()()()()()()(11nbRLnXnRbbT)(),.(),(110nbnbnbM bbR6.2 6.2 归一化归一化LMSLMS 基本思路：不希望用与估计输入信号矢量有关的相关的矩阵来加快LMS算法的收敛速度，可用变步长方法来缩短其自适应收敛过程，变步长(n)的更新公式写成 )()()()()()()

8、 1(nwnwnxnennwnw(6-2-1)()()()(nxnennw)()()(2)()()()()()()()()(222nxnwndnwnxnxnwndnwnxndneTTTT 式中， 表示滤波权矢量迭代更新的调整量。为了达到快速收敛的目的，必须合适地选择变步长(n)的值，一个可能的策略是尽可能多地减小瞬时平方误差，即用瞬时平方误差作为均方误差MSE的简单估计，这也是LMS算法的基本思想。瞬时平方误差可以写成 (6-2-2) 如果滤波权矢量的变化量 ,则对应的平方误差 可以由上式得到 (6-2-3) )()()(nwnwnw)(2ne)()()(2)()()()()()()()(2)

9、()(22nxnwndnwnxnxnwnwnxnxnwneneTTTTT在此情况下，瞬时平方误差的变化量 定义为 (6-2-4)()()()()()()(2)()()(222nwnxnxnwnenxnwneneneTTT)(2ne 把 的关系式代入式(6-2-4)中，得到 (6-2-5) 22222)()()()()()()()(2)(nxnxnennxnxnenneTT)()()()(nxnennw)()(1)(nxnxnT)(2ne)(2ne)(2ne这个步长值 (n)导致 出现负的值，这对应于 的最小点，相当于平方误差 等于零。(6-2-6) 为了增加收敛速度，合适地选取(n)使平方误差

10、最小化，故将式(6-2-5) 对变系数(n)求偏导数，并令其等于零，求得： 为了控制失调量，考虑到基于瞬时平方误差的导数不等于均方误差MSE求导数值，所以以LMS算法的更新迭代公式作如下修正： (6-2-7) )()()()()() 1(nxnxnxnenwnwT式中，为控制失调的固定收敛因子，参数是为避免 过小导致步长值太大而设置的。通常称式(6-2-7)为归一化LMS算法的迭代公式. 为了保证自适应滤波器的工作稳定，固定收敛因子的选取应满足一定的数值范围。现在我们来讨论这个问题。首先考虑到下列关系： (6-2-8)()(nxnxT)()()()()()()()()()(nxnxEnxneE

11、nxnxnxneERtrnxnxETTT 然后对收敛因子的平均值应用更新LMS的方向e(n)x(n)是/2trR ，最后，将归一化LMS算法的更新公式与经典LMS算法更新公式相比较，可以得到收敛因子的上界不等式条件，如下： 0 (n)= /2trR1/ /2trR (6-2-9) 或 0 2 显然，由式(6-2-7)与(6-2-9)可构成归一化LMS算法，其中 0 1，选择不同的值可以得到不同的算法.2)()()()()()() 1(nxnxnxnwndnwnwT当=0时，由式(6-2-7)可以写成 (6-2-10) 这种算法是NLMS算法的泛化形式，其中随机梯度估计是除以输入信号矢量元素平方

12、之和。所以步长变化范围比较大，可有较好的收敛性能。 在此情况下，算法的归一化均方误差NMSE可由式(6-2-10)得到 (6-2-11) 最佳滤波权矢量可由 对w(n)求偏导数，并令其等于零，即由式 2)()()()()(nxnxnwndEn0)()()()()(0nxnxnxwnxndET)(n10PRw22)()()()()()(nxnxndEPnxnxnxERT得到最佳滤波权系数： (6-2-12) 式中， (6-2-13) 上式可知，自相关矩阵和互相关量都含有归一化因子，在稳定状态x(n)和d(n)时，假定自相关矩阵R存在可逆性。同时，由式(6-2-11)可看出，当且仅当 时，归一化L

13、MS算法的均方误差可等于零。这需要对d(n)用输入信号矢量线性组合进行精确地建模。此时，最佳滤波权矢量 变成合宜的线性权系数矢量。 当=1时，NLMS算法更新公式可以写成 (6-2-14) )()(1)()()() 1(nxnxnxnenwnwT,0)()(wnndTx,0w2)(1)()()()()() 1(nxnxnxnwndnwnwT21)()()()()()() 1(nxnxnxnwndnwnwT由此可得到NLMS算法的特殊形式： (6-2-15) 或 (6-2-16) 此式表明等效步长是输入信号的非线性变量，它使变步长由大逐步变小，加速了收敛过程，计算量较之LMS算法稍有增加.两个改

14、进型两个改进型LMS算法，均属变步长的算法，均属变步长的LMS算法算法:6.2.1 时域正交LMS（TDO-LMS）算法 此算法是基于对平方误差时间上的平均，即对下式取最小值， (6-2-17) 1)()()(1)()(02022mnxnwndmneneEmnTmn01)()()(01)()()(0000mnxndnxwmnxnxwndmnTmnT按上式对权系数矢取偏导数，并令其为零，得到时域正交准则下序列x(n)对d(n)进行线性估计的最佳权系数矢量w0,即： (6-2-18) 这意味着用时域正交LMS算法的权矢量更新运算公式，可对线性估计的权矢量作自适应调整，使其趋于最佳。Huffman的

15、TDO-LMS更新公式：m=0,1,2,n (6-2-19) 1() 1()()()()(12) 1() 1()()()() 1(mxmxmxmxmwmdmmmxmxmwmxmxmwTTTT当m取足够大时，上式可近似写成 (6-2-20)与上面讨论的归一化LMS算法权矢量更新公式类似。)()()()()()()()1(nxmxnxnxnwndmwmwTT6.2.2 修正修正LMS（MLMS）算法）算法 MLMS算法是在LMS算法中权矢量的较正量和梯度估计之间人为地引入一个时延，利用现时刻的梯度估计代替前一刻的梯度估计，即: (6-2-21) 因为 是w(n+1)的函数，而且可解。式(6-2-2

16、1)用瞬时梯度信息可表示为： w(n+1)=w(n)+e(n+1)x(n+1) (6-2-22)2) 1()() 1(nnwnw) 1( n代入式(6-2-22)得：) 1() 1() 1() 1(nwnxndneT) 1()1() 1() 1()() 1(nxnwnxndnwnwT)2326() 1() 1() 1()() 1() 1(1) 1()1()() 1()() 1(nxnennwnxnxnxnxnwndnwnwMMTT将自适应步长 是可变收敛因子，它随着信号输入功率 变化可加快收敛速度, 从而使用MLMS算法的性能有了很大的改进，特别是步长因子的值较大时。) 1( nM) 1()

17、1(nxnxT)2426 () 1() 1(1) 1() 1()() 1() 1(nxnxnnxnwndneTMTM整理后得： 小结小结 归一化LMS算法，时域正交LMS算法及修正LMS算法都是以输入信号功率控制变步长的LMS算法，利用梯度信息调整滤波器权系数使其达到最佳值这一点完全相同。但它们的自适应过程较快，性能有了很大改进。6.3 6.3 变换域变换域LMSLMS算法算法1、适用条件：当输入信号具有高度的相关性时，采用变换域算法可以增加LMS算法的收敛速度。2、基本思路：先对输入信号进行一次正交变换以去其相关性或衰减其相关性，然后将变换后的信号加到自适应滤波器实现滤波处理，从而改善了相关

18、矩阵的条件数。酉变换Z-1自适应算法Z-1Z-1)(1n)(2n)(3n)(nM)(1nX)(2nX)(3nX)(nXMy(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉变换酉变换酉变换Z-1自适应算法Z-1Z-1)(1n)(2n)(3n)(nM)(1nX)(2nX)(3nX)(nXMy(n)e(n)d(n)x(n)x(n)x(n-1)x(n-2)x(n-M+1)酉变换酉变换3、变换域LMS（TRLMS）算法框图4、TRLMS算法公式推导： X(n)=Tx(n) (6-3-1) 其中TTH=I,T*TH =I,T为变换阵，I为单位阵；“*”表示共轭。已知LMS自

19、适应滤波器的均方误差MSE是: (6-3-2) )()()(minnWRnWnH式中：w(n)=w(n)- w0, 在变换域情况下，TRLMS算法的均方误差MSE变为： (6-3-3)()()()()()()(minminnWTRTnWnWnXnXEnWnHHHH式中， 代表变换域自适应滤波器的权系数矢量。 变换域自适应滤波器的自相关矩阵RTR可由式(6-2-3)写成： (6-3-4) 如果滤波器中信号分量之间没有相关性,则矩阵 是一对角线矩阵,此时变换矩阵 的列将含有R的正交特征矢量.)(nWHTRTRRTTRRHT 用归一化LMS算法来更新变换域算法的系数。变换后信号分量Xi(n)用其功率

20、 实现归一化，权系数的更新公式可写成：其中 为控制估计精度和跟踪能力的平滑系数， )636(1)()1 () 1()()()()()()()()() 536(,.2 , 1;)()()()() 1(2222MinXnnnWnXndnXnWndneMinnXnenWnWiiiTTTRiiTRii10)(2ni 式(6-3-5)的矩阵形式表示为： (6-3-7)()()()()1(2nXnnenWnWTR式中 是一个对角线矩阵，其元素是变换后信号分量功率估值加上常数的逆。当取的合适时，TR-LMS的权系数收敛到下列最佳：)(2n 其是W0为自适应滤波器权系数的最佳维纳解。)936()(,)836(

21、001111010TWWTPRTTPTRTWTPPTRTRPRWHTRHTRTRTR6.4 6.4 频域频域LMSLMS自适应滤波器自适应滤波器前面我们学习的都是时域LMS自适应滤波器，本节讨论频域自适应滤波器算法。1、基本思路：本算法在自适应滤波前把输入信号变换到频域，然后在频域上实现自适应滤波处理，仍用梯度下降法调整权系数。2、算法优点：（1）和时域相比，处理数据量减少。因为频域变换都有快速算法，利用变换相乘代替了卷积运算，加快了收敛过程。（2）与前述经典梯度下降法相比，自适应过程的收敛性有所改善。（3）频域法容易进行信号分块处理。变换变换计算误差时变滤波器W(k)逆变换自适应算法X(k)

22、Y(k)E(k)D(k)输入信号x(n)输出y(n)期望响应d(n)计算误差D(k)计算误差3、频域自适应滤波器原理框图 输入信号x(n)和期望响应d(n)分别形N点数据块，然后做N点快速傅里叶变换(FFT)，每个FFT变换输出组成N个复数点X(k)和D(k)，具有权系数矢量W(k)输出为Y(k)，它等于 Y(k)=X(k)W(k) （6-4-1）4、算法公式推导 上式表明时域内卷积等于其变换的乘积。其中第k个数据块的频域权系数矢量W(k)和输入信号FFT系数的对角线矩阵X(k)分别定义如下：)346()(00000)(000)()()246()(.)()()(2121kXkXkXkXkwkwkwkWNNT从图上可看出，计算误差E(k)等于是 E(k)=D(k)-Y(k) (6-4-4)频域LMS自适应滤波权系数的更新公式为： 将式(6-4-1)和(6-4-4)代入上式得到：)()()()1(*kEkXkWkW)()()()()()() 1(*kWkXkXkDkXkWkW(6-4-5)(6-4-6) 仿照时域LMS算法的处理和运算方法，频域LMS算法的权矢量最佳解Wo是由计算误差E(k)的均方值最小求得，即由E(k)的平方的数学期望最小化求得。 )746()()()()()()