_自适应滤波器

1、16.1 前言16.2 最陡下降法16.3 LMS算法16.4 RLS算法16.5 自适应滤波器的应用16.6 与本章内容有关的MATLAB文件 1. 维纳滤波器的基本公式：xoptdxR hr1min(0)Tddxxdxr r R r 要求： 是已知的。 如果未知，怎么办？,xdxRr 需要“学习”自适应滤波器研究的目标和对象：2.维纳滤波器研究的对象是平稳信号。 对非平 稳信号， 是随时刻 时变的。如果 对每一个时刻 ，都去求出 ，包 括 ，显然是不实际的。怎么办？,xdxRrnn,xdxRr1xR 需要“跟踪” “学习”和“跟踪”是自适应滤波器的基本特点。自适应滤波器应用于信号的先验统计

2、知识未知和非平稳的情况。有着广泛的应用。 自适应滤波器框图。图中各变量的含义同维纳滤波器。但是多了一个“自适应算法”环节。( )( )( )x ns nw n输入信号模型输入信号中的噪声( )w n期望信号( )d n输出信号( )y n真实信号( )s n( )d n 的选择： 尽可能的接近于真实信号 ( )s n( )( )( )e ny nd n误差信号2(0)( )drE dn( )( ) (dxrkE d n x nk令：于是：111000(0)2( )( )( ) ( ) ()MMMddxxkkmrh k rkh k h m r km22( ) ( )( )E e nEd ny n

3、目标函数：均方误差( )( )( )y nx nh n22( )2( ) ( )( )E dnE d n y nE yn102( )2( ) ()0( )0,1,1Mdxxmrkh m r kmh kkM 令： ：维纳滤波器，或“维纳解”opth得：10( ) ()( )0,1,1Moptxdxmhm r kmrkkM1min0(0)( )( )Mdoptdxkrhk rk 上述的工作和已经讨论过的维纳滤波器几乎是完全一样的。我们将由这些内容引出下面“学习”和“跟踪”的话题。1xoptdxoptxdxR hrhR rTT(0)2ddxxrr hh R hxoptdxR hr求解：直接求逆：Le

4、vinson-Durbin算法最陡下降法1min(0)(0)TTddxoptddxxdxrrr hr R r写成矩阵形式：分析：TT(0)2ddxxrr hh R h可知， 是 的二次函数，h如果 是一维的， 是一抛物线 ；h如果 是二维的， 是一抛物面 ；h现 是 维， 是一超抛物面；hM16.2.1 16.2.1 误差性能曲面误差性能曲面 是误差能量，恒正。所以该超抛物面 的开口朝上，最下端对应的是 ，而 对应的坐标就应该是最优解 。minminopth例例 令观察信号 是一个零均值、方差为1的白 噪声序列，并假定期望信号 使用FIR滤波器，长度为2，求误差性能曲面。( )x n01( )

5、( )(1)d nb x nb x n解：1001xR01(0)(1)dxdxdxrbrbr，TT22220101(0)2()2(0)2(1)(0)(1)ddxxrbbb hbhhhr hh R h及若令 ，则 010.3,0.5bb220.340.6 (0)(1)(0)(1)hhhh 的二次函数h 可求出最下端是 ，本例，minmin0T0.3, 0.5opth 如果输入信号 是宽平稳的，则其二阶统计特性不随时间变化，上图的误差曲面有着固定的形状，即有唯一的最小值 。反之，则误差曲面的形状和梯度方向将会改变，且其底部会不断的移动，即 在随时间改变，这就需要使用自适应算法来对其进行跟踪，以找到

6、不同时刻的 。( )x nminminmin 如果在误差曲面 上任选一个初始点 ，然后在误差曲面上沿着某一条路径下到“碗底”，那么，我们即可得到最优滤波器的系数 和最小均方误差 。这样，即可避免矩阵求逆。( , )h(0)hminopth 在误差曲面上往下搜索 的一个非常自然的方法是沿着曲面切线的方向，也即负梯度的方向进行搜索。是一迭代的过程。记第 次迭代得到的滤波器系数为 ，并记该次迭代得到的均方误差是 ，那么，在第 次迭代的滤波器系数 可由下式求出：minn( )nh( )n1n (1)n h1(1)( )( ) ( )2nnnnhhg( )ngn：第 次迭代时的梯度向量；( )ngn：第

7、 次迭代时的方向向量；( )nn：第 次迭代时的步长。收敛因子。( )n大，下降步伐大，可能不稳定。小，下降步伐小，收敛速度慢。2( )( )( )2( )2( )( )xdxE e nnnnnngR hrhh( )ng梯度向量 的定义：注意：是集总平均 上述选择误差曲面上负的梯度向量作为搜索（或迭代）时的方向向量的方法称为“最陡下降法”。(1)( ) ( )( )xdxnnnnhIR hr最后得迭代公式：搜索到曲面的底部时梯度向量 ，( )0n g( )2( )2xdxnngR hr由xoptdxR hr有维纳解,xdxRr问题是：若未知( )ng：无法求出opth：无法求出 若( )x n

8、非平稳怎么办2( )( )( )E e nnngh利用瞬时能量2( )e n代替之B. Widrow 和 M.E. Hoff 在1960年给出的估计 的方法LMS算法。( )ng1T0( )( )( ) ()( )( )( )Mke nd nh k x nkd nnnhX2( )( )2 ( )( )( )e nne nnn gXh(1)( )() ( ),0,1,1llh nh nx nl e nlM只和数据和步长有关(1)( )( )( )nne nnhhXLMS算法的步骤：1.给定滤波器的长度 、步长 和滤波器 的初始值 ，或 ；M(0)h(0)( )hn2.计算卷积 ；( )( )(

9、)y nx nh n3.计算 ；( )( )( )e nd ny n(1)( )( )( )nne nnhhX4.由 更新滤波器。重复上述步骤 24，直到 收敛到最优的滤波器系数 。这时误差序列 的均方误差达到其最小值 。迭代结束。(1)n hopthmin( )e nLMS算法只利用了 和 ，没有用到 及 。由此，该算法适合应用于先验知识未知的场合，当然，也适用于输入信号非平稳的情况。计算量是 。 ( )x n( )d nxRdxr()O M 1. 收敛的稳定性； 2. 收敛的速度； 3. 在 附近的摆动， 或误差能量的“超量（excess）”。opth( )nh1. 收敛的稳定性 的特征值

10、xR如果保证11,0,1,1llMopth( )nh则保证 收敛到 ，稳定。020,1,1llMmax02推导过程见教材1max0trace(0)MlxxlMrR02xMP（1）由于步长 的上界反比于滤波器的长 度 ，因此，滤波器越长，相应的步 长应该越小；（2）同理，弱的信号（功率小），可选 较大的步长 ，反之，取小的步长 。2. 收敛的速度可以证明，收敛的时间常数maxmin 显然，如果输入信号的自相关矩阵 的最大和最小特征值越接近，则时间常数越小，收敛速度越快。反之，若 的特征值越分散，则 时间常数越大。xRxR2max2minmax()min()jjX eX e时间常数的另一个表达式3

11、. 误差能量的“超量”LMS算法( )ng利用( )ng代替结果(1)n h收敛后的偏离 ；opth收敛后的大于 ；min误差能量的“超量”如何描述“超量”的大小2112minmin00122MMlllll 可以证明：误差能量超量 ：与滤波器长度 成正比。与信号能量 成正比。显然，超量与步长 成正比。MxP这三个量又和收敛速度有关。取折中minmin1(0)22xxMPMr推导过程见教材0200400600800100000.10.20.30.40.5MSE例例 利用例16.5.1（系统辨识）中的误差序列 来研究LMS算法的性能。其结果如图：( ) nn学习曲线n( )nMSE( )n ： 对

12、一个自适应滤波算法进行多次实现所得到的每一个误差序列 都取平方再经集总取平均后而得到的。曲线：对应的步长 ， 集总平均 的次数是100次；10.001曲线 ：对应的步长 ，集总平均 的次数是100次；下降快；10.01曲线：曲线的“预测MSE曲线”曲线：曲线的“预测MSE曲线”相当于无穷次实现后取集总取平均的结果曲线：最小均方误差曲线MMSE10.001：预测 MMSE0.01； 超量EMSE= 51.5416 1010.01：预测 MMSE0.01； 超量EMSE= 48.1704 10步长大，超量明显变大。本例题，对所有的 ，MSE=0.01n调用了文件msesim.m和msepred.m

13、1归一化LMS算法 LMS算法的收敛稳定性、收敛速度及收敛到稳态时所产生的均方误差的超量都直接受到步长 的控制。而 又直接和输入信号的功率有关。因此，一个合理的方法是在指定 时预先除以信号的功率，即令 在保证稳态收敛特性的情况下又独立于信号的功率，从而加快了收敛速度。(1)( )( ) ( )( )nnn e nnhhX( )( )xnMP n时变步长，被“瞬时”功率除122201( )()( )()(1)MxxkP nxnkxnxnMP nMM022泄漏LMS算法 问题的提出：xR非负定但可能奇异？若奇异将不收敛 解决办法：(1)( )( )( )nne nnhhX01泄漏 因子max02

14、()不会为零( )( )( )e nd ny n2( )E e n均方误差，求维纳解2( )e n瞬时误差，求LMS212( )lMn le n最小二乘误差，求LMS误差能量定义：T( )(0, ),(1, ),(1, )MMMMnhn hnhMnh( )Mnh：FIR滤波器在 时刻的系数，nMT( ) ( ), (1), (1)Mnx n x nx nMX： 时刻输入到自适应滤波器的数据，n( )MnX： 时刻期望信号和滤波器输出之差，T( , )( )( , )( )( )( )MMMel nd ly l nd lnlhXn( , )Mel nRLS算法可表述如下：在已知观察数据 的情况下

15、，令为最小以求出滤波器的系数 。( ),0,1,1MllnX20( , )nn lMMlel n( )nh01 是加权因子。采用指数加权的本质是对新到数据求出的误差给以大的权，而对较早数据求出的误差给以小的权，其目的是使新求出的 能尽快跟踪输入信号的时变统计特征。( )Mnh通过令 为相对 最小，可求出：M( )MnhT0( )( )( )nn lMMMlnllRXX： 时刻加权自相关矩阵n0( )( ) ( )nn lMMlnl d lDX： 时刻加权互相关向量n( )( )( )MMMnnnRhD1( )( )( )MMMnnnhRD如何求解？1( )( )( )MMMnnnhRD1opt

16、xdxhR rRLS算法维纳解自相关和互相关分别“同类” （akin）困难是：( )MnR不是Toeplitz矩阵是时变的关键如何：1( )MnR通过递推的方法得到 ，求解 ，( )MnR( )MDnT( )(1)( )( )MMMMnnnnRRXX( )(1)( ) ( )MMMnnn d nDDX递推公式TABCDC1111T11T1ABB C DC B CC B矩阵逆引理( ),(1),( ),1MMMnnnARBRCXD令：则：1T111T11(1)( )( )(1)( )(1)( )(1)( )MMMMMMMMMnnnnnnnnnRXXRRRXRX可以递推1( )( )MMnnPRT

17、(1)( )( )( )(1)( )MMMMMMnnnnnnPXKXPX定义则：1T1( )( )(1)( )( )(1)MMMMMMnnnnnnRPPKXP1( )( )( )( )( )MMMMMnnnnnKPXRX将分母乘到左边，再整理，得 是 的线性变换，变换矩阵是( )MnK( )MnX1( )MnR1( )( )( )( )( )( )(1)( ) ( )( )(1)( )( ) ( )MMMMMMMMMMMMnnnnnnnn d nnnnn d nhRDPDPDXPDPXT( )(1)( ) ( )( )(1)MMMMMnnn d nnnhhKXh自适应滤波器 时刻的输出，但用的

18、是 时刻的滤波器，记：n(1)nT( )( ,1)( )(1)MMd nd n nnnXh( ,1)( )( ,1)( )MMen nd nd n nen( )(1)( )( )(1)( )( )( )MMMMMMMMnnn ennnn enhhKhPX最后递推公式RLS算法的递推步骤：（1）令 ，计算滤波器的输出：( 1)0MhT( )( )(1)MMd nnnXh（2）计算误差 ； ( )( )( ,1)Mend nd n n（3）计算Kalman增益向量 ；( )MnK1( 1)MMPI（4）令 ， 小正数，20.01x1( )( )MMnnRP计算：( )(1)( )( )MMMMnn

19、n enhhK（5）计算：收敛后的：2Tmin0( )( )( )nn lMMMld lnnhD以上五个步骤实现了RLS算法 分析RLS算法的性能要比分析LMS算法的性能困难得多，文献2研究了一特殊情况： 假定自适应滤波器的输入信号 是由一个 阶的AR模型所产生，即( )x nM10( )()( )Mkkx na x nku nT (0), (1), (1)aaa Ma2u( )( )d nx n方差令滤波器系数( )Mnh跟踪AR模型的系数向量a（1） 是否收敛于 ？( )Mnh（2）令 为系数误差向量， 到稳态后，均方误差 ( )( )Mnnha( ) ( )Enn研究：结论：1( )Mx

20、EnnhaR a（1） 1( 1)MMPIn ( )MEnha无偏估计（2） 2111( ) ( ),MukkEnnnMn系数向量误差均方随迭代次数增加线性减少；n ( ) ( )0Enn( )Moptn hhRLS算法的一般性能：（1） 算法总是收敛的，不存在均方误差的超量；（2） 对舍入误差较敏感。来源于 ；1( )( )MMnnPR求逆解决方法之一：平方根RLS算法：T( )( )( )( )MMMMnnnnPUU下三角阵对角阵LDU分解该方法通过迭代求解 和 ，避免求逆。MU( )Mn（3） 计算量 ，大于LMS的 ，2()O M()O M 减少RLS计算量的方法是采用Lattice结

21、构 （4）RLS的收敛速度快于LMS。原因：LMS算法中只有一个控制元素，即步长 ；( )(1)( )( )MMMMnnn enhhKRLS算法：( ):MnMK维向量，每一个元素都对应影响 维滤波器的每一个元素。M 由于自适应滤波器具有很强的学习和跟踪能力，适应了输入信号统计特性未知和时变时的客观需要，因此在实际中获得了广泛的应用。这些应用领域包括通信、雷达、声纳、自动控制、地质勘探及生物医学工程等。 下面通过六个例子说明自适应滤波器的应用。说明：这些例子参考了MATLAB工具箱中所给出的有关例子，然后通过修改参数而完成。 系统辨识又称为系统建模，是根据一个系统的输入及输出关系来确定系统的参

22、数，如系统的转移函数。一旦该系统的转移函数被求出，也就是对该系统建立了一个数学模型。( )G z ：待辨识系统（plant）( )H z ：自适应滤波器( )( )y ny n显然，如果则( )( )G zH z实现了辨识( )x n例例16.5.1 设待辨识的系统 是一个FIR系统，长度 。为了验证自适应滤波器对其辨识到效果，我们假定 是已知的。令 是一高斯分布、方差等于1的白噪声。 是 通过 后再加上方差为0.01的白噪声所得到的序列。( )G z15M ( )G z( )x n( )d n( )G z( )e n( )d n( )y nn( )and( )g nh nn注意：两个横坐标含

23、义不同逆系统辨识：( )Q zz( )( )G z H zz1( )( )G zzHz令：收敛后：例例16.5.2 设待辨识的系统 是一个FIR系统，长度 ，归一化截止频率为0.4。令 是方差等于1的高白噪声。延迟器输出2000次迭代后的结果如图： ( )G z17M ( )x n( )(1)d nx nM( )g n()jG e( )h n()jH e( )e n()()jjH eG e理论上应该是全通的 自适应噪声抵消有广泛的应用。例如，在记录人体生理信号（心电、脑电、肌电、心音等）时，不可避免地会受到50Hz工频的干扰。再例如，记录胎儿心电时也不可避免地会同时记录到母亲的心电。需要对“噪

24、声”抵消掉。其他如，驾驶室内噪声的抵消，长途电话线路中的回声抵消，耳道式数字助听器中speaker对microphone所产生的干扰的抵消，等等。混入到上面的传感器，得到( )u n1( )u n使 逼近 ，则( )y n1( )u n( )( )e ns n1( )( )( )( )e ns nu ny n22211( )( ) ( )( )2 ( ) ( )( )e nsnu ny ns n u ny n2221( )( ) ( )( )E e nE snEu ny n确定性量使其最小例例16.5.3 信号 是一正弦信号，受到白噪声 的污染，使用上面的自适应噪声抵消方案所得到结果如下图。(

25、 )s n1( )u n( )e n1( )( )y nu n1( )( )( )d ns nu n( )( )e ns n该系统根据输入信号的不同和应用目的不同，可得到不同的应用。如预测和谱线增强。1.自适应线性预测器 所谓预测，是指用 在 时的值来估计值 。如果 ，称为前向预测，如果 ，称为后向预测。在实际工作中应用最多的是前向预测，即利用过去的值来预测当前的值 。在上图，用( )x n12nnn0()x n02nn01nn( )x n( )( )( )( )( )e nx nx nx ny n10( )( ) ()Mlly nh n x nl 预测( )x n实际( )x n在语音和图像

26、的编码中，总希望用最小的bit数对信号进行编码同时又保证有最小的编码误差。实现该目的的一个有效的方法是减小被编码信号的动态范围。显然，误差序列 的动态范围应远小于原信号 的动态范围。预测效果越好， 的动态范围越小。这就是“线性预测编码（LPC）”的基本原理。由于信号 的统计特性是未知的，且是时变的，因此要利用自适应滤波器。在上图中，通过使 的能量为最小而得到最优的滤波器系数 ，从而可保证在每一个时刻 都得到对 的最好预测。( )e n( )x n( )e n( )e n( )nhn( )x n例例16.5.4 信号 （上图中的 ）是一分段的正弦信号，现使用上图的方案对其进行一步前向预测。输入到

27、自适应滤波器的 是 加上一定的白噪声后并做一步延迟所得到的，而 就是 ，其长度和 相等。所得到结果如下图所示。( )s n( )x n1( )x n( )x n( )x n( )d n1( )x n( )( )( )d ns nx n分段正弦预测( )y n( )e n( )( )x ny n1.自适应谱线增强（原预测器图）( )( )( )x ns nu n( )s n( )u n：窄带或线谱；：宽带白噪声；如果Adaptive Line Enhancer，ALE。谱线增强，即将正弦信号和白噪声分离。例例16.5.5 令信号 由两个正弦信号所组成，其归一化频率分别是0.05 和0.1 .再令

28、 ，并令 是由 加上白噪声再做单位延迟后所得到的希望信号，但它是被噪声污染了的信号。将 和 输入到上图的自适应预测器。注意，本例的目的不是预测而是谱线增强，因此本例的 和 与上图中的 和 互换了位置。 结果见下图：( )s n( )( )x ns n( )s n( )d n( )x n( )d n( )x n( )d n( )d n1( )x n( )s n()dbjS e( )d n()dbjD e( )y n()dbjY e谱线增强数字通信的基本系统框图待发送数字信号发送滤波器：调制0( )( ) ()bks ta k p tkT补偿通道失真判决后得到数字量，希望：( )( )a na n

29、两个滤波器：模拟通道失真“符号串扰（intersymbol interference, ISI）假定发送器、通道滤波器和接收滤波器三者综合的转移函数是 ，均衡器的转移函数是 ，我们希望( )C z( )H z( )( )1C z H z 互为逆系统( )( )a na n由于通道的特性是未知的，且是时变的，因此要求 是一自适应滤波器。( )H z但自适应滤波器的希望信号 如何获得？因为对方传送的信号总是未知道！( )d n 事先，发送器先发送一个短的脉冲序列 ，存储于接收端。接收器收到的为 ，二者可以用来“训练”自适应滤波器，得到自适应滤波器的系数。然后发送器开始发送实际的信号。 训练结束后便

30、没有了希望信号 。这时，有两种工作模式： 一是利用训练得到的滤波器系数工作在固定的滤波器形式，即系数不再调整。只适用于通道特性变化较慢的情况。 二是自适应模式，这时需人为地构造出一个希望信号 。方法是利用判据器的输出 当作 ，可取得很好的效果，称为“决策方向”法（Decision-Direction），简称DD方法。( )s n( )s n( )a n( )d n例例16.5.6 设 是复信号，实部和虚部都是通过符号函数（sign）对白噪声序列取值而得到的二值序列，因此 的所有取值应分布在由实部和虚部构成的平面上的 的位置上：散点图（正交相移键控，QPSK）信号，通道滤波器 ，非全通。将 送入

31、通道滤波器，在其输出上再加上一定幅度的复数白噪声，记为 ，其散点图在平面上非常发散，判据器无法判决。将 送入均衡器（即自适应滤波器），经均衡后的信号又相对较为集中，有利于判据。结果如下图：( )s n1j 11( )( 0.6) (10.9)H zzz ( )s n( )x n( )x n( )s n的散点图，处在1j ， ， 的实部。迭代200次后误差已很小。( )d n( )y n( )e n( )x n的散点图，分散。( )y n的散点图。均衡后较为集中。MATLAB（R2009a）提供了丰富的有关自适应滤波器的m文件，五大类自适应滤波器：一、LMS自适应滤波器；二、RLS自适应滤波器；

32、三、仿射投影自适应滤波器；四、基于频域的自适应滤波器；五、基于Lattice结构的自适应滤波器。Affine projection路径：toolbox/filterdesign/filterdesign/adaptfilt一、LMS自适应算法 1adaptfilt.lms 本文件用来本文件用来“构造构造”一一个基本的LMS算法的FIR自适应滤波器H，其调用格式是H = ADAPTFILT.LMS（L，STEPSIZE， LEAKAGE， COEFFS， STATES ）输出滤波器结构输出滤波器长度步长 泄漏因子 即是LMS算法1滤波器初始向量，缺省为零，长度 L滤波器初始状态向量，缺省为零，长

33、度 L1两点说明：一、在MATLAB工具箱中并无文件 ADAPTFILT.LMS。 调用它时，MATLAB自的将其转为调用lms.m文 件。lms.m的调用格式就是ADAPTFILT.LMS的调 用格式。自适应滤波器中的其他算法文件也都是 这样安排的，即文件 adaptfilt.xyz的实际文件是xyz.m。二、ADAPTFILT.LMS（lms.m）文件并不实现自适应 滤波的功能，它只是给出自适应滤波器的一个结 构。如下两句程序在一起使用：ha = adaptfilt.lms（M，mu）；y，e = filter（ha，x，d）；Filter实现自适应滤波2filter.mMATLAB中有多个filter.m文件，它们有着相同的名称，但实现不同的功能。区分它们的主要方法是调用方式和处路径的不同。三个： 一个是用来实现普通线性滤波 路径在toolbox/signal/signal/dfilt）， 第二个是用于多抽样率信号处理，路径 toolbox/filterdesi