第13章自适应滤波器

1、1第13章 自适应滤波器 13.1匹配滤波器匹配滤波器 13.7LMS自适应格型滤波器自适应格型滤波器13.2连续时间的连续时间的Wiener滤波器滤波器 13.8自适应滤波器的算子理论自适应滤波器的算子理论13.3最优滤波理论与最优滤波理论与Wiener滤波器滤波器 13.9 LS自适应格型滤波器自适应格型滤波器13.4 Kalman滤波滤波 13.10自适应谱线增强器与陷波器自适应谱线增强器与陷波器13.5 LMS类自适应算法类自适应算法 13.11广义旁瓣对消器广义旁瓣对消器13.6 RLS类自适应算法类自适应算法 13.12盲自适应多用户检测盲自适应多用户检测2滤波器是一种以物理硬件或

2、计算机软件形式，从含噪声的观测数据中 抽取信号的装置，可以实现滤波、平滑、预测等信号处理的基本任务。信号的抽取应满足某种优化准则，连续时间的滤波器有两种最优设计准则：使滤波器的输出达到最大的信噪比，称为匹配滤波器。使滤波器输出的均方估计差为最小，称为Wiener滤波器。313.1.1匹配滤波器匹配滤波器如图13.1为线性连续时间滤波器的结构图。 图13.1为线性连续时间滤波器s(t)为已知信号、n(t)为零均值地的平稳噪声、 y(t)为接受或观测信号、y0(t)为滤波器输出信号， h(t)为滤波器的冲激响应函数。目的就是设计滤波器的冲激响应函数h(t)。13.1 匹配滤波器匹配滤波器h(t)s

3、(t)n(t)y(t)y0(t)000( )() ( )() ( )( )() ( )() ( )( )( )y th tydh tsndh tsdh tnds tn t4滤波器在t=T0时的输出信噪比为： 220020()=( )s TSNE n t0输出在t=T时的信号功率输出噪声的平均功率01() ( )( ) ( )2( )( ), ( )( )j tj tj tsh tsdHSedHh t edt Ss t edt由于所以022001()( ) ( )2j Ts THSed设Pn()是n(t)的功率谱密度，则输出噪声的功率谱密度Pn0()为所以噪声的平均功率02( )( )( )nn

4、PHP022011( )( )( )( )22nnE n tPdHPd（13.1）（13.2）（13.3）5所以滤波器在t=T0时的输出信噪比为：02222( ) ( )( )12( )( )( )j TnnHSedSSdNPHPd1212（13.4）上式等号成立时的滤波器传递函数记为Hopt()，且有： （13.5）滤波器输出最大信噪比为 （13.6）由（13.5）定义的滤波器为最优滤波器，Hopt()为最优滤波器的传递函数。00*()( )( )( )( )j Tj ToptnnSSHeePP22max( )12( )nSSSNRdNP61 白噪声下的最优滤波白噪声下的最优滤波匹配滤波器匹

5、配滤波器 Pn()=1所以（13.5）变为： （13.7）从而有 ，即滤波器达到最大输出信噪比时，滤波器的幅频特性与信号的幅频特性相同，即匹配。这种滤波器称为匹配滤波器。冲激响应为：（13.8）即匹配滤波器的冲激响应h0(t)是信号s(t)的一镜像信号。00( )()j THSe0( )*( )( )HSS0000( )( )()()j Tj tj th tHedSeeds Tt72.有色噪声下的最优滤波器有色噪声下的最优滤波器广义匹配滤波器广义匹配滤波器 滤波器w(t)，传递函数为 （13.9）有色噪声n(t)作为滤波器w(t)输入时，输出 的功率谱密度为： （13.10）滤波器w(t)将有

6、色噪声“白化”，称为白化滤波器。（13.5）变为：（13.11）H0()为匹配滤波器，所以有色噪声下信噪比最大的滤波器Hopt()由白化滤波器W()和匹配滤波器H0()级联而成。故称为广义匹配滤波器。1( )( )nWP( )n t2( )( )( )1nnPWP000*()()()*0( )( )( )( )( )( )( )( )( )( )j Tj ToptnSSWj TSHeWSWePWSeWH8 广义匹配滤波器工作原理图：图13.2广义匹配滤波器工作原理13.1.2 匹配滤波器的性质匹配滤波器的性质性质性质1 在所有线性滤波器中，匹配滤波器输出的信噪比最大，且 ，它与输入信号的波形以

7、及加性噪声的分布无关。性质性质2 匹配滤波器输出信号在t=T0时刻的功率达到最大。性质性质3匹配滤波器输出信噪比达到最大的时刻T0应该选取等于原信号s(t)的持续时间T。W()H0()s(t)+n(t)s0(t)+n0(t)( )( )s tn tmax0/2sESNRN9性质性质4 匹配滤波器对波形相同而幅值不同的时延信号具有适应性。性质性质5 匹配滤波器对频移信号不具适应性。13.1.3匹配滤波器的实现匹配滤波器的实现1.已知信号已知信号s(t)的精确结构的精确结构 利用（13.8）直接确定匹配滤波器的冲激响应，从而实现匹配滤波器。2.只已知信号的功率谱（大多数情况）只已知信号的功率谱（大

8、多数情况）设信号设信号x的功率谱为的功率谱为Px()，一般为有理函数，即可写为：，一般为有理函数，即可写为：10211()()( )()()nxmzzPpp(13-12) (13-13) 式中：zi、pj分别为功率谱的零点和极点。由于功率谱是非负的实、偶函数，即*( )( )xxPP可见Px()的零极点是共轭成对出现，故可写为(谱分解）：1111()()()()( )()()()()qqxppxxjjjjPjjP P(13-14)为了是匹配滤波器物理可实现取： （13.15） ( )( )sSP物理可实现的白化滤波器取： （13.16）1( )( )nWP11 在匹配滤波器中，必须已知并存储信

9、号的精确结构或功率谱； 积分区间必须与信号取非零值的区间同步。但是有时很难已知信号的精确结构或功率谱；信号在传输过程可能发生传播延迟、相位漂移或频率漂移，积分区间必须与信号区间同步也会导致误差。1213.2 连续时间的连续时间的Wiener 滤波器滤波器 对观测数据y(t)=s(t)+n(t)使用滤波器H()实现信号s(t)的估计：( )() ( )( ) ()s th tydhy td(13-17) 考虑均方误差（13.18）最小，这就是最小均方误差（MMSE）准则，于是线性最优滤波器的冲激响应可表示为：22( )( )( )( ) ()JEs ts tEs thy td2( )( )arg

10、min( )( ) ()opth thtEs thy td(13-19) 13假设s(t)和加性噪声n(t)均为平稳过程，并s(t)和n(t)使联合平稳的，即 ( ) ()( )( ) ()( )( ) ()( )( )( ) ()( )( )( )( )( )ssnnsysssnyysssnnsnnE s t s tRE n t n tRE s t y tRRRE y t y tRRRRR则有 (13-20) 2122112( )( ) ()(0)2( )( )( ) ()()sssyyyJEs thy tdRhRdhhRd d 14 令 可得最有滤波器的冲激响应hopt(t)，但优化过程比

11、较复杂。我们令:(13-21) 则：(13-22) 0Jh( )( )( )optopth ththt 11222112(0)2( )( )( )( )( )()()()ssoptoptsyoptoptoptoptyyJRhhRdhhhhRd d 令 ， 得到0J111( )()( )syyyoptRRhd (13-23) 这一方程称为Wiener-Hopf积分方程。15 上式两边取Fourier变换得：( )( )( )syoptyyPHP(13-24) 这种滤波器称为非因果Wiener滤波器，因为滤波器的冲激响应在（-，+）内取值。而非因果Wiener滤波器是物理上不可使现实的。任何一个非

12、因果线性系统都可以看作是由物理可实现的因果部分和物理不可实现的反因果部分组成，因此可以从非因果Wiener滤波器中将因果部分分离出来，就可以得到物理可实现的Wiener滤波器。16将Pyy()分解为： 式中A+yy()的零极点全部位于左半平面，而A-yy()的零极点全部位于右半平面，并且位于轴上的零极点对半给A-yy()和 A+yy()。然后可分解：( )( )( )yyyyyyPAA（13-25）( )( )( )( )syyyPBBA（13-26）式中B+ ()的零极点全部位于左半平面，而B- ()的零极点全部位于右半平面，并且位于轴上的零极点对半给B- ()和 B+ ()。（13-24）

13、可写为：( )( )1( )( )( )( )( )1( )( )( )sysyoptyyyyyyyyyyPPHAAAABBA（13-27）17( )( )( )optyyBHA显然,只包含了左半平面的零极点，所以是物理可实现的。因果Wiener滤波器的设计算法：算法算法步骤1 对Pyy()进行式（13-25)的谱分解。步骤2 计算式（13-26）。步骤3 利用式（13-28）得到因果Wiener滤波器的opt().（13-28）18 13.3 最优滤波理论与最优滤波理论与Wiener滤波器滤波器 13.3.1线性最优滤波器线性最优滤波器线性离散时间滤波器的最优设计问题可表达如下： 设计一个离

14、散时间滤波器的系数wk，使输出y(n)在给定输入样本集合u(0)，u(1)，的情况下给出期望响应d(n)的估计，并且使得估计误差e(n)=d(n)-y(n)的均方值E|e(n)|最小。13.3.2 正交性原理正交性原理 离散时间滤波器的输出y(n)是输入u(n)与滤波器冲激响应wk卷积*0( )()kky nw u nk（13-29）192*( )( )( )( )( )( )( )e nd ny nJ nE e nE e n e n对于复数输入数据，滤波器的抽头权系数wk也是复数，如抽头权系数有无穷多个，则滤波器为无限冲激响应(IIR)滤波器。令：0,1,2kkkwajbk（13.30）梯度

15、算子：0,1,2kkkjkab （13.31）（13.32）于是( )( )( )0,1,2kkkkJJ nJ nJ njkwab为了使J最小，则有( )00,1,2kJ nk（13.33）在这组条件下，滤波器在最小均方误差意义下是最优的。20有上面式子可得到： 令 eopt(n)表示滤波器工作在最优条件下的估计误差，则eopt(n) 满足：*( )2()( )kJ nE u nk e n *( )2()( )0koptJ nE u nk en *()( )00,1,2optE u nk enk等价于（13-34）上式表明，代价函数J最小化的充分必要条件是估计误差eopt(n)与输入u(0)，

16、u(n)正交，这就是著名的“正交性原理”。是线性最优滤波器理论中最重要的定理之一，也为衡量一滤波器是否工作在最优条件的检验方法提供了数学基础。还可以证明：*( )( )00,1,2optoptE yn enk（13-35）yopy(n)为滤波器在最小均方误差意义下的输出。2113.3.3 Wiener滤波器滤波器 由（13-34）可得到：*,0()( )()01,2opt iiE u nkdnwu nik（13-36）Wopt,i(n)为最优滤波器冲激响应中的第i个系数。将上式展开得：*,0()()()( )1,2opt iiwE u nk u niE u nk dnk（13-37）*,*,(

17、)()( )()()()u du uRkE u nk dnRikE u nk u ni其中：代入（13-37）得,0()()1,2opt iu uu diwRikRkk（13-38）这就是Wiener-Hopf（差分）方程，它定义了最优滤波器系数必须服从的条件。22求解Wiener-Hopf（差分）方程可得最优滤波器的系数，从而完成最优滤波器设计。但对于IIR滤波器而言，求解Wiener-Hopf方程是不现实的，因为需要求解无穷多个方程。FIR滤波器（横向滤波器）Z-1u(n)u(n-1)w*0w*1Z-1w*M-2Z-1u(n-M+2)u(n-M+1)w*M-1e(n)+ d(n)( )d

18、n-图13.3 FIR滤波器如图所示，滤波器冲激响应由M个抽头权系数w0,w1,wM-1定义。滤波器输出为：1*0( )(),0,1Miiy nw u nin（13.39）23 而Wiener-Hopf方程则简化为M个齐次方程 ,*,*,(0)(1)(1)(1)(0)(2)( )( )(1)(2)(0)u uu uu uu uu uu uTu uu uu uRRRMRRRMREnnRMRMRuu输入与期望响应的互相关向量为： (13-41) 1,0()()1,21Mopt iu uu diwRikRkkM(13-40)定义输入向量( ) ( ), (1),(1)Tnu n u nu nMu则其

19、自相关矩阵为*,( )( )(0),( 1),(1)Tu du du dEn dnRRRMru(13-42) 24 于是将Wiener-Hopf方程写成矩阵形式optRwrwopt为滤波器最优抽头权向量：(13-45) ,0,1,1,optoptoptopt Mwwww(13-44) (13-43) 1optRwr由（13-43）得：满足这一关系的离散时间滤波器称为Wiener滤波器，它在最小均方误差的准则下是最优的。Wiener滤波器的两个主要结论：Wiener滤波器最优抽头权向量的计算需要已知以下统计量：（1）输入向量的自相关矩阵；（2）输入向量与期望响应的互相关函数。Wiener滤波器实

20、际上是无约束优化最优滤波问题的解。2513.4 Kalman 滤波滤波13.4.1 Kalman 滤波问题滤波问题(1) 状态方程（13-46）式中，M1向量x(n)表示系统在离散时间n的状态向量，它是不可测的；MM的矩阵F(n+1,n)为状态转移矩阵，描述系统从时间n的状态转移到n+1时间的状态，它是已知的； M1向量v1(n)为噪声向量，描述状态转移中的加性噪声或误差。（2）观测方程（13-47）式中，y(n)表示系统在时间n的N1观测向量；NM的矩阵C(n)为观测矩阵，要求它是已知的；v2(n)为N1的观测噪声向量。 假设v1(n)、 v2(n)均为零均值的白噪声，即：（13-48）1(

21、1)(1, ) ( )( )x nnn x nv nF2( )( ) ( )( )y nC n x nv n111222( )( )( )0( )( )( )0TTQ nnkE v n vknkQ nnkE v n vknk26 设v1(n)与v2(n)不相关，即（13-49） Kalman滤波问题可以表述为滤波问题可以表述为： 利用观测数据向量y(1),y(n),对n 1求状态向量x(i)各个分量的最小二乘估计。进一步分为：（1）滤波滤波（i = n): 使用n时刻及以前时刻的测量数据，抽取n时刻的信息；（2）平滑平滑（1 i n)： 使用n时刻及以前时刻的测量数据，预测n+k时刻的信息。1

22、2( )( )0,TE v n vkn k2713.4.2 新息过程新息过程 考虑一步预测问题：给定y(1), ,y(n-1),求观测向量y(n)的最小二乘估计，记为1.新息过程的性质新息过程的性质 y(n)的信息过程定义为 1( )( )( )1,2ny ny nn 性质性质1 n时刻的新息与所有过去的观测数据y(1), ,y(n-1)正交，即：( )( )011TEn ykkn(13-50)(13-51)(13-52)1( )( | (1),(1)y ny n yy n性质性质2 新息过程由彼此正交的随机向量 组成，即有： ( )n( )( )011TEnkkn28性质性质3 观测数据的随

23、机向量序列 与新息过程的随机向量序列 一一对应 ，即： (13-53) 以上性质表明：n时刻的新息 是一个与n时刻之前的观测数据 不相关、并具有白噪声性质的随即过程，但它却提供有关y(n)的新信息，这就是新息的内在物理含义。2.新息过程的计算新息过程的计算(13-54) (1), ( )n (1), ( )yy n (1), ( ) (1), ( )yy nn( )n(1), (1)yy n先计算状态向量的一步预测1 ( )( | (1),(1)x nx n yy n再计算观测向量的一步预测11( )( )( )y kC n x n(13-55)29最后计算信息过程(13-56) 112( )

24、( )( )( )( ) ( )( )( )ny nC n x nC n x nx nv n定义状态向量的一步预测误差1( ,1)( )( )n nx nx n(13-57) 2( )( ) ( ,1)( )nC nn nv n则(13-58) 新息过程的相关矩阵222( )( )( )( )( ,1)( ,1)( )( )( )( )( ,1)( )( )TTTTTR nEnnC n En nn nCnE v n vnC n K n nCnQ n(13-59) 式中Q2(n)是观测噪声的相关矩阵，而K(n,n-1)是一步预测状态误差的相关矩阵。( ,1)( ,1)( ,1)TK n nEn

25、nn n(13-60) 301.状态向量的一步预测 用新息过程序列 的线性组合直接预测状态向量：111 ( )( ) ( )nkx nkkw(13-61) 13.4.3 Kalman滤波器滤波器(1), ( )n根据正交性原理可得 （13-62）所以11( )(1)( )( )TkE x nkRkW11111111 (1)(1)( )( )(1)( )( )(1, )( )(1)( )( )(1, )( )( ) ( )nTTkTx nE x nk RkE x nnRnF nn x nE x nnRnF nn x nG nn1( )(1)( )TG nE x nnR其中Kalman增益矩阵G(

26、n) （13-63）（13-64）（13.63）表明n+1时刻的状态向量的一步预测分为非自适应（即确定）部分 和自适应（即校正）部分 。1(1, )( )F nn x n( ) ( )G nn312 Kalman 增益计算增益计算可证明：可证明： （13-65） 1( )(1, )( ,1)( )( )TG nF nn K n nCn Rn3. Riccati方程方程容易证明容易证明 (13-66)式中式中 (13-67)1(1, )(1, ) ( )(1, )( )TK nnF nn P n FnnQ n1( )( ,1)(1, ) ( ) ( )( ,1)P nK n nFnn G n C

27、 n K n n(13-66)称为称为Riccati差分方程差分方程4. Kalman滤波算法滤波算法初始条件：1(1) (1),(1 ,0) (1) (1) (1) (1)TxExKE xExxEx（13-68）输入观测向量： (1), ( )yy n输入已知参数：F(n+1,n)、C(n)、Q1(n)、Q2(n)计算：n=1，2，3，32 Kalman滤波器是一种线性离散时间有限维系统，它使滤波后的状态估计误差的相关矩阵的迹最小化，所以 Kalman滤波器是状态向量的现行最小方差估计。1( )( )( )( )ny nC n x n11(1)(1, )( )( ) ( )x nF nn x

28、 nG nn1( )( ,1)(1, ) ( ) ( )( ,1)P nK n nFnn G n C n K n n1(1, )(1, ) ( )(1, )( )TK nnF nn P n FnnQ n12( )(1, )( ,1)( ) ( )( ,1)( )( )TTG nF nn K n nCn C n K n nCnQ n（13-69）3313.5 LMS类自适应算法类自适应算法 自适应FIR滤波器：FIR滤波器的抽头权系数w0,w1,wM-1可以根据估计误差e(n)的大小自动调节，使得某个代价（准则）函数最小。 滤波器设计最小均方误差（MMSE）准则：使滤波器实际输出与期望输出的均方

29、误差最小。Z-1u(n)u(n-1)w*0w*1Z-1w*M-2Z-1u(n-M+2)u(n-M+1)w*M-1( )y n-图13.4 自适应 FIR滤波器( )( )( )( )( )Hnd ny nd nnw u（13.70）d(n)+e(n)均方误差22( )( )( )( )HJ nEnE d nnw u（13.71）34*( )2()( )2()( )( )0,11HkJ nE u nknE u nkd nw u nkM (13.72)令并 ，定义梯度向量： ,0,1,1iiiwajb iM011001111( )( ),( ),( )( )( )( )( )( )( )( )(

30、)( )( )( )( )TMMMJ nJ nJ nJ nJ nJ nja nb nJ nJ nja nb nJ nJ njanbn (13.73)以及输入向量和抽头向量011( )( ), (1),(1)( )( ),( ),( )TTMnu n u nu nMnw n w nwnuw则：*( )2( )( ) ( )22( )HJ nEndunnRn uwrw(13.74)*( )( )( )( )HREnnEn dnuuru其中35下降算法（自适应算法） ( )(1)( ) ( )nnnnwwv(13.75)w(n)为第n步迭代的权向量，(n)为第n步迭代的更新步长，而v(n)为第n步迭

31、代的更新方向（向量）。下降算法有两种主要实现方式，一种是自适应梯度算法，另一种是自适应高斯-牛顿算法。自适应梯度算法包括LMS算法及各种改进算法；自适应高斯-牛顿算法包括RLS算法及各种改进算法。13.5.1 LMS算法及其基本变形算法及其基本变形最常见的下降算法为梯度下降法（最陡下降法），更新的方向为代价函数的负梯度方向，即：1( )(1)( )(1)2nnnJ nww将（13.74）代入得：( )(1)( )(1) ,1,2nnnRnnwwrw(13.76)36上式表明：（1） 为误差向量，代表w(n)每步的校正量；（2）参数（n）决定更新算法的收敛速度。（3）当自适应算法趋于收敛时，有当

32、n， 0，即有： (1)Rnrw(1)Rnrw1lim(1)nnRwr即抽头权向量组成Wiener滤波器。如果（13.74）中数学期望项用各自的瞬时值代替则有：*( )(1)( ) ( )( )( )(1)(1)( )( ) ( )Tnnnnd nnnnn e nnwwuuwwu（13-77）其中*( )( )( )(1)( )(1) ( )THe nd nnnd nnnuwwu式（13-77）就是著名的最小方均误差自适应算法（LMS算法）.上面的e(n)、(n)都是滤波器在n时刻的估计误差，但e(n)有w(n-1)决定，称为先验估计误差；而(n)由w(n-1)决定，称为后验估计误差。37自适

33、应算法及其基本变形自适应算法及其基本变形 步骤步骤1 初始化：初始化：w(0);步骤步骤2 更新：更新： n=1,2, ( )( )(1) ( )He nd nnnwu*( )(1)( )( ) ( )nnn e nnwwu说明：1.若（n）=常数，则称为基本LMS算法。2.若 ，其中（0，2）0，则为归一化的LMS算法。3.若 ，其中 表示u(n)的方差，可由 递推计算，这里 为遗忘因子，由 确定，而M是滤波器的阶数。4.当期望信号未知时，步骤2中的d(n)可用滤波器的是实际输出代替。( )( ) ( )Hnnnuu2( )( )unn2u222( )(1)( )uunne n(0,120M

34、3813.5.2 解相关解相关LMS算法算法 在LMS中，有一个独立性假设：假设滤波器输入向量是彼此统计独立的向量序列。当它们之间不满足统计独立的条件时，基本LMS算法性能将下降，尤其是收敛速度会比较慢。因此解决各时刻输入向量的相关（解相关），使它们尽可能保持统计独立。1.时域解相关时域解相关LMS算法算法定义u(n)与u(n-1)在n时刻的相关系数为 （13.78 ） (1) ( )( )(1) (1)HHnna nnnuuuua(n)=1,则称u(n)是u(n-1)的相关信号； a(n)=0,则称u(n)与u(n-1)不相关； 0a(n)1,则称u(n)与u(n-1)相关，并且a(n)越大

35、，相关性越大。显然，a(n)u(n-1)代表u(n)中与u(n-1)相关的部分，若从u(n)减出该部分，就解决了相关问题。令更新方向向量v(n)：( )( )( ) (1)nna nnvuu步长应满足下列最小化问题：( )argmin(1)( )nJnv nw由此得( )( )( ) ( )He nnnnuv（13-79）（13-80）39解相关解相关LMS算法：算法：步骤步骤1 初始化：初始化：w(0);步骤步骤2 更新：更新： n=1,2, ( )( )(1) ( )He nd nnnwu(1) ( )( )(1) (1)HHnna nnnuuuu( )( )( ) (1)nna nnvu

36、u( )( )( ) ( )He nnnnuv( )(1)( ) ( )nnnnwwv参数称为修正因子。402. 变换域解相关变换域解相关LMS算法算法 可以提高收敛 速率。令S 是一MM酉变换，即： ,0HSSI 为一固定标量(13-81) (13-82) 通过酉变换，在变换域中实现了某种程度的解相关。 用酉变换S对输入数据进行酉变换得到：xu(n)=S (n)相应的：1 (1)(1)nSnww(13-83) 这时( )( )(1) ( )He nd nnnwx解相关解相关LMS算法：算法：步骤步骤1 初始化：初始化： ;步骤步骤2 给定一个酉变换给定一个酉变换S，更新：，更新： n=1,2

37、, (0)wxu(n)=S (n)( )( )(1) ( )He nd nnnwx( )(1)( ) ( ) ( )nnnn e nwwx(13-84) 4113.5.3 学习速率参数的选择学习速率参数的选择 ( )0E e nn 若max11步长影响算法的收敛速率，又称为学习速率参数。基本LMS算法的收敛可分为均值收敛与均方收敛两种。1.均值收敛及收敛条件 当基本LMS算法的收敛必须满足下列条件：称为均值收敛。等价于 的值收敛为Wiener滤波器。 均值收敛条件：其解为 ( )nwmax20max为相关矩阵R的最大特征值。（13-85）2.均方收敛及收敛条件当基本LMS算法的收敛必须满足下列

38、条件：422lim( )0nEnc为正常数称为均方收敛。均方收敛条件：学习参数满足： 20tr R（13.86）由于 max1Mkktr R所以 max220tr R表明，若学习参数满足LMS算法均方收敛条件，必满足LMS算法均值收敛条件，即LMS算法是均方收敛，必是均值收敛。 211(0)MMiiiitr RRE u总输入能量由于所以20总输入能量（13.87）433. 自适应学习速率参数自适应学习速率参数 上面学习速率参数取一常数，但这可能导致收敛与稳定性能的矛盾：大的学习速率能提高滤波器收敛速度，但稳定性能就会降低；反之，为了提高稳定性能采用晓得学习速率，收敛变慢。为此采用时变的学习速率

39、。（1）最简单的时变学习速率为：cc(n)=为常数n(13-88) （2）“先搜索、后收敛”时变学习速率为：0+0(n)=为固定学习速率1 (n/ )(13-89) 当 时，使用近似固定的学习速率，而当 时，学习速率随时间衰减，并且衰减速度越来越快。nn44(13-90) （3）“先固定、后指数衰减”时变学习速率为：0000()0NNdNn Ned(n)=、为正常数，为正整数4513.6 RLS 自适应算法自适应算法 13.6.1 RLS算法算法 利用递推最小二乘算法设计自适应横向滤波器，使得在已知n-1时刻横向滤波器抽头权系数的情况下，能够通过简单的更新，求出n时刻的滤波器抽头系数RLS算法

40、。加权最小二乘的代价函数：20( )( )nn iiJ ni（13-91）01为遗忘因子，其作用是对离n时刻越近的误差加以比较大的权重，而对离n时刻越远的误差加以比较小的权重。( )( )( ) ( )Hid iniwu（13-92）式中d(i)可以用滤波器的实际输出代替。式中抽头向量是n时刻的w(n)而不是i时刻的w(i),这是因为：在自适应更新过程中，滤波器总是越来越好，这意味着，对于任意时刻in而言，估计误差的绝对值 总是比 小。因此，有(i)构成的J(n)总是比有e(i)构成的 小，故J(n)比 更合理。( )( )( ) ( )Hid iniwu( )( )( ) ( )He id

41、iiiwu( )J n( )J n46( )0J nw(13-93) (13-94) 式中1( )( ) ( )nRnnwr(13-95) 由式（13-94）可看出，指数加权最小二乘问题的解w(n)为Wiener滤波器。20( )( )( ) ( )nn iHiJ nd iniwu由 得 0*0( )( )( )( )( )nn iHinn iiR nini d iuru(13-96) *( )(1)( )( )( )(1)( )( )HR nR nnnnnn d n uurru递推估计公式(13-97) 令P(n)=R-1(n)其递推公式1( )(1)( )( ) (1)HP nP nnn

42、P n ku(13-98) 式中k(n)为增量向量(1) ( )( )( ) (1) ( )HP nnnn P nnukuu(13-99) 47由上面的式子可证明：（13-100） *( )(1)( )( )nnn e nwwk(13-101) ( )( )(1) ( )He nd nnnwu其中为先验估计误差。RLS直接算法直接算法步骤步骤1 初始化：w(0)=0，P(0)=-1I,其中是一个很小的数。步骤步骤2 更新： n=1,2,( )( )(1) ( )He nd nnnwu(1) ( )( )( ) (1) ( )HP nnnn P nnukuu1( )(1)( )( ) (1)HP

43、 nP nnn P n ku*( )(1)( )( )nnn e nwwk的取值为：0.01 10-44813.7 LMS自适应格型滤波器自适应格型滤波器 LMS和RLS滤波器同属于横向自适应滤波器，并假定它们的阶数固定。然而在实际中，一横向滤波器的最优阶数往往是未知，这需要通过比较不同阶数的滤波器来确定最优阶数，但是，当改变横向滤波器阶数时，LMS或RLS算法必须重新运行，非常不方便和费时，怎样在增加滤波器阶数时，能利用低一阶滤波器的参数结果？格型滤波器提供了解决这一问题的有效途径。 LMS自适应格型滤波器具有共轭对称的个性结构：前向反射系数是后向反射系数的共轭，其设计准则是均方（预测）误差

44、为最小。4913.7.1 对称的格型结构对称的格型结构 LMS自适应格型滤波器在每一级对前、后向分别采用反射系数 r*m 和rm ，如图13-5所示， fm(n) 和gm(n)分别是第m级格型滤波器的前向和后向残差。+x(n)f0(n)f1(n)f2(n)fp-1(n)fp(n)Z-1r1r*1g0(n)Z-1+ +r2r*2g1(n)g2(n)+gp-1(n)gp(n)Z-1r*prp图13-5 LMS自适应格型滤波器50n时刻的前向和后向残差服从以下递推关系：11*11( )( )(1)( )( )(1)mmmmmmmmfnfnr gngnr fngn(13-102)其初始值为 00( )

45、( )( )fng nx n(13-103)由于rm建立了fm(n)与gm-1(n-1)之间的关系，故rm也称为偏相关系数。定义Z变换( )( )( )( )( )( )nnnmmmmnnnX zx n zFzfn zGzgn z(13-104)对（13-102）、（13-103）作Z变换得111*111000( )( )( )( )( )( )( )( )( )mmmmmmmmFzFzr z GzGzr Fzz GzF zG zXz前向滤波器传递函数00( )( )( )( )1( )( )mimmmmiFzFzAzai zmpX zF z(13-105)51后向滤波器传递函数00( )(

46、)( )( )1( )( )mimmmmiGzGzBzbi zmpX zG z1110*1110( )( )( ),( )1( )( )( ),( )1mmmmmmmmAzAzr z GzA zBzr Azz BzB z0*00( )( )1( )( )()mimmmmimmiimmmiiAzai zr zBzb i zam i z （13-106）由（13-104）可得前、后向滤波器传递函数的递推公式（13-107）于是得到：(0)1( )mmmaamr（13-108）（13-109）为了使前向滤波器是物理可实现的，前向传递函数必须是最小相位52多项式，即： 1( )()()mmmmmiiA

47、 zzzrzzz(13-109) 的零点必须全部位于单位圆内。即11,1,.,mimiizimrz但故11mmiirz(13-110) 这是设计格型滤波器各级反射系数的递推公式必须遵守的条件。由于*( )()mmbiami(13-111) 只要前向滤波器系数am(i)设计出了，就可确定后向滤波器的系数bm(i),因此格型滤波器的设计归结为前向滤波器的设计。5313.7.2 格型滤波器设计准则格型滤波器设计准则0( )( ) ()mmmifxai x ni前向滤波器Am(z)的残差能量Fm (13-112) 由（13-105）、（13-108）得到 2*00( )( )( )()mmmmmmxi

48、jFEfnai aj Rji(13-113) 式中 是滤波器输入信号x(n)的相关函数。*( )( )()xRE x n x n后滤波器Bm(z)的残差能量Gm 2*00( )( )( )()mmmmmmxmijGE gnai aj RjiF(13-114) 54三种等价的准则：（1）使前向滤波器的残差能量Fm 为最小;（2）使后向滤波器的残差能量Gm 为最小;（3) 使前、后向滤波器的平均残差能量1/2(Fm +Gm)为最小.为了确定前向滤波器Am(i)的系数，只要使前向滤波器的残差能量Fm 为最小即可。令：*01,( )mmFjmaj（13-115）得0( )()01,mmxiai Rji

49、jm（13-116）理论上求解上式可得到m级前向滤波器的系数am(1)，am(m)。代入（13-113）得0( )()mmmxiFai Ri（13-117）一般阶数m越大，前向残差Fm越小。55 格型滤波器的设计过程表述为：令m = 1,2 ，并依次设计前向滤波器，当前向残差能量Fm不再明显减小时，最小的阶数m即为个性滤波器的最优阶数。 问题是设计出的m级格型滤波器是否会影响m+1级格型滤波器的设计？即格型滤波器前后级之间是否存在耦合？如果存在，则第m级格型滤波器设计与第m-1级格型滤波器有关，否则，各级格型滤波器的设计可独立进行。可以证明，不同级滤波器的后向残差正交，即 这意味格型滤波器前后

50、级是解藕的，从而可以独立地设计每一级滤波器。*,( )( )0,mmkFmkE gn gnmk（13-118）( )( ),mkgngn mk5613.7.3 格型滤波器自适应算法格型滤波器自适应算法 ( )00( )00w nnw nn（13-119） n时刻及以前时刻的总能量误差函数 ( )()( )nmmkEnw nk ek定义w(n)为滤波器在n时刻的权系数前、后向残差能量22( )(1)( )( )01mmmekfkgk（13-200） 令 得 ( )0mmEnr*1122()( )(1)( )()( )(1)(1)mmkmmmkw nk fk gkrnw nkfkgk（13-201

51、） 且有( )1mrn 这一条件保证了m+1阶前向滤波器第m+1个系数在任何时刻n的值都能够满足 的条件，从而使得前向滤波器是最小相位的，物理可实现的。1(1)1mam57 引入符号 *11122111( )()( )(1)( )()( )1(1)mmmkmmmkCnw nk fk gkDnw nkfkgk则11( )( )( )mmmCnrnDn递推公式*1111221111( )(1)(0)( )(1)( )(1)(0)( )1(1)mmmmmmmmCnCnwfn gnDnDnwfkgk（13-202）（13-203）（13-204）LMS格型自适应滤波算法格型自适应滤波算法初始化：f0(

52、n) = g0(n) = x(n)；P0(n) = |x(n)|2；r1(n)接近1.步骤步骤1 计算前、后向残差11*11( )( )( )(1)( )( )( )(1)mmmmmmmmfnfnrn gngnrn fngn58步骤步骤2 求中间系数 *1111221111( )(1)(0)( )(1)( )(1)(0)( )1(1)mmmmmmmmCnCnwfn gnDnDnwfkgk步骤步骤3 计算反射系数11( )( )( )mmmCnrnDn步骤步骤4 利用Burg递推计算()()(1)*(1)21( )( )( )( )( )( )(1( ) )mmmmmmiimm immmanrn

53、ananrn anPrnP式中ai (m) (n)表示m阶前向滤波器第i个系数在n时刻的值；Pm为m阶格型滤波器的残差能量。残差能量不再减小时的最小阶数为LMS格型滤波器的最优阶数。 LMS格型滤波器的优点是收敛速率比LMS横向滤波器快得多，而且对数据的舍入不敏感，但计算量大。5913.8 自适应滤波器的算子理论自适应滤波器的算子理论 13.8.1 滤波器算子的基本要求滤波器算子的基本要求 将离散滤波器看作算子P， 输入向量为 且( )(1), (2),( )Tnxxx nx( )( )( )nnnxsv，通过P后，得到信号的估计 。( )( )nPnsxP待滤波数据( )( )( )nnnx

54、sv信号的估计( )ns滤波器的算子表示滤波器算子的基本要求滤波器算子的基本要求(1)为了保证信号通过滤波器后不致发生畸变，滤波器算子P必须是一线性算子。(2)当滤波器输出 再次通过滤波器时，估计信号 不应发生任何变化，即 必须得到满足。等价与： ，也就是P必须是幂等算子。( )ns( )nsP PPxxs2PPPP60（3）滤波器算子应具有共轭对称性（其共轭转置等于本身）： 这时因为： 当滤波器工作在最优条件时，估计误差x-Px应该与期望响应的估计Px正交，即：xPxPx(13-205) HPP或,0HHIPPIPPxxxx故有0HPP P总结：滤波器算子必须是一个线性算子、并且具有幂等性和

55、总结：滤波器算子必须是一个线性算子、并且具有幂等性和共轭对称性。共轭对称性。6111,()HHHUPU U UUU U UU13.8.2 投影矩阵与正交投影矩阵投影矩阵与正交投影矩阵定理定理1 若MN（其中MN） 矩阵U满列秩，则投影矩阵PU由（13-206）给出。 投影矩阵PU具有以下性质：（1）幂等性：（2）对称性： 若定义 （13-207）UUUP PPUHUPP1,UHUPIPIU U UU 矩阵PU具有以下性质：（1）对称性：（2）幂等性：（3）与投影矩阵正交：HUUPPUUUP PPUUP P 0 由于矩阵PU与PU正交，故PU称为正交投影矩阵。 由于投影矩阵和正交投影矩阵都满足滤

56、波器算子的三个基本要求，所以它们都是滤波算子。6213.8.3 前、后向预测滤波器前、后向预测滤波器引入时移向量： 1. 前向预测滤波器前向预测滤波器12000(1)( )(1)00(2)( ),(1)(2)()( )( )fffmxwnxxwnx nx nx nmx nwn( )0,0, (1), ()Tjznxx njx考虑 m阶前向预测滤波器1( )()1,2,mfiix kw x kikn式中wfi(n),表示n时刻的滤波器权向量。上式写成矩阵方程：（13-208）定义数据矩阵121,( )( ),( ),( )000(1)00(1)(2)()mmnzn znznxx nx nx nm

57、Xxxx63定义m级前向预测系数向量wfm(n)和前向预测值 向量为 12( )( ),( ),( )( )(1), (2), ( )TffffmmTnwn wnwnnxxx nwx1,( )( )( )fmmnnnXwx(13-209) (13-210) ( )nx则（13-208）写成用x(n)代替 ，并用最小二乘估计得：( )nx11,1,1,( )( ),( )( ) ( )fTmmmmnnnnnwXXXx将（13-210）代入（13-209）得前向预测值为：1,( )( ) ( )mnPnnxx(13-211) 其中 表示数据矩阵的投影矩阵。11,1,1,1,1,( )( )( ),

58、( )( )TmmmmmPnnnnn XXXX定义前向预测误差向量：( )(1),(2),( )( )( )Tffffmmmmneeennnexx64可证明：可证明：1,( )( ) ( )fmmnPnnex(13-212) 结论：前向预测向量 和前向预测误差向量 分别是数据向量x(n) 在数据矩阵X1,m(n)所张成的子空间上的投影和正交投影。( )nx( )fmne 1. 后向预测滤波器后向预测滤波器1()()1,2,mbiix kmw x kmikn式中wbi(n)表示n时刻的滤波器权向量。上式写成矩阵方程：11(1)000( )( )(1)00( )(1)( )(1)(1)( )( )

59、(1)(1)()bmbmbxwnx mx mwnx mx mxxw nx nx nx nmx nm(13-213) 65(13-213)写为 定义数据矩阵0110,1( )( ),( ),( )(1)00(2)(1)0( )(1)(1)Tmmnzn znznxxxx nx nx nmXxxx11( )( ),( ),( )()0,0, (1), ()TbbffmmmTnwn wnwnnmxx nmwx0,1( )( )( )bmmmnnznXwx(13-214)用x(n)代替 ，并用最小二乘估计得：( )nx10,10,10,1( )( ),( )( )( )bTmmmmmnnnn znwXX

60、Xx(13-215)将（13-215）代入（13-214）得后向预测值为：0,1()( )( )mmnmPn znxx(13-216)66定义后向预测误差向量：( )(1),(2),( )()()Tbbbbmmmmneeennmnmexx可证明：可证明：0,1( )( )( )bmmmnPn znex(13-217)结论：后向预测向量 和后向预测误差向量 分别是数据向量z-mx(n) 在数据矩阵X0,m-1(n)所张成的子空间上的投影和正交投影。()nmx( )bmne10,10,10,10,10,1( )( )( ),( )( )TmmmmmPnnnnn XXXX其中 表示数据矩阵的投影矩阵