二章最佳滤波ppt课件

1、12(,)(),11TMf wwfw wwww0)(. .wig tsmi, 2 , 10)(wjlpmmj, 2, 112(,)( ),11TMMin f wwfw wwwww性能函数性能函数最正确化优化最正确化优化TMnxnxnxn)(,),(),()(21xTMnwnwnwn)(,),(),()(21wMiTHiinnnxwny1)()()()(wxxwnjensnsnx0)()()(1100)1() 1()()(ijnjiieeinsnsnxTMjjnjeeenn000)1(, 1)()(sx时域时域-正弦输入正弦输入cdsin0021()()( )()()()jtjtx tx ts

2、tes te01( )( )jtx ts t esin2d0(1)( )(1)jtjiixts tieeMi,1)()1(tsitsMi,100(1)(t)( )1,( )TjtjtjjMs t eees t exaTMjjee)1(,1aax)()(nsn nax)()(nsn空域空域-正弦输入正弦输入tjLtjtjetsetsetstx000)()()()(211tjijLtjijtjijieetseetseetstxL00201)1()1(2)1(1)()()()(Mi, 1iidsin2LijLijijiensensensnx)1()1(2)1(1)()()()(21)()()(111

3、)()()()(21)1()1()1(212121nsnsnseeeeeenxnxnxnLMjMjMjjjjLLLx)()(,)(21nnnLAssaaaxTLnsnsnsn)(,),(),()(21sTMjjiiiee)1(, 1aLaaaA,21对于实矢量 x=x1，x2 ，xnT的纯量实函数f(x), Txfxfxxffxf,)x,()(n21n21xxx111)()(1xxfxfx0)(0 xxfA.6 梯度梯度函数对于一维自变量x1的梯度就是函数对x1的导数 )()()(11xxxxjxrxfjfxfjxfxfjxffnjnrjrTrrxffxf,)(nr1xxTjjxffxf,)(

4、nj1xx0)(0 xxfkj11111,kkrTTTnrnrjnjTrnrTjnjxxxxxxxxxxxxxrjrjx = x +xxx对于复矢量x 对实矢量的函数的梯度公式对实矢量的函数的梯度公式x=x1,，xnT a=a1,，anTaaxxaxa)()(,TxTxxAxAxx2)(TxaaxxHeR*TeRxx aaAyAyxx)(TAxAxxx2)(H对复矢量的函数的梯度公式对复矢量的函数的梯度公式a=ar+jaj, x=xr+jx 3.1 最小均方误差滤波器最小均方误差滤波器图3.1 横式滤波器TTMMnxnxnxnxnxnxn)1(),.,1(),()(),.,(),()(21xT

5、Mwww,.,21wMiiinxwny1*) 1()(*)()(wxxwnnTH)()()()()(nndnyndneHxw)()()(*inxnxEirxx)()()(*indnxEirxd)()(*irirxxxx)()(*irirdxdx2( )| ( )| fEe nwwRwrwrwxxHxdHxdHndEneneEneE*2*2)(| )(|)()(| )(|wRwrwxxHxdHndERe2| )(|2)1 () 1()0()()(*MrrrndnExdxdxdxdxr)()(nnEHxxxxR)0()2()1 ()2()0() 1() 1() 1 ()0(xxxxxxxxxxxx

6、xxxxxxrMrMrMrrrMrrrxxHxxRR0|)(|)()(2vxvxxvvRvnEnnEHHHxxH()是埃米尔特矩阵(2)是正定的或半正定的。(3)具有Toeplitz性质，即其恣意对角线上的元素相等。xdoptxxrwRoptxxHoptxdHoptndwRwrwRe2| )(|E2minxdHoptndErw| )(|2optxxHoptndEwRw| )(|2xd1xxoptrRw22( ) ( ) 2Re220HHxdxxxdxxE e nE d n wwwwww rw R wrR wwRwrwxxHxdHndERe2| )(|2| )(|)(2neEwf最正确解最正确解

7、-维纳解维纳解(正规方程)正规方程的解正规方程的解 直接矩阵求逆算法直接矩阵求逆算法DMIDMI算法或采样矩阵求逆算法或采样矩阵求逆(SMI)(SMI)算法算法 最陡下降法加权系数的递推最陡下降法加权系数的递推-最小均方算法即最小均方算法即LMSLMS算法算法(3) (3) 利用矩阵的埃尔米特和利用矩阵的埃尔米特和ToeplitzToeplitz性质性质0|)(|2neEww)()()(nndneHxwjrjeeejrjwwwjrjxxx222|jreee22T)()(rTjjTrjjTjrrrddxwxwxwxw*2222|eejeejrxwww| )(| )(|22neEneEww0)()

8、(2*nneEx* ( )( )0optEn enx0)()(*neinxE1, 1 , 0Mi0)()(*nqnpE正交原理正交原理 jrjddd( )( )( )Hoptoptend nnwx)()()()()(0*optHnndnEnenEwxxxoptHnnEndnEwxxx)()()()(*xxoptxdR wr根据正交原理推正规方程根据正交原理推正规方程 )()(minoptxxHoptwwRwwoptwwvvRvxxHminiiixxqqRMi, 2 , 13.2 关于均方误差性能函数的进一步讨论关于均方误差性能函数的进一步讨论 3.2.1 均方误差性能函数的各种表达式均方误差性

9、能函数的各种表达式1211221212,0,00,0,0,0,xxMMMMMRq qqqqqq qq22( ) ( ) ()HHHHxdxdxxE e nE d nw rw rw R wjijijHi01qqMMMMMqqqq11111,qqQ1QQIQQHH，QRQxxH1HxxRQQQQminHH v QQ v1211221212,0,00,0,0,0,xxMMMMMRq qqqqqq qqxxR Q = Q1212,0,00,0(,)0,0,MMdiag vRvxxHmin)()(minoptxxHoptwwRwwminH vvoptwwv()HHoptvQ vQw-wTMHvv , 1

10、vQvQvv MiiiHv12minminvv1,0,1,0HHTiiiMiqQ qqqqq()HHoptvQ vQw-w21www21optoptoptwww21vvoptwwv)0() 1 () 1 ()0(xxxxxxxxxxrrrrR0)0(xxr图3.2 均方误差性能面 图3.3 等均方误差椭圆族 CxxTvRvmin1CxxTvRv2100QRQxxT1CTvv1222211Cvv1)/()/(22221121CvCv3.2.2 几何意义几何意义 均方误差椭圆的长轴正比于min1短轴正比于max1wRwrwxxHxdHndERe2| )(|2xdxxrwRw22xdxxoptrRw

11、1xdHoptndEneErw)()(2min2minwww)() 1(nn2)(2)() 1(xdxxnnnrwRwwxdxxnnrwRIw2)()2() 1()()2() 1(optxxoptnnwwRIww3.3 最陡下降法最陡下降法3.3.1 最陡下降法的递推公式最陡下降法的递推公式optnnwwv)()()()2() 1(nnxxvRIvoptwwv)0()0()0()2()(vRIvnxxn1HxxRQQQQ11( )(2)(0) (2)(0)nnnvIQQvQ I Qv)0()2()2(11vQIQQIQ)0()2(1vQIQn1( )( )( )( )HHoptnnnnvQ v

12、Q vQww)0( )2()( vIvnn3.3.2 最陡下降法的性能分析最陡下降法的性能分析 一、收敛性一、收敛性 )()2() 1(optxxoptnnwwRIww1( )( )( )( )HHoptnnnnvQ vQ vQww)0( )2()( vIvnn)21 ( ,)21()2(1nMnnDiagIMii, 11|21|max/100nn)21 (lim0v)(limnnlim( )optnnww01/1,iiMi2max11( ) 1,MMiixxiiniiTrE x nMPiMR01/xxTrR01/inMPMivnvinii, 1),0( )21 ()( Miii, 1)/1e

13、xp(21Minvnviii, 1)/exp()0( )( Miii, 1,)21ln(1Miii, 1,21)( )( )()(11111nvnvqqqqnnMMMMMQvv)/exp()0( )( )(11kMkkikMkkikinvqnvqnvMkkikioptinCwnw1)/exp()()0( kikikvqC二、过渡过程二、过渡过程 1权向量的过渡过程权向量的过渡过程 ( )( )( ( )HHoptnnnvQ vQw-w( )( )( )optnnnvw-wQvmax/102min1( ) ( )Miiinvn2min1( ) (0)exp( 2 /)MiiiinvnMiiiim

14、se, 14121minmsemax)4(minmaxmax4mse2均方误差的过渡过程均方误差的过渡过程xdoptxxrwR1max22min|() | |xxxxxxcondRRR3 特征值分散的影响特征值分散的影响当 大时，称方程及其相应的矩阵为病态的。当 为病态时，最陡下降法的收敛性能很差)(xxcond RxxRMiiiHv12minminvv4 步长值的影响步长值的影响3.4 最小均方最小均方LMS算法算法 3.4.1 最小均方最小均方LMS算法公式算法公式 (1)( )nn www22| )(| )(|neneEwww| )(|2neE2| )(|)() 1(nennwww)()

15、()()()()(nnndnyndneHxw)()(2| )(|*2nnenexw*(1)( )2( )( )1,iiiw nw ne n x niM*(1)( )2( ) (1)1,iiw nw ne n x niiM )()(2)() 1(*nnennxww图3.5 LMS算法的第i支路 图3.6 LMS算法框图)()()()()(2)() 1(*nnnndnnnHwxxxww)()(2)()()(2) 1(*ndnnnnnHxwxxIw*(1)( )2( ) (1)1,iiw nw ne n x niiM 1)(0inMP| )(|21nxEPin 初始条件：初始条件：0w)0(或由先验

16、知识确定或由先验知识确定运算：运算： 对对0,1,2,n 获得获得)(nx)(nd (2)滤波滤波 )()()(nnnyHxw(3)误差估计误差估计 )()()(nyndne(4)更新权向量更新权向量 )()(2)() 1(*nennnxww)(22)() 1(xdnnnxxwRrww)()(2)() 1(*nennnxww3.4.2 LMS算法的性能分析算法的性能分析最陡下降法的加权矢量的递推校正值为确定值LMS算法的相应的递推校正值为随机量。LMS算法的加权矢量将以随机方式变化。LMS算法又称为随机梯度法 LMS算法)()(2)()()(2) 1(*ndnnnnnHxwxxIw)()2()

17、 1(optxxoptnnwwRIwwxdxxnnrwRIw2)()2() 1(最陡下降法)()(*ndnEdxrx) 1() 1(2) 1()(*nnennxww一、加权矢量的平均值的收敛性和过渡过程一、加权矢量的平均值的收敛性和过渡过程 )()(2)()()(2) 1(*ndnnnnnHxwxxIw)()(2)()()(2)1(*ndnEnEnnEnEHxwxxIw与 无关)0(,) 1(xx，n)(nw)()(nnEHxxxxRxdxxnEnErwRIw2)(2)1(仅与 有关，)(nxxdxxnnrwRIw2)()2() 1(最陡下降法optnnwwv)()( ( ) ( )optEn

18、Envww)(2)1(nEnExxvRIv)0(2)(vRIvnxxnEoptwwv)0()0(1xxRQQ)()(1nnvQv)()( 1nEnEvQv)0( 2)( vIvnnE)0(2)(1optnoptnEwwQIQww类似于最陡下降法类似于最陡下降法 1)(0inMP1)(0inMP1加权矢量的平均值的收敛性加权矢量的平均值的收敛性optnnEww)(lim01/1,iiM2max11( ) 1,MMiixxiiniiTrE x nMPiMRmax01/)( )21 ()( ovnvEiniiiii21)21ln(1)/exp()0()(iiinvnvE)()(nEnEoptvQww

19、MkkikioptinCwnwE1)/exp()()(21221minmaxminmaxxxcond R2加权矢量的平均值的过渡过程加权矢量的平均值的过渡过程当 的特征值分散时，即其条件数很大时，即 为病态时，LMS算法的收敛性很差。 值必需选得满足收敛条件。在收敛范围内， 愈大，收敛愈快。但 过大时，过渡过程将出现震荡xxRxxR2. 均方误差的过渡过程均方误差的过渡过程)()()()(nnnndHoptHoptxwwxw)()(nneHoptxvoptnnwwv)()()()()(nndneHoptoptxw2min( ) optE en0 x)()(*nenEopt22*( )( ) (

20、 ) ( ) ( )( ) ( )2Re( ) ( )( )HHoptHoptnE e nE enEnnnnnn envxxvvx)()()()(nnndneHxw22( )( ) ( ) ( ) ( )( ) ( )HHoptnE e nE enEnnnnvxxv( ) ( )( ) ( )( )( )( )( )( )( )( )( )( )( )HHHH1xxHHMii 1EnnnnEnnEnnEnnE TrnnE Trnk nvxxvvR vvQQ vvvvvK( ) ( )( )HnEnnKvv( )iiik (n)=nK( )nKminmin( )( )Mii 1(n)=+Tr(n

21、+k nK为为 的对角元素的对角元素(3.4.37)( )( )( )1HnnnvQ vQ v2. 均方误差的过渡过程均方误差的过渡过程cont图3.7 LMS算法的稳态误差3. 稳态误差及失调系数稳态误差及失调系数LMS算法来说，在收敛到最正确值后，由于加权矢量继续按公式 变化，其校正值不为零而是继续随机起伏，从而使加权矢量继续随机起伏。这就使得LMS算法的收敛到即收敛到零后，均方误差将大于维纳误差)()(2)() 1(*nnennxww)(nwminminxxTrRminminMii1inMP失调系数失调系数用于描画用于描画LMS算法的稳态均方误差对维纳误差的相对偏向。算法的稳态均方误差对

22、维纳误差的相对偏向。 )()(2)()2() 1(*nennInoptxxxvRv1xxRQQ)()(2)()2() 1(1*11nnennoptxQvQIvQ)()()( 1nnnHvQvQv)()(2)( )2() 1( 1*nnennoptxQvIv)()(2)() 1() 1(*nnennnoptoptxwwwwv)()(2)()()(2*nennnnoptHxvxxI对对LMSLMS算法的失调系数的估计算法的失调系数的估计(1) (1) *1(1)(2) ( )2( )( )(2) ( )( )optennennnnvI vQ xI vv2)( )( 2)1( )1(IvvIvvHH

23、nnEnnE)()()()(411*2HoptoptnnneneExQxQ*23*41*43*21*43*21xxExxExxExxExxxxE2min (1) (1) 2 ( ) ( ) 24HHEnnEnn vvIvvI对对LMS算法的失调系数的估计算法的失调系数的估计(2) *1( )2( )( )eoptnennvQ x*1*121212minminmin( )( ) 2( )( )(2( )( ) 4( ) ( )44HHeeoptoptHxxEnnEennennEnnE vvQ xQ xQ xxQQ R Q(1)nv的误差矢量的误差矢量( )(1)( )ennnvvv各元素互不相关，其方差阵为对角阵。各元素互不相关，其方差阵为对角阵。( ) ( )( )HnEnnKvv()(2)( )(2)2minn1n4 KI KI()( )n1nKK( )( )( )minnnnKKK( )nK( )iiik (n)=nK( )( )( )2iiiiiiminik nk nk n( )iminik n1令令 为为 的对角元素的对角元素2min (1) (1) 2 ( ) ( ) 24HHEnnEnn vvIvvI当当n很大时很大时当当n很大时很大时minmin( )( )()MMiii 1i 1in+k n11( )Mmini