现代数字信号处理(chap5自适应滤波)(修订版)(1)

1、主讲教师主讲教师: 何松华何松华 教授教授联系方式联系方式:(0731) 82687718 现代数字信号处理/自适应滤波第五章第五章 自适应滤波器自适应滤波器教学内容教学内容最小均方自适应横向型滤波器最小均方自适应横向型滤波器(LMS) 正则方程、梯度法、正则方程、梯度法、LMS算法算法递归最小二乘自适应滤波器递归最小二乘自适应滤波器(RLS) 原理、迭代算法原理、迭代算法自适应滤波器应用自适应滤波器应用 自适应对消器自适应对消器 前言前言一一、自适应滤波器的提出自适应滤波器的提出Weiner滤波器：输入滤波器：输入x(n)，期望输出，期望输出yd(n) 输入输入期望

2、输出信号是广义平稳的；输入期望输出信号是广义平稳的；输入期望输出信号的期望输出信号的相关及互相关特性是已知的。相关及互相关特性是已知的。自适应滤波器自适应滤波器( 两层两层)的含义：的含义： 输入信号统计特性是未知的或知道甚少，或者其统计特性是时输入信号统计特性是未知的或知道甚少，或者其统计特性是时变的，变的，自动适应输入信号的统计特性自动适应输入信号的统计特性,能够根据输入信号统计特性能够根据输入信号统计特性的变化自动调整其结构参数的变化自动调整其结构参数，以满足某种最佳准则的要求。，以满足某种最佳准则的要求。 ( )( )( )Doptz F zHzG z( )( )( )optF zHz

3、G z( )( )( )optF zHzG z平滑滤波D步预测1( )( )()xydRzF zG z1( )( ) ()xR zG z G z前言前言二、二、自适应滤波器的组成自适应滤波器的组成参数可调数字滤波器自适应算法x(n)d(n)y(n)e(n)_+滤波结构滤波结构 IIR、FIR、横截型、格型、横截型、格型 自适应算法自适应算法 LMS、RLS实际输出期望输出前言前言三、自适应滤波器的典型应用三、自适应滤波器的典型应用自适应系统建模自适应系统建模 回波抵消模型、控制模型、信道模型回波抵消模型、控制模型、信道模型自适应逆滤波自适应逆滤波 自适应均衡、盲解卷积自适应均衡、盲解卷积自适应

4、信号预测自适应信号预测 自适应预测编码、变化检测自适应预测编码、变化检测多传感器干扰抵消多传感器干扰抵消 阵列信号处理阵列信号处理(角分辨角分辨)与自适应波束形成与自适应波束形成始终保证误差信号的方差或动态范围为最小,降低编码比特数移动通信:信道模型空间位置的变化而变化干扰信号的方向是未知的变化的电视现场直播信号前言前言四、自适应滤波器的典型应用举例四、自适应滤波器的典型应用举例通信中的回波抵消通信中的回波抵消 (电话交换机电话交换机)由于阻抗不匹配造成能量泄漏前言前言滤波器的参数自动适应C-混合器B-D的回波路径仅剩B的话音,回音被对消前言前言自适应预测误差编码1( )()Niix na x

5、 ni 第一节第一节 LMS自适应滤波器自适应滤波器Widrow B，Hoff M E Jr. Adaptive switching circuits. 1960线性线性(L)最小均方误差最小均方误差(MS)滤波器、最陡下降法滤波器、最陡下降法一、一、最佳滤波器的正则方程最佳滤波器的正则方程d(n)自适应算法x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM (n)滤波器的参数 不再是常数,而是与n有关的变量iw第一节第一节 LMS自适应滤波器自适应滤波器 为平稳信号情况下的线性为平稳信号情况下的线性FIR滤波滤波10( )( ) ()Miy nh i x ni最优滤波器的

6、参数最优滤波器的参数 与时间与时间n无关无关 ( )|0,1,.,1h iiM( )x n 为非平稳信号情况下的线性为非平稳信号情况下的线性FIR滤波滤波10( )( , ) ()Miy nh n i x ni最优滤波器的参数最优滤波器的参数 与时间与时间n有关有关 ( , )|0,1,.,1h n iiM( )x n记( )( ,1)iw nh n i(1,2,.,)iMM-1阶线性滤波器第一节第一节 LMS自适应滤波器自适应滤波器1( )( )( )( )( ) (1)Miie nd ny nd nw n x ni 定义：定义：12( )( )( )( )TMnw nw nwnW( ) (

7、 )(1)(1)Tnx nx nx nMX( )( )( )( )( )( )( )TTe nd nnnd nnnWXXW均方误差性能函数均方误差性能函数2()( )( )fE e nnW则：则：1( )( ) (1)Miiy nw n x ni 对于非平稳过程,数学期望不再是常数矢量函数的含义?第一节第一节 LMS自适应滤波器自适应滤波器2()( )( )( )TfEd nnnWXW2( )2( )( )( )TE dnE d nnnXW( )( )( )( )TTEnnnnWXXW定义：定义： ( )( )E d nnPX( )( )TxEnnRXX 矢量 标量W()f W行矢量 矩阵 列

8、矢量 =标量(列矢量,互相关矢量)自相关矩阵(列矢量行矢量)第一节第一节 LMS自适应滤波器自适应滤波器222( ) ( ) (1) ( ) (1) (1) ( )(1) (1) (1) (1) ( ) (1) (1)(1)xE xnE x n x nE x n x nME x nx nE xnE x nx nME x nMx nE x nMx nE xnMR2( )( )2( )( )( )TTxnE dnnnnP WWR WxoptR WP1optxWR P22minmin( )( )ToptE e nE dnP W ( ) ( ), ( ) (1),., ( ) (1)TE d n x

9、nE d n x nE d n x nMP( )22( )0( )xnnn PR WW标量对矢量的导数为矢量根据矩阵论中的二次型求导原理，当TxxR = R则：则：第一节第一节 LMS自适应滤波器自适应滤波器平稳平稳Rx , P 已知情况下正则方程的求解已知情况下正则方程的求解1optxWR PxR满秩满秩直接矩阵求逆算法直接矩阵求逆算法最陡下降法最陡下降法(牛顿梯度法牛顿梯度法)LevinsonDurbin算法算法LMS算法、算法、RLS算法算法运算量大，且在非平稳情况下对每个运算量大，且在非平稳情况下对每个n都要求逆都要求逆格形自适应滤波器格形自适应滤波器LMS算法的基础,同样可以避免矩阵

10、求逆运算Rx , P 未知情况下以及非平稳正则方程的求解未知情况下以及非平稳正则方程的求解二、梯度法二、梯度法(Gradient-Method) 最陡下降法最陡下降法(The method of Steepest Descent)第一节第一节 LMS自适应滤波器自适应滤波器1 算法算法 (牛顿梯度法牛顿梯度法) (一维情况一维情况)optW1W2W2( )( )nE e n( )W nmin( )( )0( )EnnW n(1)( )( )W nW nn ( )0( )EnW n(1)( )( )W nW nn LMS算法的基础，必须先进行介绍W(n)=W1 时W(n)=W2 时向左搜索向右搜

11、索第一节第一节 LMS自适应滤波器自适应滤波器( )(1)( ) ( )( )( )nnnnnnWWWW梯度梯度 的极性约束方向，的极性约束方向， 控制步长控制步长收敛速度收敛速度精度。精度。 ( )n22212( )( )( )( )( ),( )( )( )( )ME e nE e nE e nnnnw nw nwnW1optxW(n)WRP22( )n xPR W当当算法收敛算法收敛(1)( )nnWW(1)( )2 ( )0,1,2nnnnxWWPR W统计特性P、Rx已知的情况下,一旦给定初始权值W(0),则收敛路径确定见前面的推导第一节第一节 LMS自适应滤波器自适应滤波器2. W

12、的的收敛条件收敛条件自相关矩阵Rx的本征分解理论120.00.0.000 xMR QQQTTxQ RQ 11()TTTxRQQQ QQ Q由Rx的特征根构成的对角矩阵由Rx的特征向量构成的矩阵根据特征向量矩阵的正交性QTQ=I本征分解对推导分析的好处:转化为对角矩阵运算处理一定能收敛到最优解吗?上式两边取转置并利用性质1TxRQ QQ Q证:第一节第一节 LMS自适应滤波器自适应滤波器2. W的的收敛条件收敛条件(1)( )2 ( )nnnoptoptxxoptWWWWR WR W定义误差矢量定义误差矢量 (1)(1)nnoptVWW(1)( )2( )2 ( )nnnnxxVVR VIR V

13、T-1xRQQQQ12(,)Mdiag xR非负定、对称，存在正交矩阵非负定、对称，存在正交矩阵 ，即，即 (1)2( )nn-1VQ I Q V非负定的含义：根据矩阵理论，自相关矩阵是非负定的0m-1TQQQ满足满足 (1)( )2 ( )nnnxWWPR W根据1optxWRP则有则有: 则则: 第一节第一节 LMS自适应滤波器自适应滤波器定义定义 ( )( )( )nnn-1TVQ VQ V11(1)(1)(2)(0)nnQnVVIV(0)(0)ToptVQ WW(0)(0)optVWW1(1)2(0)VQ I Q V121(2)2(1)2(0)VQ I Q VQ I Q V11(1)2

14、(0)nnVQ IQ V则则 Q的正交性对角矩阵第一节第一节 LMS自适应滤波器自适应滤波器11112(12),(12)nnnMIdiag|1 2| 11,2,kkMmax10lim(2)0nnIlim( )lim( )0nnV nQV nlim( )optnnWW或或 时，时， 当当 满足条件满足条件 1(1)(1 2)(0)nkkkv nvmax12maxM 的第k个元素(1)nV 的第k个元素(0)Vlim( )0knvnlim( )0nV n第一节第一节 LMS自适应滤波器自适应滤波器( )(12)(0)1nkkkv nvkM( )( )optW nWV n,1( )(0)(12)Mn

15、kkoptk iiiiw nwq v,1(0)1inMkoptk iiiwq vekM( )optWQV n共M个指数过程，收敛取决于最慢的指数过程(i最小的)1ln(1 2)ii指数收敛因子收敛路径分析第一节第一节 LMS自适应滤波器自适应滤波器3. 均方误差序列的收敛性以及收敛精度均方误差序列的收敛性以及收敛精度2( )( )2( )( )( )nE dnnnnTTxP WWR Wmin2( )( )( )nnnTTToptxP WP WWR Wmin( )( )TnnoptxoptWWRWW2( )( )2( )( )( )nE dnnnnTTxP WWR WxoptR WP22minm

16、in( )( )E e nE dnToptP Wmin2( )( )( )nnnTTToptxoptoptxxWR WWR WWR W第一节第一节 LMS自适应滤波器自适应滤波器min( )( )( )nnnTxVR Vmin( )( )nnTTVQQ Vmin( )( )TV n V nmin(0)(2)(2)(0)TnnVIIV2min(0)(2)(0)TnVIV22min1(12)(0)Mnkkkkvnmin( )n根据定义根据对角矩阵乘积交换律|1 2| 1k选择收敛步长u满足：( )( )nnTVQ V根据权值收敛特性性能曲面函数第一节第一节 LMS自适应滤波器自适应滤波器4. 二维

17、情况下误差性能曲面举例二维情况下误差性能曲面举例minmin( )( )( )( )( )TnnnV nV nTxVR Vw2minw1w1optv2v1w2opt12TWww112212, ,TToptoptoptVWWwwwwv v(0)(1)(1)(0)xxxxxrrRrr12ToptoptoptWwwmin2min121 22(0)2 (1)(0)TxxxxV R Vrvrv vrv关于的椭圆椎面函数12,v v第一节第一节 LMS自适应滤波器自适应滤波器令令minCC 为常数为常数等高线等高线min22min1 122TVVvv221 122vvC2212121/vvCC1v2v2v

18、1w2w1v大特征值对应短轴，收敛 (逼近最优点) 快第一节第一节 LMS自适应滤波器自适应滤波器牛顿梯度法牛顿梯度法举例举例: 预测预测12( )(1)( )(1)y nx na x na x n ( )(1)d nx n估计估计12,a ax(n)z-1z-1w1w2( )y n2min (1)(1) Ex nx n第一节第一节 LMS自适应滤波器自适应滤波器a1a2121/2min1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.019

19、81000.0038情况2的说明 ( ) ( ) ( ) (1)10.5 (1) ( ) (1) (1)0.51xE x n x nE x n x nRE x nx nE x nx n已知: (1) ( ) (1) (1)0.50.4625TTPE x nx nE x nx n第一节第一节 LMS自适应滤波器自适应滤波器 的两个特征根分别为11.5xR20.51120.9750.95optxaWRPa 2min0.975( )10.50.46250.07310.95ToptE dn P W练习5.1：根据表中的其他情况的1、 2以及Rx性质(对称，且对角元素值相等)反推矩阵Rx，根据a1、 a

20、2以及Rx反推P并计算min第一节第一节 LMS自适应滤波器自适应滤波器取max00.31/(0)0,0TW则(1)(0)2 ( )625 0.3, 0.2775TTnxWWPR W0.30.510.50.3(2)0.60.27750.46250.510.2775 0.50325, 0.6635TW0.503250.510.50.50325(3)0.60.66350.46250.510.6635 0.70035, 0.693875TW当n足够大时,( )0.975, 0.95TW n 统计特性已知时,只有在大矩阵情况下才体现运算上的优势第一节第一节 LMS自适应滤波器自适应滤

21、波器三、三、LMS算法算法 (Least Mean Square) 1. B.Widrow和M.E.Hoff 1960年 权值递推算法(0)(0)(0)(0)TedXW给定任意的初始权值矢量给定任意的初始权值矢量 以及合适的步长 ，从n=0开始(0)W1( )( ) (1)( )( )MTiiy nw n x niWn X n ( )( )y nd n12( )( ),( ),.,( )TMW nw n w nwn( ) ( ), (1),., (1)TX nx n x nx nM一般采用全零的矢量第一节第一节 LMS自适应滤波器自适应滤波器( )( )( )( )Te nd nXn W n1

22、2W nW nn()( )( )2( )( )( )2( ) ( )ne nnn e n W WXW( )2( ) ( )nn e n=WX单个误差样本的平方单个误差样本的平方 随机梯度随机梯度随机变量随机变量随机路径随机路径无须事先知道P、Rx等统计特性,自动适应其统计特性,并收敛到最优权值2(0)(0)(0)2(0) (0)ee W WXW00210200eWW( )( )( )( )( ) ( )WX然后由 、 、 计算 、 ；依此类推1W( )1e( )1d( )1X( )2W( )标量矢量第一节第一节 LMS自适应滤波器自适应滤波器LMS算法流程算法流程 假设输入数据从n0=0开始，

23、在n=0的边界附近构造矢量时， 的值可以用零代替( 1), ( 2)., (1)xxxMH:共轭转置*:共轭复数据情况同样适用矢量LMS算法流程第一节第一节 LMS自适应滤波器自适应滤波器LMS算法框图算法框图jjjjXeWW21Xjyjdjw1jw2jw3jwNjZ-1Z-2xjxj-1xj-2xj-N+1ej2. 权矢量收敛性权矢量收敛性第一节第一节 LMS自适应滤波器自适应滤波器几点假设几点假设)(),(ndnX联合平稳联合平稳( )( )( )nnn r梯度矢量的随机估计误差梯度矢量的随机估计误差( )( )nn optV=WW权值估计误差矢量权值估计误差矢量X(n)和和 不相关不相关

24、( )nW虽然 只与矢量X(n-1)有关,该假设比较牵强,X(n)与X(n-1)之间有重叠,以下证明为不严格的证明,但在应用上尚未出现明显的问题( )nW 处的理论梯度与实际梯度的误差( )nW第一节第一节 LMS自适应滤波器自适应滤波器 ( )( )( )EnEnEnr ( )Enn 梯度估计矢量是无偏的梯度估计矢量是无偏的(含义含义)22( )2 ( ) ( )( )( )TxPR E W nE X n d nXn W n 22( )22( )0 xxPR E W nPR E W n 22( )( )( )( )( ) ( )( )( )( )( )( )2 ( ) ( )( )( )|T

25、W W nW W nTW nW nE enEd nXn W nnW nW nE X n d nXn W n 22( )xPR W n ( )2( ) ( )nn e n X( )( )( )( )Te nd nXn W n不相关假设第一节第一节 LMS自适应滤波器自适应滤波器(1)( )( )( )V nV nnr n (2) ( )xIR E V n(1)(1)optnnVWW(1)( )( )( )( )( )nnnnnn WWWr(1)( )( )( )E V nE V nEnE r n( )22( )xoptxE V nR WR E W n( )2( )xE V nR E V n定义则

26、前面已证明为0P( )22( )xnPR W n 第一节第一节 LMS自适应滤波器自适应滤波器令令( )( )nn-1Q VV(1)(2) ( )EnEnVIV1(2)(0)nEIV(0)(0)(0)-1ToptVQ VQ WW (1)(2) ( )EnEnxVIRV1TxRQ QQ Q2( )En-1Q I QV原式两边同乘Q-1根据递推原理第一节第一节 LMS自适应滤波器自适应滤波器( )(1 2)(0)1nkkkE v nE vkM ( )( )optE W nWE V n,1 ( ) ( )Mkkoptk ikiE v nE w nwq ( )optWQE V n,1 (0)(1 2)

27、 1Mnkoptk iiiikwq E vM要求: ;收敛速度取决于 最大的项或 最小的项,特征值的散度 越大，则收敛时间愈长。|1 2| 1i|1 2|iiminmax第一节第一节 LMS自适应滤波器自适应滤波器max01/收敛条件收敛条件n( )optE W nW( )0E V n211(1)MMxiiitr RE xni maxxtr R可取可取2110( )xtr RME xn根据矩阵理论更严格地满足收敛条件期望意义上收敛12201( )( )NnE xnxnNN足够大时3. 估计误差能量的收敛性估计误差能量的收敛性第一节第一节 LMS自适应滤波器自适应滤波器( )( )( )( )T

28、e nd nnnWX( )( )( )( )TToptoptd nnnnWXWWX22( )( ( )( )( ) ( )( )( )( )ToptTToptoptE e nEd nnnEnnnnWXWWXXWWmin( )( )( ) ( )TTEnnnnVXXVmin ( )( )( )( )TTtr EnnnnVVXX根据最佳估计时的误差 与X(n)不相关的原理( )( )Toptd nnWX练习5.3:该矩阵对角线元素值的和为( )( )( ) ( )TTnnnnVXXV第一节第一节 LMS自适应滤波器自适应滤波器2min1( ) MiiiE v nmin ( )( ) Ttr E V

29、 n Vn tr ABtr BA2min( ) ( )( )TxE e ntr Enn RVVmin ( )( )TTtr E V n Vn Q Q将QT移到前面去相乘w与x无关,则v与x无关2min1( ( )var ( )MiiiiE v nv n第一节第一节 LMS自适应滤波器自适应滤波器 均方误差收敛条件均方误差收敛条件max10 ( )0iE v n2min1( )var ( )MiiiE e nv n超量均方误差 结论结论: LMS算法使用随机梯度算法使用随机梯度, 权值收敛为均值意权值收敛为均值意 义上的收敛义上的收敛(在最优权矢量附近左右摆动在最优权矢量附近左右摆动), 平平

30、均误差能量大于牛顿梯度法的最小误差能量均误差能量大于牛顿梯度法的最小误差能量4. 超量均方误差超量均方误差第一节第一节 LMS自适应滤波器自适应滤波器2min1( )limvar ( )MexiiniVE ev n根据根据(1)( )( )( )V nV nnr n ( )22( )xnPR W n 可以得到可以得到 (1)(2) ( )( )xV nIR V nr n练习5.41(1)(2)( )( )V nI V nQ r n221(1) (1)(2)( ) ( ) ( )( ) TTTE V nVnIE V n VnE Q r n rn Q假设r(n)与v(n)不相关xoptPR W对角

31、矩阵相乘的位置可交换性,假设权系数误差之间互不相关如何求方差?第一节第一节 LMS自适应滤波器自适应滤波器n 当时(1) (1)( ) ( )TTE V nVnE V n Vn( )( )( )( )2( ) ( )nnnnX n e n r理想稳态情况下误差矢量( )0n121min( )( ) 4 ( )4TxE Q r n rn QE e n Q R Q22min( ) ( )(2)( ) ( )4TTE VVIE VV 在maxmax121.M时的近似解为min( ) ( )TE VVI练习第一节第一节 LMS自适应滤波器自适应滤波器min1exxVtr R定义：失调量定义：失调量值越

32、大，失调量大值越大，失调量大2min1( )limvar ( )MexiiniVE ev n1var ( )Miiivminmin1limMixnitr R 10 xtr Rvar ( )iv 为矩阵 对角线元素上的值( ) ( )TE VV22(2)4442III注:第一节第一节 LMS自适应滤波器自适应滤波器lim( )kkoptnE w nw 当当n足够大时足够大时, 权值在最优点附近扰动权值在最优点附近扰动;并非依概率并非依概率1收收敛于最优权值敛于最优权值扰动所带来的超量均方误差为扰动所带来的超量均方误差为minminxtr R因此因此,当当n足够大时足够大时, 权值在最优点附近扰动

33、是比较小的权值在最优点附近扰动是比较小的,1( )(0)(12)Mnkkoptk iiiiE w nwq v ,1( )(0)(1 2)( )Mnkkoptk iiikiw nwq vn收敛路径中的噪声第一节第一节 LMS自适应滤波器自适应滤波器5. 应用：自适应均衡应用：自适应均衡码间干扰现代通信中一般设置训练比特反射波个数延迟幅度未知重构的部分数据y(n)第一节第一节 LMS自适应滤波器自适应滤波器+x(n)y(n)d(n)e(n)通信信号数据发生器信道hn高斯白噪声发生器自适应均衡器+I(n)v(n)收发同步后接收端根据已知的训练比特重构的I(n)训练比特是位置固定的0,1取值已知比特当

34、自适应均衡器为信道hn的逆滤波器时，y(n)=I(N)；均衡器达到理想效果第一节第一节 LMS自适应滤波器自适应滤波器121cos0,1,220nnnhWothersW3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511min0.33390.21360.12560.0656max2.02952.37612.72633.0707实际信道012( )( )(1)(2)x nh y nh y nh y n直射波两个反射波第一节第一节 LMS自适应滤波器自适应滤波

35、器W=3.5W=3.3W=3.1W=2.9u = 0.075W越大, 反射波越强，则收敛精度越低第一节第一节 LMS自适应滤波器自适应滤波器W=2.9u=0.075u=0.025u=0.0075u越小,则收敛速度越慢,但收敛精度越高第一节第一节 LMS自适应滤波器自适应滤波器0100200300400500-2-1012origan signa0100200300400500-2-1012signa through channal corrupted by noise0100200300400500-2-1012output of ALE0100200300400500-2-1012error

36、 of ALE第一节第一节 LMS自适应滤波器自适应滤波器梯度法与梯度法与LMS算法：算法：1.统计梯度与随机梯度统计梯度与随机梯度2.梯度法在梯度法在n趋于无穷时能收敛到最小均方误趋于无穷时能收敛到最小均方误差差 ，这是，这是因为每次迭代都使用了精确的梯因为每次迭代都使用了精确的梯度向量。度向量。LMS算法在算法在n趋于无穷时，最小均方误趋于无穷时，最小均方误差大于差大于 。这是因为存在梯度估计误差。这是因为存在梯度估计误差。3.3.梯度法定义了明确的学习曲线梯度法定义了明确的学习曲线( (收敛路径收敛路径) )，该曲，该曲线反映了均方误差对迭代次数的变化情况。线反映了均方误差对迭代次数的变

37、化情况。LMS算法学习曲线由噪声和衰减指数和组成，算法学习曲线由噪声和衰减指数和组成，噪声的幅度通常随步长参数噪声的幅度通常随步长参数u u的减小而减小。的减小而减小。 minmin第一节第一节 LMS自适应滤波器自适应滤波器课程上机实验6：线性信道均衡中的LMS梯度算法实现采用Matlab或VB语言编程 (1) 参照实验3的方法产生均值为0，根方差为0.01的、正态白噪声序列 ( )|1,2,.,200v nn ( )|1,2,.,100,0,1,0,0,1,0,1,1,1b ii (2) 假设信源发送的前10个比特为训练比特,为 假设信源发送的后10个比特为信息比特,为 ( )|11,12

38、,.,201,0,0,0,1,1,0,0,0,1b ii 收发双方按通信协议约定的,收方已知收方未知第一节第一节 LMS自适应滤波器自适应滤波器 (3) 假设在接收端的采样率为每个调制脉冲采集10点,采样后数字基带信号的数字角频率为0.21,A=1,则接收到的直射波采样信号(经同步后)可以表示为 (10)2( ) 1cos0.21(1)|1,2,.,10;1,2,.,20aijb iAjji ( )0.3 (2)0.2 (4)5,6,.,2001( )( )0.3 (2)3,4( )1,2a na na nnx na na nna nn (4) 假设有两个反射波,相对于直射波的延时分别为2,4

39、;幅度系数分别为0.3,0.2;则合成的信号为 ( )1( )( )|1,2,.,200 x nx nv nn (5) 加上信道噪声后的信号为 ASK调制第一节第一节 LMS自适应滤波器自适应滤波器 (6) 画出直射回波a(n)以及带有信道噪声以及码间干扰的信号x(n)的波形图,计算平均误差 2002111 ( )( )200nex na n1002160.5 1/( )100nuxn (7) 设置自适应滤波器的抽头数M=6,搜索步长取为 初始权值设置为 ( )0|1,2,.,6w ii利用训练比特对应的前100点数据计算权值,伪代码为可以改变抽头数以及步长,比较收敛效果假设数组的下标只能从1

40、开始的修正第一节第一节 LMS自适应滤波器自适应滤波器 6 to 100( )( )( )0 1 to 6( )( )(1)( ) ( )( )( ) 1 to 6( )( )2(1)( ) forid ia iy iforjy iy ix ijw jnext je id iy iforjw jw jux ije inext jnext i 期望值观察最终得到的权值 ( )|1,2,.,6w ii (8) 用得到的权值对信息比特对应的后100点数据进行滤波处理 前100点的期望输出是已知的可以多次运行上述过程,以前一次的运行结果为初值;观察是否可以改善均衡效果第一节第一节 LMS自适应滤波器自

41、适应滤波器 1 to 100( )0 1 to 6( )( )(1001)( ) 1 to 100( )(100)( ) foriy iforjy iy ix ijw jnext jnext iforied iaiy inext i画出误差序列ed(n)的波形图;画出均衡后的序列y(n)的波形图,观察其与a(n)波形图的后半部分的差异性远小于x(n)与a(n)的差异性伪代码,需要根据具体的语言进行修正第一节第一节 LMS自适应滤波器自适应滤波器 (9) 计算信道均衡后的平均误差 1002112 ( )(100)100ney na n比较其与e1的差异性(远小于e1)观察ed(n)的波形图中的个

42、别毛刺点(误差绝对值较大的点),思考:为什么个别毛刺点对误码率影响不大?思考:如果信号幅度A不为1且未知,是否对信道均衡产生影响? 按A=2重复实验(期望输出保持不变,则滤波输出下降到1/A,输出波形的调制方式形状不变)第一节第一节 LMS自适应滤波器自适应滤波器 在期望输出不变的情况下,为了将不同A情况下的均衡结果进行有意义的比较,必须对误差能量进行功率归一化. 200221111 ( )( )200nex na nA信道均衡前,功率归一化后的平均误差能量1002112 ( )(100)/100ney na nA信道均衡后,功率归一化后的平均误差能量比较e1,e2,观察信道均衡效果第二节第二

43、节 最小二乘自适应滤波器最小二乘自适应滤波器一、一、RLS算法与算法与LMS算法算法 (RLS: Recursive Least Square)LMS算法伪最小均方误差准则，一类数据的最佳滤波器算法伪最小均方误差准则，一类数据的最佳滤波器 RLS算法最小二乘准则，一组数据的最佳滤波器算法最小二乘准则，一组数据的最佳滤波器 二、最小二乘原理二、最小二乘原理 e(n) d(n) y(n) x(n) w(0) w(1) w(M-1) z-1 z-1 z-1 有限长度输入信号为 (0),1xx ix N M(MN)阶线性滤波器 1,),0(Mwiww期望输出信号为 (0),1 , (2)dd id N

44、d NM递归的实际上对同类的不同数据有不同的解第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器( )( )( )e id iy i代价函数代价函数2()| ( )|miniWe i2、数据窗范围、数据窗范围 1、输入输出方程、代价函数、输入输出方程、代价函数 (0): (1) 0(1): 0 1(1): 1(2):12yMy MMy NNMNy NMNNM当已知的输入数据为x(n)(n=0,1,N-1),则其中输出y(0), y(1), , y(M-2)牵涉到nN-1的输入数据x(n);必须对边界外的数据进行假定为什么不考虑nN+M-2?10( )( ) () Mmy iw m x im

45、输入数据范围第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器(1) 协方差法：使得协方差法：使得n=M-1到到N-1范围内的误差能量最小，范围内的误差能量最小，不牵涉到不牵涉到0，N-1之外的输入数据，无须任何假定之外的输入数据，无须任何假定121,1iMiN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX(1),(),(1)X MX MXNA(1)()(1)(2)(1)(2)(0)(1)()x Mx Mx Nx Mx Mx Nxxx NM定义数据矢量定义数据矩阵n时刻进入滤波器的数据第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器(2) 自相关法

46、：使得自相关法：使得n=0到到N+M-2全部范围内的误差能全部范围内的误差能量最小，假设量最小，假设 0，N-1之外的输入数据都为零之外的输入数据都为零120,2iiNM(0)(1)(2)AXXXNM(0)(1)(1)(1)000(0)(2)(2)(1)000(0)()(1)(1)xxx Mx Nxx Mx Nx Nxx N Mx N Mx N12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器(3) 前加窗法：使得前加窗法：使得n=0到到N-1范围内的误差能量最小，范围内的误差能量最小，不牵涉大于不牵涉大于n

47、N-1时刻的输入数据，对其不做任何假定；时刻的输入数据，对其不做任何假定；但假设但假设n0的输入数据为零的输入数据为零120,1iiN(0)(1)(1)(1)0(0)(2)(2)00(0)()xxx Mx Nxx Mx Nxx NM(0)(1)(1)AXXXN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器(4) 后加窗法：使得后加窗法：使得n=M-1到到N+M-2范围内的误差能量范围内的误差能量最小最小,不牵涉不牵涉nN-1的输入数据为零的输入数据为零121,2iMiNM(1)(1)00(2)(2)(1)

48、0(0)()(1)(1)x Mx Nx Mx Nx Nxx NMx NMx N(1)()(2)AXMXMXNM12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器3、正则方程、正则方程 (0)(1)(1)()(1)0(0)(2)(1)(2)00(0)(1)()xxx Mx Mx Nxx Mx Mx NAxxx NM01nN(前加窗前加窗)其他加窗情况作为练习,自己推导.为什么以前加窗作为重点?期望输出都有定义定义滤波器输出信号矢量定义滤波器输出信号矢量: (0), (1),., (1)TYyyy N定义权矢量定

49、义权矢量: (0), (1),., (1)TWwww MMN维M维N维第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器则有则有: TYA W定义误差信号矢量定义误差信号矢量: (0), (1),., (1)TEeee N定义期望信号矢量定义期望信号矢量: (0), (1),., (1)Tddd Nb( )( )( )e nd ny n则有则有: TEYA Wbb误差信号能量误差信号能量: 120()( )() () NTTTTnTTTTTTWe nE EA WA Wb bb A WW AbW AA WbbN维N维标量第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器min ()W()

50、0WW根据标量对矢量的二次型的求导公式得到根据标量对矢量的二次型的求导公式得到: 220TAbAA WM维1() ()TWAAAbM维MN, NMM MMN, N1M 1定义样本自相关矩阵定义样本自相关矩阵: TxRAA第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器0 00 1011 011111 01111( , )( , )( ,)( , )( , )( ,)(, )(, )(,)xxxxxxxxxxrrrMrrrMr Mr Mr MMR对称；但对角线元素值不同,不满足Toepliz的两个条件其中其中: 10( ,)() ()0,1Nxnr l mx nm x nll mM定义定义

51、: 011Tqqq M ( )( )()qAb其中其中: 10( )( ) ()01Nnq ld n x nllM 第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器xR Wq则得到正则方程则得到正则方程11()TxWRqAAAbminTTTTTTTE Eb bb A WW AbW AA W1()TTTTb bb AAAAb最小误差能量为：最小误差能量为： 一般不满足Toepliz性质，有没有递归算法避免大矩阵的直接求逆运算？是要解决的主要问题,后面介绍将解代入TTb bq W第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器20( )( )01nn iine i三、三、(递归最小二乘

52、递归最小二乘)RLS自适应自适应 横向滤波器横向滤波器( )(0)(1)( )nXXX nA( )( ), (1), (1)0Tix ix ix iMin X(0)(1)( )0(0)(1)00(1)xxx nxx nx nM( ) (0),(1),( )Tnddd nb当前误差能量积累(离当前时刻越远，加权越小)定义只讨论前加窗情况A(n)是矩阵A的前n+1列当前输入数据矩阵当前输出数据矢量第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器10002000( )0000000nnn ( ) (0)(1)( )Tneee ne( )( )( )nnnTbAW120,nndiag则有定义TE

53、bA W将输入数据段为0到N-1情况下的矩阵形式表示形式推广到输入数据段为0到n情况下的矩阵形式表示形式,目的? 中n的含义?( )nW当前误差数据矢量当前最优权值矢量第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器( )( ) ( ) ( )nnnnTee( )( )( )( )nnnnTebAW1122( ) ( )( ) ( )Tnnnn ee111222( ) ( )( ) ( )( )( )( )nnnnnnnTebAW( )b n( )A n则有 的定义？适用?12( )n根据最小二乘原理， 参照 情况的解，得到该线性方程组解为( )|0W WnW( )e n矢量E TbA

54、W第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器1( ) ( )( )( )TTW nAn A nAb n1( ) ( )xRn q n111122221( )( ) ( )( )( )( )( ) ( )TTnnnnnnnnTTTAAAb1( ) ( )( )( ) ( ) ( )nnnnnnTAAAb此处， 、 的定义为( )xR n( )q n第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器20( ) ( ) ( )( )( )( )( )( )nTTn iTibnn b nqn W nd iqn W n0( )( ) ( )( )( )( )Txnn iTiR nA nn

55、 A nX i Xi0( )( ) ( ) ( ) ( )nn iiq nA nnnX i d ibmin( )( ) ( )( )( )TTnbn b nqn W n矢量标量( )n将 解代入 表达式( )W n练习：根据上述矩阵的定义以及对角矩阵相乘的性质第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器0110( )( ) ( )( )( )( )( )(1)( )( ) nn iTixnniTTiTxR nX i XiX n XnR nX iXnXniX 如何递推求解，避免矩阵求逆如何递推求解，避免矩阵求逆?1101( )( ) ( )( ) ( )( ) ( )(1)( ) (

56、)nnn iniiiq nX i d iX i d iX n d nq nX n d n 、 都是MM的矩阵( )xR n(1)xR n1( )( ) ( )xW nRn q n 、 的递推关系？则可求出权的递推( )xR n(1)xR n第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器11TEFCD C矩阵求逆定理：如果矩阵求逆定理：如果E、F为正定矩阵，且满足为正定矩阵，且满足下面推导下面推导 与与 的关系的关系1( )xRn1(1)xRn11()TTEFFC D C FCC F则有则有观察观察( )(1)( )( )TxxR nR nX n XnE1FCTC1D C为列矢量时，D只

57、能为标量，CTFC也为标量设设第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器1( ),(1),( ),1xxER nFR nCX nD令令111( )(1)xxRnRn1( )( )xP nRn21111(1)( )( )(1)1( )(1)( )TxxTxRnX n Xn RnXn RnX n令令11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n增益系数增益系数11( )(1)( )( ) (1)TP nP nK n Xn P n有有有有第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器11( )(1)( )( )( ) (1)( )TK nP n

58、X nK n Xn P nX n1( )( ) ( )( ) ( )xW nRn q nP n q n( ) (1)( )( ) ( )P n q nP n X n d n(1) (1)( )( ) (1) (1)( ) ( )TP nq nK n Xn P nq nK n d n11(1)( )( ) (1)( )TP nK n Xn P nX n ( )( )P n X n将K(n)表达式的分母移到左边相乘，再移位根据q(n)的递推式根据p(n)的递推式第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器(1)( )( )(1)( ) ( )TW nK n Xn W nK n d n11

59、(1) (1)( )( )(1) (1)( ) ( )TxxRnq nK n Xn Rnq nK n d n(1)( )(1) ( )TK n d nW nXn W n(1)( ) ( )KnnnW( )( )(1)(Td nXn W nn先验估计误差先验估计误差;要求要求 与与具有最小误差，在未获具有最小误差，在未获得得 之前，以之前，以 作为作为d(n)先验估计先验估计( )( )TXn Wn( )d n( )W n( )(1)TXn Wn 第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器( )( )(1)(Td nXn W nn小节小节( 1)PI初始条件初始条件：( 1)0W 递

60、推算法递推算法：( )(1)( ) ( )KW nW nnn11( )(1)( )( ) (1)TP nP nK n Xn P n11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n(M维矢量)对n=0, 1, , N-1,执行上述递归迭代运算，则最终的为所求(1)W N MM维对角矩阵，为任意较小的正数没有出现任何的矩阵求逆运算(M维矢量)(标量)第二节第二节 最小二乘自适应滤波器最小二乘自适应滤波器前向加窗法前向加窗法:( 1)0W ( 1)PI从从 n=0 迭代到迭代到 n=N-1协方差法协方差法:(2)0W M (2)P MI从从 n=M-1 迭代到迭代到