自适应信号处理

1、1自适应信号处理自适应信号处理 Adaptive Signal Processing 薛永林 FIT 1-410 2课程内容课程内容vC.1 自适应信号处理（自适应信号处理（Introduction）自适应系统特点, 自适应处理原理 梯度和最小均方误差， 性能函数和性能曲面vC.2 自适应搜索算法自适应搜索算法 性能曲面梯度搜索牛顿法，最陡下降法学习曲线及比较vC.3 LMS算法算法LMS算法导出，加权矢量的收敛性学习曲线，梯度估计对自适应过程的影响加权矢量解中的噪声，失调vC.4 最小二乘自适应滤波及快速算法最小二乘自适应滤波及快速算法投影矩阵，滤波算子格型滤波器，快速横向滤波器vC.5 自

2、适应信号处理的应用自适应信号处理的应用 3参考文献(1) 张旭东、陆明泉，离散随机信号处理离散随机信号处理，清华大学 出版社，2005(2) Bernard Widrow，Samuel D.Stearns， Adaptive Signal Processing， Prentice-Hall，1985 (3) Simon Haykin，自适应滤波器原理自适应滤波器原理，第4版，电子工业出版社，20034C.1 自适应信号处理自适应信号处理C1.1 自适应处理概述自适应处理概述C1.1.1 自适应系统特点自适应系统特点:能自动适应能自动适应(最佳最佳)变化的变化的(时变时变)环境条件和要求环境条件

3、和要求可被训练以实现特定的过滤和判决可被训练以实现特定的过滤和判决可趋于自学习、自修复、自更新和自设计可趋于自学习、自修复、自更新和自设计复杂性高，系统性能高（尤其是对时变信号）复杂性高，系统性能高（尤其是对时变信号）主要是时变的非线性系统主要是时变的非线性系统5v 自适应滤波器：自适应滤波器： 当环境条件发生变化时，能自动检测变化并调整参数当环境条件发生变化时，能自动检测变化并调整参数使输出性能达到最优的滤波器使输出性能达到最优的滤波器v 自适应过程：自适应过程： 包括学习过程和跟踪过程包括学习过程和跟踪过程v 性能测量：性能测量： 自适应的速度自适应的速度 接近最优的程度接近最优的程度 6

4、C1.1.2 自适应系统分类自适应系统分类v开环系统开环系统ProcessorAdaptiveAlgorithmInputOutput7ProcessorInputOutputAdaptiveAlgorithmOther Datav 闭环系统闭环系统8C1.1.3 自适应系统指标自适应系统指标（1）收敛速率）收敛速率 滤波器从初始参数调节到输出充分接近最优所需的迭代次数（2）失调）失调充分接近与最优的偏离程度（3）计算量（复杂度）计算量（复杂度）9C1.1.4 自适应算法自适应算法根据滤波器结构和算法准则根据滤波器结构和算法准则, 自适应算法主要有：自适应算法主要有：v梯度算法梯度算法v最小均

5、方滤波器最小均方滤波器v格型自适应滤波器格型自适应滤波器v最小二乘自适应滤波器最小二乘自适应滤波器v快速横向自适应滤波器快速横向自适应滤波器v自适应无限冲激响滤波器自适应无限冲激响滤波器 随机梯度随机梯度 滤波算子滤波算子 10C1.1.5 自适应滤波应用范围自适应滤波应用范围v系统辨识v自适应均衡v语音处理v谱分析v自适应信号检测v自适应噪声消除v自适应动目标检测11C1.2 自适应系统基本原理自适应系统基本原理C1.2.1 自适应线性组合器自适应线性组合器v非递归自适应滤波器z-1z-1z-1.xkxk-1xk-2xk-Lw0kw2kw1kwLkddkk+-Yk12输入信号X可以是多个信源

6、信号输入，也可以是一个信号的1 L个连续样本的输入，记 LKKKKKX ,.,21, 或 TLKKKKKX,210每个信号的加权因子为 TLKKKKKwwwwW210， 输出 lklkLlKwY 0或 lklkLlKwY 0 对闭环自适应系统，系统参数（加权矢量）和“希望响应”或“训练信号”有关，即有性能反馈 13KTKKKTKKKKKXWdWXdYd KTKKKTKTKKKWXdWXXWd222 WXdEWXXEWdEETKKTKKTKK222 TKKXXER TRR dxRKKdxXdER WRRWWdEEMSETdxTKK222 C1.2.2 性能函数和均方误差性能表面性能函数和均方误差

7、性能表面若希望响应为 dk， 误差信号为 平方误差信号为 如果该过程为统计平稳的，则设 相关矩阵 ， 希望响应和输入分量间的互相关用表示, 则 均方误差 性能函数14Ww*w0w1w 均方误差性能表面是一个关于的碗形的二次误差函数或二次曲面。15dxTLRWRWWWW22 10 W*WdxRWR220* dxRRW1* min *2min2WRWRWdETdxTK dxTdxdxTdxkRRRRRRRRdE11122 *212minWRdERRRdETdxkdxTdxk C1.2.3 梯度和最小均方误差梯度和最小均方误差常用梯度法以寻求性能表面的最小点梯度可求得为：为获得均方误差的最小值，对加

8、权向量取其最佳值，使梯度为0，即这是Wiener-Hopf方程的一种矩阵表示，则最小均方误差为16)()(*minWWRWWT TLvvvWWV)(10* VRVT min 0 0 VRVT0 V0 VRVxT0 VRVxTVRvvvVTL2 10 )(22dxRWRVRVW 性能函数也可用下式表示（可证与2.2中性能函数相等） 若令 则 欲使, 则须当时, , Rx 正定, Rx 半正定 若梯度可有另一种表达方式若170 nnxQIR n nnnxQQR nQ,.,10LQQQQ L 000000101 QQRxTQQ ),(jiji 0 jTiQQ0 0 n n IQQT C1.2.4 二

9、次性能曲面的性质二次性能曲面的性质 对于输入相关矩阵Rx， 为Rx的特征值 为Rx的特征矢量 ， 则 可以证明：（1）若 ，即特征矢量相互正交, 即 , , n=0，L 令 （3）归一化（2） 18iiiQRQ jjjQRQ jTiijTTiQQQRQ jTijjTiQQRQQ TRR jTijjTiiQQQQ ),(jiji 0 jTiQQ0 RVVTTQQQQR 1LQQQV,10 0 RQQT0 QQQQTT1 QQT0 IQQT 证明：（1），则故（2）令，则，故（3）归一化为标准正交矩阵，则19VRVxT min *WWV VVT min VQVT VRVxTConstVVT RV2

10、 V 22uVVR 0)2( VuRnnnvv 2nnv 222 特征值和特征矢量的几何意义特征值和特征矢量的几何意义 平移 旋转 等值线椭圆或可表示为即另由梯度20结论：结论：1. 输入相关矩阵的特征矢量规定误差曲面的主轴2. 输入相关矩阵的特征值规定误差曲面关于其主轴的二阶导数21KTKKKWXd KTKKKKKKWXXXdEXE WRRxdx *WW dxRR1 0* WWKKXE C1.2.5 误差和输入信号的不相关性误差和输入信号的不相关性 当时， 结论：结论：当滤波器响应达到最佳时，误差信号与输入信号互不相关（正交）。误差信号22)()(*minWWRWWxT VVT min VV

11、W 2 )(2*wwwnnn 222V nnw 222 C.2 自适应搜索算法自适应搜索算法 或 或C.2.1 梯度搜索算法基本原理梯度搜索算法基本原理23)(1KKKWW )(2*1wwwwKKK *12)21(wwwKK 10*0)21(2)21(KiiKKwww )()21(*0*wwwK 021 *wwK 在性能曲面上，以任意W0为起始寻求W*，即是决定收敛速率和稳定性的增益常数，称作收敛因子。或 归纳可得第K次迭代当时，对于一维加权矢量240)( wf100)()(wwwfwf )()(0001wfwfww )()(1KKKKwfwfww )(wfw0w1C.2.2 牛顿搜索算法牛顿

12、搜索算法选定初值w0，预计下一估值w1其导数 则归纳可得求函数的解：2511)()()( KKKKKwwwfwfwf)()()(111KKKKKKKwfwfwfwwww )()(wwf )()(1KKKKwwww )( ),(KKww 0 k*1ww 而故令，则对于二次曲面，将当时，一次迭代即可。为估值代入26)()(1KKKKWWWW KTdxKTKdKWRWRWrW2)0()( )()(*minWWRWWKTK )(2)(*WWRWKK RWK2)( *1)(WWWWWKKK 一般地对于任意加权矢量，有 一次迭代27dxRRW1* )(222*WWRRRWdx 1*21RWWKKKRWW

13、11210 *WW 又有最小均方误差加权矢量 梯度向量 故当时，一次迭代即达最优。28w0w11v0v0w*0w*1w*w29 在二次性能曲面上，牛顿迭代法可一次达到最优，在二次性能曲面上，牛顿迭代法可一次达到最优，但实际自适应系统没有足够的信息量来保证这一次迭代的成功。 在非稳条件下，有两个问题：（1）R矩阵未知，仅仅只能尽可能好地估计。（2）在每一次自适应迭代时，梯度须利用局部观测来加以估计。30 1 RW*WW1 R KKKRWW 11 为了预期有噪的和估计的影响，我们调整牛顿迭代法：得到一种算法，使在许多次迭代后收敛于，这小增量将有平滑在和估计中噪声的效果，以较小的增量调节修改后的牛顿

14、迭代法为：使得自适应系统有稳定的性能311 RK )22(11dxKKKRRWRWW *2)21(WWK 121 )(21(*1WWWWKK )()21(*0*WWWWKK 10 在无噪声条件下，和收敛仅取决于标量收敛因子为此代入式归纳为 可以准确知道3210 , 2/1 ,2/1 , 2/1 01. 0 在无噪情况下的收敛条件为：是一步收敛是振荡收敛 实际自适应系统中具有噪声，的优化在小于1/2，通常作为多次迭代的收敛因子。KWKWKW是平滑收敛33)(1 KKWWdxRRW22 dxRRW1* KKKKRVWWRRWRW2)(222* *WWVKK KKKRVWW 21 *2)2(RWWR

15、IK KKVRIV)2(1 最陡下降法和牛顿方法不同，每一步的加权调节是在梯度方向上。最陡下降法迭代算法为：而 则 平移向量 平移 C.2.3 最陡下降梯度搜索方法最陡下降梯度搜索方法所以34VQVT QRQVQ1 VQV KKVQRIVQ )2(1 KKVQRIQV )2(11 RQQ1KVI )2( 0)2(VIVKK 旋转座标到主轴方向，即其中 故 归纳可得迭代公式350)2(lim KKI 0)21(lim)21(lim)21(lim)21(lim210 KLKKKKKKK 最陡下降法稳定和收敛的条件为：由于对角矩阵之积恰等于相应对角元素乘积之矩阵，故36121 i max10 max

16、 R0lim KKV)(*11WWQVQVKKK *limKKKWW )()2(*01*WWQIQWWKK )()2(*0*WWRIWK 要满足收敛条件，须 其中是的最大特征值。而则 则37w0w11v0v0w*0w*1w*w38max10 ir)21(iir 121 iir C.2.4 迭代的稳定性和收敛速率迭代的稳定性和收敛速率若满足上述条件，各项公比均满足迭代收敛的条件为390)21( i i 210 10 ir0)21( i i 210 0 ir0)21( i ii 121 01 iri 0 1 r当，称为过阻尼情况，稳定收敛。，当，称为临界阻尼情况，一步收敛。，当，称为欠阻尼情况，振

17、荡收敛。， 当或称为不收敛或不稳定情况。 时，40收敛速率随 r 的减小而增大。r=0.8r=0.5r=-0.25r=0ww0w*K41)()(*minWWRWWMSET *WWV RVVMSET min dxTdxdTdxdRRRrWRr1*min)0()0( 自适应系统中，MSE收敛于其最小值的过程，作为其性能的一种测度，我们现称之为学习过程，而MSE值对应其迭代次数的曲线称之为学习曲线。均方误差 利用移动座标 则 C.2.5 自适应搜索学习曲线自适应搜索学习曲线42KKKRWW 11 *0)()21(WWWWKK 0)21(VVKK KTKKRVV min 002min)21(RVVTK

18、 )()()21(*0*02minWWRWWTK K mser22)21( rrmse在牛顿迭代算法中：则为简单几何级数，几何比为： 43牛顿法的学习曲线是有单一时间常数的纯指数函数MSEK44r 1exp re 1 11 r10 1 r /11/1 e Kke 1111/ 21/1 r 21 为了说明学习曲线的收敛过程，定义两种时间常数：如果一个单位时间相应于一次迭代，可以记为收敛特性时间常数和权值公比的关系 ，即K次迭代，一次迭代而则权值收敛时间常数45mse 2rrmse mse msemserr 22exp1exp 2 mse 41 mse2)21( 学习曲线的时间常数定义为学习曲线的几何比则相应的时间常数为由此 46RVVT min VVT min 0)21(VVKK KTKKVV min 00min)21()21(VVKTK 00min)21()21(VVKTKT 21 在最陡下降搜索算法时：其中 和均为对角矩阵，可交换47020min)21(VVKTK KnnnLn2200