自适应信号处理(最小二乘自适应滤波1)

1、 最小二乘自适应滤波引 言 基于最小均方误差(MMSE)准则的算法, 如最陡下降法、LMS算法等主要缺点是: 收敛速度慢; 对非平稳信号的适应性较差. 为克服以上缺点, 引入“最小二乘(LS)”准则. 理论与实验均表明, 最小二乘估计的性能优于基于MMSE准则的算法.1.1.最小二乘准则定义最小二乘准则定义 最小二乘准则, 是以误差的平方和最小作为最佳估计的一种误差准则. 定义如下: 对于平稳输入信号, 定义优化准则 (1) 2( )( )mininei式中, 是误差信号的平方和, 是 时刻的误差信号, 即其中 、 分别是 时刻的期望信号和输入信号矢量, 是滤波器的权矢量. 注意注意: : 式

2、(1)中的 表示“瞬时”的概念, 不同时刻 的输入矢量是不同的. 这表明, 对每一时刻的所有输入信号对每一时刻的所有输入信号, , 都重新估计其误差都重新估计其误差, , 并使这些误差的平方和并使这些误差的平方和 最小最小. . 对于非平稳输入信号, 优化准则修正为 (2) 式中指数加权因子 称为“遗忘因子”, 0 1. 式(1)中引入因子是为了更好地实现对非平稳信号的跟踪: 即时刻 越接近 ,数据越新, 加权将越重; 反之, 距 越远时刻的数据, 权重越小. 由上可知, 最小二乘滤波(LS滤波)可描述为:)(n)(ieiT( )( )( )( )( )e id iy id ii xw)(id

3、)(ixiwii)(ix)(n2( )( )n iine iinn式中i 的取值范围，取决于采用哪个时间段的输入信号x(i)来估计d(i)和计算误差e(i) 。 调整滤波器的权矢量调整滤波器的权矢量 , ,使得在每个时刻对所有已输入的信号而言使得在每个时刻对所有已输入的信号而言, ,滤波器输出的误差平方和最小滤波器输出的误差平方和最小. .2.与最小均方误差(LMS)滤波的比较 LMS滤波是满足 的滤波, 它是以集合平均为基础的, 属于统计分析方法. LS滤波是一种瞬时分析方法, 即在每个时刻对所有已输入信号, 都要重新评估其平方和, 并通过调整权矢量使其达到最小.wmin2eE1 最小二乘滤

4、波 最小二乘滤波的基本算法是下节要讨论的递归最小二乘(RLS)算法, 该算法实际上是FIR维纳滤波器的一种递归实现. 1.FIR1.FIR自适应滤波器的一般分析自适应滤波器的一般分析 设有一个 阶FIR自适应滤波器(参见图1), 在时刻 的数据状态如下: （1） 个系数值为 , 其中 为权系数样本的标号; （2）已获得的 个输入信号数据为 , 作为一般情况， ,下面假设 ; （3）期望信号为 . 该滤波器的输出 , 是期望信号 的估计值:由于式中 的起始标号为1, 因此可令 , 上式变为MnM( )kw n1,kM n (1), ( ), ( )xx ix nnMnM (1), ( ), (

5、)dd id n)(ny)(nd10( )( )( ) ()Mjjy nd nw n x nj)(nwj1 jk如图1所示, 滤波器在 时刻的输出为 , (3)现用现用 时刻的滤波系数时刻的滤波系数 处理数据处理数据, 则在时刻 的估计误差为(4)1( )( ) (1)Mkkd nw n x nk)(id图1 M 阶FIR滤波器在I 时刻的输出z-1)(ie)(1iw)(ixz-1z-1)(2iw)(iwM)(id) 1(Mix) 1( ixi1( )( ) (1)Mkkd iw i x ik1,2,inn( )kw ni1( | )( )( )( )(1( )kMke i nd id id

6、ixkw ni1,2,in 式(3)表达的是卷积运算, 计算过程可用图2予以说明. 图中假定( )0,0 x ii2. 前加窗法最小二乘准则前加窗法最小二乘准则 由图2, 的求和范围可有以下4种不同的情况, 并由此得到4种不同的最小二乘方法: （1） 相关法 计算 全部时间长度内估计误差即从 到 的平方加权和. 这时, 相当于在已知数据段的前后前后都补了零取样值. 这种方法称为“相关法”. （2） 前加窗法 计算当前时刻 前的一部分误差的平方加权和. 这时, 相当于在已知数据段的前面前面补了零取样值. 这种方法称为“前加窗法”. （3） 后加窗法 计算 时刻以后的一部分误差的平方加权和. 这时

7、, 只在已知数据段后面补了零取样值. 这种方法称为“后加窗法”. （4） 协方差法 只计算中间一部分误差的平方加权和. 这意味着在数据的段前后都没有添加零取样值. 这种方法称为“协方差法”. ( )n11inM ( )d i(1| )en(1| )e nMn1in n1M i n M MMin 采用前加窗法前加窗法, 误差准则可表示为 (5)将式(4)表示为矩阵形式:其中，现定义: 维权矢量 (6) 12( )( )nin inei(1)(1| )(1)(2| )(2)(2)( | )( )( )dendendde n nd nd n12(1)( )(1)00( )(2)(1)0(2)( )(

8、 )(1)(1)( )Mdw nxw nxxdwnx nx nx nMd n T12( )( )( )( )MMnw nw nwnwM 维输入信号矢量 (7) 维期望信号矢量 (6) 维误差信号矢量 (8) (行) (列)数据矩阵 (9a)以及 的转置矩阵:(9b) T( )( )(1)(1)Mnx nx nx nMxT( )(1)(2)( )nddd ndT( )( | )(1| )( | )( | )nn nene i ne n neeMnnMn(1)(2)( )0(1)(1)( )00(1)(1)(2)( )MMMxxx nxx nnx nMnMXxxx( )nMXTT(1)00(2)(

9、1)0( )( )(1)(1)(1)(2)( )MMMxxxnx nx nx nMnMXxxx且令因此, 式(3)(5)可分别写成: (10) (11)以及 (12) 上式即为最小二乘准则的矢量表示式最小二乘准则的矢量表示式, 通常把 称为最小二乘估计误差信号能量. 式中 是由加权因子 的各次幂构成的对角线矩阵,即(13) TT( )(1)(2)( )MMMnnMCXxxx)()()()(TnnnnMMCwwXdM)()()()()(nnnnnMCwdddeT( )( )( )nnn ee )(n 1200000001nn 3.最小二乘正交性原理最小二乘正交性原理 为简单计, 设 , 则式(1

10、2)变为 (14) 设 的估计为 . 令偏导数 , 可求得 的最小二乘估计, 记为 . 由此可得: (15)将式(9b)和(11)代入上式, 有 (16) 上式就是最小二乘正交性原理最小二乘正交性原理, 它表明最小二乘滤波的误差矢量与任一进入估计的输入信号正交. I TT( )( ) ( ) ( )( ) ( )( )MMnnnnnnneedCwdCw ( )Mnw( )Mnw( )0( )Mnnw ( )Mnw( )LSnwT2 ( )( )0MnnCdCw0)()(nn eXM2T)()(),()()()(nnnnnneeeee )(),(nn ee)(ne式(14)可进一步表为:式(中

11、的内积)(ne 的范数)(ne 引入 维矢量 和 维矩阵 : (17) (18) 由式(15)可得: (19)该式与维纳-霍夫方程相似. 若矩阵 的秩等于 , 则 是非奇异的, 因而求解上式可得到 的最小二乘估计 :(20)若 存在, 则最小二乘估计值为(21)M( )MnPMM( )MnRT1( )( )( ) ( )( )( )nMMinnnnd iiMPC dXdxTTT1( )( )( )( )( )nMMinnniiMMMRC CXXxx( )( )( )MMMnnnRwP( )MnXMT( )( )nnMMXX( )Mnw( )LSnw1T1( )( )( )( )( )( ) (

12、 )LSMMnnnnnnnMMMwRPXXXd( )LSnwTTT1( )( )( )( )( )( )( ) ( )LSnnnnnnnnMMMMMdXwXXXXd由式(14)和式(17)，得最小二乘估计误差信号能量为 (22)进一步在式(16)两边同乘以 ,得到 (23)由于 , 所以 (24) 上式是最小二乘正交原理等价表示式, 说明最小二乘滤波的误差矢量 与最小二乘估计矢量 正交. 最小二乘正交原理的几何解释如图3所示. 图中:TTT( )( ) ( )( ) ( )( ) ( )nnnnnnnLSeeddwP )(TnLSwTT( )( ) ( )0LSnnn MXweT( )( )(

13、 )MnnnMdXwT( ) ( )0nn de( )ne( )nd01xmx)(nd)(nd)(ne图3 最小二乘估计的几何解释 表示期望信号矢量; 表示由输入信号 得到的估计量; 是估计误差矢量:当 取得最小值时, 就是 的最小二乘估计. ( ) nd( )nd( ) nx( )ne( )( )( )nnneddT( ) ( )nnee( ) nd( ) nd2 递推最小二乘算法（RLSRLS） RLS RLS算法的基本思想是算法的基本思想是: : 用最小二乘(即二乘方时间平均最小化) 准则取代最小均方准则, 并采用递推(按时间进行迭代计算)法, 来确定FIR滤波器的权矢量 . 下面按最小

14、二乘准则:推导RLS算法的基本递推关系式. 令 对 的导数等于零: (24)式中这是最小二乘方准则所对应的正交方程. 将 代入式(24), 得Adaptive Recursive Least-Square (RLS) algorithmw)()(21ienniin)(nw0)()(2)(1iienniinxw)()()()()(Tiidiyidiexw)(ie或 (25)现定义:(26) (27)因此, 式(25)可简化为(28)由上式可解得 (29)0)()()(T1iiidniinxxwT11( )( )( ) ( )nnn in iiiiid iixxwx)()()(T1iinniinx

15、xR)()()(1iidnniinxP)()(nnPwR)()(1nn PRw该式与维纳滤波器对应的表示式类似: P = R w*若令 (30)考虑到w实际上是n的函数, 因此, 式(29)可写成 (31)式(29)或式(31)就是按最小二乘方准则得到的维纳解. 将式(26)和式(27)进一步化成迭代形式: (32) (33)由式(32), 可得式(30)迭代形式为: (34)利用矩阵恒等式式(34)可进一步写成(35)上式称为矩阵迭代更新公式。)()(1nn RT)()()(nnnPTw)()() 1()(TnnnnxxRR)()() 1()(nndnnxPP1T1)()() 1()(nnn

16、nxxTT111111)()(DABDACBAABCDA)() 1()() 1()()() 1() 1(1)(TTnnnnnnnnnxTxTxxTTT 由式(31)可得 利用式(31), (33), (35)和上式, 进而得到w(n)的迭代方程如下: (36)式中: (37)称为“增益公式”, 而误差 定义为(38) 式(36)具有卡尔曼滤波器的形式.w(n)由w(n-1)进行预测, 同时加上一个权矢量修正项 , 其中， 是预测误差, 而增益k(n)是修正加权系数. ) 1() 1() 1(nnnPTw) 1|()() 1()(nnennnkww)() 1()()() 1()(TnnnnnnxTxxTk)