第2章 维纳滤波

1、1第第2章章 维纳滤波维纳滤波 2.1问题的提出问题的提出)(nu)(ny)(nd)(ne线性离散时间滤波器)(nh离散形式维纳滤波问题示意图离散形式维纳滤波问题示意图 在给定的约束在给定的约束条件以及最优条件以及最优准则下来设计准则下来设计最佳滤波器最佳滤波器 要求要求: 滤波器是离散时间滤波器；滤波器是线性的；滤波器为无限冲激响应（IIR）滤波器，有限冲激响应滤波器可以看成是它的一个特例。准则准则: 最小均方误差（MMSE）准则。 维纳滤波器维纳滤波器: 输入信号和期望响应平稳且联合平稳时所得到的最佳滤波器。本质：本质：给定一个输入信号，设计一个线性离散滤波器，对期望响应估计，使得其估计误

2、差的均方值为最小。2第第2章章 维纳滤波维纳滤波 2.2离散形式维纳滤波器的解离散形式维纳滤波器的解 单位冲激响应单位冲激响应 用用 表示，则滤波器的输出表示，则滤波器的输出 为线性卷积和为线性卷积和 最小均方误差准则下的代价函数最小均方误差准则下的代价函数代价函数的梯度向量代价函数的梯度向量 进一步可求得进一步可求得)(nh,210www)(ny, 2 , 1 , 0)()(0nknuwnykk)(2neEJ , 2 , 1 , 0kwJJkk, 2 , 1 , 0)()(2)()(2)(2kneknuEnewneEwneEwJJkkkk3第第2章章 维纳滤波维纳滤波 置梯度为零置梯度为零,

3、得得维纳滤波器最优解的一个充要条件维纳滤波器最优解的一个充要条件 ()式中式中 表示滤波器工作在最优条件下的估计误差。表示滤波器工作在最优条件下的估计误差。正交原理正交原理: 使均方误差代价函数达到最小值的充要条件是其相应的估计误差使均方误差代价函数达到最小值的充要条件是其相应的估计误差 正交于正交于用于估计期望响应的每个输入样本值。用于估计期望响应的每个输入样本值。 充要条件之二充要条件之二的推导的推导:由正交原理出发由正交原理出发整理得整理得定义滤波器输入的自相关函数定义滤波器输入的自相关函数 滤波器输入与期望响应的互相关函数滤波器输入与期望响应的互相关函数 , 2 , 1 , 00)()

4、(kneknuEo)(neo)(neo, 2 , 1 , 00)()()()()()()()(0kinuwndknuEnyndknuEneknuEioioo, 2 , 1 , 0)()()()(0kndknuEinuknuEwioi)()()(kirinuknuE)()()(kpndknuE因输入平稳，因输入平稳，故只与和故只与和的差有关的差有关4第第2章章 维纳滤波维纳滤波 得到得到维纳滤波器的另一个充要条件维纳滤波器的另一个充要条件，即著名的，即著名的维纳维纳-霍夫（霍夫（Wiener-Hopf）方程）方程为为 2.3离散形式维纳滤波器的性质离散形式维纳滤波器的性质 2.3.1正交原理的几

5、何解释正交原理的几何解释, 2 , 1 , 0)()(0kkpkirwioi样本空间)0(u)1(u)1(doy) 1 (oe正交原理的几何解释（二维的情况）正交原理的几何解释（二维的情况） 5第第2章章 维纳滤波维纳滤波 2.3.2正交原理推论正交原理推论考察滤波器输出信号与估计误差之间的相关特性考察滤波器输出信号与估计误差之间的相关特性最优状态下，上式为最优状态下，上式为 由正交原理由正交原理(右端为零右端为零)可得可得()结论：维纳滤波器的估计误差输入样本值结论：维纳滤波器的估计误差输入样本值 和滤波器的输出正交。和滤波器的输出正交。 00)()()()()()(kkkkneknuEwn

6、eknuwEnenyE00)()()()()()(kookokokooneknuEwneknuwEnenyE0)()(nenyEoo)(neo)(nyo( )u n6第第2章章 维纳滤波维纳滤波 2.3.3最小均方误差最小均方误差维纳滤波器的估计误差为维纳滤波器的估计误差为 ()定义最小均方误差为定义最小均方误差为假定假定 和和 为零均值，对为零均值，对式两边同时取方差，得式两边同时取方差，得 即即式中：是期望响应的方差，是其最优估值式中：是期望响应的方差，是其最优估值 的方差。的方差。 结论：维纳滤波器所得最小均方误差等于期望响应的方差与滤波器输出方差的差值。结论：维纳滤波器所得最小均方误差

7、等于期望响应的方差与滤波器输出方差的差值。 )()()()()(ndndnyndneooo( )( )( )ood nd ne n)(2minneEJomin22Jodd22minoddJ2d)(nd2od)(ndo)(ndo( )d n7第第2章章 维纳滤波维纳滤波 2.4横向滤波器的维纳解横向滤波器的维纳解2.4.1横向滤波器的维纳横向滤波器的维纳-霍夫方程及其解霍夫方程及其解由级抽头延迟线级联而成，每个抽头的输入分别为由级抽头延迟线级联而成，每个抽头的输入分别为 各抽头权值分别为各抽头权值分别为 ，构成一组权系数，构成一组权系数 。 1z0w1Mw2Mw1z1z1w)(nu) 1( nu

8、)2(Mnu)1( Mnu)(nd)(nd)(ne横向滤波器结构示意图横向滤波器结构示意图 ) 1(,),1(),(Mnununu110,Mwww) 1, 1 , 0(Mkwk8第第2章章 维纳滤波维纳滤波 滤波器的当前输入值：滤波器的当前输入值： ，当前输出，期望响应为，当前输出，期望响应为 重写维纳重写维纳-霍夫方程霍夫方程 定义横向滤波器的抽头输入定义横向滤波器的抽头输入 的相关矩阵为，则的相关矩阵为，则 式中：式中： 是抽头输入向量，矩阵对称。是抽头输入向量，矩阵对称。定义横向滤波器抽头输入与期望响应的互相关向量为，则定义横向滤波器抽头输入与期望响应的互相关向量为，则 则横向滤波器的维

9、纳则横向滤波器的维纳-霍夫方程式的矩阵表示形式为，即维纳解为霍夫方程式的矩阵表示形式为，即维纳解为 式中：式中： 是横向滤波器最优抽头权向量。是横向滤波器最优抽头权向量。)(nd)(nu)(ny, 2 , 1 , 0)()(10kkpkirwMioi) 1(,),1(),(Mnununu(0)(1)(1)(1)(0)(2) ( )( )(1)(2)(0)Trrr Mrrr MEnnr Mr MrRuuTMnununun)1(,),1(),()(uTMpppndnE)1 (,),1(),0()()(uppRw opRw1oTMoooowww,1,1 ,0,w9第第2章章 维纳滤波维纳滤波 2.4

10、.2横向滤波器的误差性能横向滤波器的误差性能一、误差性能曲面一、误差性能曲面输出：输出：估计误差：估计误差：均方误差：均方误差：误差性能曲面：将代价函数相对于抽头权值的关系曲面。误差性能曲面：将代价函数相对于抽头权值的关系曲面。 )()()()()()(10nnnnknuwnyTTMkkuwwu)()()()()()(nnndnyndneTuw22222( ) ( )( ) ( )( ) ( ) ( )( ) ( )( ) ( )2( ) ( ) ( )( )( )2( )TTTTTTdJE e nEd ny nEd nnnE dnn Ennnn E d nnnnnwuwuuwwuwRwwp1

11、0第第2章章 维纳滤波维纳滤波 代价函数是抽头权值的二次函数；代价函数是抽头权值的二次函数；如果矩阵是正定，误差性能曲面就是一个碗状曲面，且有唯一的最小值点如果矩阵是正定，误差性能曲面就是一个碗状曲面，且有唯一的最小值点 。该点所对应的权值为滤波器最优权值，该点的梯度向量等于零该点所对应的权值为滤波器最优权值，该点的梯度向量等于零 ：而而故可推出，与维纳故可推出，与维纳-霍夫方程一致。霍夫方程一致。minJ0wTMwJwJwJJJ110,pRw2)(2nJpRw o11第第2章章 维纳滤波维纳滤波 二、最小均方误差的其他二、最小均方误差的其他3种表达式种表达式最优条件下最优条件下 又又在零均值

12、的假定条件下，得在零均值的假定条件下，得 进一步进一步由由 ，得最小均方误差的，得最小均方误差的3种表达式种表达式 )()(nyndoo)()(nnyToouwoTooTTooTToodnnEnnEndEoRwwwuuwwuuw)()()()()(22pRpwppw12ToTTodo22minoddJpRpwpRww1222minTdoTdoTodJ12第第2章章 维纳滤波维纳滤波 例例2-1 如图所示的横向滤波器，该系统输入信号为，期望响应如图所示的横向滤波器，该系统输入信号为，期望响应试计算在均方误差意义下的最佳权向量和最小均方误差试计算在均方误差意义下的最佳权向量和最小均方误差 。解：输

13、入的自相关函数为解：输入的自相关函数为输入与期望响应的互相关函数为输入与期望响应的互相关函数为 )2sin()(Nnnu)2cos(2)(NnndowminJ0w1z1w)2sin()(Nnnu) 1( nu)2cos(2)(Nnnd)(nd)(ne1 , 02cos5 . 0)(2sin2sin1)()()(1kNkNknNnNknunuEkrNn1 , 02sin)(2sin2cos2)()()(1kNkNknNnNndknuEkpNn13第第2章章 维纳滤波维纳滤波 由此可得输入自相关矩阵和互相关向量分别为由此可得输入自相关矩阵和互相关向量分别为由，可求得由，可求得可以求得，结合和的结果

14、，可得均方误差性能函数及其梯度向可以求得，结合和的结果，可得均方误差性能函数及其梯度向量为量为最佳权向量也可以通过置均方误差性能函数的梯度向量为最佳权向量也可以通过置均方误差性能函数的梯度向量为0求得，见教材求得，见教材13页。页。本题中最小均方误差为本题中最小均方误差为0，但它不是说任何问题中都为，但它不是说任何问题中都为0，一般时候大于，一般时候大于0。2)(22ndEdToNN2csc22cot2wpRwo2min22cot220sin022cscTdoNJNNp w5 . 02cos5 . 02cos5 . 05 . 0)0() 1 () 1 ()0(NNrrrrRTTNpp2sin0

15、) 1()0(p14第第2章章 维纳滤波维纳滤波 三、二次型误差性能曲面的性质三、二次型误差性能曲面的性质把误差性能函数重新表示为把误差性能函数重新表示为 （该式表明最佳权向量与最小均方误差的对应关系）（该式表明最佳权向量与最小均方误差的对应关系）为使误差性能曲面的表达式简单化，定义权偏差向量为为使误差性能曲面的表达式简单化，定义权偏差向量为 此时的二次型误差性能函数可以表示为此时的二次型误差性能函数可以表示为 )()()()()()(2min11min111222oToTTTdTTTdTTdJJJwwRwwpRwRpRwpRwRpRwpRpRwwwppwpwRwwTMowww110,wwww

16、RwTJJmin15第第2章章 维纳滤波维纳滤波 0w1w横向滤波器的二次误差性能曲面和等高线横向滤波器的二次误差性能曲面和等高线 为直观起见，考虑只有两个权值为直观起见，考虑只有两个权值 和和 的横向滤波器。此时，误差性的横向滤波器。此时，误差性能曲面是三维空间中的一个抛物面，如图所示。若用一组能曲面是三维空间中的一个抛物面，如图所示。若用一组 J=C 的等值的等值平面来截取误差性能表面，并向权值平面投影，则可在权值平面上可平面来截取误差性能表面，并向权值平面投影，则可在权值平面上可得到一组同心椭圆，这就是误差性能曲面的等高线图。椭圆的中心为得到一组同心椭圆，这就是误差性能曲面的等高线图。椭

17、圆的中心为性能表面最低点的投影。性能表面最低点的投影。16第第2章章 维纳滤波维纳滤波 相关矩阵相关矩阵R的特征分解与化为标准形的特征分解与化为标准形 误差性能表面的另一种表示形式误差性能表面的另一种表示形式: 其中其中要点要点:相关矩阵相关矩阵R的特征向量矩阵的特征向量矩阵(为正交阵为正交阵)Q可用来实现坐标变换（左乘可用来实现坐标变换（左乘Q逆）。逆）。0det IR110000000M110MqqqQ110,MTQQRnnnqRqvvwQwQwQQwTTTTTTJJJJminminmin)()()(1Tv Q wQ w17第第2章章 维纳滤波维纳滤波 补充知识：主成分分析补充知识：主成分

18、分析PCA（亦称主成分变换（亦称主成分变换PCT 或或 K-L变换）变换）PCA：将具有一定相关性的数据重新组合成一组新的相互无关的数据来代替原来数据。：将具有一定相关性的数据重新组合成一组新的相互无关的数据来代替原来数据。 PCA变换是满足以下两个条件的线性变换：去除变换系数之间的相关性，即变换系数的变换是满足以下两个条件的线性变换：去除变换系数之间的相关性，即变换系数的协方差矩阵是对角阵；使变换系数的方差高度集中，即变换后能量主要集中在前协方差矩阵是对角阵；使变换系数的方差高度集中，即变换后能量主要集中在前M项，保证特征提取时去掉后面若干项后的均方误差最小。项，保证特征提取时去掉后面若干项后的均方误差最小。 关键：变换矩阵的求取。关键：变换矩阵的求取。 18第第2章章 维纳滤波维纳滤波 数学原理：相当于坐标的线性变换数学原理：相当于坐标的线性变换首先平移、然后旋转