第7章 线性预测与最优线性滤波器

1、7.2 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器7.3 后向线性预测后向线性预测7.5 最优化正规方程解法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系前向预测概念前向预测概念预测器格型表示预测器格型表示前向预测中的正规方程的解法前向预测中的正规方程的解法维纳滤波器理论及其设计方法维纳滤波器理论及其设计方法l 重点和要求重点和要求7.2 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器

2、7.3 后向线性预测后向线性预测7.5 最优化正规方程解法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系信号之间的关联性信号之间的关联性系统的惯性系统的惯性随机信号预测特点随机信号预测特点信号之间的关联性信号之间的关联性 信号之所以能够预测，在于数据间存在不同信号之所以能够预测，在于数据间存在不同程度的关联性。预测就是利用数据前后的关程度的关联性。预测就是利用数据前后的关联性，根据其中一部分推知其余部分。显然联性，根据其中一部分推知其余部分。显然数据间关联越密切，预测

3、越准确；完全不关数据间关联越密切，预测越准确；完全不关联，则无法预测。联，则无法预测。1. 信号之间的关联性信号之间的关联性周期信号周期信号：只要知道一个周期，则以后的：只要知道一个周期，则以后的信号就可以按照第一个周期完全无误地预信号就可以按照第一个周期完全无误地预测出来。测出来。 白噪声信号白噪声信号：由于其前后毫无关联，使预：由于其前后毫无关联，使预测无所依据而无法预测。测无所依据而无法预测。平稳随机信号平稳随机信号：均值为常数，自相关函数：均值为常数，自相关函数只与时间间隔有关，可以进行预测。只与时间间隔有关，可以进行预测。2. 系统惯性系统惯性 ( )H z nx是有惯性的系统，因而

4、是有惯性的系统，因而 是有色的。是有色的。)(n( )H z)(nx ( )( )x nnh n3. 随机信号预测特点随机信号预测特点l只能利用随机信号的统计规律作为预测的依据，只能利用随机信号的统计规律作为预测的依据， 也就是说随机信号之所以能够预测在于其存在也就是说随机信号之所以能够预测在于其存在某些统计上的规律。某些统计上的规律。l不能精确使预测误差为零，而只能从统计意义不能精确使预测误差为零，而只能从统计意义 上做到最优预测，使预测误差的均方值最小。上做到最优预测，使预测误差的均方值最小。l实际获得的信号是带噪声干扰的，这使得预测实际获得的信号是带噪声干扰的，这使得预测和滤波紧密相连，

5、称为带滤波的预测或预测滤和滤波紧密相连，称为带滤波的预测或预测滤波。不考虑噪声干扰时的预测或不带滤波的预波。不考虑噪声干扰时的预测或不带滤波的预测为纯预测。测为纯预测。7.2 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器7.3 后向线性预测后向线性预测7.5 最优化正规方程解法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系 前向线性预测前向线性预测 后向线性预测后向线性预测 格形滤波器格形滤波器 已知已知n时刻以前的时刻以前的

6、p个信号数据个信号数据 ，用这，用这p个数据来线性预测个数据来线性预测n时刻信号时刻信号 的值，如图所示，预测值为的值，如图所示，预测值为(),x np(1), (1)x npx n)(nx1( )( ) ()ppkx nak x nk 其预测误差为其预测误差为 (a) 称此预测器为称此预测器为p p阶前向线性预测器。阶前向线性预测器。 令误差的均方值最小，即求令误差的均方值最小，即求由此解得由此解得将式将式(a)代入上式，得代入上式，得 2( )0( )ppEfnak()( )01,2,pE x ni fnip1( )( )( )( )( ) ()pppkfnx nx nx nak x nk

7、 (b)由最小均方误差的表达式及正交性原理可求得最由最小均方误差的表达式及正交性原理可求得最小的均方误差为小的均方误差为 (c)联立式联立式(b)与式与式(c)得得 1( )( )()1,2,pxpxkr iak r ikip 2min( )( ( )( )( )ffPPppEEfnEx nx nfn( )( )( )( )( )pE x n fnE x nx nx n1(0)( ) ( )pxpxkrak r k (d) 前向线性预测的前向线性预测的Wiener-Hopf方程方程 解此方程则得解此方程则得p阶线性预测器的最佳参数阶线性预测器的最佳参数 及及 。11( )( ) ()1,2,(

8、0)( ) ( )pxpxkpfxpxPkr iak r ikiprak r kE ( )pakfPEx1xx(0) (1) ( )( 1) (0) (1) () (1) (0)xxxxpxxrrrparrrparprpr 100fpE矩阵矩阵形式形式前向预测滤波器性质：前向预测滤波器性质： 白化性质白化性质 预测滤波器是预测滤波器是 最小相位系统最小相位系统首先我们阐述白化性质，回忆首先我们阐述白化性质，回忆AR过程的过程的Yule-Walker方方程：程： 121*()( )()0()0pk xkpxk xwkxa r mkmqr ma r mkmqrmm（d）式与）式与AR模型参数的正则

9、方程式极其相似，有模型参数的正则方程式极其相似，有 ， 成立。这说明，对于同一个成立。这说明，对于同一个p阶的阶的AR随机信号随机信号 ，其，其AR模型和同阶的最模型和同阶的最佳线性预测器模型是佳线性预测器模型是等价等价的。所以有的。所以有 (f )即即p阶线性预测器的输出是一个白噪声序列。阶线性预测器的输出是一个白噪声序列。 ( )( )paka k2fpwE)(nx1( )( )( )( )( ) ()pppkfnx nx nx nak x nk1( )( ) ()( )mkx na k x nkw n结论结论：对于给定的随机信号对于给定的随机信号 ，若其最佳前向线性，若其最佳前向线性预测

10、器的阶次等于预测器的阶次等于 的的AR模型阶次时，其前向线性模型阶次时，其前向线性预测误差为白噪声序列。所以阶次等于预测误差为白噪声序列。所以阶次等于AR模型阶次的模型阶次的最佳前向预测误差滤波器实际上是最佳前向预测误差滤波器实际上是AR模型的逆系统，模型的逆系统，即白化滤波器。即白化滤波器。 )(nx)(nx1( )( )H zA z( )x n( )w n-1( )( )HzA z( )x n( )w n图a AR(p)模型图b 预测误差模型7.2 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器7.3 后向线性预测后向线性预测7.5 最优化正规方程解

11、法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系用同一组数据用同一组数据来同时实现前向和后向预测，则后向预测器表示来同时实现前向和后向预测，则后向预测器表示为为 预测误差预测误差10()( ) ()ppkx npb k x nk ( ),x n(1), (1)x npx n100( )()()()( ) ()( ) (),( )1pppkpppkgnx npx npx npb k x nkb k x nk bp 后向预测器也可用直接型后向预测器也可用直接型FIR滤波器

12、结构或格型滤波器结构或格型结构实现，其对应系数和前向滤波器的关系如结构实现，其对应系数和前向滤波器的关系如下：下：预测误差可以表示为预测误差可以表示为 *101( )()()()( ) ()()( ) ()pppkppkgnx npx npx npb k x nkx npak x npk*( )(),0,1,ppb kapk kp对应的均方误差为对应的均方误差为仿照前向预测器的推导方法，最小化均方误差可仿照前向预测器的推导方法，最小化均方误差可导出：导出：对应的最小均方误差和前向预测器相同。对应的最小均方误差和前向预测器相同。120( )(0)( ) ( )pbPpxpxkEgnrbk r k

13、1( )( ) ()1,2,pxpxkr lak r lklp 1(0)( ) ()pbfPPxpxkEErak rk=minbbPPE后向预测滤波器性质：后向预测滤波器性质： 最大相位系统性质最大相位系统性质 具有最小相位具有最小相位 后向预测误差的正交性后向预测误差的正交性 前后向预测滤波器的其他性质，教材前后向预测滤波器的其他性质，教材633页页*1( )()pppBzzAz( )pAz*0,01( )( ),mlbmlmE gn g nElm 7.2 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器7.3 后向线性预测后向线性预测7.5 最优化正规

14、方程解法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系预测误差可以表示成直接型预测误差可以表示成直接型FIR滤波器滤波器0( )( )pkppkAzak z前后向预测误差滤波器系数之间关系的前后向预测误差滤波器系数之间关系的z域表示：域表示：*( )(),0,1,ppb kapk kp( )( )( )ppGzBz X z0( )( )( )( )( )pppGzGzBzX zG z*00*10( )( )()( )()ppkkpppkkppkpppkBzb k za

15、pk zzak zzAz直接型直接型FIR滤波器的全零点格型滤波器等效：滤波器的全零点格型滤波器等效：其中其中 为反射系数，为反射系数， 为后向预测误差。为后向预测误差。( )mgnmK0011*11( )( )( )( )( )(1),1,2,( )( )(1),1,2,mmmmmmmmf ng nx nfnfnK gnmpgnK fngnmp全零点格型滤波器和前后向预测器误差的关系：全零点格型滤波器和前后向预测器误差的关系：3. 格型滤波器的格型滤波器的Z域表示域表示相应的相应的z变换的表达式为变换的表达式为格型滤波器的时域表达式为格型滤波器的时域表达式为0011*11( )( )( )(

16、 )( )(1),1,2,( )( )(1),1,2,mmmmmmmmf ng nx nfnfnK gnmpgnK fngnmp00111*111( )( )( )( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmF zG zX zFzFzK z Gz mpGnK Fzz Gz mp3. 格型滤波器的格型滤波器的Z域表示域表示它们它们z变换的表达式为变换的表达式为把它们都除以把它们都除以X(z)得到得到其对应的矩阵形式为其对应的矩阵形式为00111*111( )( )( )( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmF zG zX zFzFzK

17、 z Gz mpGnK Fzz Gz mp00111*111( )( )1( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmA zB zAzAzK z Bz mpBnK Azz Bz mp11*11( )1( )( )( )mmmmmmAzK zAzBzBzKz4. 预测系数递推公式预测系数递推公式从上式可以推出：从上式可以推出：00111*111( )( )1( )( )( ),1,2,( )( )( ),1,2,mmmmmmmmA zB zAzAzK z Bz mpBnK Azz Bz mp11111*(1)11000( )( )( ),1,2,( )( )(1)mm

18、mmmmmkkkmmmmkkkAzAzK z Bz mpak zak zKamk z 4. 预测系数递推公式预测系数递推公式递推关系：递推关系：具体如下：具体如下：11111*(1)11000( )( )( ),1,2,( )( )(1)mmmmmmmkkkmmmmkkkAzAzK z Bz mpak zak zKamk z *11*11(0)1,( )( )( )()( )( )(),11,1,2,mmmmmmmmmmaamKakakK amkakam amkkmmp5. 反射系数递推公式反射系数递推公式递推公式为：递推公式为：详细公式为：详细公式为：112( )( )( )( ),1,2,

19、1ppmmmmmKapAzK BzAzmpK*122( )( )( )( )( )()( ),11( )1,2,mmmmmmmmmmmKamakK bkakam amkakKammp7.2 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器7.3 后向线性预测后向线性预测7.5 最优化正规方程解法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系1. 正规方程正规方程前向预测误差均方值最小化得到的预测器系数为正规前向预测误差均方值最小化

20、得到的预测器系数为正规方程，即方程，即其对应的紧凑形式为其对应的紧凑形式为其其MMSE为为1( )( ) (),1,2,pxpxkr lak r lk lp 0( ) ()0,1,2,(0)1ppxkpak r lklpa1min(0)( ) ()pffppxpxkErak rk 二者结合得到扩展正规方程为：二者结合得到扩展正规方程为：2. Levinson-Durbin算法算法正规方程的紧凑形式为正规方程的紧凑形式为0,0( ) ()0,1,2,fpppxkElak r lklp0( ) ()0,1,2,(0)1ppxkpak r lklpa其对应的自相关矩阵为其对应的自相关矩阵为由于由于T

21、oeplitz矩阵矩阵Hermitian矩阵矩阵2. Levinson-Durbin算法算法*(0)(1)(1)(1)(0)(2)=(1)(2)(0)xxxxxxpxxxrrrprrrprprpr ( , )=()ppi jij*( , )=( , )ppi jj i2. Levinson-Durbin算法算法算法思路为利用矩阵算法思路为利用矩阵Toeplitz性质，递推处理得到最后性质，递推处理得到最后的解。先从阶数的解。先从阶数1的预测器开始，再递推地增加阶数，的预测器开始，再递推地增加阶数，使用低阶的解得到下一个高阶解。使用低阶的解得到下一个高阶解。通过求解如下方程通过求解如下方程一阶预

22、测器的解为一阶预测器的解为0( ) ()0,1,2,(0)1ppxkpak r lklpa1(1)(1)(0)xxrar 2. Levinson-Durbin算法算法对应的一阶对应的一阶MMSE为：为：对于二阶通过求解如下方程对于二阶通过求解如下方程得到两个方程为得到两个方程为0( ) ()0,1,2,(0)1ppxkpak r lklpa2111(0)(1) ( 1)(0) 1(1)fxxxErarra*2222(1) (0)(2)(1)(1)(1) (1)(2) (0)(2)xxxxxxararrararr 2. Levinson-Durbin算法算法结合一阶方程的解，得到二阶预测器系数：

23、结合一阶方程的解，得到二阶预测器系数：112211*2121(2)(1) (1)(2)(1) (1)(2)(0) 1(1)(1)(1)(2)(1)xxxxfxrarraraEraaaaa 按照此规律即可利用前一阶得到后一阶的系数，按照此规律即可利用前一阶得到后一阶的系数，将系数向量写成向量和的形式，如下将系数向量写成向量和的形式，如下是第是第m-1阶预测器的系数向量，向量阶预测器的系数向量，向量 ， 标标量待定。量待定。2. Levinson-Durbin算法算法11(1)(2)( )0mmmmmmmaaKamdaa1mdmK首先处理自相关矩阵，公式如下：首先处理自相关矩阵，公式如下：其中其中

24、 ，星号表示共轭，星号表示共轭，t表示转置，上标表示转置，上标b表示向量表示向量 的元素的元素按照倒序排列。按照倒序排列。2. Levinson-Durbin算法算法11(1)(2)(1)()btbtmxxxmrmrmr rr*1111=(0)bmmmbtmmrrr求解如下方程：求解如下方程： ，得到如下解，得到如下解2. Levinson-Durbin算法算法=-mmm ar*11-11-1111+0(0)( )bmmmmmbtmmmmKrrm rdrar通过上式得到如下两个方程通过上式得到如下两个方程*1-11-1111-11-1(0)( )bmmmmm mmbtbtmmmmm xxKK

25、rrm adrrrard由于由于 ，得到第一个方程的解为，得到第一个方程的解为2. Levinson-Durbin算法算法111=-mmmar*1*1-11*1(1)(2)(1)mbmmmmmmamamKKada结合结合 ，利用第二个方程求解，利用第二个方程求解mK1md*1-11-1111-11-1(0)( )bmmmmm mmbtbtmmmmm xxKK rrm adrrrard2. Levinson-Durbin算法算法*111111*11(0)( )( )(0)btbbtmxmmmmxbtxmmmbtbxmmKrrmrmKr rararara2. Levinson-Durbin算法算法

26、得到得到 的表达式为：的表达式为：mK1111*11*11*11( )( )( )(0)( )( )()( )( )()1,2,1,1,2,btbtxmmxmmmmfbtbmxmmmmmmmmmrmrmamKErakakK amkakam amkkmmp rarara结合结合 和和 的解，得到算法的表达式的解，得到算法的表达式mK1md算法对应的算法对应的MMSE表达式为表达式为2. Levinson-Durbin算法算法1*1112211(0)( )()(0)( )( )()()1( )1,1,2,fmxmxkmxmmmxkffmmmmErak rkrakam amkrkEamEKmp7.2

27、 前向线性预测前向线性预测第七章第七章 线性预测和最优线性滤波器线性预测和最优线性滤波器7.3 后向线性预测后向线性预测7.5 最优化正规方程解法最优化正规方程解法7.6 用于滤波和预测维纳滤波器用于滤波和预测维纳滤波器7.1 线性预测的依据和特点线性预测的依据和特点7.4 预测器与格型滤波器关系预测器与格型滤波器关系在生产实践中，信号都会受到噪声干扰的。如何最大在生产实践中，信号都会受到噪声干扰的。如何最大限度地抑制噪声，将有用信号分离出来？限度地抑制噪声，将有用信号分离出来？滤波器：当信号与噪声同时输入时，在输出端能将信滤波器：当信号与噪声同时输入时，在输出端能将信号尽可能精确地重现，而噪

28、声受到最大抑制。号尽可能精确地重现，而噪声受到最大抑制。维纳过滤与卡尔曼过滤就是一类从噪声中提取信号的维纳过滤与卡尔曼过滤就是一类从噪声中提取信号的方法。方法。1. 引言引言2020世纪著名数学家诺伯特世纪著名数学家诺伯特维纳，从小就智力超维纳，从小就智力超常，三岁时就能读写，十四岁时就大学毕业了。常，三岁时就能读写，十四岁时就大学毕业了。几年后，他又通过了博士论文答辩，成为美国哈几年后，他又通过了博士论文答辩，成为美国哈佛大学的科学博士。佛大学的科学博士。维纳维纳在其维纳在其5050年的科学生涯中，先后涉足哲学、数学、年的科学生涯中，先后涉足哲学、数学、物理学和工程学，最后转向生物学，在各个

29、领域中物理学和工程学，最后转向生物学，在各个领域中都取得了丰硕成果，称得上是恩格斯颂扬过的、本都取得了丰硕成果，称得上是恩格斯颂扬过的、本世纪多才多艺和学识渊博的科学巨人。他一生发表世纪多才多艺和学识渊博的科学巨人。他一生发表论文论文240240多篇，著作多篇，著作1414本。他的主要成果有如下几本。他的主要成果有如下几个方面：个方面：l建立维纳测度建立维纳测度l引进巴拿赫引进巴拿赫维纳空间维纳空间l阐述位势理论阐述位势理论l发展调和分析发展调和分析l发现发现维纳维纳霍普夫方法霍普夫方法l创立控制论创立控制论提出维纳滤波理论：在第二次世界大战期间，为了解决防空提出维纳滤波理论：在第二次世界大战

30、期间，为了解决防空火力控制和雷达噪声滤波问题，维纳综合运用了他以前几方火力控制和雷达噪声滤波问题，维纳综合运用了他以前几方面的工作，于面的工作，于19421942年年2 2月首先给出了从时间序列的过去数据推月首先给出了从时间序列的过去数据推知未来的维纳滤波公式，知未来的维纳滤波公式，建立了在最小均方误差准则建立了在最小均方误差准则下利用下利用时间序列进行预测的维纳滤波理论。时间序列进行预测的维纳滤波理论。 维纳在问题中引进维纳在问题中引进统计因素统计因素并使用了并使用了自相关和互相关自相关和互相关函数函数，事实证明这是极其重要的。维纳滤波模型在，事实证明这是极其重要的。维纳滤波模型在5050年

31、代年代被推广到仅在有限时间区间内进行观测的平稳过程以及某被推广到仅在有限时间区间内进行观测的平稳过程以及某些特殊的外平稳过程，其应用范围也扩充到更多的领域，些特殊的外平稳过程，其应用范围也扩充到更多的领域，至今它仍是处理各种动态数据至今它仍是处理各种动态数据( (如气象、水文、地震勘探等如气象、水文、地震勘探等) )及预测未来的有力工具之一。及预测未来的有力工具之一。卡尔曼在卡尔曼在19601960年提出了另一种适年提出了另一种适合于数字计算机计算的递推滤波合于数字计算机计算的递推滤波法，即所谓的卡尔曼滤波。这种法，即所谓的卡尔曼滤波。这种滤波方法不需要求解积分方程，滤波方法不需要求解积分方程

32、，既适用于平稳随机过程，也适用既适用于平稳随机过程，也适用于非平稳随机过程，是一种有广于非平稳随机过程，是一种有广泛应用价值的工程方法。泛应用价值的工程方法。 卡尔曼(1)维纳滤波根据估计信号的维纳滤波根据估计信号的当前值，它的解以系统的当前值，它的解以系统的系统函数或单位脉冲响系统函数或单位脉冲响应应形式给出。这种系统常称为最佳线性滤波器。形式给出。这种系统常称为最佳线性滤波器。卡尔曼滤波用前一个估计值和最近一个观察数据来估卡尔曼滤波用前一个估计值和最近一个观察数据来估计信号当前值，它用状态方程和递推的方法进行估计，计信号当前值，它用状态方程和递推的方法进行估计，它的它的解以估计值解以估计值

33、（常是状态变量值）形式给出。系统（常是状态变量值）形式给出。系统常称为线性最优估计器。常称为线性最优估计器。共同点：共同点：都解决最佳线性滤波和预测问题，都以均都解决最佳线性滤波和预测问题，都以均方误差最小为最优准则，平稳条件下它们得到的稳方误差最小为最优准则，平稳条件下它们得到的稳态结果一致。态结果一致。( )H z( )h n维纳滤波和卡尔曼滤波比较：维纳滤波和卡尔曼滤波比较：不同点：不同点：( ), (1), ()x n x nx nm(2)维纳滤波维纳滤波只适用于平稳随机过程，卡尔曼滤波，卡尔曼滤波适用于平稳和非平稳随机过程。(3)维纳滤波维纳滤波设计时要已知信号与噪声的统计分布规律。

34、卡尔曼滤波卡尔曼滤波设计时要求已知状态方程和量测方程。(4) 卡尔曼滤波比维纳滤波优越，计算方便，可用卡尔曼滤波比维纳滤波优越，计算方便，可用于平稳和非平稳随机过程、时变和非时变系统。于平稳和非平稳随机过程、时变和非时变系统。(5) (5) 卡尔曼滤波是在维纳滤波基础上发展的，是对卡尔曼滤波是在维纳滤波基础上发展的，是对最佳线性过滤问题的一种新的算法。维纳滤波的物最佳线性过滤问题的一种新的算法。维纳滤波的物理概念更清楚。理概念更清楚。( )( )( )( )( ) ()mx ns nv ny nh m x nm=+=-维纳滤波器输入输出关系维纳滤波器输入输出关系( )( )+ +s nv n希

35、望希望x(n)通过线性系统通过线性系统h(n)后得到的后得到的y(n)尽量接近尽量接近s(n)，称称y(n)为为s(n)的估计值的估计值, 用用 表示。表示。( )s n( )( )= =y ns n这种线性系统这种线性系统h(.)称为对于称为对于s(n)的一种估计器。的一种估计器。( )( ) ()my nh m x nm=- 从从当前和过去当前和过去的观测值的观测值x(n),x(n-1),x(n-2), x(n),x(n-1),x(n-2), x(n-m) x(n-m) 估计估计当前当前的信号值的信号值 称为称为滤波滤波。( )( )y ns n= 从从过去过去的观测值的观测值x(nx(n

36、1),x(n-2), x(n-m)1),x(n-2), x(n-m)估计估计当前当前 的或将来的或将来的信号值的信号值 称为称为预测或预测或 外推外推。( )() (0)y ns nNN=+ 从从过去过去的观测值的观测值x(nx(n1),x(n-2), x(n-m)1),x(n-2), x(n-m)估计估计过过 去去的信号的信号 值，称为平滑或内插。值，称为平滑或内插。( )() (1)y ns nNN=- 假设假设s(n),w(n),d(n)是零均值广义平稳过程，线性是零均值广义平稳过程，线性滤波器是滤波器是FIR或或IIR滤波器。最优化滤波器冲激响应的滤波器。最优化滤波器冲激响应的准则为均

37、方误差最小。所谓维纳滤波是指最小均方误准则为均方误差最小。所谓维纳滤波是指最小均方误差（差（MMSE）意义上的最优线性滤波器。均方误差是）意义上的最优线性滤波器。均方误差是以估计结果与信号真值之间的误差的均方值。以估计结果与信号真值之间的误差的均方值。2. 维纳滤波的应用维纳滤波的应用在通信系统中，为了在接收端补偿信道传输引入的在通信系统中，为了在接收端补偿信道传输引入的各种畸变，在对接收信号进行检测之前，通过一个各种畸变，在对接收信号进行检测之前，通过一个滤波器对信道失真进行校正，这个滤波器称为信道滤波器对信道失真进行校正，这个滤波器称为信道均衡器。均衡器。信道均衡器的结构示意l 通信的信道

38、均衡器通信的信道均衡器2. 维纳滤波的应用维纳滤波的应用 发送端发送序列发送端发送序列( )s n 经信道传输后，接收端的滤波器输入信经信道传输后，接收端的滤波器输入信 号，可能号，可能包含畸变，加性噪声，多径效应。包含畸变，加性噪声，多径效应。( )x n 期望信号，期望信号，( )d n( )( )d ns n 尽量确定维纳滤波器系数，使尽量确定维纳滤波器系数，使 尽可能逼尽可能逼近近 即即 ，也就是使估计误差的均，也就是使估计误差的均方值最小，（均方误差最小准则）方值最小，（均方误差最小准则）( )s n( )s n( )( )( )e ns ns nl 通信的信道均衡器通信的信道均衡器

39、l 系统辨识系统辨识2. 维纳滤波的应用维纳滤波的应用有一个系统是未知的，设计一个线性滤波器尽可有一个系统是未知的，设计一个线性滤波器尽可能精确的逼近这个未知系统，维纳滤波器实现一能精确的逼近这个未知系统，维纳滤波器实现一个个统计意义上最优（统计意义上最优（估计误差的均方值最小估计误差的均方值最小）的的对未知系统的逼近。对未知系统的逼近。2. 维纳滤波的应用维纳滤波的应用l 最优线性预测最优线性预测通过一个随机信号已存在的数据通过一个随机信号已存在的数据 (1) , (2) , ,x nx n 来预测一个新值来预测一个新值 ，这是一步前向线，这是一步前向线性预测问题。由性预测问题。由 的线性的

40、线性组合得到对组合得到对 的最优估计，相当于设计一个的最优估计，相当于设计一个FIR滤滤波器对波器对 ， 进行线性运进行线性运算，来估计期望响应算，来估计期望响应 ，维纳滤波器可以用，维纳滤波器可以用于设计均方误差最小的最优预测器。于设计均方误差最小的最优预测器。(1)x nm( )x n (1), (2), (1)x nx nx nm( )x n (1) , (2) ,x nx n, (1)x nm( )( )d nx n3. 维纳滤波器的时域解维纳滤波器的时域解假设滤波系统假设滤波系统 是一个线性时不变系统，它的是一个线性时不变系统，它的 和输入信号都是复函数，设和输入信号都是复函数，设维

41、纳滤波器设计的任务就是选择维纳滤波器设计的任务就是选择,使其输出使其输出信号信号 与期望信号误差的均方值最小，实质是与期望信号误差的均方值最小，实质是解维纳霍夫方程。解维纳霍夫方程。( )h n( )h n( )y n( )( )( )h na njb n( )d n3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法( )h n0,1,n 3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法考虑系统的因果性，可得到滤波器的输出考虑系统的因果性，可得到滤波器的输出 0( )( )( )( ) ()my nh nx nh m x nm0,1,n 设期望信号设期望信号 ，误差信号，误差信号 及

42、其均方误差及其均方误差 分别为分别为( )d n2( )E e n( )( )( )( )( )e nd ny ns ny n2220( )( )( )( )( ) ()mE e nE d ny nE d nh m x nm( )e n3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法要使均方误差为最小，需满足：要使均方误差为最小，需满足：2( )0jE e nh这里，表示这里，表示 ，用，用 ， 表示表示 ，。，。ja( )h jjhjb( )a j( )b j由于由于 是一标量，因此上式是一个标量对是一标量，因此上式是一个标量对复函数求导的问题，等价于复函数求导的问题，等价于2( )E

43、 e n3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法记记22( )( )0( )jjEe nEe njab0,1,2,j jjjjab 0,1,2,j 则则 式可写为式可写为2( )0jEe n( )3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法2( )( )( )( )( )( )( )( )( )0jjjjje ne ne ne nE e nEe ne nje nje naabb0( )( )( )( )( ) ()me nd ny nd nh m x nm( )()je nx nja 得得将上式展开将上式展开由于由于( )()je njx njb ( )()je nx

44、nja ( )()je njx njb 3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法将如上各项代入将如上各项代入 表达式，整理得：表达式，整理得：0,1,2, ,j2( )2() ( )0jE e nE x nj e n 2( )jE e n因此因此() ( )0E x nj e n等价于等价于() ( )0E xn j e n上式说明，均方误差达到最小值的充要条件是误差上式说明，均方误差达到最小值的充要条件是误差信号与任一进入估计的输入信号正交，这就是信号与任一进入估计的输入信号正交，这就是正交正交性原理性原理。3.1维纳滤波器时域求解的方法维纳滤波器时域求解的方法00( )( )

45、( ) ()( )( )()( )jjE y n e nEh j x nj e nh j E x nj e n下面计算输出信号与误差信号的互相关函数下面计算输出信号与误差信号的互相关函数假定滤波器工作于最佳状态，滤波器的输出假定滤波器工作于最佳状态，滤波器的输出 与期望信号与期望信号 的误差为的误差为 ，则，则( )( )0optoptE yn en ( )optyn( )d n( )opten可见，在滤波器工作于最佳状态时，输出和误差信可见，在滤波器工作于最佳状态时，输出和误差信号也是正交的。号也是正交的。3.2 维纳维纳-霍夫方程霍夫方程将将 展开，得展开，得()( )0E x nk e

46、n0()( )( )()0mE x nk dnh m x nm整理得整理得0()( )()dxxxmrkh m rmk0,1,2,k 对两边取共轭，并利用相关函数的性质对两边取共轭，并利用相关函数的性质 ,得得()( )yxxyrkrk0( )( )()( )( )xdxxxxmrkh m rkmh krk0,1,2,k 3.2 维纳维纳-霍夫方程霍夫方程 此式称为维纳此式称为维纳-霍夫霍夫(Wiener-Hopf)方程。解此方程方程。解此方程可得到最优权系数可得到最优权系数 ，此式是维纳滤波，此式是维纳滤波器的一般方程，根据权系数是有限个还是无限个可器的一般方程，根据权系数是有限个还是无限个

47、可以分别设计以分别设计IIR型和型和FIR型维纳滤波器。型维纳滤波器。012,h h h 3.3 FIR型维纳滤波器型维纳滤波器 FIR滤波器滤波器 是一个长度为是一个长度为M的因果序列的因果序列(即即 是一个长度为是一个长度为M的的FIR滤波器滤波器)时，维纳时，维纳-霍夫方程霍夫方程表述为表述为( )h n( )h n10( )( )()( )( )Mxdxxxxmrkh m rkmh krk0,1,2,1kM把把 的取值代入上式，得的取值代入上式，得k 时1k 12(1)(0)(2)(1)xxxxMxxxdhrh rh rMr 时1kM12(1)(2)(0)(1)xxxxMxxxdhrM

48、h rMh rrM 时0k 12(0)( 1)(1)(0)xxxxMxxxdhrh rh rMr3.3 FIR型维纳滤波器型维纳滤波器则维纳则维纳-霍夫方程可写成矩阵形式霍夫方程可写成矩阵形式定义定义121MMhhhh1(0)(1)(1)xdxdxdxdMrrr MR(0)(1 )(1 )(1 )(0)(2)(1 )(2)(0)xxxxxxxxxxxxxxxxxxxxM Mrrr Mrrr Mr Mr MrRxdxxRR h对上式求逆，得对上式求逆，得1xxxdhR R3.3 FIR型维纳滤波器型维纳滤波器1xxxdhR R维纳维纳-霍夫方程矩阵形式霍夫方程矩阵形式 此式表明，此式表明，已知期

49、望信号与观测数据的互相关已知期望信号与观测数据的互相关函数及观测数据的自相关函数函数及观测数据的自相关函数时，可以通过矩阵求时，可以通过矩阵求逆运算，得到维纳滤波器的最佳解。逆运算，得到维纳滤波器的最佳解。 同时可以看到，直接从时域求解维纳滤波器，同时可以看到，直接从时域求解维纳滤波器，并不是一个有效的方法，当并不是一个有效的方法，当 较大时，计算量很大，较大时，计算量很大，并需计算并需计算 ，从而要求存储量也很大。另外，具，从而要求存储量也很大。另外，具体实现时，滤波器的长度由实验确定，体实现时，滤波器的长度由实验确定， 增加，需增加，需在新在新 基础上重新计算。基础上重新计算。MMMxxR

50、3.3 FIR型维纳滤波器型维纳滤波器FIR型维纳滤波器的最小均方误差型维纳滤波器的最小均方误差22( )( )( )E e nEd ny n 设所研究的信号是零均值的，滤波器为设所研究的信号是零均值的，滤波器为FIR型，长型，长度等于度等于M，则，则210( )( ) ()MkE d nh k x nk*1100( )( ) ()( )( ) ()MMkiEd nh k x nkd nh i x ni 3.3 FIR型维纳滤波器型维纳滤波器1220( )( )( )() ( )MkE e nEd nh k E x nk d n111*000( )()( )( ) ( ) () ()MMMik

51、ih i E x ni dnh k h i E x nk x ni 111120000( )( )( )( )( ) ( )()MMMMdxdxdxxkkkih k rkh k rkh k h i rki 2()()()TTTdxdxdxxhRRhhR h2111()() ()TTdxdxxxdxxxdxxxxxdRR RhR RRhR R3.3 FIR型维纳滤波器型维纳滤波器将将 代入得代入得:2212min( )()()TTdxdxxxddxdoptE e nRR RRh1xxxdhR R4.离散维纳滤波的离散维纳滤波的Z域解域解时域求解维纳滤波器很困难，用时域求解维纳滤波器很困难，用Z域

52、求解。又因为实际域求解。又因为实际的系统是因果的，维纳的系统是因果的，维纳-霍夫方程有个霍夫方程有个 的约束条件，所的约束条件，所以不能直接转入以不能直接转入Z域求解它的域求解它的 。这是因为输入信号与期望信号的互是一个因果序列。这是因为输入信号与期望信号的互是一个因果序列。这里我们利用将这里我们利用将 加以白化的方法来求维纳加以白化的方法来求维纳-霍夫方程的霍夫方程的Z域解域解(由波德由波德(Bode)和香农和香农(Shannon)首先提出的方法首先提出的方法)。0k ( )( )optoptHzht( )x n4.离散维纳滤波的离散维纳滤波的Z域解域解21( )( ) ()xxwszB z

53、 B z 是一个因果是一个因果(物理可实现物理可实现)的最小相位系统。的最小相位系统。把信号转化为白噪声的过程称为白化。把信号转化为白噪声的过程称为白化。白化滤波器( )B z( )w n( )x n( )B z1( )Bz( )w n( )x n白噪声功率谱密度为：白噪声功率谱密度为：( )( )( )x ns nv n=+21ss( )( ) ()wzA z A zs sF F-=s(n)的信号模型的信号模型x(n)的信号模型的信号模型2( )wwwzs sF F=4. 离散维纳滤波的离散维纳滤波的Z域解域解21( )( ) ()xxwzB z B zs sF F-=B(z)是是x(n)的

54、的形成网络的传形成网络的传函函维纳滤波器输入输出的维纳滤波器输入输出的信号模型信号模型( )( )( )x ns nv n=+x(n)的信号模型的信号模型4. 离散维纳滤波的离散维纳滤波的Z域解域解如果如果 是是 在单位圆内在单位圆内( )的一对共轭的一对共轭极点（零点），则极点（零点），则 必是单位圆外一对相应必是单位圆外一对相应的极点（零点）。的极点（零点）。11,21jzrew w=( )xxzF F11r 11,21/jzerw w=m m令令B(z)是由圆内的零极点组成，则是由圆内的零极点组成，则B(z-1)是由相应的圆是由相应的圆外的零极点组成。外的零极点组成。一个稳定因果系统，其

55、收敛域为一个稳定因果系统，其收敛域为 ，即，即H(z)的全部的全部极点应落在单位圆内。因此极点应落在单位圆内。因此B(z)是因果且最小相位系统，是因果且最小相位系统，1/B(z)也是也是因果最小相位系统因果最小相位系统。1z ( )( )( )X zB z W z=1( )( )( )W zX zB z=4. 离散维纳滤波的离散维纳滤波的Z域解域解利用白化利用白化x(n)的方法来求解维纳霍夫方程的方法来求解维纳霍夫方程4. 离散维纳滤波的离散维纳滤波的Z域解域解求解步骤：求解步骤： 对观测信号对观测信号 的自相关函数的自相关函数 求求z变换得变换得 。 利用等式利用等式 ，找到最小相位系统，找

56、到最小相位系统B(z) 。 利用均方误差最小原则求解利用均方误差最小原则求解G(z)。 H(z) =G(z)/B(z)，得到维纳霍夫方程的系统函数解。，得到维纳霍夫方程的系统函数解。 ( )x n()xxmf f( )xxzf f21( )( ) ()xxwzB z B zs sF F-=4. 离散维纳滤波的离散维纳滤波的Z域解域解4.1 非因果维纳滤波器的求解非因果维纳滤波器的求解该信号为实信号，该信号为实信号， 是是 的逆的逆Z变换。变换。( )g n( )G z( )( )( )( )( ) ()ky ns nw ng ng k w nk( )( )( )e ns ns n22( )(

57、)( ) ()kE e nEs ng k w nk2( )( ) ( )() ()krE s nEg k g r w nk w nr ( )() ( )( ) ()( )kkEgk w nk s ng r w nr s n要使均方误差最小，当且仅当要使均方误差最小，当且仅当22(0)( )( )( )( )( )sswwswskkkrg kg k rkg k rk222( )( )(0)( )wswssswkkwwrkrkrg kk ( )( )0wswwrkg k因此因此 的最佳值为的最佳值为( )g n4.1 非因果维纳滤波器的求解非因果维纳滤波器的求解两边取两边取Z变换变换k 2( )(

58、 )wsoptwrkgk2( )( )wsoptwSzGz非因果维纳滤波器的最佳解为非因果维纳滤波器的最佳解为2( )( )1( )( )( )optwsoptwGzSzHzB zB z4.1 非因果维纳滤波器的求解非因果维纳滤波器的求解因为因为 ，且，且 根据相根据相关卷积定理，得关卷积定理，得()xswsrrbm两边取两边取Z变换变换1( )( ) ()xswsSzSz B z( )( )( )s ns nn( )( )( )x nw nb n1( ) ( )()xswsSzSzB z代入代入 得到得到( )optHz21( )1( )( ) ()( )xsxsoptwxxSSzHzB z

59、 B zSz4.1 非因果维纳滤波器的求解非因果维纳滤波器的求解假定信号与噪声不相关，即假定信号与噪声不相关，即 ，有，有( ) ( )0E s n v n( )( ( )( )()( )xsssrmEs nv ns nmrm( )( ( )( ) ( ()()( )( )xxssvvrmEs nv ns nmv nmr mrm两边取两边取Z变换，得变换，得( )( )xsssSzSz代入代入 表达式，得表达式，得( )wsSz1( )( )()sswsSzSzB z( )( )( )xxssvvSzSzSz4.1 非因果维纳滤波器的求解非因果维纳滤波器的求解代入代入 式，非因果维纳滤波器的复

60、频域式，非因果维纳滤波器的复频域最佳解最佳解( )( )( )( )( )xsssoptxxssvvSzSzHSzSzSz非因果维纳滤波器的频率响应为非因果维纳滤波器的频率响应为()( )()()()( )( )jjssssoptjjssvvssvvSePHeSeSePP( )( )( )xsoptxxSzHzSz4. 离散维纳滤波的离散维纳滤波的Z域解域解4.1 非因果维纳滤波器的求解非因果维纳滤波器的求解()( )()()()( )( )jjssssoptjjssvvssvvePHeeePPw ww ww ww ww ww ww wF F F FF F 决定于信号与噪声的功率谱密度。决定于