线性预测和最优线性滤波器演示文稿

线性预测和最优线性滤波器演示文稿当前1页，总共102页。（优选）线性预测和最优线性滤波器当前2页，总共102页。7.2前向线性预测第七章线性预测和最优线性滤波器7.3后向线性预测7.5最优化正规方程解法7.6用于滤波和预测维纳滤波器7.1线性预测的依据和特点7.4预测器与格型滤波器关系当前3页，总共102页。7.1线性预测的依据和特点信号之间的关联性系统的惯性随机信号预测特点当前4页，总共102页。7.1线性预测的依据和特点信号之间的关联性信号之所以能够预测，在于数据间存在不同程度的关联性。预测就是利用数据前后的关联性，根据其中一部分推知其余部分。显然数据间关联越密切，预测越准确；完全不关联，则无法预测。当前5页，总共102页。7.1线性预测的依据和特点1.信号之间的关联性周期信号：只要知道一个周期，则以后的信号就可以按照第一个周期完全无误地预测出来。

白噪声信号：由于其前后毫无关联，使预测无所依据而无法预测。平稳随机信号：均值为常数，自相关函数只与时间间隔有关，可以进行预测。当前6页，总共102页。7.1线性预测的依据和特点2.系统惯性

是有惯性的系统，因而是有色的。当前7页，总共102页。7.1线性预测的依据和特点3.随机信号预测特点只能利用随机信号的统计规律作为预测的依据，也就是说随机信号之所以能够预测在于其存在某些统计上的规律。不能精确使预测误差为零，而只能从统计意义上做到最优预测，使预测误差的均方值最小。实际获得的信号是带噪声干扰的，这使得预测和滤波紧密相连，称为带滤波的预测或预测滤波。不考虑噪声干扰时的预测或不带滤波的预测为纯预测。当前8页，总共102页。7.2前向线性预测第七章线性预测和最优线性滤波器7.3后向线性预测7.5最优化正规方程解法7.6用于滤波和预测维纳滤波器7.1线性预测的依据和特点7.4预测器与格型滤波器关系当前9页，总共102页。7.2

前向线性预测前向线性预测后向线性预测格形滤波器当前10页，总共102页。7.2

前向线性预测

已知n时刻以前的p个信号数据，用这p个数据来线性预测n时刻信号的值，如图所示，预测值为当前11页，总共102页。7.2

前向线性预测其预测误差为

(a)

——称此预测器为p阶前向线性预测器。

令误差的均方值最小，即求由此解得将式(a)代入上式，得

当前12页，总共102页。7.2

前向线性预测

(b)由最小均方误差的表达式及正交性原理可求得最小的均方误差为

(c)联立式(b)与式(c)得

当前13页，总共102页。7.2

前向线性预测

(d)

——前向线性预测的Wiener-Hopf方程

解此方程则得p阶线性预测器的最佳参数及。矩阵形式当前14页，总共102页。前向预测滤波器性质：

白化性质

预测滤波器是最小相位系统首先我们阐述白化性质，回忆AR过程的Yule-Walker方程：

7.2

前向线性预测当前15页，总共102页。7.2

前向线性预测（d）式与AR模型参数的正则方程式极其相似，有，成立。这说明，对于同一个p阶的AR随机信号，其AR模型和同阶的最佳线性预测器模型是等价的。所以有

(f)即p阶线性预测器的输出是一个白噪声序列。当前16页，总共102页。7.2

前向线性预测结论：对于给定的随机信号，若其最佳前向线性预测器的阶次等于的AR模型阶次时，其前向线性预测误差为白噪声序列。所以阶次等于AR模型阶次的最佳前向预测误差滤波器实际上是AR模型的逆系统，即白化滤波器。

图aAR(p)模型图b预测误差模型当前17页，总共102页。7.2前向线性预测第七章线性预测和最优线性滤波器7.3后向线性预测7.5最优化正规方程解法7.6用于滤波和预测维纳滤波器7.1线性预测的依据和特点7.4预测器与格型滤波器关系当前18页，总共102页。7.3

后向线性预测用同一组数据来同时实现前向和后向预测，则后向预测器表示为预测误差当前19页，总共102页。7.3后向线性预测后向预测器也可用直接型FIR滤波器结构或格型结构实现，其对应系数和前向滤波器的关系如下：预测误差可以表示为

当前20页，总共102页。7.3

后向线性预测对应的均方误差为仿照前向预测器的推导方法，最小化均方误差可导出：对应的最小均方误差和前向预测器相同。当前21页，总共102页。7.3

后向线性预测后向预测滤波器性质：

最大相位系统性质

具有最小相位

后向预测误差的正交性

前后向预测滤波器的其他性质，教材633页当前22页，总共102页。7.2前向线性预测第七章线性预测和最优线性滤波器7.3后向线性预测7.5最优化正规方程解法7.6用于滤波和预测维纳滤波器7.1线性预测的依据和特点7.4预测器与格型滤波器关系当前23页，总共102页。

7.4预测器与格形滤波器关系预测误差可以表示成直接型FIR滤波器当前24页，总共102页。

7.4预测器与格形滤波器关系前后向预测误差滤波器系数之间关系的z域表示：当前25页，总共102页。直接型FIR滤波器的全零点格型滤波器等效：其中为反射系数，为后向预测误差。

7.4预测器与格形滤波器关系当前26页，总共102页。

7.4预测器与格形滤波器关系全零点格型滤波器和前后向预测器误差的关系：当前27页，总共102页。

7.4预测器与格形滤波器关系3.格型滤波器的Z域表示相应的z变换的表达式为格型滤波器的时域表达式为当前28页，总共102页。

7.4预测器与格形滤波器关系3.格型滤波器的Z域表示它们z变换的表达式为把它们都除以X(z)得到其对应的矩阵形式为当前29页，总共102页。

7.4预测器与格形滤波器关系4.预测系数递推公式从上式可以推出：当前30页，总共102页。

7.4预测器与格形滤波器关系4.预测系数递推公式递推关系：具体如下：当前31页，总共102页。

7.4预测器与格形滤波器关系5.反射系数递推公式递推公式为：详细公式为：当前32页，总共102页。7.2前向线性预测第七章线性预测和最优线性滤波器7.3后向线性预测7.5最优化正规方程解法7.6用于滤波和预测维纳滤波器7.1线性预测的依据和特点7.4预测器与格型滤波器关系当前33页，总共102页。7.5最优化正规方程解法1.正规方程前向预测误差均方值最小化得到的预测器系数为正规方程，即其对应的紧凑形式为其MMSE为当前34页，总共102页。7.5最优化正规方程解法二者结合得到扩展正规方程为：2.Levinson-Durbin算法正规方程的紧凑形式为当前35页，总共102页。7.5最优化正规方程解法其对应的自相关矩阵为由于Toeplitz矩阵Hermitian矩阵2.Levinson-Durbin算法当前36页，总共102页。7.5最优化正规方程解法2.Levinson-Durbin算法算法思路为利用矩阵Toeplitz性质，递推处理得到最后的解。先从阶数1的预测器开始，再递推地增加阶数，使用低阶的解得到下一个高阶解。通过求解如下方程一阶预测器的解为当前37页，总共102页。7.5最优化正规方程解法2.Levinson-Durbin算法对应的一阶MMSE为：对于二阶通过求解如下方程得到两个方程为当前38页，总共102页。7.5最优化正规方程解法2.Levinson-Durbin算法结合一阶方程的解，得到二阶预测器系数：当前39页，总共102页。7.5最优化正规方程解法按照此规律即可利用前一阶得到后一阶的系数，将系数向量写成向量和的形式，如下是第m-1阶预测器的系数向量，向量，标量待定。2.Levinson-Durbin算法当前40页，总共102页。7.5最优化正规方程解法首先处理自相关矩阵，公式如下：其中，星号表示共轭，t表示转置，上标b表示向量的元素按照倒序排列。2.Levinson-Durbin算法当前41页，总共102页。7.5最优化正规方程解法求解如下方程：，得到如下解2.Levinson-Durbin算法通过上式得到如下两个方程当前42页，总共102页。7.5最优化正规方程解法由于，得到第一个方程的解为2.Levinson-Durbin算法结合，利用第二个方程求解当前43页，总共102页。7.5最优化正规方程解法2.Levinson-Durbin算法2.Levinson-Durbin算法得到的表达式为：结合和的解，得到算法的表达式当前44页，总共102页。7.5最优化正规方程解法算法对应的MMSE表达式为2.Levinson-Durbin算法当前45页，总共102页。7.2前向线性预测第七章线性预测和最优线性滤波器7.3后向线性预测7.5最优化正规方程解法7.6用于滤波和预测维纳滤波器7.1线性预测的依据和特点7.4预测器与格型滤波器关系当前46页，总共102页。7.6用于滤波和预测的维纳滤波器在生产实践中，信号都会受到噪声干扰的。如何最大限度地抑制噪声，将有用信号分离出来？滤波器：当信号与噪声同时输入时，在输出端能将信号尽可能精确地重现，而噪声受到最大抑制。维纳过滤与卡尔曼过滤就是一类从噪声中提取信号的方法。1.引言当前47页，总共102页。7.6用于滤波和预测的维纳滤波器20世纪著名数学家诺伯特·维纳，从小就智力超常，三岁时就能读写，十四岁时就大学毕业了。几年后，他又通过了博士论文答辩，成为美国哈佛大学的科学博士。维纳维纳在其50年的科学生涯中，先后涉足哲学、数学、物理学和工程学，最后转向生物学，在各个领域中都取得了丰硕成果，称得上是恩格斯颂扬过的、本世纪多才多艺和学识渊博的科学巨人。他一生发表论文240多篇，著作14本。他的主要成果有如下几个方面：建立维纳测度引进巴拿赫—维纳空间阐述位势理论发展调和分析发现维纳—霍普夫方法创立控制论当前48页，总共102页。7.6用于滤波和预测的维纳滤波器提出维纳滤波理论：在第二次世界大战期间，为了解决防空火力控制和雷达噪声滤波问题，维纳综合运用了他以前几方面的工作，于1942年2月首先给出了从时间序列的过去数据推知未来的维纳滤波公式，建立了在最小均方误差准则下利用时间序列进行预测的维纳滤波理论。当前49页，总共102页。7.6用于滤波和预测的维纳滤波器维纳在问题中引进统计因素并使用了自相关和互相关函数，事实证明这是极其重要的。维纳滤波模型在50年代被推广到仅在有限时间区间内进行观测的平稳过程以及某些特殊的外平稳过程，其应用范围也扩充到更多的领域，至今它仍是处理各种动态数据(如气象、水文、地震勘探等)及预测未来的有力工具之一。卡尔曼在1960年提出了另一种适合于数字计算机计算的递推滤波法，即所谓的卡尔曼滤波。这种滤波方法不需要求解积分方程，既适用于平稳随机过程，也适用于非平稳随机过程，是一种有广泛应用价值的工程方法。卡尔曼当前50页，总共102页。(1)维纳滤波根据估计信号的当前值，它的解以系统的系统函数或单位脉冲响应形式给出。这种系统常称为最佳线性滤波器。卡尔曼滤波用前一个估计值和最近一个观察数据来估计信号当前值，它用状态方程和递推的方法进行估计，它的解以估计值（常是状态变量值）形式给出。系统常称为线性最优估计器。共同点：都解决最佳线性滤波和预测问题，都以均方误差最小为最优准则，平稳条件下它们得到的稳态结果一致。维纳滤波和卡尔曼滤波比较：不同点：当前51页，总共102页。(2)维纳滤波只适用于平稳随机过程，卡尔曼滤波适用于平稳和非平稳随机过程。(3)维纳滤波设计时要已知信号与噪声的统计分布规律。卡尔曼滤波设计时要求已知状态方程和量测方程。(4)卡尔曼滤波比维纳滤波优越，计算方便，可用于平稳和非平稳随机过程、时变和非时变系统。(5)卡尔曼滤波是在维纳滤波基础上发展的，是对最佳线性过滤问题的一种新的算法。维纳滤波的物理概念更清楚。当前52页，总共102页。7.6用于滤波和预测的维纳滤波器维纳滤波器输入－输出关系当前53页，总共102页。7.6用于滤波和预测的维纳滤波器希望x(n)通过线性系统h(n)后得到的y(n)尽量接近s(n)，称y(n)为s(n)的估计值,用表示。这种线性系统h(.)称为对于s(n)的一种估计器。当前54页，总共102页。7.6用于滤波和预测的维纳滤波器

从当前和过去的观测值x(n),x(n-1),x(n-2),…x(n-m)估计当前的信号值称为滤波。

从过去的观测值x(n－1),x(n-2),…x(n-m)估计当前的或将来的信号值称为预测或外推。

从过去的观测值x(n－1),x(n-2),…x(n-m)估计过去的信号值，称为平滑或内插。当前55页，总共102页。7.6用于滤波和预测的维纳滤波器假设s(n),w(n),d(n)是零均值广义平稳过程，线性滤波器是FIR或IIR滤波器。最优化滤波器冲激响应的准则为均方误差最小。所谓维纳滤波是指最小均方误差（MMSE）意义上的最优线性滤波器。均方误差是以估计结果与信号真值之间的误差的均方值。当前56页，总共102页。7.6用于滤波和预测的维纳滤波器2.维纳滤波的应用在通信系统中，为了在接收端补偿信道传输引入的各种畸变，在对接收信号进行检测之前，通过一个滤波器对信道失真进行校正，这个滤波器称为信道均衡器。信道均衡器的结构示意通信的信道均衡器当前57页，总共102页。7.6用于滤波和预测的维纳滤波器2.维纳滤波的应用

发送端发送序列

经信道传输后，接收端的滤波器输入信号，可能包含畸变，加性噪声，多径效应。

期望信号，

尽量确定维纳滤波器系数，使尽可能逼近即，也就是使估计误差的均方值最小，（均方误差最小准则）通信的信道均衡器当前58页，总共102页。7.6用于滤波和预测的维纳滤波器系统辨识2.维纳滤波的应用有一个系统是未知的，设计一个线性滤波器尽可能精确的逼近这个未知系统，维纳滤波器实现一个统计意义上最优（估计误差的均方值最小）的对未知系统的逼近。当前59页，总共102页。7.6用于滤波和预测的维纳滤波器2.维纳滤波的应用最优线性预测通过一个随机信号已存在的数据来预测一个新值，这是一步前向线性预测问题。由的线性组合得到对的最优估计，相当于设计一个FIR滤波器对 ，进行线性运算，来估计期望响应，维纳滤波器可以用于设计均方误差最小的最优预测器。当前60页，总共102页。7.6用于滤波和预测的维纳滤波器3.

维纳滤波器的时域解假设滤波系统是一个线性时不变系统，它的和输入信号都是复函数，设维纳滤波器设计的任务就是选择,使其输出信号与期望信号误差的均方值最小，实质是解维纳－霍夫方程。3.1维纳滤波器时域求解的方法当前61页，总共102页。3.维纳滤波器的时域解3.1维纳滤波器时域求解的方法考虑系统的因果性，可得到滤波器的输出设期望信号，误差信号及其均方误差分别为当前62页，总共102页。3.维纳滤波器的时域解3.1维纳滤波器时域求解的方法要使均方误差为最小，需满足：这里，表示，用，表示，。由于是一标量，因此上式是一个标量对复函数求导的问题，等价于当前63页，总共102页。3.维纳滤波器的时域解3.1维纳滤波器时域求解的方法记则式可写为当前64页，总共102页。3.维纳滤波器的时域解3.1维纳滤波器时域求解的方法得将上式展开由于当前65页，总共102页。3.维纳滤波器的时域解3.1维纳滤波器时域求解的方法将如上各项代入表达式，整理得：因此等价于上式说明，均方误差达到最小值的充要条件是误差信号与任一进入估计的输入信号正交，这就是正交性原理。当前66页，总共102页。3.维纳滤波器的时域解3.1维纳滤波器时域求解的方法下面计算输出信号与误差信号的互相关函数假定滤波器工作于最佳状态，滤波器的输出与期望信号的误差为，则可见，在滤波器工作于最佳状态时，输出和误差信号也是正交的。当前67页，总共102页。3.维纳滤波器的时域解3.2维纳-霍夫方程将展开，得整理得对两边取共轭，并利用相关函数的性质,得当前68页，总共102页。3.维纳滤波器的时域解3.2维纳-霍夫方程此式称为维纳-霍夫(Wiener-Hopf)方程。解此方程可得到最优权系数，此式是维纳滤波器的一般方程，根据权系数是有限个还是无限个可以分别设计IIR型和FIR型维纳滤波器。当前69页，总共102页。3.维纳滤波器的时域解3.3FIR型维纳滤波器FIR滤波器是一个长度为M的因果序列(即是一个长度为M的FIR滤波器)时，维纳-霍夫方程表述为把的取值代入上式，得

时

时

时当前70页，总共102页。3.维纳滤波器的时域解3.3FIR型维纳滤波器则维纳-霍夫方程可写成矩阵形式定义对上式求逆，得当前71页，总共102页。3.维纳滤波器的时域解3.3FIR型维纳滤波器维纳-霍夫方程矩阵形式

此式表明，已知期望信号与观测数据的互相关函数及观测数据的自相关函数时，可以通过矩阵求逆运算，得到维纳滤波器的最佳解。同时可以看到，直接从时域求解维纳滤波器，并不是一个有效的方法，当较大时，计算量很大，并需计算，从而要求存储量也很大。另外，具体实现时，滤波器的长度由实验确定，增加，需在新基础上重新计算。当前72页，总共102页。3.维纳滤波器的时域解3.3FIR型维纳滤波器FIR型维纳滤波器的最小均方误差

设所研究的信号是零均值的，滤波器为FIR型，长度等于M，则当前73页，总共102页。3.维纳滤波器的时域解3.3FIR型维纳滤波器当前74页，总共102页。3.维纳滤波器的时域解3.3FIR型维纳滤波器将代入得:

当前75页，总共102页。7.5用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解时域求解维纳滤波器很困难，用Z域求解。又因为实际的系统是因果的，维纳-霍夫方程有个的约束条件，所以不能直接转入Z域求解它的。这是因为输入信号与期望信号的互是一个因果序列。这里我们利用将加以白化的方法来求维纳-霍夫方程的Z域解(由波德(Bode)和香农(Shannon)首先提出的方法)。当前76页，总共102页。7.5用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解

是一个因果(物理可实现)的最小相位系统。把信号转化为白噪声的过程称为白化。白化滤波器当前77页，总共102页。白噪声功率谱密度为：s(n)的信号模型x(n)的信号模型7.6用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解当前78页，总共102页。B(z)是x(n)的形成网络的传函维纳滤波器输入－输出的信号模型x(n)的信号模型7.6用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解当前79页，总共102页。如果是在单位圆内()的一对共轭极点（零点），则必是单位圆外一对相应的极点（零点）。令B(z)是由圆内的零极点组成，则B(z-1)是由相应的圆外的零极点组成。一个稳定因果系统，其收敛域为，即H(z)的全部极点应落在单位圆内。因此B(z)是因果且最小相位系统，1/B(z)也是因果最小相位系统。7.6用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解当前80页，总共102页。利用白化x(n)的方法来求解维纳－霍夫方程7.6用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解当前81页，总共102页。求解步骤：对观测信号的自相关函数求z变换得。利用等式，找到最小相位系统B(z)。利用均方误差最小原则求解G(z)。

H(z)=G(z)/B(z)，得到维纳－霍夫方程的系统函数解。7.6用于滤波和预测的维纳滤波器4.离散维纳滤波的Z域解当前82页，总共102页。4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解该信号为实信号，是的逆Z变换。当前83页，总共102页。要使均方误差最小，当且仅当因此的最佳值为4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前84页，总共102页。两边取Z变换非因果维纳滤波器的最佳解为4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前85页，总共102页。因为，且根据相关卷积定理，得两边取Z变换代入得到4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前86页，总共102页。假定信号与噪声不相关，即，有两边取Z变换，得代入表达式，得4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前87页，总共102页。代入式，非因果维纳滤波器的复频域最佳解非因果维纳滤波器的频率响应为4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前88页，总共102页。决定于信号与噪声的功率谱密度。(信号不失真，因为没有噪声)有误差，误差是由于信号谱和噪声谱交叉造成。信噪比越小，越小噪声全部被抑制掉，因此维纳滤波器有滤除噪声的能力幅频特性当前89页，总共102页。为什么维纳滤波器比一般线性滤波器性能更好？当前90页，总共102页。推导滤波器的最小均方误差根据围线积分求逆Z变换的公式，得4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前91页，总共102页。同理由帕塞伐尔定理取有4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前92页，总共102页。把，代入公式，得将代入上式，得4.离散维纳滤波的Z域解4.1非因果维纳滤波器的求解当前93页，总共102页。因为实信号的自相关函数是偶函数，即，因此假定信号与噪声不相关，即，则可见，维纳滤波的最小均方误差不仅