第4章线性预测-printed

1、第四章线性预测我们可以预测未来吗？答案是可以。但是不一定能完全准确地预测将来。通常，事件之间有内在的结构关系和惯性，因此我们的确可以基于对过去和现在的知识来估计将来。这和图像压缩又有何关系？我们的目标是用简洁有效的方式描述随机信号。线性预测有助于降低信号的冗余度，用较少的比特表示波形。实质上，线性预测就是最小均方估值理论的一个特例。但由于它在图像压缩中的重要地位，我们单独用一章来讨论。主要内容：1、估值原理基础2、带有限存储器的线性预测器3、前向预测和后向预测4、随机过程的表示4.1估值原理基础预测是从观察的某随机变量估计一个或多个随机变量的统计估值。被估计的变量关系到“将来”，而观察的变量关

2、系到“过去”（或过去及现在）。最常用的估计是从观察的个先前的样值估计该平稳过程的现在样值。另外，在图像压缩应用中，从“先验”的图像样值块估计当前的图像样值块。或者在信号压缩应用中，从一个或个矢量预测某矢量。4.1.1 观察随机矢量预测第二个随机矢量给定随机矢量，要预测的矢量，两个矢量的维数不必完全相同。例如，是最常见的情况，即从个观察样值集合预测一个随机变量。为便于概率分析，设这些随机矢量由概率分布函数描述（概率分布可以根据经验分布来估计）。最佳预测总是基于某个“最佳”准则，我们选择使用最为广泛的均方误差准则（MSE）。 设预测值为，则定义均方误差为：(4.1)MSE准则可以反映通过预测来减小

3、误差信号能量的程度。因为预测的目的就是要去除可预测的信息，所以MSE越小则预测器的性能越好。当给定预测器的MSE最小时，则为最佳预测器。 两种常用的特殊情况。 表示一个平稳随机过程的个相继样值， 是下一个（或者“未来”）样值，已知有限个过去值，寻找最佳的一步预测器。另一种情况，是图像中的一个子块，包含上面及左边的图像子块，目的是利用已经解码的图像区域预测该图像中新的区域，如图4.1所示，用子块A、B和C预测 D。图4.1所示，用子块A、B和C预测 D4.1.2 最佳线性预测(1) 简单情况 随机变量的估计当随机过程均值为0时： 随机矢量，用随机变量的线性组合来估计随机变量，其估计值用 表示：(

4、4.2)由最小均方误差准则（MMSE）确定，即，其中，。根据拉格朗日极值定理，将对 求偏导，并使其为0，得：(4.3)这个等式就是线性均方估值的正交原理 误差 与所有随机变量 在统计上正交。或者记为 。当随机过程均值不为0时：(4.4)不难证明，（2）(4.3)式仍然成立。但估值方程变成含个未知数。因此，对（2）(4.3)式也要附加如下方程：(4.5)(2) 普遍情况：已知维矢量，希望预测一个维矢量，估计矢量为，则，(4.6)其中， 是预测系数矢量，它是维列矢量。也可以将(4.6)式写成：(4.7)均方误差：(4.8)要得到最佳线性预测器，则寻找使均方误差最小的矩阵。显然，当各项误差 都最小时

5、，其误差总和也达到最小值。令，则根据等式(4.3)单个随机变量 的最佳估计有：(4.9)这就是矢量最佳线性预测的正交原理。下面利用正交原理求解最佳线性预测系数方程。将(4.7)代入(4.8)得到：写成矩阵的形式：(4.10)其中， 是矢量的自相关矩阵。如果自相关矩阵是非奇异矩阵，则，(4.11)因为自相关矩阵及其逆矩阵都是对称矩阵，所以又可写成，或 (4.12)定理：最小均方误差线性预测器 的系数矩阵是如下方程的解：(4.13)其中，。4.2带有限存储器的线性预测器线性预测最重要的一个应用就是给定一个平稳随机过程的个过去样值，预测其将来的样值。设离散实值平稳随机过程, 当零均值时的自相关函数为

6、：(4.14)其方差，因过程为零均值，自相关函数与自协方差函数相同。已有文献证明，零均值平稳随机过程的谱密度和自相关函数是一对付里叶变换对，即，(4.15)其中，是归一化处理后的角频率，是的周期函数，周期为。这一结论在以后的讨论中将用到。通常，信号样值之间的相关性不为零，这表明已知一个样值可以得到另外一个样值的部分信息。具体地说，观察随机过程过去样值可以得到关于现在样值的部分知识。一步预测器就是基于对过去样值的观察，来估计当前样值。用第一节中的数学语言统一书写，则观察矢量，待估计矢量。这里的观察样值是无限长的。限制预测器存储器长度为，我们就能直接利用上一节的结论。令：(4.16)其中，是线性预

7、测系数，负号的引入是为了方便预测误差的表示。预测误差表示为：(4.17)将前面公式（9）(4.10)中的用替换、用替换、用替换、用替换，得到：(4.18)其中： 是预测器的系数矢量；矩阵是平稳随机序列的阶自相关矩阵：(4.19)是Toeplitz矩阵，即每条对角线上的所有数都相同。（关于平稳随机过程的所有理论都是以Toeplitz矩阵和函数为基础的。）当非奇异时，等式(4.18)也可写成，(4.20)总之，最佳线性预测器系数的归一化方程（也被称为有限长Wiener-Hopf 方程）为：(4.21)该最佳预测器的等价正交原理表述为：(4.22)即 (4.23)或 同样，我们用均方误差来度量该有限

8、长度线性预测器的性能。用替换得到，(4.24)下标表示预测器的存储器长度。另外一个常用的性能指标是预测增益：(4.25)将等式(4.16)、(4.20)代入(4.24)整理得：(4.26)(4.26)式表明，均方误差是预测系数矢量的二次方程。最佳化问题也就是求关于矢量的最小二次方程的问题。设，将(4.26)式改写为：(4.27)的最佳化就是求解矢量使上式最小。最佳的等效于求最佳的。由(4.20)式，当取最佳化系数，将(4.18)式代入(4.26)得最小均方误差：(4.28)值得指出的一种重要观点是，将预测误差看成是输入序列经过传输函数为的FIR滤波器而生成的另外一个平稳随机序列，则从式(4.1

9、7)可立即得到：(4.29)称为预测误差滤波器，它在语音信号处理中很重要，也蕴涵了我们后面将讨论的另一种随机过程表示的基本思想。4.3前向预测和后向预测下面从一个不同的角度来讨论有限长线性预测的问题，推导出重要的计算技术Levinson-Durbin算法，以及格状滤波器结构，这对于线性预测、自适应滤波和频谱成形等应用中特定滤波器的实现起重要作用。图4.2 前向预测和后向预测给定离散时间信号的个观测值，现在的预测值为：(4.30)它是利用过去值（观察值）来预测现在值（时间轴上是正向的），称为前向预测。如图4.2所示。相反地，用同样的观测值估计观测样点之前的信号值，被称为后向预测，预测值为：(4.

10、31)是后向预测系数。用表示前向预测误差，则最佳线性预测的正交条件为：(4.32)得到(4.33)其中。类似地，用表示后向预测误差，则(4.34)其中。最佳线性预测的正交条件为：(4.35)得到(4.36)因此，前向预测和后向预测是相同观测值集合的线性组合，它们唯一的区别是预测系数不同。但它们之间完全不同吗？对于平稳随机过程，(4.33)和(4.36)可以分别表示为：(4.37)(4.38)可证明满足：(4.39)则(4.37)和(4.38)式可简化为一个方程。证明：对(4.38)式作变量代换：，利用(4.39)式和自相关函数的对称性得：上式用代替，则变为(4.37)式。因此，反向预测系数值等

11、于时间反向的正向预测系数值。下面说明我们研究后向预测的意义。假设已知一个长度为的最佳线性预测器，如何充分利用已知的预测系数来确定长度为的最佳线性预测器？在求解之前，首先要明确的是，对于长度为的线性预测器是最佳系数，但对于长度为的线性预测器通常就不再是最佳的。由等式(4.11)可见，矢量与的大小有关。但是，无须一切从头开始，我们可以从已知的阶最佳线性预测器快捷地得到阶最佳线性预测器的预测系数。用表示从个观测值前向一步预测的估计值，则(4.40)阶线性预测器的预测系数为，。其前向预测误差，(4.41)阶线性预测器与阶线性预测器的区别在哪儿？区别在于阶线性预测器多了一个样值的信息来帮助估计当前样值。

12、样值中包含的新信息是不能由个观测值线性组合得到的信息恰是从这个观测值得到的后向预测误差。因此，的阶线性预测值可以表示为：(4.42)其中第一项是阶最佳线性预测误差，第二项正比于观测值带来的新信息。因此无须重头计算所有的系数，唯一待定的参数是比例常数。在(4.42)式的两边同时用去减，得到预测误差形式的等价式：(4.43)(4.42)表明是个观测值的线性组合。而要满足长度最佳线性预测的正交条件，必须有(4.44)(4.45)(4.44)显然已经满足了。要使(4.45)成立，将(4.43)代入(4.45)求解满足条件的：(4.46)或者(4.47)其中， (4.48)(4.49)即(4.50)所以

13、(4.51)参数 称为反射系数， 可以由式(4.48)方便地解出。将(4.30)和(4.34)代入(4.42)得到阶最佳线性预测器的预测系数：(4.52)其中，。利用(4.39)消去后向系数得到迭代等式(4.53)同理推导均方误差的迭代公式：因为 且, 得到简洁的均方误差迭代式：(4.54)观察该式可以发现一些重要的结论。首先注意到，如果，则，这显然是不可能的；如果，则，这对于非确定性过程是不可能的，即自相关矩阵是非奇异的随机过程。因此，非确定性过程的反射系数的幅度总是小于1。另外，意味着最佳预测器从阶增长到阶没有预测性能上的提高。在这种情况下，最佳阶预测器的系数和阶预测器是一样的。等式(4.53)、(4.54)给出了预测系数及均方预测误差的迭代公式，通常被称为Levinson-Durbin迭代（Levinson-Durbin算法见附录A）。它是格状滤波器（或者梯形滤波器）结构的基础，这些滤波器常被用来实现预测误差滤波器或。定义后向预测误差滤波器为(4.55)根据等式(4.39)有(4.56)后向预测误差滤波器可以完全由前向预测误差滤波器确定。如