第五章参量估计.doc

第五章 参数估计信号估计（Estimations）理论：在受噪声干扰的观测信号中，由观察估计信号的某些参数（如幅值、频率、延迟时间等）的问题，即为参数估计问题。参数估计问题包括参数估计问题和波形估计问题，其数学基础：分别为统计估计理论、滤波理论。估计理论研究的对象是随机现象。估计理论根据受到噪声污染的观测数据来估计随机变量和随机过程的一种数学运算。包括参数估计和波形估计理论：参量估计被估计的量是随机变量（静态估计）波形估计被估计的量是随机过程（动态估计）若接收某一判决假设为真，但与信号有关的某个参量是未知的。那么，参量估计的目的就是：在有限个信号观测样值中，以最佳方式估计该参量。5.1 概述数理统计中由随机信号的一组样本估计信号的统计特征，如均值、方差、均方、相关函数、功率谱等，是一种简单而常见的参数估计。在数理统计中，均值、均方和方差的估计是按照定义，用有限个样本采用直接估计法来估计。具体方法例如：均值定义： 均值估计：均方定义： 均方估计：方差定义： 方差估计：式中xi为观察样本。这里的参数估计问题应为：从含有噪声的观察中估计信号的参数。设观察x=x1,x2,.,xN为随机变量s的独立同分布的N个观测样值，x=s(a)+n，a为信号的参数，而f(x1,x2,.,xN)是用来估计参量a的观测样值函数（统计量），称： f(x1,x2,.,xN) 为参量a的估计量。 的均值即为 E =E f(x1,x2,.,xN) 。要求通过一定的估计算法，使得 为按某一判据的a的最优估计值，比如使得估计误差均方最小为最小均方误差估计。5.1.1 估计算法分类估计算法分为两类：非线性估计和线性估计。一、非线性估计已知待估参数的先验概率p(a)和条件先验概率p(x|a)，依据某些最优判据，通过非线性数理统计算法估计参数，得出a的估计值 ；随机参量其特性用概率密度来表征贝叶斯估计非随机参量仅为一般的未知量最大似然估计非线性估计方法经典，计算复杂，估计质量较好，但是要求先验概率知识。二、线性估计在估计参数a为观察值x的线性函数，基于最小均方误差准则进行估计。前提条件：估计 必须是观察值x的线性函数。线性估计方法计算简便，只要求一、二阶统计知识，故先验知识要求低，估计质量较差，近年来发展较快。5.1.2 估计准则和估计质量的评价评价估计质量的有关术语有：1、估计偏差无偏估计如果待估计参数a和它的估计值 的均值 E( )相等，即E( )=a，就称为无偏估计，否则称为有偏估计。2、估计方差：表示各次估计值相对于估计值的均值的分散程度，估计方差越小，各次估计值就越集中于估计值均值附近。3、估计值的均方误差估计偏差越小，则各次估计值的均值接近于真实值，但并不能保证每次估计值都接近于真实值，而且各次估计值可能分布很分散；而估计方差很小，表明估计值都接近于均值，即 分布很集中，但并不能保证均值E( )接近于真实值，也就是不能保证各个 集中分布于真实值a附近。因此，只有估计偏差和估计方差同时趋于0，才能保证该次估计得到足够准确的估计值。实际上，常常将估计偏差和方差结合起来的综合量表示估计质量的好坏，即估计值的均方误差。4、一致估计：如果随着样本数目的增加，估计的均方误差趋于0，即要求当N+时，偏差和方差都趋于0，则称此估计为一致估计，即：5、有效估计：由某一种估计方法得出的估计值的方差小于其它任何估计方法得出的方差，则称该估计为有效估计。即：如果该估计同时又是无偏的，则为均方误差最小的估计。5.2 非线性估计包括贝叶斯估计和极大似然估计两种类型。随机参量其特性用概率密度来表征贝叶斯估计非随机参量仅为一般的未知量最大似然估计5.2.1 贝叶斯估计准则：对不同的估计结果给出不同的代价，并使估计代价最小。贝叶斯估计是将贝叶斯判决理论，推广到对随机参量估计的贝叶斯估计理论。有关定义如下： 代价函数C若s是一参量，可在参量空间中取值；若是估计量，可在判决空间A中取值。称C(,s)是代价函数，它是和s的实值函数，且满足下列两个条件： C(s, )0，对所有的 对应于每个,在A中有一个最小的。 风险函数(Risk function)定义为代价函数的均值，即： 贝叶斯估计使风险函数最小的估计。由于估计误差决定估计问题中估计质量的好坏，所以，通常仅对估计值与真实值之差感兴趣。若考虑误差函数的代价，这时C可定义为的单变量函数，有下列三种情况：(a) 平方误差 (b) 绝对值误差(c) 均匀代价函数 贝叶斯判据：平均代价最小，即 E(c)=min。由于c是 的函数，而又是观察值x的函数，所以c就是x和s的联合函数，所以有：用后验概率函数表示为：令： ，R称为条件风险函数。下面针对三种代价函数分三种情况探讨估计准则： 情况(a)： 平方误差情况下，风险函数最小的估计量称为最小均方估计(minimum mean square estimation)其风险函数为：由于：则风险函数为：p(x)0故RMS最小即等效为上式括号 内项最小。上式内项对求导，故有 则有： 由于 故 此即为最小均方估值，表示已知x时，s的条件均值。情况(b)： 绝对值误差情况下，风险函数为：上式括号 内项为：故RMS最小即等效为上式括号 内项最小。于是，可令上式对的导数为零，则有：s|x)ABS估计应取在后验概率密度函数面积的平分线上，即估值为条件概率密度函数的中值(median)。称为后验中值估计情况(c)： 均匀代价函数上式 号中的后面一项：当此式最大，即p(s|x)最大时，平均代价Runf最小。此时称为最大后验估值(Maximum a Posteriori)。取对数，则有：最后，将三种情况估计式中后验概率密度函数借助于贝叶斯公式用先验概率代替得到：ABS估计为：MAP估计为：MS估计为：5.2.2 极大似然估计 (Maximum Likelihood Estimation-MLE)设x1, x2,., xN为随机变量x的独立同分布的N个观测样值，p(x|)为x的依赖参量分布密度函数，参量为待估计的量。则似然函数为：估计准则：选取使似然函数L()为最大的作为的估计量，称为的最大似然估计。L ()最大等效ln L()最大。要求的最大似然估计，必需解似然方程：由于对数函数的单调性，取对数似然函数进行估计，则有：此式为必要条件，而不是充分条件。例5.1 在假设H1和H0下，接收信号为：H1:Zk=m+vK, k=1,2,.NH0:Zk= vK, k=1,2,.N当常数m为未知时，求m的最大似然估计。解：用前面的检测理论是判决那个假设为真。本节的估计理论，H1假设为真，vK为高斯噪声。、本例中，参量估计，其均值为m,独立同分布，似然函数为：两边取对数得：解此似然方程，可得最大似然估计：于是可得最大似然估计为：5.2.3 估计量的性质 Cramer-Rao下限设x1,x2,.,xN为随机变量x的独立同分布的N个观测样值，p(x|)为x的依赖参量分布密度函数，且E=，则有Cramer-Rao下限 （5.1）满足此式等号成立的估计称为最小方差无偏估计。如果满足 存在，且绝对可积，则Cramer-Rao不等式可等效为： （5.2）上式（5.1）和（5.2）就是克拉美劳不等式。两个有用的结论（不做证明）：结论一：上式在下述条件下取等号，方差达到下限，即 （5.3）且可以证明满足上式的估计即为极大似然估计（证明略）。结论二：对每种估计算法，往往需要进一步对估计结果作出评价，这就需要计算各种估计量的均值、方差。估计量的均值的分析难度不大，但对方差的分析比较困难，所以常常采用间接评价方法：就是对任意无偏估计的方差找到一个下限。若式（5.3）满足，则Cramer-Rao不等式取等号，即有效估计存在，那么估计值就是极大似然估计，此估计值可通过解极大似然方程求得：否则，如果式（5.3）不成立，就不存在有效估计，那么无从评价极大似然估计值的估计质量。5.2.4 实例例5.2 M次观察xi=s+ni(i=1,2,M)，s为待估计的随机变量，做正态分布N，ni为正态分布N，且独立同分布。求s的MS、MAP、ABS和ML估计。解：根据题意，有：对含s的项合并配平方，得：式中由于后验概率密度函数为高斯型时，高斯函数的中值、峰值和条件均值位于同一点，所以有：然后求 ，对p(X|s)取对数并对s求导等于0，得到：即：样本均值就是极大似然估计。例5.3 s为离散的二值函数，取s0二值之一，且概率相等，用公式表示为噪声为高斯型噪声N。现取M次采样，各样本中噪声独立且概率密度函数为：求。解：第一步，求。位于似然函数峰值处，M次观察独立同分布，故：上式取对数求导并令导数为0得： 第二步，求。由于有：根据极大后验概率准则，若大，则取s=s0；若大，则取s=s0。即代入公式计算化简后为：对上式取对数化简得：当样本总和大于0，则=s0；否则=s0。 第三步，求。由于：例5.4 发放率的估计。由序列的发放间隔估计脉冲发放率。假设发放率和脉冲间隔均服从指数分布分别为和测得间隔= 1，估计发放率。解：极大似然估计由条件先验概率的峰值点决定，于是有得：极大后验概率估计由后验概率密度函数的峰值点决定，于是有MAP方程为即所以： 均方估计即为后验概率意义下的均值，可得例5.5 、 估计性质分析。取M次独立观察，对非随机未知量s=A进行估计，已知，各ni为正态分布N(0, )。求极大似然估计，并分析估计是否为有效估计，估计方差有多大？解：由得：显然，因为：，所以为无偏估计。所以为有效估计。那么估计的方差应等于克拉美-劳下限，即：5.3 线性估计通常观测采样的条件密度函数未知，条件均值又是观测值的非线性函数，最大似然估计也不容易解，则可采用最佳线性均方估计。求s的最佳线性均方估计(Linear square estimation)，即将s表示成观测x的线性函数，然后再求s的最佳估计。线性最小均方估计放松了对概率的要求，只要求知道观察值和噪声的一阶、二阶统计量（如均值、均方、相关函数和方差等），但是必需满足估计算法是观察值的线性函数。线性最小均方估计准则为使线性估计误差的均方为最小。对于随机参量的估计高斯分布：一、二阶矩可完全代表其概率统计特性；对于非随机参量的估计线性观测下：线性最小均方估计加权最小二乘法。5.3.1 概述先了解一个特例。在贝叶斯估计中，平均代价公式采用误差平方作为代价函数，即成为现取单次观察x做估计，并限定估计算法为线性函数，即：于是有： (5.5)估计任务就是：选a、b使得最小。将式(5.5)分别对a、b求导，并令导数等于0，得到： (5.6) (5.7)由于有： 成立，将它们代入式(5.6)、(5.7)中得： 解方程，得：如果待估计量均值为0，即E(s)=0，观察值的均值也为0，即E(x)=0，则有5.3.2 线性均方估计（Linear Square Estimation）首先提出问题为：设随机变量s的估值可用N次观测值xi=s+ni, i=1,.,N的线性函数来表示： 式中为待确定的未知系数，为待定的系数。选择系数和，使目标函数J=E 最小，即使均方误差最小。这样得到的估计称为线性最小均方（LMS）估计，记作：。下面进行微分求极值来推导。设,则有：令对各hi求导并令导数为0来求解。可分为和两种情况来讨论。先看的情况。 则有： 上式中：， 写成矩阵形式为：式中：，为待定系数矩阵，则为s、x的互相关矩阵。故解得系数矩阵为：上述方程即为著名的尤利沃克尔方程(Yule-Walker Equations)。从以上推导过程可得出以下一些重要结论：结论一：采用均方判据，导出线性方程组，求解简便。算法所需先验知识为：观察x的自相关函数、信号与观察值之间互相关函数；结论二：由：可知：估计误差e和所有观察值xi正交，这是LMS估计的重要特性，被称为正交原理。结论三：LMS的最小均方误差为：正交条件下，估计的均方误差是估计误差和信号乘积的均值。（这是因为估计误差e和所有观察值xi正交，而又是xi的线性组合，所以e与也正交，即：。）的情况：用类似的方法可推出：可以得出：容易看出系数和只决定于和的一、二阶矩。这种情况比较复杂，暂不详述。例5.6 LMS估计。取M次独立观察，xj=s+nj, j=1N。噪声为白色，即E(ninj)= ，E(nj)=0，s为信号，且有 E(s)=0,E(s2)= 信号和噪声相互独立，则按照线性估计算法进行LMS估计。也就是求各系数hj和估计值。解：代入得：解得：因此：下面计算LMS估计的最小均方误差。5.3.3 递归线性最小均方估计利用递归方法进行最小均方误差线性估计的方法，可用于随机过程波形估计。5.3.2.1 基本公式推导首先提出问题：观察值为xj=s+nj, j=1,2,如果已知先验统计信息为用递归线性最小均方估计算法，由上一次估计和本次观察值做出本次估计：估计判据为使均方误差最小，即。问题的关键为系数的确定。系数b1的确定：令 ，E(s)=0，则 (5.8.1)由正交原理 (5.8.2)可证明以下关系式成立： 推导ak+1和bk+1之间的关系。于是有： 证明 先计算最小均方误差为：（即第k次估计与第k+1次白噪声无关）（）于是有：由 可有：同理有： （5.10）同时将(5.9)和(5.10)代入(5.11)得到：即：5.3.2.2 计算过程和算法流程 (5.12)(5.13)(5.14)(5.15)递归线性估计算法流程为：假设第k次得到，先又取得第k+1次观察，计算的步骤为（1） 由公式(5.13)求出；（2） 由公式(5.14)求出；（3） 由公式(5.15)得到；（4） 由公式(5.12