第四章 估计理论.ppt

1、第四章 估计理论,估计理论通常是对以下三种情况而言： 一种情况是指根据观测样本直接对观测样本的各类统计持性作出估计，如观测样本的均值，均方差，各阶矩，各阶累量，相关函数等作出的估计，这类估计在随机信号分析和处理中是经常遇到的一类估计。,第二种情况是根据观测的样本，对观测样本中的 信号部分的未知特定参量作出估计-参量估计,第三种情况则是根据观测样本对随时间变化的 信号s(t) 作出其波形估计-过程（或波形）估计。,已知,后验概率：在给定观测样本下，待估计量的条件概率，即P(|Y） 似然函数：观测样本的条件概率密度函数，即f(Y| ）,5.1 估计的统计性质,一、估计的基本性能指标,（1）估计的无

2、偏性 无偏估计:, 为随机量,为确定量,渐近无偏估计:,Eg: x(k)平稳随机序列两自相关函数估计：,_无偏估计,_渐进无偏估计,（2）估计的有效性,估计量的均方误差如果达到方差的某种下限（Cramer_Rao下界）,这种估计称为有效估计(或者称为“优效”估计),对于待定参量为确定量且是无偏估计的CramerRao不等式为：,Proof:,因为：,利用许瓦兹不等式可推得：,对于无偏估计，只要,估计的误差能达到Cramer-Rao下界。,（3）估计的一致性,当观测样本数为无穷时，若估计值以概率1收敛于真值,即,称该估计为一致估计.,5.2 估计准则,Bayes估计准则,贝叶斯估计就是指平均估计

3、代价为最小的估计。,常用代价函数：,(a) (b) ,0,Bayes估计平均代价:,条件平均估计代价,即:,所以 的估计值:,即:,最大似然估计准则,条件似然函数:,最大似然估计: 使条件似然函数最大的估计。,最大似然估计应用： （1）观测样本统计特性的估计,如概率密度函数,均值等。 （2）待定参量的估计。 （3）系统识别。,条件似然函数:,系统识别：,H(Z),+,问题：对参数,最大后验概率估计准则,待估计量的概率密度函数:,最大后验概率估计: 使后验概率最大的估计。,若待估计量均匀分布:,此时的最大后验概率估计等效于最大似然估计。,最小均方误差估计准则,最小均方误差估计准则:使估计的均方误

4、差为最小.,条件估计均方误差,最小均方误差估计性能:,_无偏估计,线性最小均方误差估计准则,线性最小均方误差估计准则:使估计的均方误差为 最小,同时估计值应是观测样本的线性函数。,线性最小均方误差估计另一种形式,求B使均方误差最小。,最小,估计误差,此时，均方误差最小等价于正交条件。,正交条件：估计误差正交于观测样本。,线性最小均方误差估计的递推算法,在信号统计处理中，递推算法往往是一种普遍受到欢迎的算法，在估计问题中也是如此。 线性最小均方误差估计的递推算法根据观测样本数据的更新而递推地更新估计值，其性能始终保持“最小均方误差估计”的要求。采用递推算法可以大大节省观测数据的存储量，而且计算量

5、也可以大幅度减少。,固定观测样本下的线性最小均方误差估计：,估计均方误差：,步骤1：设初始值 ，使均方误差最小。,均方误差为：,步骤2：得到一个样本y1后，对估计更新，递推得到 ，此时应满足样本数为1时的均方误差最小；按照此方法，每得到一样本，估计更新一次。,线性最小均方误差估计递推算法：,关键是计算ki,ki利用线性最小均方误差的正交条件确定,即:,i=1,有,递推算法,例:一个从原点开始做直线运动的物体,对其位置进行观测(间隔1 min),直线运动的物体运动速度为v（不变）,已知Ev=10km/ min,Varv=0.3km2/ min2.观测噪声ni的均值为0,方差为0.6 km2/ m

6、in2,且ni与v独立已知 请用常规线性最小均方误差估计和相应的递推算法对v估计,常规法：,递推法：,利用递推算法，有：,第1 次递推：,第2次递推：,.第5次递推：,最小二乘估计,观测样本满足:,观测矩阵:,第i次观测误差:,观测误差平方和:,1.,最小二乘估计基本思想:,2.,3.最小二乘估计性质,(1) 是观测样本的线性估计.,(2) 若,(3) 估计误差矩阵.,上述最小二乘估计得到的估计值不一定是最优值,即估计均方误差不一定最小.要降低估计均方误差,应满足以下定理.,定理: 当观测噪声N(误差向量)各分量不仅具有相同 的方差,而且还互不相关时,最小二乘估计才具有最 小的估计方差.,例:

7、 观测样本 ,i=1, 10 彼此独立。已知 求：对于 及 的最小二乘估计。,问题解决,方法一：直接利用公式 其中， 为待估量 根据题意，可令 ，,方法二：直接由最小二乘定义按以下步骤得出 若 第i次观测误差 观测误差平方和 分别对 求偏导 （1） （2）,由（1），有 (3) 式中， 分别代表 i=1,10的算数平均 由（2）整理得 （4） 将（3）代入（4）得， （5）,由（5）得， （6） 根据题给条件，求出 ，并代入（3），（6） 得,加权最小二乘估计,对误差函数做适当变化,即使用加权误差平方和:,1.,只要选择,2.加权矩阵的选择,最小二乘估计应用： （1）系统识别。 (2 ) 系数拟合。,系统识别:根据一定准则，