第2讲估计理论基础

1、第二讲：估计理论基础§2.1 基本经典估计问题有一组观察数据, 估计一个未知的确定性参数q, 估计器记为:.a. 是一个随机变量。b. 估计器设计依赖于观察数据的概率密度函数(PDF)的假设。例1：, n=0,1,2,N-1是零均值白噪声，估计A，一个直观的估计器为：a. 这个估计器怎样接近于真实值A.b. 有没有更好的估计器，怎样设计好的估计器？·无偏估计若估计器满足: 则称为无偏估计, 上例是无偏的。·有偏估计对于不满足无偏估计的估计器, 定义:为估计的偏。·最小方差准则在假设待估计量是确定性变量时, 在很多情况下，最小方差估计是不可实现例2：假设在

2、例1的问题中,有一个更好的估计器为:确定a值, 使该估计器是最小方差估计, 容易求得令得估计器表达式中，包含要估计的值，因此该估计器是不可实现。·最小方差无偏估计器（MVU）设计一个无偏估计器，令估计方差最小§2.1Cramer-Rao下界对于一个最小方差无偏估计器（MVU）, 如下定理确定了它的最好估计性能.定理一：假设PDF满足规则性条件：对所有这里期望是针对取的，则任意无偏估计器的方差满足：这里导数是在的真实值处取值的，期望相对于取得。进一步，当且仅当下式成立时，一个估计器可以达到下界值这里，g是一个函数, 估计器是MVU估计器，且满足称为Fisher信息函数。例：由

3、一组观察值 n=0,1,2,N-0, 是WGN且方差为，均值为0，估计未知量A.由于w(n)是WGN (高斯白噪声), 故有:再由故由定理1得 定理一证明：首先看 意味着什么（1）只要积分和求导次序是可交换的，此式成立，因此,规则性条件是很松的.再由无偏性假设：得：两边求导且交换次序：或等价为：利用（1）式，且注意到与积分变量是无关的, 则利用Canchy-schwarz不等式：这里取：代入不等式得注意到左侧第一项就是估计器的方差定义, 得：容易证明(留做练习):(注意利用两边求导，交换次序)得证：不等式成为等式的条件是：即：这里, 为要求的估计器, 上式两边求导得：两边取期望：#利用定理一,

4、 容易证明如下特殊的结论：（留做练习）通过观察序列是WGN,零均值,方差, 是的函数并可导, 的无偏估计器满足：定理一可以推广到如下的矢量情况.定理二: 克拉美罗下界（Cramer-Rao）：矢量情况假设PDF满足规则条件：无偏估计器的协方差矩阵满足：这里的“”是指矩阵为半正定的，Fisher信息矩阵定义为：进一步，如果下式满足：最小无偏估计器达到最小下界，估计器为：。当下界可达时，估计器每个分量的方差为：由定理二可以证明在线性模型下的特例（留做练习）：如果观察数据能够表示为线性模型且满足，则MVU估计器为：下界可达且为：（提示：）进一步, 如果WN(0,R)，上述结论变化为：(提示利用)&#

5、167;2.3 充分统计利用 得到MVU估计器的方法并不总是可行的，另一种方法是利用充分统计的方法。充分统计：对于观察矢量x，和PDF:，如果说是充分统计，也就是说对于估计它是充分的，这时，条件PDF:不依赖于，也就是说，对的依赖关系完全隐藏在中。定理3: Neyman-Fisher分解定理如果我们能够分解PDF如下：这里g是仅通过与x建立联系的函数，则是充分统计，相反，如果是充分统计，必可以分解成以上形式。Neyman-Fisher分解定理证明：仅证明前一部分，即若，则是充分统计由（2）目的是证明上式与无关。注意到，由于规定了的取值曲线，因此，联合分布：因为上式规定了x不可能在处存在，因此，

6、x只能在的曲线上取值，这样，将两维分布降为一维分布，这引出函数。又注意到，若，则有：因此，由（2）式得：再带入分解式到上式，得：（因为积分只在处进行）#Rao-Blackwell-Lehmann-Scheffe定理：如果是的一个无偏估计器，是一个充分统计，则是:1) 一个有效估计器(不依赖于)2) 无偏3) 小于或等于的方差，即：并且，若充分统计是完备的，是MVU估计器。(充分统计是完备的：仅存在一个充分统计的函数，它是无偏的。)例：，n=0,1,2,N-1, 是WGN，估计A设可以计算得(计算细节略)§2.3 最大似然估计（MLE）最实用的估计器，有良好的渐近特性。将PDF中的固定

7、，考虑变化的影响，这时将称为似然函数（Likelihood）。或将称为对数似然函数，当时，似然函数最大，得到估计器或似然函数是一个直观概念，当取值为时，当前这组观测数据出现的概率最大。例：, n=0,1,2,N-1. 为WGN，方差为，估计A。得 #当下界可达时，MLE得到MVU估计器。由，就是MLE。例：为WGN，方差也为A, 估计A.整理得：求得：例：，n=0,1,2,N-1, 为WGN，估计#MLE渐正特性：如果PDF满足规则性条件，未知参数的MLE估计渐近于如下分布：这里是Fisher信息矩阵，且在的真值处取值，也就是说，MLE逼近于一个无偏的，最小方差可达的MVU估计器。对于一般的P

8、DF, MLE可以通过迭代计算.§2.4Bayesian估计与经典估计不同，Bayesian估计假设所估计的参数是一个随机变量，我们估计的是它的一次实现。=与经典估计不同，在那里最小约束一般得不到可实现的估计器，因为q是确定量时, 它不参与慨率空间的运算, 即解如上方程, 一般得到：，估计器中包含待确定量, 所以是不可实现。现在讨论Bayesian估计问题, 现在, q是随机量, 它是概率空间的一个分量,对求导且令为0，得到：具体计算如下：因为对所有，故欲使最小，令最小，即：=得到：这是最小MSE Bayesian 估计器, 在计算时，经常利用关系式：·矢量情况：·

9、;高斯情况：如果和是联合高斯，是k×1，是矢量，均值矢量为，分块协方差矩阵则条件PDF：也是高斯的，且有：（3）（4）这里若y是待估计参数，是数据矢量，（3）式就是Baysian估计，（4）式就是估计方差的表达式。·一般Bayesian估计设表示估计误差, 令为消耗函数，定义：为Beyes风险函数。令Beyes风险函数最小，得到各种贝叶斯估计。1Bayesian MSE这就是前面讨论的方差最小准则的Bayesian估计.2绝对误差准则3“命中或错过”准则“Hit-or-Miss”2的解是后验中值估计, 满足：3的解是最大后验概率（MAP）估计器再由：或·Bayes

10、ian估计的性能：设 如果是高斯的，2.5 线性贝叶斯估计器由数据集估计标量参数，是随机变量的一个实现，如果将估计限制在一个线性估计器：(5)选择系数集，使Bayesian MSE最小，即：先求解得将表达式代入中为使其最小，令：得：将和代入(5)：将a代入Bmse表达式，得最小Bmse为：若有，则上面各式简化为：(6)·这组关系式可以直接联系到Wiener滤波问题。·线性Bayesian估计与高斯分布下的一般Bayesian估计是一致的，在高斯分布下，线性估计可达最优。注：在以上推导和讨论中，（N×1矩阵或列矢量）（1×N矩阵或行矢量）2.6最小二乘估计（LS）这里只考虑线性最小二乘估计. 首先从解方程观点来分析最小二乘问题，没有一线性方程组设方程组数目m不等于变量个数n。（1）m>n，方程可能无解，对这个问题，找到一个x，使如下二乘误差最小令=0得如果A满秩，存在，称为A的伪逆，这是最小二乘的过确定问题。（2）m<n方程可能有无穷解，求使最小的解。也可以得到同样，称为A的伪逆，这是最小二乘的欠确定问题。以下从参数估计角度分析最小二乘问题, 设信号矢量，这里是待估计参数，A称为观测矩阵，A