现代信处理最新课件

1、现代信号处理最新参数估计理论现代信号处理最新2.1 估计子的性能估计子的性能2.2 Fisher信息与信息与Cramer-Rao不等式不等式2.3 Bayes估计估计2.4 最大似然估计最大似然估计2.5 线性均方估计线性均方估计2.6 最小二乘估计最小二乘估计现代信号处理最新参数估计理论的两个核心内容：参数估计理论的两个核心内容：对估计子与真实参数的接近度进行量化定义；对估计子与真实参数的接近度进行量化定义；研究不同的估计方法以及它们的性能比较。研究不同的估计方法以及它们的性能比较。现代信号处理最新2.1 估计子的性能估计子的性能n无偏估计与渐近无偏估计无偏估计与渐近无偏估计估计子定义：由估

2、计子定义：由N个样本获得的真实参数个样本获得的真实参数 的估计子是一个将的估计子是一个将N维样本空间维样本空间 映射为映射为p维维参数空间的函数参数空间的函数T，记作：，记作： 。估计子偏差估计子偏差:该估计子误差的期望值，即该估计子误差的期望值，即无偏估计无偏估计子：估计子的偏差等于零子：估计子的偏差等于零p ,1N NT : )(EEb例例. 均值和方差估计的偏差均值和方差估计的偏差现代信号处理最新现代信号处理最新现代信号处理最新因为因为有有和和现代信号处理最新现代信号处理最新有偏的是否就不好？有偏的是否就不好？渐近无偏估计子：若当样本长度渐近无偏估计子：若当样本长度 N 时，偏时，偏差差

3、 0，即，即注注1：一个无偏的估计子一定是渐近无偏的，但渐近：一个无偏的估计子一定是渐近无偏的，但渐近无偏的估计子不一定是无偏的。无偏的估计子不一定是无偏的。注注2：渐近无偏的估计子是半正定的，而无偏估计子：渐近无偏的估计子是半正定的，而无偏估计子不一定是半正定的。不一定是半正定的。注注3：偏差是误差的期望值，但是偏差为零并不保证：偏差是误差的期望值，但是偏差为零并不保证估计子误差取低值的概率就高。估计子误差取低值的概率就高。 lim ENNo例例.自相关函数的估计子自相关函数的估计子一致性一致性现代信号处理最新现代信号处理最新一致性一致性：若：若N 时，估计子以概率收敛于真时，估计子以概率收

4、敛于真实参数，则该估计子称为以概率与真实参数一实参数，则该估计子称为以概率与真实参数一致。致。1lim PN）（对对所所有有0 现代信号处理最新n估计子的有效性估计子的有效性两个无偏估计子的比较两个无偏估计子的比较n方差较小的方差较小的相对有效性相对有效性无偏与渐近无偏估计子的比较无偏与渐近无偏估计子的比较n估计子的均方误差：该估计子与真实参数误估计子的均方误差：该估计子与真实参数误差平方的期望值差平方的期望值n估计子估计子 优于估计子优于估计子 ：对所有：对所有 ，恒有，恒有)()(22 EM)()var(2 b 1 2 )()(2221 EE%100)var()var(21 RE现代信号处

5、理最新2.2 Fisher信息与信息与Cramer-Rao不等式不等式n品质函数：真实参数品质函数：真实参数 给定的条件下，条件给定的条件下，条件分布密度函数的对数相对于真实参数的偏分布密度函数的对数相对于真实参数的偏导数。导数。品质函数均值为零品质函数均值为零nFisher信息：品质函数的方差信息：品质函数的方差)()()(ln)( xfxfxfxV )(ln)(ln)(222 xfExfEJ 现代信号处理最新nCramer-Rao不等式：令不等式：令 为样本为样本向量。若参数估计向量。若参数估计 是真实参数是真实参数 的无偏估的无偏估计，且计，且 和和存在，则存在，则 的均方的均方误差所能

6、达到的下界（误差所能达到的下界（ Cramer-Rao下界）下界）等于等于Fisher信息的倒数信息的倒数其等号成立的条件其等号成立的条件 是的是的 某个正函数，与样本某个正函数，与样本 无关。无关。 )(xf22)( xf)(1)()var(2 JE )()(ln Kxf)( K Nxx,1 ),(1Nxxx 现代信号处理最新n优效估计子：无偏估计子的方差达到优效估计子：无偏估计子的方差达到Cramer-Rao下界下界现代信号处理最新2.3 Bayes估计n损失（代价）函数：损失（代价）函数：令令是属于参数空间是属于参数空间的某个参数，的某个参数，是在决策或判定空间是在决策或判定空间A中取中

7、取值的一个估计，称值的一个估计，称为损失函数或代价为损失函数或代价函数，若它是函数，若它是 和和二者的实值函数，且满二者的实值函数，且满足条件：足条件：（1）对所有）对所有 和和 ，恒有，恒有；（2）对每个）对每个 至少在决策空间至少在决策空间A内存在一内存在一个个 ，使得，使得。),( C A 0),( C 0),( C现代信号处理最新n三种常用损失函数三种常用损失函数绝对损失函数绝对损失函数二次型损失函数二次型损失函数均匀损失函数均匀损失函数n风险函数：损失函数的数学期望风险函数：损失函数的数学期望nBayes估计：使风险函数最小的参数估计估计：使风险函数最小的参数估计),(),( CER

8、 现代信号处理最新n二次型损失函数的二次型损失函数的Bayes估计估计使二次型风险函数最小的估计称为最小均方误使二次型风险函数最小的估计称为最小均方误差（差（MMSE）估计。）估计。风险函数风险函数二次型损失函数的二次型损失函数的Bayes估计估计 ddxdxxxfERNNMMSE1122),()()(),(),(11NNMMSExxEdxxf 现代信号处理最新n均匀损失函数的均匀损失函数的Bayes估计估计均匀损失函数最小化的条件等价为均匀损失函数最小化的条件等价为称为后验概率密度的最大化，所求得的参数估计称为后验概率密度的最大化，所求得的参数估计常简称为最大后验概率估计常简称为最大后验概率

9、估计还可等价为还可等价为 故求得的参数估计也称最大似然估计故求得的参数估计也称最大似然估计0),(1 Nxxf 0),(ln1 Nxxf现代信号处理最新2.4 最大似然估计n基本思想基本思想在对被估计的参数没有任何先验知识的情况下，利在对被估计的参数没有任何先验知识的情况下，利用已知的若干观测值估计该参数。用已知的若干观测值估计该参数。n似然函数似然函数视为真实参数视为真实参数 的联合条件概率密度函数的联合条件概率密度函数 即包含未知参数信息的可能性函数即包含未知参数信息的可能性函数n最大似然估计最大似然估计使似然函数最大化的估计值使似然函数最大化的估计值 ，记为，记为),(1 Nxxf ),

10、(maxarg1 NMLxxf 现代信号处理最新n似然函数的另一表示（似然函数的另一表示（对数似然函数对数似然函数)n最大似然估计的求解最大似然估计的求解),(ln)(1 NxxfL 0)( L现代信号处理最新n最大似然估计的性质：最大似然估计的性质：最大似然估计一般不是无偏的，但其偏差可以通最大似然估计一般不是无偏的，但其偏差可以通过对估计值某个合适的常数加以消除；过对估计值某个合适的常数加以消除；最大似然估计是一致估计；最大似然估计是一致估计；最大似然估计给出优效估计，如果它存在的话；最大似然估计给出优效估计，如果它存在的话；对于大的对于大的N，最大似然估计，最大似然估计 为高斯分布，并且

11、为高斯分布，并且其均值为其均值为，方差为，方差为ML 121),(1 NxxfEN现代信号处理最新n例例. 令令是从一个具有概率密度函数是从一个具有概率密度函数的正态分布得到的随机观测样本，试确定均值和方的正态分布得到的随机观测样本，试确定均值和方差的最大似然估计。差的最大似然估计。Nxx,1)2/()(22221),( xexf似然函数似然函数现代信号处理最新均值最大似然估计均值最大似然估计方差最大似然估计方差最大似然估计现代信号处理最新n例例.令接收信号由下式给出：令接收信号由下式给出：若若是一高斯白噪声，求估计值是一高斯白噪声，求估计值的方差的的方差的Cramer-Rao下界，并评估是下

12、界，并评估是否是优效估计子。否是优效估计子。Niwsyii, 1, ), 0(2 iws 现代信号处理最新其对数似然函数其对数似然函数现代信号处理最新最大似然估计最大似然估计是无偏的是无偏的其其Fisher信息信息其其Cramer-Rao不等式不等式其等号成立的条件其等号成立的条件现代信号处理最新2.5 线性均方估计线性均方估计n问题问题Bayes估计需要已知后验分布函数估计需要已知后验分布函数最大似然估计需要已知似然函数最大似然估计需要已知似然函数会导致非线性估计问题，不易求解会导致非线性估计问题，不易求解n线性均方（线性均方（LMS）的参数估计子）的参数估计子式中，式中， 为待定的权系数为

13、待定的权系数n原理原理使均方误差函数使均方误差函数 最小最小 NiiiLMSxw1 Nww,1)(2 E现代信号处理最新n正交性原理正交性原理均方误差最小，当且仅当估计误差均方误差最小，当且仅当估计误差 正交于正交于每一个给定的观测数据每一个给定的观测数据n权系数的公式权系数的公式其中其中相关矩阵非奇异的条件：观测样本相互独立相关矩阵非奇异的条件：观测样本相互独立n线性均方估计是一种线性均方估计是一种MMSE估计子估计子 egRw1 ,11,1,iiTNTNjiijNNjiijxEggggwwwxxERRR 现代信号处理最新2.6 最小二乘估计n建模的三种情况建模的三种情况式中，式中，为未知的

14、参数向量，为未知的参数向量，A和和b分别是与观测数据有关的系数矩阵和向量分别是与观测数据有关的系数矩阵和向量适定方程：未知参数个数与方程个数相等，矩阵适定方程：未知参数个数与方程个数相等，矩阵A非奇异，解为非奇异，解为超定方程：方程个数多于未知参数个数，矩阵超定方程：方程个数多于未知参数个数，矩阵A的行数多于列数（的行数多于列数（“高矩阵高矩阵”）；）；欠定方程：方程个数少于未知参数个数，矩阵欠定方程：方程个数少于未知参数个数，矩阵A的行数少于列数（的行数少于列数（“扁矩阵扁矩阵”）；）；bA TN,1 bA1 现代信号处理最新n最小二乘估计最小二乘估计：使其损失函数（误差的平方和）使其损失函数（误差的平方和） 最小，即解方最小，即解方程程A列满秩，参数向量惟一可辨识列满秩，参数向量惟一可辨识A秩亏缺，参数向量不可辨识秩亏缺，参数向量不可辨识nGauss Markov定理：当误差向量的各个分量定理：当误差向量的各个分量具有相同的方差，且个分量不相关时，最小二乘具有相同的方差，且个分量不相关时，最小二乘估计在方差最小的意义上最优。估计在方差最小的意义上最优。LS Niie12bAAATT bAAA