平稳随机过程估计理论

平稳随机过程估计理论1第1页，共36页，2023年，2月20日，星期一信号处理的根本任务是要提取有用的信息，有用信息是通过检测、估计的方法对信号进行处理后提取出来的，所以、检测、估计的信号处理方法是信号处理技术的理论基础，它的应用领域十分广泛。2第2页，共36页，2023年，2月20日，星期一3第3页，共36页，2023年，2月20日，星期一声纳系统----利用声波信号确定船只的位置图象处理----使用红外检测是否有飞机出现图象分析----根据照相机的图象估计目标的位置和方向，用机器人抓目标时是必须的生物医学----估计胎儿的心率控制----估计汽艇的位置，以便采用正确的导航行为，如Loran系统地震学----检测地下是否有油田，并根据油层和岩层的密度，根据声反射来估计油田的地下距离。4第4页，共36页，2023年，2月20日，星期一所有这些问题都有一个共同的特点，那就是从含有噪声的数据集中去提取我们所需要的有用信息，这些有用信息可能是“目标出现与否”、“数字源发射的是0还是1”或者“目标的距离”、“目标的方位”，或”目标的速度”等，由于噪声固有的随机性，因此，有用信息的提取必须采用统计的方法，这些统计方法的基础就是检测理论与估计理论，就是本课程后续章节学习的内容。5第5页，共36页，2023年，2月20日，星期一§5.信号的估计问题5.1估计的基本概念5.2确定性信号处理的最小平方问题5.3随机信号参数的最小均方估计5.4最小二乘估计：观测与估计偏差的平方和最小5.5波形估计6第6页，共36页，2023年，2月20日，星期一估计问题通常是以下三种情况：根据观测样本直接对观测样本的各类统计特性作出估计；根据观测样本，对观测样本中的信号中的未知的待定参量作出估计，称为信号的参量估计问题，又分为点估计和区间估计；根据观测样本对随时间变化的信号作出波形估计，又称为过程估计。5.1估计的基本概念7第7页，共36页，2023年，2月20日，星期一信源s()P()混合P(n)n估计规则估计()z观测空间信号参量估计的统计推断模型5.1估计的基本概念8第8页，共36页，2023年，2月20日，星期一估计问题基本要素5.1估计的基本概念概率传递机制估计准则9第9页，共36页，2023年，2月20日，星期一5.2确定性信号最小平方估计例1实数二次型10第10页，共36页，2023年，2月20日，星期一5.2确定性信号最小平方估计11第11页，共36页，2023年，2月20日，星期一5.2确定性信号最小平方估计例2多项式由信号估计寻求12第12页，共36页，2023年，2月20日，星期一5.2确定性信号最小平方估计由可得使E为最小的向量估计的最小平方误差为13第13页，共36页，2023年，2月20日，星期一5.2确定性信号最小平方估计14第14页，共36页，2023年，2月20日，星期一1、线性最小均方估计(linearminimummeansquareerrorestimation)设随机参量与观测数据z有关，且在观测过程中不变，根据N个观测数据｛z:z1,z2,…,zN｝,对参量作线性最小均方估计。规定估计量具有线性函数形式：选择适当的系数hk及b，使估计均方误差最小。5.3随机信号的线性最小均方估计15第15页，共36页，2023年，2月20日，星期一由上两式即可求得b及系数hk。实现线性最小均方估计条件：通常称为正交条件，即估计误差与各个观测数据乘积的统计均值等于零。5.3随机信号的线性最小均方估计16第16页，共36页，2023年，2月20日，星期一性能分析：线性最小均方估计为无偏估计，即有：线性最小均方估计的均方误差等于误差与被估计量乘积的统计均值，即：其中：5.3随机信号的线性最小均方估计17第17页，共36页，2023年，2月20日，星期一例1、在平稳白噪声背景中，对参量作线性最小均方估计。1)观测数据为：其中a为信号幅值，E[a2]=A，E[a]=0；nk为均值为零、方差为的白噪声，且信号幅值与噪声不相关，求a的最佳线性估计。2)若观测数据为：设E[s2]=S，E[s]=0；其余条件同(1)，试根据二个观测数据求s的最佳线性估计。5.3随机信号的线性最小均方估计18第18页，共36页，2023年，2月20日，星期一1、估计量的性能标准无偏性如果估计量的均值等于非随机参量或等于随机参量的均值，则称估计量具有无偏性。即满足：对于确定量，有：对于随机量，有：5.4估计量的性能19第19页，共36页，2023年，2月20日，星期一有效性

对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。5.4估计量的性能20第20页，共36页，2023年，2月20日，星期一对于有偏估计，尽管估计的方差很小，但估计的误差可能仍然很大。5.4估计量的性能21第21页，共36页，2023年，2月20日，星期一有效性

对于无偏估计，如果估计的方差越小，表明估计量的取值越集中于真值附近，估计的性能越好。用估计的方差还不能准确地描述估计的性能，所以我们可以用均方误差作为评价估计量性能的一个指标。5.4估计量的性能22第22页，共36页，2023年，2月20日，星期一一致性即对于任意小数，若有：则估计量为一致估计量。若满足则称为均方一致估计量。5.4估计量的性能23第23页，共36页，2023年，2月20日，星期一例1、高斯白噪声中的直流电平估计-未知参数。设有N次独立观测zi=A+vi，i=1,2,….N，其中vi~N(0,2)，2已知。5.4估计量的性能24第24页，共36页，2023年，2月20日，星期一2、克拉美－罗限(Cramer-RaoLowbound)

无偏估计量的估计方差的最小值非随机参量任何无偏估计量的方差满足等号成立的条件：克拉美-罗限5.4估计量的性能25第25页，共36页，2023年，2月20日，星期一2、克拉美－罗限(Cramer-Raobound)如果一个无偏估计，它的方差达到CRLB，那么，这个估计必定是最大似然估计。这时最大似然估计是最好的。但如果不存在达到CRLB的估计，最大似然估计就不一定是最好的估计。5.4估计量的性能26第26页，共36页，2023年，2月20日，星期一例2、高斯白噪声中的DC电平。DC电平的最大似然估计的方差是否达到CRLB？它的估计方差是多少？

5.4估计量的性能27第27页，共36页，2023年，2月20日，星期一2、克拉美－罗限(Cramer-RaoLowbound)

无偏估计量的估计方差的最小值随机参量任何无偏估计量的均方误差满足等号成立的条件：克拉美-罗限5.4估计量的性能28第28页，共36页，2023年，2月20日，星期一2、克拉美－罗限(Cramer-RaoLowbound)

无偏估计量的估计方差的最小值随机参量如果有某个无偏估计达到CRLB,那么该估计必定是最大后验概率估计.而最小均方估计的均方误差也是最小的,所以这时最小均方估计与最大后验概率估计等价.5.4估计量的性能29第29页，共36页，2023年，2月20日，星期一例2高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立观测zi=A+vi,i=1,2,….N，其中v~N(0,)，A~，求A的估计的CRLB。

5.4估计量的性能30第30页，共36页，2023年，2月20日，星期一1、波形估计参量估计适用于非时变参量，无法解决时变参量估计问题。关于时变参量甚至时变信号本身的估计称为时变信号估计或波形估计，因此波形估计又称过程估计。波形估计其实质就是给定有用信号和加性噪声的混合波形，寻求一种线性运算作用于此混合波形，使信号与噪声实现最佳分离，最佳的含义是使估计的均方误差最小，故又称为最佳线性滤波理论。5.5波形估计31第31页，共36页，2023年，2月20日，星期一波形估计通常分为滤波、平滑、预测三种基本估计。滤波：根据当前和过去的观测值{z(k),k=n0,n0+1,...,n}对信号s(n)进行估计(Filtering)；预测:根据当前和过去的观测值{z(k),k=n0,n0+1,...,nf}对未来时刻n(n>nf)的信号s(n)进行估计，预测也称为外推；(Prediction)根据某一区间的观测数据{z(k),k=n0,n0+1,...,nf}对区间内的某一个时刻n(n0<n<nf)的信号进行估计，内插也称为平滑。(Smoothing)。5.5波形估计32第32页，共36页，2023年，2月20日，星期一2、维纳滤波线性最小均方估计是观测的线性函数，它可以看作为观测序列通过离散时间线性系统，即Wiener-Hopf方程

滤波器系数的选择：正交原理5.5波形估计33第33页，共36页，2023年，2月20日，星期一假定信号和观测过程是平稳随机序列，并且是联合平稳随机序列，系统为因果的线性时不变离散时间线性系统5.5波形估计34第34页，共36页，2023年，2月20日，星期一维纳滤波器信号s(n)与观测噪声统计独立时，维纳滤波器为：观测为白噪声时，维纳滤波器为：5.5波形估计35第35页，共36页，2023年，2月20日，星期一 维纳滤波和卡尔曼滤波是实现从噪声中提取信号，完成信号波形估计的两种线性最佳估计方法。 维纳滤波需要设计维纳滤波器，它的求解要求知道随机信号的统计特性，即相关函数或功率谱密度。当信号的功率谱为有理谱时，采用谱分