多传感器信息融合Ch21(参数估计)(第3讲)剖析课件

1、第二章 参数估计2.1 参数估计的基本概念与方法1第1页，共49页。目录1 参数估计的基本概念2 参数估计的常见方法 2.1 矩估计法 2.2 极大似然估计 2.3 极大后验概率估计 2.4 最小二乘估计 2.5 最小均方误差估计2第2页，共49页。参数估计的基本概念 参数(parameter)：针对静态系统，指的是不随时间变化的量（或者变化很小的量） 状态(state): 针对动态系统，随时间变化的量3第3页，共49页。参数估计的基本概念参数估计是指用样本指标(称为统计量)估计总体指标(称为参数)。用样本均数估计总体均数以及用样本率估计总体率。 4第4页，共49页。参数估计的基本概念假设x为

2、被估计的参数，给定测量值：找到一个测量值的函数：其中：此函数即为对参数x的估计估计误差为：5第5页，共49页。参数估计的基本概念点估计：用一个数来估计参数点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例1：6第6页，共49页。例如，设一批产品的废品率为。为估计，从这批产品中随机地抽出n个作检查，以X记其中的废品个数，用X/n估计，这就是一个点估计。 7第7页，共49页。要估计某班学生的平均身高，假设平均身高为x。对学生身高进行5次抽样，设这5

3、个数是: 1.65 1.67 1.68 1.78 1.69。如果估计x为1.69，这是对身高的点估计如果估计x以90%的概率在1.67,1.72，这是对身高的区间估计8第8页，共49页。构造点估计常用的方法是： 矩估计法。用样本矩估计总体矩，如用样本均值估计总体均值。 最大似然估计法。于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。 最小二乘法。主要用于线性统计模型中的参数估计问题。 9第9页，共49页。贝叶斯估计法。基于贝叶斯学派(见贝叶斯统计)的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。

4、首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。10第10页，共49页。区间估计：用一个区间来估计参数区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。1934年统计学家 J.奈曼创立了一种严格的区间估计理论。求置信区间常用的三种方法：利用已知的抽样分布。利用区间估计与

5、假设检验的联系。利用大样本理论。 11第11页，共49页。参数估计的基本方法（1）矩估计法基本思想：用样本的k阶原点矩估计整体的k阶原点矩，用样本的k阶中心距估计整体的k阶中心距12第12页，共49页。一、矩的概念 矩( moment )分为原点矩和中心矩两种。 对于样本y1,y2,yn，各观测值的k次方的平均值，称为样本的k阶原点矩，记为 ，有 , 用观测值减去平均数得到的离均差的k次方的平均数称为样本的k阶中心矩, 记为 或 ，有 。 对于总体y1,y2,yN，各观测值的k次方的平均值，称为总体的k阶原点矩，记为 ，有 ；用观测值减去平均数得到的离均差的k次方的平均数称为总体的k阶中心矩，

6、记为 或 ，有 13第13页，共49页。二、矩法及矩估计量 所谓矩法就是利用样本各阶原点矩来估计总体相应各阶原点矩的方法，即 (86) 也可以用样本各阶原点矩的函数来估计总体各阶原点矩同一函数，即若Q=f ( E(y),E(y2),E(yk) ) , 则由此得到的估计量称为矩估计量。14第14页，共49页。设连续型随机变量X的分布函数为 F(x)=(x-a)/(b-a)，axb则称随机变量X服从a,b上的均匀分布， 记为XUa,b。若x1,x2是a,b的任一子区间，则 Px1xx2=(x2-x1)/(b-a)均匀分布的期望为（a+b）/2，方差为（b-a）2/1215第15页，共49页。某类型

7、电子元器件寿命服从均匀分布 Z U (0, ) ， 是未知参数， Z1，Zn是一组样本，求 的矩估计。例2：解：16第16页，共49页。例3：某类型电子元器件寿命服从均匀分布 Z U (1,2 ) ， 1， 2是未知参数， Z1，Zn是一组样本，均值为 ,方差为 求1， 2 的矩估计。17第17页，共49页。解：18第18页，共49页。参数估计的基本方法（2）极大似然估计基本思想： 在取得若干个观测数据之后,应选择这样的数值作为参数的估计：当未知参数取这一个数值时,得到上述观测数据的可能性最大.19第19页，共49页。 极大似然法 所谓极大似然法( maximum likelihood met

8、hod )是值选择使事件发生概率最大的可能情况的参数估计方法。 极大似然法包括二个步骤： (1)建立包括有该参数估计量的似然函数( likelihood function ) (2)根据实验数据求出似然函数达极值时的参数估计量或估计值。 20第20页，共49页。l 思想方法极大似然法的想法是，一随机试验已知有若干个结果，如果在一次试验中发生了，则可认为当时的条件最有利于发生，故应如此选择分布的参数，使发生的概率最大.引例21第21页，共49页。似然函数设 为含参数的总体的样本. 当是离散型时,设其概率分布为 ,令 ,称为似然函数,其实质就是样本出现的概率 .22第22页，共49页。23第23页

9、，共49页。定义似然函数(Likelihood Function)为：极大似然（Maximum Likelihood)估计的定义为：24第24页，共49页。似然函数的意义：(1). 如果总体是离散的，则它是样本联合分布律；(2). 如果总体是连续的，则它是样本联合密度函数。求解时，一般有两种方法：（1）定义法（2）对似然函数的对数求导，得出似然方程，让似然方程等于0，从而求出参数25第25页，共49页。例4：x是含有额外测量噪声的未知参数，噪声服从高斯分布，z为对参数的单次观测求参数x的极大似然估计。解：26第26页，共49页。例5：x是含有额外测量噪声的未知参数，噪声服从高斯分布，z(j)为

10、对参数x的第j次观测求参数x的极大似然估计。27第27页，共49页。答案：28第28页，共49页。设总体 ，求参数 的最大似然估计量 . 设 是总体 的样本， 例6：29第29页，共49页。解：每一个样本的密度函数为：似然函数为：30第30页，共49页。31第31页，共49页。解方程得：32第32页，共49页。参数估计的基本方法（3）极大后验概率估计基本思想： 针对随机参数估计问题，通过最大化后验概率分布函数得出33第33页，共49页。应用条件：参数是一个具有先验概率分布函数为p(x)的随机变量。假设通过已知的p(x)得到x的一个实现已经发生；这个先验概率在测量的过程中保持不变。 基本工具：贝

11、叶斯公式34第34页，共49页。全概率公式：P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + . + P(A|Bn)*P(Bn). 例6：高射炮向某敌机发射三发炮弹，每弹击中与否相互独立且每发炮弹击中的概率均为0.3，又知敌机若中一弹，坠毁的概率为0.2，若中两弹，坠毁的概率为0.6，若中三弹，敌机必坠毁。求敌机坠毁的概率。 35第35页，共49页。解：A=敌机坠毁，Bi=敌机中i弹P(B0)=0.343, P(B1)=0.441, P(B2)=0.189, P(B3)=0.027P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + P(A|B3)*

12、P(B3) =0. 2*0.441+0.6*0.189+1*0.027 =0.228636第36页，共49页。例7：P(Bi|A)=P(A|Bi)*P(Bi)/P(A) 接例5，已知敌机坠毁，请问敌机是中2弹坠毁的概率是多少？贝叶斯公式：37第37页，共49页。P(B2|A)= P(A|B2)*P(B2)/P(A) =0.6*0.189/0.2286 =0.496解：38第38页，共49页。针对分布函数的贝叶斯公式为：极大后验（Maximum A Posteriori）估计为：39第39页，共49页。接例4，已知x的先验分布为求x的极大后验估计例8：解：此式可以等效为：40第40页，共49页。其中：因此：41第41页，共49页。另一种变形：42第42页，共49页。参数估计的基本方法（4）最小二乘估计基本思想：使估计误差的平方和最小43第43页，共49页。针对如下问题：最小二乘（Least Squares）估计公式为：44第44页，共49页。例9：针对以下参数估计问题：如果噪声为0均值的高斯白噪声，证明：在此情况下最小二乘估计与极大似然估计是等价的45第45页，共49页。证明：根据极大似然估计和最小二乘估计的定义，它们是等价的46第46页