第二讲估计方法

第二讲估计方法演示文稿当前1页，总共62页。优选第二讲估计方法当前2页，总共62页。测量平差过程示意图

观测值数学模型平差估计准则？法方程平差值精度评定当前3页，总共62页。1、观测有误差，且呈现偶然性。2、不考虑参数的先验统计特性；只顾及观测值的先验统计特性。函数模型：2）随机模型：估计准则：1）函数模型：3）平差准则：应用前提：当前4页，总共62页。广义测量平差：1）经典平差是假定没有模型误差的。但实际问题中，模型误差总是存在的。如：函数模型中存在系统误差和粗差；随机模型中方差或协方差不准确等。另随机模型是奇异阵等。2）经典平差是认为未知参数是非随机量（或不考虑其先验统计特性），而实际中有些参数的先验统计特性是已知的(如GPS复测网，形变监测网的平差中。以上这些问题均需要按广义测量平差的方法来解决。当前5页，总共62页。测量平差由含有误差的观测值按一定准则求未知参数X的估值参数分为：非随机参数随机参数随机参数和非随机参数最小二乘估计、极大似然估计极大验后估计、最小方差估计,极等这类平差即经典平差这类平差称“滤波、推估“广义最小二乘原理这类平差称”配置“当前6页，总共62页。估计对函数模型的估计对随机模型的估计方差分量估计观测只含有偶然误差观测含有系统误差观测含有粗差附加系统参数的估计稳健估计最小二乘估计对系统“状态”参数的估计卡尔曼滤波当前7页，总共62页。总体样本统计量描述作出推断在参数估计问题中：假定总体分布形式已知，未知的仅仅是一个或几个参数。随机抽样（观测值）（分布）（估计准则）参数估计问题是：利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。当前8页，总共62页。本章介绍一下三个内容：1、多维正态分布以及条件概率密度；2、估计方法；3、广义最小二乘准则（估计准则推广）。可见，根据观测值分布推断（估计准则）。当前9页，总共62页。第一章估计方法和广义测量平差原理本章主要内容：多维正态分布；极大似然估计（对非随机参数或随机参数进行估计）；最小二乘估计（非随机参数）；极大验后估计（对随机参数进行估计）；最小方差估计（随机参数）；广义测量平差原理。当前10页，总共62页。1-1、概述为了确定平面或三维控制网中各点坐标，对控制网的边长和方向进行观测（观测包含误差）。未知参数向量（坐标）X与观测向量（边长、方向）L之间有函数关系：卫星（或其它运动体）的轨道往往可以由如下的微分方程确定式中ｔ表示时间；X（t）表示卫星的轨道参数，称为状态向量；U（t）称为控制向量；Ω（t）是随机的状态噪声。L(t）为观测值。当前11页，总共62页。可以看出：以上的例子，都存在一个对未知参数进行估计的问题。根据含有误差的观测向量，依一定的数学模型，按一定的准则，求未知参数，在数理统计中称为参数估计，在测量中称为平差。由于观测向量含有误差，而且观测个数有限，因此不能求得参数的真值，只能求出参数的估值，这就“参数估计”名称的由来。当前12页，总共62页。

所谓的估计问题，就是根据含有误差△的观测值L，构造一个函数，使成为未知参数向量X的最佳估计量，其具体数值称为最佳估值。通常，简记为。估计误差：经典最小二乘平差中，习惯上用估值（平差值）的方差衡量精度(参数非随机）；而估计理论中，通常是用估计量的误差方差来衡量其精度的。当前13页，总共62页。由估计理论知道，最优估计量应具有以下几个性质：一致性.（当观测个数无限增加时，估计量向被估参数趋近的概率等于1）无偏性.（估计量的数学期望等于被估计量的数学期望）有效性.（由观测量得到的无偏估计量的误差方差最小）当前14页，总共62页。主要的估计方法有:极大似然估计；最小二乘估计；极大验后估计；最小方差估计；线性最小方差估计；贝叶斯估计等。概率统计中的估计理论是广义测量平差的理论基础。当前15页，总共62页。1-2多维正态分布正态分布是测量平差理论中最常用的分布，是最小二乘平差误差理论的基础。1、一维正态分布

服从正态分布的一维随机变量X的概率密度为：或常写成：当前16页，总共62页。2、多维正态分布的定义和性质1）多维正态随机变量：设有ｍ个互相独立的标准正态随机变量构成的随机变量它们的有限个线性函数则称X为ｎ维正态随机变量。当前17页，总共62页。2）多维正态分布定义：n维正态随机变量X的数学期望、方差阵为X的分布函数、概率密度都称为ｎ维正态分布。3）多维正态分布性质：正态随机向量的线性函数还是正态的.当前18页，总共62页。对多维正态随机变量X：当前19页，总共62页。3、多维正态分布

n维正态随机向量X的联合概率密度设有维正态随机向量：则它的概率密度为：当前20页，总共62页。二维正态随机向量[XY]T，其概率密度为：当X与Y是互不相关的两个正态随机变量时：当前21页，总共62页。4、正态随机向量的条件概率密度条件期望、条件方差当前22页，总共62页。1-3极大似然估计看一例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想。当前23页，总共62页。极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，…。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。当前24页，总共62页。设有参数向量X（可以是非随机量，也可以是随机向量），为了估计X，进行了ｎ次观测，得到观测向量L的观测值，又假定对X的所有可能取值为，在的条件下得到的观测向量L的条件概率密度为。如果是中的一个，而是中的最大值，那么，是X的准确值的可能性最大。当前25页，总共62页。此时把叫做X的极大似然估值，并记作。也就是说：极大似然估计是以为准则求最佳估值的方法。也可以说：极大似然估计的出发点是基于这样一个统计原理，在一次随机试验中，某一事件已经发生，比如已经得到某个具体的样本，则必然认为发生该事件的概率最大。当前26页，总共62页。显然，它满足于由于对数是单调增加函数，故在相同的值达到最大，即下两式是等价的：上两方程称为似然方程，称为似然函数，而称为对数似然函数。等价当前27页，总共62页。当f(l/x)是正态条件概率密度时,有则似然方程等价于带入条件期望、条件方差即得参数估值当前28页，总共62页。求极大似然函数估计值的一般步骤：

（1）写出（构造）似然函数；

（2）对似然函数取对数，并整理；

（3）求导数；

（4）解似然方程。当前29页，总共62页。例当前30页，总共62页。当前31页，总共62页。1-4最小二乘估计从总体中抽出的样本观测值与总体平均数是有差异的，这种差异属于抽样误差。因而，在总体平均数估计时要尽可能地降低这种误差，使总体平均数估计值尽可能好。参数估计的最小二乘法就是基于这种考虑提出的。

当前32页，总共62页。基本思想：是使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近真实的状况。具体方法：是为使误差平方和Q为最小，可通过求Q对待估参数的偏导数，并令其等于0，以求得参数估计量。当前33页，总共62页。设被估计量（未知的参数向量）为X，观测向量为L，观测误差为△，观测方程为：

设X的估值为，并记：所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：则称为X的最小二乘估值记为。当前34页，总共62页。最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛的应用，主要原因：数理统计观点-需要观测向量的验前统计信息最少；数学观点-提供了最优的解一组多余观测的线性代数方程的方法；数值计算角度-最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。当前35页，总共62页。但要保证最小二乘估计求出估值是最优估值，要求：即：1、表示L中不含系统误差和粗差；2、权阵P应由L或△的协方差确定(这时，X必需是非随机参数，否则不会相等的！）。当前36页，总共62页。极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的。最小二乘估计：最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行估计；参数是非随机的。当前37页，总共62页。1-5极大验后估计极大验后估计则是以为准则的估计方法。[

随机参数向量X在的条件下的条件概率密度]一般用

表示由极大验后估计得到的最佳估值，并称之为极大验后估值。同理，下方程：

称之为验后方程。当前38页，总共62页。例：设有观测值观测方程为，其中参数X与观测误差△均为相互独立的正态随机变量,且有,试求X的极大验后估值。解：当前39页，总共62页。当X和L均为正态随机向量时，此时条件概率密度为：其中：则极大验后准则等价于当前40页，总共62页。求一阶偏导数，并令其等于零，得：故，极大验后估值为：由协方差传播律可得，估值的误差方差阵为：其中：当前41页，总共62页。（极大验后估值、估值的估计误差方差）例：如果X和L有如下的观测方程则带入验后估值公式可得：当前42页，总共62页。不难看出：极大验后估计考虑了参数的X的先验统计特性，改善了最小二乘估计，故估值的精度比最小二乘估值的精度要高。当前43页，总共62页。1-6最小方差估计最小方差估计：是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求参数X的估值，如果它的误差方差比任何其它估值的方差小，就认为这个估值是最优估值。记X的最小方差估值为。当前44页，总共62页。估计误差为误差方差阵为当时候的就是最小方差估值参数的最小方差估值为：当前45页，总共62页。不难看出：极大似然估计、极大验后估计、最小方差估计，均要知道观测向量或未知参数向量的条件概率密度（或联合概率密度），所得到的估计量可以是L的任意函数；最小二乘估计不需要知道任何统计性质，所得到的估计量是L的线性函数。当前46页，总共62页。1-7线性最小方差估计线性最小方差估计是放宽对概率密度的要求，只要求已知L和X的数学期望、方差、协方差，以及限定所求的估计量是所求观测向量L的线性函数，再以估计量的均方误差达到极小为最优估计量的准则。这样得到的估计量称为线性最小方差估计量，并记为。当前47页，总共62页。线性最小方差估计量为：当X、L的联合概率密度是正态时，X的线性最小方差估计量就等于最小方差估计量，也等于其极大验后估计量。当前48页，总共62页。1-9广义测量平差原理各种估计方法的关系1)对正态分布，极大验后估计、最小方差估计、线性最小方差估计得到的结果相同；2)在一定情况下，可由极大似然估计导出最小二乘估计;3)极大验后估计和最小方差估计是贝叶斯估计的两种形式.故，本节讨论极大似然估计、极大验后估计、最小二乘估计关系。

当前49页，总共62页。广义测量平差的估计方法分为两大类:对非随机参数进行估计的最小二乘估计和极大似然估计；对随机参数进行估计的极大验后估计、最小方差估计、线性最小方差估计等.当前50页，总共62页。广义最小二乘原理:一、对于正态分布，极大似然准则等价于当有观测方程似然方程又等价于(推导见下页)即等价于最小二乘估计准则当前51页，总共62页。极大似然估计：似然方程：观测方程：似然方程可写为：当前52页，总共62页。二、极大验后估计准则等价于当有观测方程时，上式又等价于上式可写为：当前53页，总共62页。可见：极大似然估计、极大验后估计均可用“广义最小二乘估计”表示！(即：下式是最小二乘估计准则的扩充！）称为“广义最小二乘原理”：当X是不具有先验统计特性的非随机量时,极大验后估计退化为极大似然估计或最小二乘估计了。按广义最小二乘原理进行平差的过程，称为广义测量平差。当前54页，总共62页。三、广义最小二乘估计准则应用方法若将未知参数X的先验期望μx看成是与观测值L相互独立，且方差为DX的虚拟观测值，则有如下“观测方程”误差方程为是虚拟观测值误差。当前55页，