参数估计与假设检验课件

第一章参数估计与统计检验测绘与遥感科学系中南大学第一章参数估计与统计检验提纲1.1概述1.2点估计与区间估计1.3多维正态分布1.4参数估计方法1.5假设检验提纲1.1概述函数模型随机模型平差：对模型中的做出最优估计，就是参数估计的问题进行观测，建立观测与待估值之间的数学关系，即函数模型1.1概述函数模型1.1概述当观测方程>待求参数，即存在多余观测时，方程超定。要根据观测值的统计特性提出估计准则，得到某种最优性质的解极大似然准则最小二乘准则极大验后准则最小方差准则线性最小方差准则总体最小二乘准则…除了估计待估参数的最优解，即点（定值）估计，还需要知道估值的范围，即区间估计检核参数估计的有效性，即统计检验1.1概述当观测方程>待求参数，即存在多余观测时，方程超定。要根据总体样本统计量描述作出推断随机抽样（观测值）（分布）（估计准则）参数估计：利用从总体抽样得到的信息来估计总体的某些参数或者参数的某些函数。1.1点估计与区间估计算术平均数统计量

参数总体样本统计量描述作出推断随机抽样（观测值）（分布）（估计准点估计：通过一次具体抽样值，估计参数取值的方法称为参数的点估计问题。估计量：设为总体X的一个未知参数，统计量称为的估计量。估计值：称为的估计值1.1点估计与区间估计-点估计点估计：通过一次具体抽样值一个待估参数，可以有几个不同的估计量。例如，在估计总体方差时，和都可以作为估计量。1.1点估计与区间估计-点估计这就引出了如何衡量估计量好坏的标准。一个待估参数，可以有几个不同的估计量。例如，无偏性：估计量的数学期望与总体待估参数的真值相等：P(

)BA无偏有偏1.1点估计与区间估计-点估计无偏性：估计量的数学期望与总体待估参数的真值相等：P(

有效性：在两个无偏估计量中方差较小的估计量较为有效。AB

的抽样分布

的抽样分布P(

)1.1点估计与区间估计-点估计有效性：在两个无偏估计量中方差较小的估计量较为有效。AB一致性：指随着样本容量的增大，估计量越来越接近被估计的总体参数。AB较小的样本容量较大的样本容量

P(X)X1.1点估计与区间估计-点估计一致性：指随着样本容量的增大，估计量越来越接近被估计的总体参根据事先确定的置信水平1-

，给出总体参数的一个估计范围。置信水平1-

的含义是：对总体进行取样，落入置信区间的概率是(1-

）。

估计值(点估计)置信下限置信上限置信区间1.1点估计与区间估计-区间估计根据事先确定的置信水平1-，给出总体参数的一个估计范围落在总体均值某一区间内的样本

x_XX=

Z

x95%的样本

-1.96

x

+1.96

x99%的样本

-2.58

x

+2.58x90%的样本

-1.65

x

+1.65

x1.1点估计与区间估计-区间估计落在总体均值某一区间内的样本x_XX=Zx1.2多维正态分布一维正态分布服从正态分布的一维随机变量X的概率密度为：或常写成：1.2多维正态分布一维正态分布1）多维正态随机向量：设有ｍ个互相独立的标准正态随机变量构成的随机向量它们的有限个线性函数则称X为ｎ维正态随机向量。1.2多维正态分布1）多维正态随机向量：1.2多维正态分布2）多维正态分布定义：n维正态随机变量X的数学期望、方差阵为X的分布函数、概率密度都称为ｎ维正态分布。3）多维正态分布性质：正态随机向量的线性函数还是正态的.1.2多维正态分布2）多维正态分布定义：1.2多维正态分布对多维正态随机变量X：1.2多维正态分布对多维正态随机变量X：1.2多维正态分布4）多维正态分布联合概率密度

n维正态随机向量X的联合概率密度设有维正态随机向量：则它的概率密度为：1.2多维正态分布4）多维正态分布联合概率密度1.2多维正态分布特别地，对二维正态随机向量[XY]T，若设其数学期望和方差阵为，则其联合概率密度为：当X与Y是互不相关的两个正态随机变量时：1.2多维正态分布特别地，对二维正态随机向量[XY]T，若设其数学期望和方差5）多维正态分布条件概率密度对n+t维正态随机向量X，且设

，则其联合概率密度为：1.2多维正态分布5）多维正态分布条件概率密度1.2多维正态分布5）多维正态分布条件概率密度边界概率密度由条件概率密度公式1.2多维正态分布5）多维正态分布条件概率密度1.2多维正态分布5）多维正态分布条件概率密度条件概率密度其中1.2多维正态分布5）多维正态分布条件概率密度1.2多维正态分布例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的．这个例子所作的推断就体现了极大似然法的基本思想。1.3参数估计方法-极大似然估计例：1.3参数估计方法-极大似然估计设有参数向量X（可以是非随机量，也可以是随机向量），为了估计X，进行了ｎ次观测，得到观测向量L的观测值，又假定对X的所有可能取值为，在的条件下得到的观测向量L的条件概率密度为。如果是中的最大值，那么是X的准确值的可能性最大,因此,极大验后准则:1.3参数估计方法-极大似然估计此时把叫做X的极大似然估值，并记作。设有参数向量X（可以是非随机量，也可以是随机向量），为了估极大似然解法：称为似然函数，称为对数似然函数。怎么获取条件概率密度？全概率与边际概率密度估计：观测条件或假设决定或1.3参数估计方法-极大似然估计极大似然解法：或1.3参数估计方法-极大似然估计假设f(l/x)是正态条件概率密度时,有似然方程等价于1.3参数估计方法-极大似然估计假设f(l/x)是正态条件概率密度时,有似然方程等价于1.1.3参数估计方法-极大似然估计1.3参数估计方法-极大似然估计例1.3参数估计方法-极大似然估计例1.3参数估计方法-极大似然估计1.3参数估计方法-极大似然估计1.3参数估计方法-极大似然估计基本思想：使误差平方和最小，达到在误差之间建立一种平衡，以防止某一极端误差对决定参数的估计值起支配地位。这有助于揭示更接近真实的状况。具体方法：是为使误差平方和为最小，可通过求误差平方和对待估参数的偏导数，并令其等于0，以求得参数估计量。1.3参数估计方法-最小二乘估计基本思想：使误差平方和最小，达到在误差之间建立一种平衡，以防设被估计量（未知的参数向量）为X，观测向量为L，观测误差为△，观测方程为：

设X的估值为，并记：所谓的最小二乘估计，就是要求所求得的估值使下列二次型达到最小值，即：则称为X的最小二乘估值记为。1.3参数估计方法-最小二乘估计设被估计量（未知的参数向量）为X，观测向量为L，观测误差为△最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学科领域中也有广泛的应用，主要原因：数理统计观点-需要观测向量的验前统计信息最少；数学观点-提供了最优的解一组多余观测的线性代数方程的方法；数值计算角度-最小二乘导出法方程组是一线性代数方程组，其系数矩阵是对称的。1.3参数估计方法-最小二乘估计最小二乘估计是测量中求参数估计最普遍、最主要的方法，在其它学但要保证最小二乘估计求出估值是最优估值，要求：即：1、表示L中不含系统误差和粗差；2、权阵P应由L或△的协方差确定(这时，X必需是非随机参数！）。1.3参数估计方法-最小二乘估计但要保证最小二乘估计求出估值是最优估值，要求：即：1.3参极大似然法与最小二乘估计两种常用方法的比较：极大似然估计：极大似然法要求已知总体的分布，才能获得估计量；参数可以是随机的，也可是非随机的。最小二乘估计：最小二乘估计方法对分布没有严格的要求，无论哪种统计分布，均可进行估计；参数是非随机的。1.3参数估计方法极大似然法与最小二乘估计两种常用方法的比较：1.3参数估计是随机参数向量X在的条件下的条件概率密度。如果是中的最大值，那么是X的准确值的可能性最大。极大验后准则:一般用

表示，并称之为极大验后估值。极大验后估计的解法：

称之为验后方程。或1.3参数估计方法-极大验后估计是随机参数向量X在的条件下的条件概率假设X和L均为正态随机向量，此时条件概率密度为：其中：则极大验后准则等价于1.3参数估计方法-极大验后估计假设X和L均为正态随机向量，此时条件概率密度为：其中：则极大求一阶偏导数，并令其等于零，得：故，极大验后估值为：1.3参数估计方法-极大验后估计求一阶偏导数，并令其等于零，得：1.3参数估计方法-极大验最小方差估计：是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量L求参数X的估值，如果它的误差方差比任何其它估值的方差小，就认为这个估值是最优估值。估计误差：，误差方差：最小方差准则：一般用表示最小方差估值1.3参数估计方法-最小方差估计最小方差估计：是一种以估计误差的方差为最小作为准则的估计方法误差方差阵为参数的最小方差估值为：1.3参数估计方法-最小方差估计1.3参数估计方法-最小方差估计线性最小方差估计是放宽对概率密度的要求，只要求已知L和X的数学期望、方差、协方差，以及限定所求的估计量是所求观测向量L的线性函数，再以估计量的均方误差达到极小为最优估计量的准则：一般用表示线性最小方差估计1.3参数估计方法-线性最小方差估计线性最小方差估计是放宽对概率密度的要求，只要求已知L和X的数线性最小方差估计解法1.3参数估计方法-线性最小方差估计线性最小方差估计解法1.3参数估计方法-线性最小方差估计各种估计方法的关系1.3参数估计方法极大似然估计、极大验后估计、最小方差估计，均要知道观测向量或未知参数向量的条件概率密度（或联合概率密度），所得到的估计量可以是L的任意函数；最小二乘估计不需要知道任何统计性质，所得到的估计量是L的线性函数。极大验后估计考虑了参数的X的先验统计特性，改善了最小二乘估计。当X是不具有先验统计特性的非随机量时,极大验后估计退化为极大似然估计或最小二乘估计。各种估计方法的关系1.3参数估计方法极大似然估计、极大验后各种估计方法的关系对正态分布，极大验后估计、最小方差估计、线性最小方差估计得到的结果相同；

对正态分布，可由极大似然估计导出最小二乘估计。1.3参数估计方法各种估计方法的关系1.3参数估计方法在最小二乘中，一般认为系数矩阵A不存在误差。整体最小二乘是当A和L都存在误差时的估计方法1.3参数估计方法-总体最小二乘估计在最小二乘中，一般认为系数矩阵A不存在误差。整体最小二乘是当导数计算1.3参数估计方法-总体最小二乘估计导数计算1.3参数估计方法-总体最小二乘估计参数估计与假设检验课件参数估计1.3参数估计方法-总体最小二乘估计参数估计1.3参数估计方法-总体最小二乘估计迭代计算1.3参数估计方法-总体最小二乘估计迭代计算1.3参数估计方法-总体最小二乘估计算例1.3参数估计方法-总体最小二乘估计LS=[4.5;-0.5]TLS=[6.6977;-0.9884]算例1.3参数估计方法-总体最小二乘估计LS=[4.5;-迭代计算1.4假设检验迭代计算1.4假设检验为什么要做假设检验？苹果的故事爷爷让孙子去买苹果，并说：“你买的每个苹果都要是甜的，不酸”；过了一会，孙子回来了，高兴地告诉爷爷：“我买的每个苹果都很甜”；爷爷一看，孙子在每个苹果上都咬了一口，孙子没撒谎…1.4假设检验为什么要做假设检验？苹果的故事1.4假设检验什么是假设检验？概念事先对总体参数或分布形式作出某种假设然后利用样本信息来判断原假设是否成立类型参数假设检验非参数假设检验特点采用逻辑上的反证法依据统计上的小概率原理1.4假设检验什么是假设检验？概念1.4假设检验小概率原理小概率原理是假设检验的基本依据，即认为小概率事件在一次试验中几乎是不可能发生的。当进行假设检验时，先假设H0正确，在此假设下，事件A出现的概率很小。经过取样试验后，A出现了，则违反了上述原理，我们认为这是一个不合理的结果。这时，我们只能怀疑作为小概率事件A的前提假设H0的正确性，于是否定H0。反之，如果试验中A没有出现，我们就没有理由否定假设H0，从而做出接受H0的结论。1.4假设检验小概率原理1.4假设检验原假设和备选假设原假设是关于总体而非样本统计量的假设假设原假设是正确的原假设可能被接受也可能被拒绝备选假设是原假设的对立备选假设可能被接受也可能被拒绝1.4假设检验原假设和备选假设1.4假设检验显著性水平：原假设为真时，拒绝原假设的概率，一般用表示

，也称为置信度。常用的

值有0.01,0.05等置信水平：1-

检验统计量：用来决策（拒绝或不能拒绝零假设）时依据的样本统计量。接受域与拒绝域：以双侧检验为例，若，则认为是接受域，其外则是拒绝域1.4假设检验显著性水平：原假设为真时，拒绝原假设的概率，一般用表示，也双侧检验

显著性水平、置信水平、接受域、拒绝域

抽样分布H0值临界值临界值a/2a/2

样本统计量拒绝域拒绝域接受域1-

置信水平1.4假设检验双侧检验

显著性水平、置信水平、接受域、拒绝域抽样分布H0左侧检验

显著性水平、置信水平、接受域、拒绝域

H0值临界值a样本统计量拒绝域接受域抽样分布1-

置信水平1.4假设检验左侧检验

显著性水平、置信水平、接受域、拒绝域H0值临界值右侧检验

显著性水平、置信水平、接受域、拒绝域

H0值临界值a样本统计量拒绝域接受域抽样分布1-

置信水平1.4假设检验右侧检验

显著性水平、置信水平、接受域、拒绝域H0值临界值归纳：假设检验的步骤提出原假设和备选假设确定适当的检验统计量规定显著性水平计算检验统计量的值作出统计决策根据给定的显著性水平

，查表得出相应的临界值Z

或Z/2将检验统计量的值与

水平的临界值进行比较得出接受或拒绝原假设的结论1.4假设检验归纳：假设检验的步骤1.4假设检验双侧检验H0值临界值临界值a/2a/2

样本统计量拒绝域拒绝域接受域抽样分布1-

置信水平1.4假设检验双侧检验H0值临界值临界值a/2a/2样本统计量拒绝域拒双侧检验H0值临界值临界值

a/2a/2

样本统计量拒绝域拒绝域接受域抽样分布1-

置信水平1.4假设检验双侧检验H0值临界值临界值a/2a/2样本统计量拒绝域双侧检验H0值临界值临界值a/2a/2

样本统计量拒绝域拒绝域接受域抽样分布1-

置信水平1.4假设检验双侧检验H0值临界值临界值a/2a/2样本统计量拒绝域拒左侧检验H0值临界值a样本统计量拒绝域接受域抽样分布1-

置信水平观察到的样本统计量1.4假设检验左侧检验H0值临界值a样本统计量拒绝域接受域抽样分布1-左侧检验H0值临界值a样本统计量拒绝域接受域抽样分布1-

置信水平1.4假设检验左侧检验H0值临界值a样本统计量拒绝域接受域抽样分布1-右侧检验H0值临界值a样本统计量拒绝域接受域抽样分布1-

置信水平观察到的样本统计量1.4假设检验右侧检验H0值临界值a样本统计量拒绝域接受域抽样分布1-右侧检验H0值临界值a样本统计量接受域抽样分布1-

置信水平