[理学]中南大学数理统计课件.ppt

,第 七 章 参 数 估 计,总体是由总体分布来刻画的. 总体分布类型的判断在实际问题中,我们根据问题本身的专业知识或以往的经验或适当的统计方法,有时可以判断总体分布的类型. 总体分布的未知参数的估计总体分布的参数往往是未知的,需要通过样本来估计.通过样本来估计总体的参数,称为参数估计,它是统计推断的一种重要形式.,本章讨论: 参数估计的常用方法. 估计的优良性准则. 若干重要总体的参数估计问题.,这类问题称为参数估计.,参数估计问题的一般提法,X1, X2 , , Xn,参数估计,点估计,区间估计,一、点估计概念及讨论的问题,例1 已知某地区新生婴儿的体重X,随机抽查100个婴儿得100个体重数据,得100个体重数据9, 7, 6, 6.5, 5, 5.2, 而全部信息就由这100个数组成.,把样本值代入T(X1, X2, , Xn) 中，得到,的一个点估计值 .,二、寻求估计量的方法,1. 矩估计法,2. 极大似然法,3. 最小二乘法,4. 贝叶斯方法,这里我们主要介绍前面两种方法 .,其基本思想是用样本矩估计总体矩 .,理论依据:,矩是基于一种简单的“替换”思想建立起来的一种估计方法 .,是英国统计学家K.皮尔逊最早提出的 .,大数定律,1.矩估计,记总体k阶矩为,样本k阶矩为,用相应的样本矩去估计总体矩的估计方法 就称为矩估计法.,记总体k阶中心矩为,样本k阶中心矩为,设总体X的分布函数中含有k个未知参数,步骤一、 我们把总体X的m阶原点矩E(Xm)记为 am ,m=1,2, ,k,am (1,2,k) (m=1,2, ,k),方法,步骤二、 算出m阶样本原点矩:,步骤三、令 am (1,2,k) = Am (m=1,2, ,k)得关于 1,2,k的 方程组,步骤四、解这个方程组,其解记为,它们就可以做为1,2 ,k的估计.这样求出的估计叫做矩估计.,解:,由矩法,从中解得,解: 由密度函数知,具有均值为 的指数分布,故 E(X- )=,Var(X- )=,设总体的均值为,方差为2 ,于是,由此列出方程组:,例3 求均值,方差2的矩估计,均值,方差2的矩估计是:,例如 求正态总体 N(,2)两个未知参数和2的矩估计为,总体均匀分布 X U(a,b). 求:两个参数a,b的矩估计,解:,又如,但是,由方程组求解出a,b的矩估计:,例4:设某电子元件的寿命（以小时计）T服从双参数的指数分布，其概率密度为,为未知参数，从这一批元件中随机地抽取n件进行寿命试验，得它们的失效时间依次为 求,解：先求E(T),Var(T)如下,即，参数的矩估计为,矩估计法优缺点,优点: (1)不必知道总体的分布函数 (2)直观简便,缺点:(1)矩估计法有时会得到不合理的解 (2)使用不同阶的矩，会得到不同的解 (3)总体分布的原点矩不一定存在,2.极大似然法,是在总体类型已知条件下使用的一种参数估计方法 .,它首先是由德国数学家 高斯在1821年提出的 ,Gauss,Fisher,然而，这个方法常归功于 英国统计学家费歇 .,费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 .,极大似然原理的直观想法,一个随机试验如有若干个可能的结果A，B，C，。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。,：,如：有两位同学一起进行实弹射击，两人共同射击一个目标，事先不知道谁的技术好，让每人各打一发，有一人击中目标，那么认为击中的同学的技术比不击中的技术较好。,通过一个例子来了解其思想,例如，一个盒子中有黑色和白色的球共四个，其中一种颜色的是三个，另外一种颜色的是一个。试通过试验估计两种球的比例。,解：今用有放回抽取的方法从布袋中抽取n个球，其中黑球的个数记为 , 则 服从二项分布,今就n=3的情形讨论如下。怎样通过子样的观察值也即x的取值来估计参数p呢？换句话说，在什么情形下取p=1/4,而在另外的情况下取p=3/4更为合理呢？为此，我们就p=1/4或p=3/4为参数值的二项分布计算到的概率列入下表,我们从对子样所下的定义知道，子样来自总体并很好的反映了总体的概率分布特征。因此，我们在对总体的分布函数的参数做估计时，应该从子样的观察值出发来考虑。在这个例子中，如果我们观察到的黑球个数x=0，由P(0,1/4)=27/64及P(0,3/4)=1/64知，显然P(0,1/4) P(0,3/4)，这表明使x=0的子样从P=1/4为参数的,总体中抽取比从参数P=3/4的总体中抽取更有可能发生，因而取1/4作为p的估计比取3/4作为p的估计更为合理。类似地，当x=1时，取1/4作为p的估计比取3/4更为合理。而当x=2或3时，取3/4作为p的估计比取1/4更为合理。综上所述，确定参数的估计量为,也就是说，对于每个x值，选取 使得,其中， 是不同于 的任一估计量,总体 ，密度函数 。 是子样,的观察值。 极大似然法原理是选取使得子样落在观察值 的邻域的概率 达到最大的数值 作为参数 的估计值。,极大似然估计原理：,当给定样本X1,X2,Xn时，定义似然函数为：,设X1,X2,Xn是取自总体X的一个样本，样本的联合密度(连续型）或联合概率函数(离散型)为 f (X1,X2,Xn; ) .,似然函数：,极大似然估计法就是用使 达到最 大值的 去估计 .,称 为 的极大似然估计（MLE）.,看作参数 的函数，它可作为 将以多 大可能产生样本值X1,X2,Xn的一种度量 .,(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .,求极大似然估计(MLE)的一般步骤是：,(1) 由总体分布导出样本的联合概率函数 (或联合密度);,(2) 把样本联合概率函数(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );,(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;,两点说明：,1、求似然函数L( ) 的最大值点，可以应用微积分中的技巧。由于ln(x)是x的增函数，lnL( )与L( )在 的同一值处达到它的最大值，假定 是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必须用似然方程 组代替 .,2、用上述求导方法求参数的MLE有时行不通，这时要用极大似然原则来求 .,下面举例说明如何求极大似然估计,L(p)= f (X1,X2,Xn; p ),例1 设X1,X2,Xn是取自总体 XB(1, p) 的一个样本，求参数p的极大似然估计.,解：似然函数为:,对数似然函数为：,对p求导并令其为0，,=0,得,即为 p 的MLE .,正态总体 N(,2)两个未知参数和2的极大似然估计.(注:我们把2看作一个参数),解:,例2,似然方程组为,根据第一式,就得到:,代入第二式,就得到:,由上,似然方程组的解唯一.下面验证它是极大值点.,是L(,2)的最大值点. 和2的极大似然估计量是,总体 泊松分布 X P(). 求:参数的极大似然估计.,解:,例3,似然方程为,是logL()的最大值点. 的极大似然估计量是,总体均匀分布 X U(a,b). 求:两个参数a,b的极大似然估计,解:,例 4,似然方程为,显然，从上式不可能解得a和b的极大似然估计量。 现在，我们从似然函数的定义来确定a，b的极大似然估计量。,为使L(a,b)达到最大,ba应该尽量地小. 但b又不能小于maxx1,x2 , ,xn.否则, L(a,b)=0. 类似地，a不能大过minx1,x2,xn. 因此,a和b的极大似然估计为,解：似然函数为,对数似然函数为,例5设X1,X2,Xn是取自总体X的一个样本,求 的极大似然估计.,其中 0,似然方程为,解得 的极大