概率论与数理统计教学课件第七章最大似然估计

1、1 它首先是由德国数学家高斯在1821年提出的 , GaussFisher 然而，这个方法常归功于英国统计学家费歇(Fisher) . 费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质 .7.2 最大似然估计2 思想方法 一次试验就出现的事件有较大的概率 7-173 最大似然法的基本思想 先看一个简单例子：一只野兔从前方窜过 .是谁打中的呢？某位同学与一位猎人一起外出打猎 .如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下 .4 因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 . 其数学模型为 令X为打一枪的中弹数，则XB(1,p

2、), p未知.设想事先知道p只有两种可能:p=0.9 或 p=0.1 两人中有一人打枪, 估计这一枪是谁打的，即估计总体X的参数p的值5当兔子不中弹，即X =0发生了现有样本观测值x =1, 什么样的参数使该样本值出现的可能性最大呢？ 若p=0.9，则PX=1=0.9 若p=0.1，则PX=1=0.1 若p=0.9，则PX=0=0.1 若p=0.1，则PX=0=0.9当兔子中弹，即X =1发生了6引例 设总体 X 服从0-1分布，且P (X = 1) = p, 用极大似然法求 p 的估计值。解X 的概率分布可以写成设 X1, X2, Xn为总体 X 的样本,设 x1, x2, xn为总体 X

3、的样本值,则7对于不同的 p ,L (p)不同，见右下图现经过一次试验，发生了，事件则 p 的取值应使这个事件发生的概率最大。8在容许的范围内选择 p ，使L(p)最大 注意到，ln L(p)是 L 的单调增函数，故若某个p 使ln L(p)最大，则这个p 必使L(p)最大。7-20所以为所求 p 的估计值.9最大似然估计法的基本思想：根据样本观测值，选择参数p的估计 ，使得样本在该样本值附近出现的可能性最大10 一 离散型随机变量的情况最大似然估计的求法111213 定义2.1 设离散型随机变量X1,X2,.,Xn 有联合分布其中 是未知参数，给定观测数据x1，x2，.，xn后，称 的函数为

4、基于x1，x2，.，xn的似然函数(likelihood function)，称 的最大值点 为 的最大似然估计(maximum likelihood estimator缩写为MLE)其中 也可以是向量14 二 连续型随机变量的情况1516 定义2.2 设随机向量X=(X1,X2,.,Xn ) 有联合密度其中 是未知参数，给定X的观测值x=(x1，x2，.，xn )后，称 的函数为基于x=(x1，x2，.，xn )的似然函数(likelihood function)，称 的最大值点 为参数 的最大似然估计(MLE)其中 也可以是向量17若总体中包含多个未知参数18 (4) 在最大值点的表达式中

5、, 用样本值代入 就得参数的极大似然估计值 .求最大似然估计(MLE)的一般步骤是：(1) 由总体分布导出样本的联合分布列 (或联合密度);(2) 把样本联合分布列(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );(3) 求似然函数 的最大值点(常转化为求对数似然函数 的最大值点) 即 的MLE;19未知参数的函数的最大似然估计 设总体X的分布类型已知, 其概率密度(或概率函数)为f(x;1, k), 未知参数的已知函数为g(1, k). 若 分别为1, k的最大似然估计, 则为 g(1, k)的最大似然估计.20解：X的分布列为 例1设X1,X2, Xn独立

6、同分布，都服从Poisson分布 ，给定观测数据x1,x2, xn，试求参数 的最大似然估计.因此似然函数为 21令=0对数似然函数为：得 的最大似然估计为 22 例2设X1,X2, Xn是取自总体 XB(1, p) 的一个样本，求参数p的最大似然估计.解：似然函数为: 对数似然函数为：23对p求导并令其为0，=0p的最大似然估计为24似然函数为：25对数似然函数为：2627例4 X 服从指数分布,其密度函数为 x1，x2，xn 为观察值.试用最大似然估计法估计28解：似然函数为对数似然函数为由得 的最大似然估计为 29解：似然函数为对数似然函数为例5 设X1,X2,Xn是取自总体X的一个样本

7、求 的最大似然估计.其中 0,30求导并令其为0=0从中解得即为 的MLE .对数似然函数为31 例6 设X1,X2, Xn是取自总体 XU(a, b) 的一个样本，求参数a, b的最大似然估计.解X 的密度函数为似然函数为32不能求解。33似然函数a 越大, b 越小, L 越大.令x(1) = min x1, x2, xnx(n) = max x1, x2, xn34故是 a , b 的最大似然估计值.则对满足的一切a，b, 都有取35 例7 设总体X的概率分布为 X012P 1-2 其中0 1/2为未知参数。今对X进行观测， 得如下样本值 0，1，2，0，2，1求 的最大似然估计。 36

8、从而对数似然函数为解：似然函数为令得37三 估计量的评选标准 对于同一参数，用不同的估计方法求出的估计量可能不相同。问题：采用哪一个估计量好?X1, X2, Xn为来自该总体的样本。设总体X F(x, ), 其中 为未知参数。为 的一个估计量。38估计量而当样本(X1, , Xn)有观测值(y1, , yn)时，估计值为 是一个随机变量，当样本(X1, , Xn)有观测值(x1, , xn)时，估计值为 39由不同的观测结果，就会求得不同的参数估计值. 因此评价一个估计量的好坏，不能仅仅依据一次试验的结果来判断，而必须根据估计量的分布从整体上来做评价。当样本值取不同的观测值时， 我们希望相应的

9、估计值在未知参数真值附近摆动，而它的均值与未知参数的真值的偏差越小越好. 当这种偏差为0时，就导致无偏性这个标准 . 401无偏性则称 为 的无偏估计 .设是未知参数 的估计量，若41例1 样本均值 与样本方差S2 分别是 总体均值和总体方差2的无偏估计量.证：42样本k阶矩为例2 设总体X的k阶原点矩存在，记其为k， X1, X2, Xn为来自总体的样本，问是否为总体k阶矩k的无偏估计.解：由于因此样本k阶矩是总体k阶矩的无偏估计43例3 设总体X N (， 2)，其中参数， 2未知，试用最大似然估计法求， 2的估计量，并问是否是无偏估计？4445例4 设总体X 服从参数为 的指数分布, 概

10、率密度为其中, 参数 0 为未知, X1, , Xn为来自总体的样本. 试证, 和nZ=nmin(X1, , Xn)都是 的无偏估计.解：因为故是 的无偏估计设X的分布函数为46先求Z的分布函数47对其求导数得到Z的密度函数为：指数分布即Z的分布函数48故因此,nZ是 的无偏估计49 例5 设X1, X2, Xn是来自总体X的样 本，且E(X)=。以下两个估计是否为 的无偏估计（答：是）（答：是）50 无偏估计以方差小者为好, 这就引进了有效性这一概念 .的大小来决定二者和一个参数往往有不止一个无偏估计, 若和都是参数 的无偏估计量，比较我们可以谁更优 .512有效性D( ) D( )都是参数 的无偏估计量，若有设和且存在 的情形，则称 较 有效 。52 例6 设X1, X2, Xn是来自总体X的样本，且E(X)=。以下两个估计谁更有效？解：53 3. 相合性(一致性) 设 为未知参数 的估计量，若对任意给定的 0，任意，都有 则称为参数 的相合估计 设总体的k 阶矩存在，则样本的k 阶矩是总体k 阶矩的相合