最大似然估计法

1、最大似然估计法的基本思想最大似然估计法的思想很简单：在已经得到试验结果的情况下，我们应该寻找使这个结果出现 的可能性最大的那个  作为真  的估计。我们分两种情进行分析：1离散型总体设  为离散型随机变量，其概率分布的形式为  ，则样本  的概率分布为  ，在  固定时，上式表示  取值  的概率；当  固定时，它是  的函数，我们把它记为  并称为似然函数

2、。似然函数  的值的大小意味着该样本值出现的可能性的大小。既然已经得到了样本值  ，那它出现的可能性应该是大的，即似然函数的值应该是大的。因而我们选择使  达到最大值的那个  作为真  的估计。2连续型总体 设  为连续型随机变量，其概率密度函数为  则  为从该总体抽出的样本。因为  相互独立且同分布，于是，样本的联合概率密度函数为 ，在  是固定时，它是 

3、0;在  处的 密度，它的大小与  落在  附近的概率的大小成正比，而当样本值  固定时，它是 的函数。我们仍把它记为  并称为似然函数。类似于刚才的讨论，我们选择使  最大的那个  作为真  的估计。 推荐精选总之，在有了试验结果即样本值  时，似然函数  反映了  的各个不同值导出这个结果的可能性的大小。 我们选择使  达到最大值的那

4、个  作为真  的估计。这种求点估计的方法就叫作最大似然法。    7.2.2最大似然估计的求法假定现在我们已经观测到一组样本  要去估计未知参数  。一种直观的想法是，哪一组能数值使现在的样本  出现的可能性最大，哪一组参数可能就是真正的参数，我们就要用它作为参数的估计值。这 里，假定我们有一组样本  .如果对参数的两组不同的值  和 ，似然函数有如下关系  ,那么，从  又

5、是概率密度函数的角度来看，上式的意义就是参数  使 出现的可能性比参数  使  出现的可能性大，当然参数  比 更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数 达到最大值的点 ,作为未知参数的估计，这就是所谓的最大似然估计。 现在我们讨论求最大似然估计的具体方法.为简单起见，以下记  ,求的极大似然估计就归结为求  的最大值点.由于对数函数是单调增函数，所以     (7.2.1)与

6、  有相同的最大值点。而在许多情况下，求  的最大值点比较简单，于是，我们就将求  的最大值点改为求  的最大值点.对  关于  求导数，并命其等于零，得到方程组  ,                        &#

7、160;   (7.2.2)称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是  ，也就是  的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情 况下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。推荐精选还需要指出，若函数  关于  的导数不存在时，我们就无法得到似然方程组 (7.2.2)，这时就必须根据最大似然估计的定义直接去  的最大值点。在一些情况下，我们需要估计  。如

8、果  分别是  的最大似然估计，则称  为  的最大似然估计。 下面我们举一些例子来说明求最大似然估计的方法。 例 7.2.1 设 从正态总体  抽出样本  ，这里未知参数为mm  和  （注意我们把  看作一个参数）。似然函数为            

9、60;              = 它的对数为 ，似然方程组为  由第一式解得 ，               (7.2.3)    代入第二式得 .      

10、60;      (7.2.4) 似然方程组有唯一解(  ，  )，而且它一定是最大值点，这是因为当  或  或时，非负函数  。于是  和  的最大似然估计为  ，  .         (7.2.5) 这里，我们用大写字母表示所有涉及的样本，因为最大似然估计推荐精选

11、  和  都是统计量，离开了具体的一次试验或观测，它们都是随机的。例7.2.2设总体  服从参数为的泊松分布，它的分布律为  ， 有了样本  之后，参数的似然函数为  ，似然方程为  ，解得  . 因为  的二阶导数总是负值，可见，似然函数在  处达到最大值。所以，  是的最大似然估计。例7.2.3 设总体  为  上的均匀分布，求  的最大似然估计。 的概率密度函数为 对样本  ，很显然，L(a，b)作为a和b的 二元函数是不连续的。这时我们不能用似然方程组(7.2.2)来求最大似然估计，而必须从最大似然估计的定义出发，求L(a，b)的 最大值。为使L(a，b)达到最大，ba应 该尽量地小，但b又不能小于  ，否则，L(a，b)=0。类似地，a不能大过  。因此，a和b的最 大似然估计为推荐精选  ，  .现在为止，我们以正态分布，泊松分布，均匀分