最大似然估计法

1、最大似然估计法的基本思想最大似然估计法的思想很简单：在巳经得到试验结果的情况下，我们应该寻找使这个结果出现 的可能 性最大的那个8作为真g的估计。我们分两种情进行分析：1.离散型总体设/为离散型随机变量，其概率分布的形式为,勺 X ,则样Y Y X Y尸与二工l，A =也二琮二口汉知日1恩，人，虬）本” ”的概率分布为，女知M 岛,XV xlrxQrA在1 * i固定时，上式表示1 2 B取值1 *的概率；由AS方h岛（侪也,A也）当1 X固定时，它是1 *的函数，我们把它记为i 3并称M&，A 恐）=营（&，A，练）日 Q A 3 i为似然函数。似然函数方的值的大小意味着该样本值出现的可能性

2、的大小。既然巳经得到了样本值如代，那它出现的可能性应该是大的， 即似然函数的值应该是大的。因而我们选择使伉& 达到最大值的那个8作为真8的 估计。2.连续型总体设京 为连续型随机变量，其概率密度函数为1则1， ， ”为从该X K X总体抽出的样本。因为1 *相互独立且同分布，于是，样本的联合概率密度函数为顼芍,A ,外，&，人，线）=H了（S召1，人，乩）a占* a，在，在丸&人也是固定时，它是又在心心、外处的密度，它的大小与芍乂山出落齐x1?zq.A 齐.6.在1 *附近的概率的大小成正比，而当样本值1 *3固定时，它是1 * 的匚贷S A 3 MiA，乩）=口成，环人恐）函数。我们仍把它记

3、为* 并称】T为似然函数。类似于刚才的讨论，我们选择使 l 3最大的那个作为真的估计。瓦西,人，购队日l,务，A息） b总之，在有了试验结果即样本值 】 乂时，似然函数L A反映了的各个不同值导出这个结果的可能性的大小。我们选择使1 2 足达到最大值的那个作为真的估计。这种求点估计的方法就叫作最大似然法。7.2.2最大似然估计的求法 矿 /I, 厂日 ji, a假定现在我们巳经观测到一组样本 1 *要去估计未知参数 。一种直观的顶 F A想法是，哪一组能数值使现在的样本 ” ”出现的可能性最大，哪一组参数可能就是真正的X X K X参数，我们就要用它作为参数的估计值。这里，假定我们有一组样本1

4、齐”.如果对参数的两组不同的值和卜反，似然函数有如下关系（A，顽此A点）,A外;咪A ,兔）临,那么，从血）又是概率密度函数的角度来看，上式的意义就是参数1使1 X出现的可能性比参数1 息使1 H出现的可能性大，当然参数1比*更像是真正的参数.这样的分析就导致了参数估计的一种方法，即用使似然函数达到最大值的点，作为未知参数的估计，这就是所谓的最大似然估计。现在我们讨论求最大似然估计的具体方法.为简单起见，以下记） ，小1， ,求。的极大似然估计就归结为求的最大值点.由于对数函数是单调增函数，所以1%硕=立1箜川的耳）j-L(7.2.1)log U与 有相同的最大值点。而在许多情况下，求 苫、的

5、最大值点比较简单，于是，我们就顼研log Zm厨E伊） 侃出血将求的最大值点改为求的最大值点.对关于1 k求导数，并命其等于零，得到方程组(7.2.2)称为似然方程组。解这个方程组，又能验证它是一个极大值点，则它必是log 瑚)，也就L（&）是的最大值点，即为所求的最大似然估计。大多常用的重要例子多属于这种情况。然而在一些情况 下，问题比较复杂，似然方程组的解可能不唯一，这时就需要进一步判定哪一个是最大值点。还需要指出，若函数 1 关于1*的导数不存在时，我们就无法得到似然方-、一皿白,土程组（7.2.2），这时就必须根据最大似然估计的定义直接去的最大值点。目0山勤）耻以，缶在一些情况下，我们

6、需要估计。如果分别是的最大似然估则称为吕、1 的最大似然估计。下面我们举一些例子来说明求最大似然估计的方法。例7.2.1设从正态总体抽出样本 I 乂，这里未知参数为产和0-3和_2（注意我们把看作一个参数）。似然函数为mm它的对数为log）=一或20 ； 1。威）话似然方程组为妪3 F) 1 -=-= 55 i-1Slog cj22 a7由第一式解得|口 = x =(7.2.3)A i-1代入第二式得(7.2.4)，.、，、， V 似然方程组有唯一解（，/ )而且它一定是最大值点，这是因为w|t It。0Li fr21 或=ru或8时，非负函数J。于是产和b的最大似然估计这里，我们用大写字母表

7、示所有涉及的样本，因为最大似然估计 尹和# 都是统计量，离开了 具体的一次试验或观测，它们都是随机的。例7.2.2设总体顶 服从参数为的泊松分布，它的分布律为，有了样本之后，参数入的似然函数为，似然方程为，解得例7.2.3设总体/为 艺的概率密度函数为，对样本乂*5因为庇L0）的二阶导数总是负值，可见，似然函数在*处达到最大值。所以，入的最大似然估计。上的均匀分布，求的最大似然估计。很显然，L（a，b）作为a和b的二元函数是不连续的。这时我们不能用似然方程组（7.2.2）来求最大似 然估计，而必须从最大似然估计的定义出发，求L（a，b）的最大值。为使L（a，b）达到最大，b a应该ma（而，, xv尽量地小，但b又不能小于，否则，L（a, b）=0。min（工,玛,A，死）类似地，a不能大过。因此，a和b的最 大似然估计为现在为止，我们以正态分布，泊松分布，均匀分布的参数以及事件发生的概率的估计为例子讨论了 矩估计和最大似然估计。在我们所举的例子中