《极大似然估计的基本理论综述》1400字

极大似然估计的基本理论综述1.1极大似然估计的原理极大似然估计的原理为：发生概率最大的事件，最可能发生。其严谨表述如下：假设有个实验结果，若发生，则意味着发生的概率最大。换言之，若一个事件在一次实验中就发生，则可以认为其发生的概率最大。此处用两个例子来更进一步的了解：例1甲箱和乙箱完全相同，现将前者中放入98个黑球和2个白球，后者中放入98个白球和2个黑球。若在任一箱子中任取一球，得黑球，则此黑球取自哪个箱子？解从任一箱子中任取一球都有两种结果：表示“取到黑球”，表示“取到白球”。若球取自甲箱，则。若球取自乙箱，那么。在一次试验中若发生了，通常更倾向于认为:“这个黑球最像是从甲箱中取出的。”换言之，如果试验条件对结果的出现有利，那么从经验角度出发，可以推断出这个球是从甲箱里取出的。抛去较极端的案例数据，做出如下一般假设：甲箱中黑球的比例为，球总数为100，乙箱中黑球的比例为，总数也为100，且。现在任取一球，取到黑球，则如何推断此球取自哪个箱子？极大似然原理告诉我们，若黑球比例甲箱的更高，则此是从甲箱中拿出的。例2考试成绩是很多学校用来评价学生学习水平的参考标准。即使每个学生的临场发挥情况会有波动，但因高考的重要性和规模，将其当作学习能力的评价参考也有一定的道理。从极大似然的角度来分析，即成绩虽然会有波动，但学习能力与它的相关性仍然非常高，因此成绩高的学生，可以认为是学习能力强的。上述两个例子的分析都基于极大似然原理，在数理统计领域应用此理论的方法则被称为：极大似然估计。1.2极大似然估计的定义定义1设总体的概率函数为,其中是一个未知参数或几个未知参数组成的参数向量，是参数空间，是来自该总体的样本，将样本的联合概率函数看成的函数，用表示，简记为，,成为样本的似然函数。如果某统计量，满足,则称是的极大似然估计。1.3极大似然估计的性质1.3.1不变性不变性的描述如下：任一函数的最大似然估计为，其中是的最大似然估计。此性质可以简化获取某些复杂参数的极大似然估计的过程。例3已知和各自的极大似然估计为，正态总体的样本为，应用不变性，可方便地得到如下结果：标准差的极大似然估计是概率的MLE是有的极大似然估计1.3.2渐近正态性定义2称的相合估计是渐近正态的，若能找到，使满足标准正态分布，其中常数序列非负且趋于0。也称满足渐近正态分布，可以写成，是的渐近方差。分析知，仅在“趋于0”与“依概率收敛于”的速度同阶时，的分布才可能稳定地收敛于标准正态分布，所以相合估计依概率收敛于的速度即为。趋于0的速度如果过快，则上述比值会趋于；如果过慢，则上述比值会趋于0；只有当上下二者的速度同阶时，上述比值才有可能按分布收敛于。所以依概率收敛于的速度和趋于0的速度是相同的，由此称为渐近方差是合适并无歧义的。1.4极大似然估计的计算1.4.1求某离散型参数的极大似然估计量若总体属离散型，其分布列为的形式为已知，为待估参数，属于参数空间。设是来自总体的样本，求的极大似然估计量。建立似然函数取对数求偏导并让其结果为0对上述方程组求解，可得到的极大似然估计值例4总体的样本为，的情况未知，试求参数的极大似然估计量。解的分布律为：,故似然函数为,而，令，即，解得的极大似然估计值1.4.2求某连续型参数的极大似然估计量若总体X属连续型，其概率密度的