《极大似然估计的应用案例分析》8700字

极大似然估计的应用案例分析摘要极大似然估计法和矩估计法是数理统计中常用的两种点估计法，而由于极大似然估计法独有的特点，使其在生活中有着诸多应用。本文首先简单介绍了极大似然估计的发展历史和基本知识，并给出了极大似然估计的性质和计算方法。其次，先对另一种常用的点估计法——矩估计进行了简要介绍，并将其与极大似然估计进行对比，分析各自的优缺点并进行例证。文章最后例举并分析了极大似然估计在洪水概率预测、原油价格预测、排队模型优化和水下机器人的动力参数优化四个方面的应用，对各个案例的研究方法进行梳理，找出参数估计法的使用场景和极大似然法在其中起到的作用和其优势。关键词：点估计；极大似然估计；似然函数；不变性；渐近正态性目录引言 1第1章极大似然估计的基本理论 21.1极大似然估计的原理 21.2极大似然估计的定义 21.3极大似然估计的性质 21.3.1不变性 31.3.2渐近正态性 31.4极大似然估计的计算 31.4.1求离散型总体的极大似然估计量 31.4.2求连续型总体的极大似然估计量 4第2章两种点估计法的对比分析 52.1矩估计的概念与一般方法 52.2极大似然估计与矩估计的对比分析 52.2.1强降水地区洪水频率计算中的对比 62.2.2三参数威布尔分布参数求解中的对比 6第3章极大似然估计的应用 73.1极大似然估计在强降水地区洪水频率计算上的应用 73.1.1水文频率计算的分布模型 73.1.2拟合优度检验 83.1.3应用和分析 83.2极大似然估计在原油价格动态预测上的应用 103.2.1数据的处理和建模 103.2.2极大似然方法的参数估计 113.3极大似然估计在排队模型上的应用 123.3.1M/M/1排队模型 133.3.2M/M/1型的排队问题分析 143.3.3似然函数构造及的极大似然估计 143.4极大似然估计在水下机器人系统辨识中的应用 153.4.1水下机器人运动的数学模型 153.4.2极大似然法的研究和应用 163.4.3模型的验证 16参考文献 18引言极大似然估计（，简称为）是数理统计中点估计法中的一个常用估计方法，特别是对于总体分布已知但含有未知参数的情形，极大似然估计有着重要的作用，并且应用也较广泛。1821年，德国数学家针对正态分布问题提出了极大似然估计。一百年后，英国数学家正式在自己的论文中系统地提出这一方法并将其命名为极大似然估计。在工业化和信息化飞速发展的今日，数学是构建一切现代技术的理论根基。而极大似然估计作为一种重要的统计学理论方法，对指导生产、优化资源分配、提升效率都有着重大的贡献。许多学者针对极大似然估计的优化和应用作了研究。赵玲玲等人[1]研究了华南强降水地区洪水频率分布参数估计方法及应用，文中运用了四种不同的分布方法，对比了它们的预测结果准确度，针对强降水地区的洪水灾害预测问题提出了相关建议。冷娜[2]研究了基于贝叶斯和极大似然法的原油价格动态预测研究，在原油的价格的预测模型中使用了极大似然估计法。吴希[6]研究了基于极大似然估计算法的排队模型及其应用，在M/M/1排队模型的基础上，使用了极大似然法估计法结合相关模型参数较好地估计了利用率，并通过仿真实验验证了估值的准确性。刘建成等人[7]研究了极大似然法在水下机器人系统辨识中的应用，对在极大似然估计基础上的数据融合技术做了一个分析，并把这个技术应用在了水下航行器上，提出了一种全新的、可行的制导技术，经计算证明了这个方法的有效性。本文先介绍了极大似然估计的基本理论，之后对两种点估计法——矩估计和极大似然估计进行优缺点的对比，最后在四个具体应用案例中分析极大似然法在参数估计中起到的作用，并将其与其它参数估计法对比，得到极大似然法的特性和独有的优点。第1章极大似然估计的基本理论1.1极大似然估计的原理极大似然估计的原理为：发生概率最大的事件，最可能发生。其严谨表述如下：假设有个实验结果，若发生，则意味着发生的概率最大。换言之，若一个事件在一次实验中就发生，则可以认为其发生的概率最大。此处用两个例子来更进一步的了解：例1甲箱和乙箱完全相同，现将前者中放入98个黑球和2个白球，后者中放入98个白球和2个黑球。若在任一箱子中任取一球，得黑球，则此黑球取自哪个箱子？解从任一箱子中任取一球都有两种结果：表示“取到黑球”，表示“取到白球”。若球取自甲箱，则。若球取自乙箱，那么。在一次试验中若发生了，通常更倾向于认为:“这个黑球最像是从甲箱中取出的。”换言之，如果试验条件对结果的出现有利，那么从经验角度出发，可以推断出这个球是从甲箱里取出的。抛去较极端的案例数据，做出如下一般假设：甲箱中黑球的比例为，球总数为100，乙箱中黑球的比例为，总数也为100，且。现在任取一球，取到黑球，则如何推断此球取自哪个箱子？极大似然原理告诉我们，若黑球比例甲箱的更高，则此是从甲箱中拿出的。例2考试成绩是很多学校用来评价学生学习水平的参考标准。即使每个学生的临场发挥情况会有波动，但因高考的重要性和规模，将其当作学习能力的评价参考也有一定的道理。从极大似然的角度来分析，即成绩虽然会有波动，但学习能力与它的相关性仍然非常高，因此成绩高的学生，可以认为是学习能力强的。上述两个例子的分析都基于极大似然原理，在数理统计领域应用此理论的方法则被称为：极大似然估计。1.2极大似然估计的定义定义1设总体的概率函数为,其中是一个未知参数或几个未知参数组成的参数向量，是参数空间，是来自该总体的样本，将样本的联合概率函数看成的函数，用表示，简记为，,成为样本的似然函数。如果某统计量，满足,则称是的极大似然估计。1.3极大似然估计的性质1.3.1不变性不变性的描述如下：任一函数的最大似然估计为，其中是的最大似然估计。此性质可以简化获取某些复杂参数的极大似然估计的过程。例3已知和各自的极大似然估计为，正态总体的样本为，应用不变性，可方便地得到如下结果：标准差的极大似然估计是概率的MLE是有的极大似然估计1.3.2渐近正态性定义2称的相合估计是渐近正态的，若能找到，使满足标准正态分布，其中常数序列非负且趋于0。也称满足渐近正态分布，可以写成，是的渐近方差。分析知，仅在“趋于0”与“依概率收敛于”的速度同阶时，的分布才可能稳定地收敛于标准正态分布，所以相合估计依概率收敛于的速度即为。趋于0的速度如果过快，则上述比值会趋于；如果过慢，则上述比值会趋于0；只有当上下二者的速度同阶时，上述比值才有可能按分布收敛于。所以依概率收敛于的速度和趋于0的速度是相同的，由此称为渐近方差是合适并无歧义的。1.4极大似然估计的计算1.4.1求某离散型参数的极大似然估计量若总体属离散型，其分布列为的形式为已知，为待估参数，属于参数空间。设是来自总体的样本，求的极大似然估计量。建立似然函数取对数求偏导并让其结果为0对上述方程组求解，可得到的极大似然估计值例4总体的样本为，的情况未知，试求参数的极大似然估计量。解的分布律为：,故似然函数为,而，令，即，解得的极大似然估计值1.4.2求某连续型参数的极大似然估计量若总体X属连续型，其概率密度的形式为已知，为待估参数。设是来自总体的样本，求的极大似然估计量。建立似然函数取对数求偏导并让其结果为0对上述方程组求解，可得到的极大似然估计值第2章两种点估计法的对比分析2.1矩估计的概念与一般方法矩估计是统计学中一种估计总体参数的方法，其一般的应用思路如下：设是一随机变量，若存在，则称它为的阶原点矩，简称阶矩。称为样本阶矩，其为阶总体矩的无偏估计量。这也正是矩估计法的原理。 设为连续型随机变量，概率密度为；或为离散型随机变量，其分布律为。为待估参数，是来自的样本。假设总体的前阶矩为或通过式子可以看出，前阶矩是对于的函数。而样本阶矩是阶矩的无偏估计，故可以得到思路：假设我们有个待估参数，联立1阶矩、2阶矩、直到阶矩，我们就得到了个方程，个未知量（待估参数）；解得每个待估参数，接着用样本阶矩替换阶矩即完成估计。2.2极大似然估计与矩估计的对比分析表1极大似然法和矩估计法的优缺点比较极大似然法优点因为渐近有效所以估计的结果更容易显著极大似然估计法对于参数和模型的标准化设定更不敏感缺点数据的产生过程必须严格完整地被假定并且描述一般来说不太适用于包含理性预期的结构模型矩估计法优点模型的参数更容易被识别样本数量只要足够大，矩估计的优势也就越大缺点矩估计法对于参数和模型的标准化设定相对敏感在小样本下矩估计的表现较差下面用两个应用实例对极大似然估计和矩估计进行对比。2.2.1强降水地区洪水频率计算中的对比在强降水地区洪水频率计算中，通常会用到广用极值分布（）和型分布，其中在分布的参数估计方法中会同时用到极大似然法和矩估计法。其中极大似然法的公式如下：对于拟合效果好坏的检验，采用检验法，公式如下：下面分析曹江流域的水文极值变化，样本数据为1967年到2013年大拜水文站监测站得到的逐日流量年最大值，部分检验结果如下： 表2GEV分布的参数估计及优化检验结果GEV分布的参数估计及优化检验结果估计方法位置参数尺度参数形状参数概率权重矩189.219101.0010.13124.6590.0070.990极大似然197.05996.5720.15923.8980.0060.989常规矩间隔201.386112.1820.03129.1020.0760.976 由结果可知，相比于矩估计法，极大似然法在参数估计中有着更好的性能和准度。2.2.2三参数威布尔分布参数求解中的对比机械设备组成了永不停歇的生产线，是一个国家的工业体系的基础部件。机械设备能否稳定，安全地运转不仅事关国家的工业发展，还事关无数工人的人身安全。在工业上通常用威布尔分布来对系统失效的分布规律进行分析，并由此找到失效机理。威布尔分布能否起到理想效果的关键就是能否正确高效地进行参数求解，常用的方法有矩估计法、极大似然估计法、相关系数法等。此处我们采用三参数威布尔分布，其极大似然估计函数如下：表3三参数威布尔分布参数求解结果对比（部分）尺度参数形状参数位置参数对数值矩估计法29.45522.465220.3154-190.4587极大似然法26.63622.225122.8539-190.2729由结果可知，在三参数威布尔分布中，极大似然法比矩估计法有着更好的参数估计性能。第3章极大似然估计的应用3.1极大似然估计在强降水地区洪水频率计算上的应用我国东部大部分地区属于典型的亚热带季风气候，夏季受潮湿的季风影响，南部地区常见强降水天气，历史上发生过多次重大洪涝灾害，造成了巨大的生命财产损失。由于天气系统是一个典型的混沌系统，就目前的人类科学水平来讲是不可能做到精准预测的。但是我们完全可以结合已有的观测数据和历史数据利用一定的数学方法做出具有一定可靠性的预测。3.1.1水文频率计算的分布模型我国的水文频率计算最常用的是广用极值分布（）和型分布等，而极大似然法就是一个重要的参数估计方法。型分布在数学上被称为伽马分布，对随机变量，其概率密度函数为：且，为形状参数、为尺度、为分布的位置；、、分别为偏差系数、离散系数、均值。以下四种参数估计方法在广用极值分布中会被用到：极大似然法、概率权重矩、间隔最大积估计、常规矩。此处给出极大似然法的公式：此方法对样本数量有一定的要求，但同时具有良好的统计性质。3.1.2拟合优度检验此处采用检验法来判断拟合效果的好坏：均方根误差()：.经验频率和理论频率拟合误差平方和()：,在不变的条件下，相关系数越大，值和值越小，拟合的结果也就越好。3.1.3应用和分析监测河流选择了曹江流域，其位于广东省南部，流经区域的气候为亚热带季风气候。在其中上游出口段设有大拜水文站，下面分析曹江流域的水文极值变化，样本数据为1967年到2013年大拜水文站监测站得到的逐日流量年最大值，结果如下。因型分布的参数估计方法中没有用到极大似然法，因此此处重点分析分布。表4GEV分布的参数估计及优化检验结果GEV分布的参数估计及优化检验结果估计方法位置参数尺度参数形状参数概率权重矩189.219101.0010.13124.6590.0070.990极大似然197.05996.5720.15923.8980.0060.989常规矩间隔201.386112.1820.03129.1020.0760.976MPS估计195.231103.069-0.17726.9140.0470.870 由结果可知，由于数值最大，、数值最小者均为极大似然估计法，因此在分布中此方法的拟合效果是最好的。极大似然形态参数在优化检验结果的数据中为正值，这表明水文极值序列是右短尾分布；由拟合优化检验结果可知，极大似然法的估算结果在广用极值分布的四种参数估计法中依然有着最优的结果数据，并且它也有着最大的设计频率分位数值结果数据。因此从防洪工程的安全性、可靠性出发，应该将分布及其参数估计的极大似然法作为优先考虑的数学建模方法。图1洪水极值累积频率曲线观察结果图像可知，常规矩估计与分布极大似然法在频率曲线中分别有着最好的拟合度，由此可认为在曹江流域洪水分布的计算方法选择上可采用分布，而极大似然法因其最好的性能，可被用作分布的参数估计方法。以上数据分析和论证表明，在洪水频率的计算上采用极大似然估计的参数方法是能在一定程度上提供更可靠的工程结果的，并且在诸多的工程应用案例中，也早已证实了极大似然估计法相对其他参数估计方法的优点。洪水频率的计算是极大似然估计的一个良好且典型的应用。3.2极大似然估计在原油价格动态预测上的应用当今世界的诸多地区和国家间的纷争归根到底都是利益的纷争，而利益的保障从根本上来讲，就是发展能源的保障。原油——作为一种远古生物转化成的化石能源，虽然有着不可再生、转化率低、分布不均匀、对环境不友好等缺点，但由于人类在其萃取等工艺上的成熟和它巨大的储量基础，使得即便在今天人类已有能力利用其它可再生且环保的能源，原油仍然是各国发展的血液。同时，政治和经济也会对原油价格波动做出迅速的反应。根据统计数据，相比较于2005年，2006年我国的固定资产投资价格指数上涨了0.46%，上涨了0.46%、上涨了0.3%，我国综合物价上涨大约0.39%，而导致这一系列现象的原因，便为这一年间原油价格10%左右的上涨。由此可见，若能在一定程度上对原油价格做出预测，其必将对经济和政治等领域产生重大意义。下文中会用到模型来模拟原油价格的波动变化，在参数估计中会用到极大似然估计法与贝叶斯方法。数据来源为某时期的真实原油价格，同时用到滚动周期法对西德克萨斯中质油（）价格进行样本外预测，并从已有数据出发，对波动率和价格做出预测，最终由此计算出两种估计方法各自的结果。随机波动模型简要介绍如下。模型因其发明者而得名，在金融领域，它是一种描述潜在资产波动变化的数学方法。在基础的模型应用中，我们有如下等式：，其中是资产的价格，而为瞬时方差，其满足.和均为维纳过程。上述等式中其它的参数定义如下：是资产的回报率，是长周期变化，是到的转化率，是波动率的波动率。此项应用的建模及分析实现思路如下：利用西德克萨斯中质油（）在2015年7月24日至2018年5月10日中的五分钟频率交易数据来构建已实现的波动率模型。从波动模型出发，分析得出极大似然估计法与贝叶斯法的参数估计表达式。利用滚动周期的样本外预测法对油价和最终结果做出预测。对比两种估计方法下的模型预测结果。3.2.1数据的处理和建模首先离散处理模型，得到下式下文中将分别使用和来表示一天内原油价格的已实现波动率和简单收益率序列。3.2.2极大似然方法的参数估计极大似然估计的表达式推导如下：极大化似然函数后，可知参数应该满足，其中。做出如下变换：，由此和均可极大化，最终有。结合上述各式，各个参数的极大化条件需求便可得知。从上述方程组出发，可得各参数的极大似然估计结果如下：对比数据可知在在预测信息熵方面，贝叶斯方法的准确性差于最大似然估计法。即在本文的模型和数据环境下，对于原油价格的预测若采用最大似然估计，则会得到更优的预测性能和预测结果，同时若给出更大的估计样本，相比于贝叶斯方法，极大似然估计法的优势愈发明显。本文展现了极大似然估计这一数学方法的一个优秀的应用案例。在原油价格的预测问题中引入的极大似然估计法，并得到了较好的预测结果，这对政府政策制定、相关投资者对原油市场的把控以及庞大的遍布全球的原油产业链中的企业做出部署决策都有着思路的开阔和参考的意义。3.3极大似然估计在排队模型上的应用“排队”一词在生活中通常指的是人们根据先来后到的顺序排成一列的等待服务的现象，但是如果将其抽象为一种数据结构，它则指代的是一种操作受限的线性表，其遵循“先来先服务”原则。作为一种重要的数据结构，其在计算机领域的广泛应用可想而知——各类缓冲区、进程和线程的调度算法、硬件资源的分配算法等等地方都会用到队列。反观现实生活，排队模型也是随处可见，除了典型的“排队等待”现象之外，还有诸如货船按序进港停靠，飞机按序等待机场空闲降落等等。简单来说，只要资源或服务不能被立刻满足，而资源申请者又不只有一位，那么在按照“先来先服务”的原则分配资源时，就会产生排队现象。这是一种人为的分配原则规约，但又因为它遵循最简单的，符合直觉的“先来后到”原则，又被得以广泛应用于人类社会的各个角落。排队现象的产生多是因为资源的短缺，而增加更多的可分配资源则是缓解排队现象，提高工作效率的常用方法。建立排队模型，根据相关参数便可估算出优化资源配置的方案。3.3.1M/M/1排队模型排队论主要研究服务系统中排队现象随机规律，是数学运筹学的分支学科。而排队模型就是排队论的理论模型之一。模型是一种单一服务器()的排队模型，许多系统的运作都可用其模拟实现。依据，其必须满足下列条件：到达时间卜瓦松过程（）服务时间是指数分布（）只有一部服务器（），遵循先到先服务规则队列长度无限制可加入队列的人数为无限排队模型中的常用变量如下：出生率（即加入队列的速率）死亡率（即完成服务离开队列的速率）缓冲效用，表示服务被占用的平均概率整个系统的平均人数，其方差为单位时间内系统完成服务的人数在队列中等待服务的人数一人在系统中的平均逗留（等候+接受服务）时间一人的平均等候时间3.3.2M/M/1型的排队问题分析这里我们主要解决型的排队问题，简要特性描述如下：顾客到达条件满足分布。服务时间服从负指数分布。系统容量无限，顾客源无限。采用先到先服务机制的服务机制。如上文所指出的，此模型中我们常用缓冲效用来表示服务被占用的平均概率，而为了利用模型为系统的改进措施提供建议，需要确定一个评估系统服务质量优劣的变量，因此缓冲效用恰好可以满足这一要求。在此处应用中，主要用到参数离开部分的队长、个连续顾客的等待时间等来进行极大似然函数的构造。3.3.3似然函数构造及的极大似然估计利用马尔可夫过程来分析顾客的到达时间间隔和服务时间分布关系，分析可知这二者满足指数分布且概率密度分布函数如下（为到达率，为离去率）：上文分析过，系统的利用率使用来表示。第部分的顾客数为，则马尔可夫过程中的分布函数为若将初始队长记为，同时将排队系统等分，则初始队长若进入稳定状态，其分布形式呈等比数列，记为。忽略系统中顾客数的状态变化中的细节，只考虑状态本身的变化，则似然函数可以表示为,最终可解得的极大似然估计量为，其中，，。下面利用一次仿真实验来检测极大似然估计法的效果。首先将和的变化设定为常量15，同时，、为随机变量。利用指标平均均方根误差来评估极大似然估计法的准确性：结果如下表：表5极大似然估计方法仿真结果450750150045075015000.4830.4940.4970.6720.6610.6950.0230.0170.0110.00310.02110.0115由上表可知，若采用极大似然估计法，结果存在很小的误差，且估计值非常靠近真值。由此可见在排队模型中极大似然估计法可以提供可靠性较高的估量结果，在一些实践中可以考虑将极大似然估计法作为模型的估量方法。3.4极大似然估计在水下机器人系统辨识中的应用此应用从某智能水下机器人的实验数据出发，利用极大似然参数估计法和其松弛算法，估算得到了此水下机器人的动力系数，并且将得到的动力系数结果与运动仿真结合进行模型验证的话，会发现结果是可靠的。此应用的研究结果可以为水下机器人的环境自适应功能和操纵算法改进提供一定的参考价值。3.4.1水下机器人运动的数学模型水下机器人水平面运动的一般方程在刚体动力学理论中的描述如下：式中，机器人的重心坐标为，力矩的下标分别表示推力器和艇体，运动参数是艇体水动力变化的自变量，机器人的质量记为。进一步推导，可得最终的数学模型：3.4.2极大似然法的研究和应用在参数估计的极大似然法中，其目的为选取参数，使似然函数达到最大值：，对于条件概率密度函数，假定其满足正态分布。在中，条件均值记为，条件协方差为。极大似然估计依赖于能否找到参数，使达到最小值。3.4.3模型的验证通过运动仿真进行验证，结果如下：图2水下机器人运动仿真结果如图可知，仿真结果与实验基本吻合，虽仍存在误差，且计算精度有限，但综合来看由极大似然法估量得到的水动力系数是合理的。参考文献[1]赵玲玲,杨兴,刘丽红,陈子燊.华南强降水地区洪水频率分布参数估计方法及应用[J].水电能源科学,2019,37(05):23.[2]冷娜.基于贝叶斯和极大似然法的原油价格动态预测研究[D].云南财经大学,2020.[3]任泽平,潘文卿,刘起运.原油价格波动对中国物价的影响——基于投入产出价格模型[J].统计研究,2007,24(011):22-28.[4]AClosed-FormSolutionforOptionswithStochasticVolatilitywithApplicationstoBondandCurrencyOptions[J].ReviewofFinancialSt