参数统计推断方法

参数统计与概率论相比，统计的重要特点在于分布的不确定性。实际中，在得到样本以后，我们最关心的问题之一便是想知道是分布族中的哪一个分布产生此样本，即要从样本推断总体分布或其各种特征数。英国著名统计学家R.A.Fisher

把统计推断归纳为三个方面：抽样分布、参数估计、假设检验。什么是参数估计问题X~P(λ),X~E(λ),X~N(μ,σ2)用所获得的样本值去估计参数取值称为参数估计.参数估计点估计区间估计用某一数值作为参数的近似值在要求的精度范围内指出参数所在的区间

参数估计的基本思想参数的点估计估计的优良性估计的概念相当广泛，任何人都可以给出估计，如果不对估计的好坏加以明确，估计是没有意义的。下面介绍估计的好坏标准。估计量的评选标准对于总体的同一个未知参数，由于采用的估计方法不同，可能会产生多个不同的估计量。这就提出了一个问题，当总体的同一个参数存在不同的估计量时，究竟采用哪一个更好？这涉及到用什么样的标准来评价估计量的好坏问题，对此，我们介绍几个常用的评价标准：无偏性、有效性和一致性。无偏性在评价一个估计量的好坏时,我们当然希望估计量与被估参数越接近越好.但估计量是一个随机变量,它的取值随样本的观测值而变,有时与被估参数的真值近些,有时远些,我们只能从平均意义上看估计量是否与被估参数尽量接近,最好是等于被估参数.于是有无偏估计量的概念.无偏性体现了一种频率思想。只有在大量重复使用时，无偏性才有意义。如估计某批产品的合格率p，从中抽取n个产品进行检查，发现有X个合格。容易验证，在假定X服从二项分布下，X/n是p的无偏估计。然而对一次具体观测值x来说，x/n要么等于p,要么不等于p,此时无偏性显得没有意义。若问题改为某一工厂每天都对其生产的产品进行抽检，假定生产过程相对稳定，则估计的无偏性要求便是合理的。比如用X/n估计p,对每一天而言，该估计可能偏大也可能偏小，但在一段较长的时期内，x/n平均来说在p的周围，有效性一个参数的无偏估计量不是唯一的,假若参数θ有两个无偏估计量,我们认为其观测值更密集在参数θ真值附近的一个较为理想.由于方差是随机变量取值与其数学期望的偏离程度的度量,所以无偏估计以方差小者为好.这就引出了估计量的有效性这一概念.一致性估计量的无偏性和有效性都是在样本容量固定的前提下提出的.我们自然希望随着样本容量的增大,一个估计量的值稳定于待估参数的真值.这就对估计量提出了一致性的要求.如何找出参数的估计方法矩法、极大似然方法和最小二乘法是寻找参数点估计的三种主要方法。矩是基于一种简单的“替换”思想建立起来的一种估计方法，它由K.Pearson在20世纪初提出，其基本思想是用样本矩估计总体矩。理论依据：大数定律矩估计法的具体步骤设总体X的分布函数中含有个未知参数，假定总体X的前阶矩存在，则可通过下列步骤求未知参数的矩估计量:(1)求总体X的前阶矩若总体X是离散型随机变量，其分布律为：则：则：总之，是参数的函数，记为：若总体X是连续型随机变量，其密度函数为：(2)由（*）式解出为：(3)用的估计量分别代替（**）中的则得的矩估计量

注:▲上述计算步骤对阶中心矩也是成立的。

因为阶中心矩总可以通过展开的方法展开为不超过总体阶原点矩的函数。▲矩估计法的优缺点：矩估计法并不要求知道总体分布的具体形式就能对总体的数字特征作出估计矩估计法要求总体的矩存在，若总体的矩不存在则矩估计法失效；优点：

缺点：对某些总体的参数矩估计量不唯一，这在应用时会带来不利；对某些总体的参数矩估计量有时不合理;矩估计法只是利用了矩的信息而没有充分利用总体分布函数的信息

极大似然估计

极大似然估计是在母体类型已知条件下使用的一种参数估计方法.

它首先是由德国数学家高斯在1821年提出的,费歇在1922年重新发现了这一方法，并首先研究了这种方法的一些性质.

先通过一个简单的例子来说明极大似然估计的基本思想一只野兔从前方窜过，是谁打中的呢？某位同学与一位猎人一起外出打猎.如果要你推测，你会如何想呢?只听一声枪响，野兔应声倒下.

下面我们再看一个例子,进一步体会极大似然法的基本思想.

你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率.看来这一枪是猎人射中的.

这个例子所作的推断已经体现了极大似然法的基本思想.例1

一个箱子里装有黑、白球共9个,我们从中随机地无放回地抽取三个球，发现恰有2个黑球，请猜一下(估计)箱子里有几个黑球，几个白球.

这是典型的“黑箱”问题.可以这样来分析、推断：随机所以能取得“二个黑球一个白球”这是由箱中球的状况决定的.我们就从这个“信息”出发.

箱中球的状况能取得二个黑球一个白球的(所有可能情形)可能性大小

黑球数白球数P1.1802.273.364.455.546.637.728.819.90010.090

比较这些概率的大小，我们可以推断箱中黑球数最有可能是6个(显然，这个推断不是绝对正确的).

这是一种新的逻辑推理方法：根据概率最大，推断“事情”发生的原因是什么.最小二乘估计---常见于线性模型1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。法国科学家勒让德于1806年独立发现最小二乘法，但因不为时人所知而默默无闻。勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明，因此被称为高斯-莫卡夫定理。最小二乘的思想就是要使得观测点和估计