贝叶斯估计在抽样调查中的应用课件

第六章贝叶斯估计及其在

抽样调查中的应用2

（Bayes，Thomas）(1702─1761)

贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日卒于坦布里奇韦尔斯.

贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被选为英国皇家学会会员.

如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.3贝叶斯方法(Bayesianapproach

)贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述解决统计问题的方法(SamuelKotz和吴喜之,2000)。贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。

“贝叶斯提出了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法.”──摘自《中国大百科全书》（数学卷）4第一章先验分布与后验分布

统计学有两个主要学派:频率学派与贝叶斯学派.它们之间有异同,贝叶斯统计是在与经典统计的争论中发展起来,主要的争论有:1.未知参数可否作为随机变量?2.事件的概率是否一定的频率解释?3.概率是否可用经验来确定?

……….§1.1先介绍三种信息的概念经典统计学派规定统计推断使用两种信息:

总体信息样本信息而贝叶斯学派认为是三种信息:

总体信息样本信息先验信息5总体信息

即总体分布或总体所属分布族给我们的信息。譬如，“总体是正态分布”就给我们带来很多信息：密度函数是一条钟形曲线；一切一阶距都存在；有关正态变量（服从正态分布随机变量）的一些事件的概率可以计算；由正态分布可以导出分布，分布和分布等重要分布，还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很重要的信息，为了获得此信息，往往耗资巨大。7

基于上述两种信息进行的统计推断称为经典统计学，它的基本观点是把数据（样本）看成是具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。这方面最早的工作是高斯(Gauss,C.F.1777~1855）和勒让德（Legendre,A.M.1752~1833）的误差分析，正态分布和最小二乘法。从十九世纪末到二十世纪上半叶，经皮尔逊（Pearson,K.1857~1936）、费歇（Fisher,R.A.1890~1962）奈曼（Neyman.J.）等人的杰出工作创立了经典统计学。随着经典统计学的持续发展与广泛的应用，它本身的缺陷也逐渐暴露出来了。8先验信息

即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。例1：有一英国妇女，对奶茶能辨别出先倒进茶还是先倒进奶，做十次试验她都正确说出。

某学生第一次看到他的数学老师,即有反应:老师30岁到40之间,极可能35岁左右(左右可理解为正负3岁,极可能可理解为90%的可能).P(32≤X≤38)=0.90910三种信息

基于上述三种信息（总体信息、样本信息和先验信息）进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息。贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。11贝叶斯的信息处理路径12从概率论的Bayes公式谈起

设自然状态有k种，1，2，…，k，

P（i）表示自然状态i发生的先验概率分布，

P（x︱i）表示在状态i条件，事件为x的概率。

P（i︱x

）为i发生的后验概率。全概率公式：P（x）为x在各种状态下可能出现的概率综合值。注:把事件i，x看为随机变量,上公式则为Bayes后验分布13§1.2贝叶斯公式的密度函数形式1415161718后验分布是三种信息的综合,先验分布反应人们在抽样前对参数的认识,后验分布反应人们在抽样后对参数的认识Bayes统计推断原则:对参数所作任何推断(参数估计,假设检验等)都必须建立在后验分布基础上.19§1.3共轭分布法

后验分布和先验分布是同一个类型20

定义：设是总体分布中的参数（或参数向量），是的先验密度函数，假如由抽样信息算得的后验密度函数与有相同的密度函数形式，则称是的（自然）共轭先验分布。

应该着重指出，共轭先验分布是对某一分布中的参数而言的。如正态均值、正态方差、泊松均值等。离开指定参数及其所在的分布去谈论共轭先验分布是没有意义的。21正态均值（方差已知）的共轭先验分布是正态分布222324常用共轭先验分布25共轭先验分布的优点266.1统计推断的基础经典统计学派认为：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。27（1）总体信息:总体分布提供的信息。（2）样本信息:抽取样本所得观测值提供的信息。（3）先验信息:人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。先验信息在日常生活和工作中是很重要的，是重要的辅助信息。28

基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。它与经典统计学的差别就在于是否利用了先验信息。贝叶斯统计在重视使用总体信息和样本信息的同时，还注意先验信息的收集、挖掘和加工，使它数量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验信息的利用，有时是一种浪费，有时还会导出不合理的结论。29贝叶斯学派的基本观点：

任一未知量

都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布；在获得样本之后，总体分布、样本与先验分布通过贝叶斯公式结合起来得到一个关于未知量新的分布—后验分布；任何关于的统计推断都应该基于的后验分布进行。30贝叶斯估计在抽样推断中的应用

贝叶斯估计法也是一种需要利用与调查变量相关的辅助变量（先验信息）进行估计的方法，但其方法和思路与其他方法相比有自己的特色。贝叶斯估计法的基本思路是，要对某一指标或目标进行估计，则总体以前该指标的水平，即先验指标与目前欲估计的指标（即目标量）也称后验指标有关，可以利用先验指标对后验指标进行估计。31设，欲对总体均值进行估计，根据该总体以往的资料有该指标的平均数和方差，现从总体N中抽出容量为n的样本，计算得样本平均数和该平均数的方差，则总体均值的贝叶斯估计法的估计量为：

32其中：

估计量的方差为：

33

显然是相关的同一指标的两个取值水平，则上式的可以看做是以方差的倒数和为权数的加权算术平均，实际上此方差的倒数是估计精度的倒数，即方差的值越大，其倒数便越小，则相应平均数作为估计的精度就越低，通俗的讲是该平均数的代表性越差；反之，方差越小，其倒数越大，相应平均数的估计精度越高。34

贝叶斯估计量方差的意义是先验指标和抽样指标精度之和的倒数。而以上估计式有非常直观的含义：贝叶斯估计量的精度为先验指标精度与抽样指标精度之和，这意味着贝叶斯估计量的精度要高于中任何一个作为估计量的估计精度，即：