（概率论与数理统计专业论文）经验贝叶斯方法在多参数估计问题中的一些讨论及应用.pdf

中文摘要 经验贝叶斯方法( e b ) 是一种融样本客观性于主观贝叶斯方法的现代统计 分析模式，其自诞生以来在火灾预警处理、质量控制以及生物统计等许多领域得 到了广泛的应用。在本文中，我们回顾了近半个多世纪以来前人在经验贝叶斯方 法上所作的主要_ t 作，整理并推导了一些常用分布的经验贝叶斯估计结果。同时， 本文还对经验贝叶斯估计方法在实用中经常遇到的一些我们所感兴趣的问题进 行了讨论和研究，提出了一些新的数据处理和模型改进方法。如：辅助信息量的 改进方法、数据标准化预处理方法以及分层经验贝叶斯的理论与方法等。这些新 的方法，在实用中往往可以对传统的估计量起到明显的优化作用，本文也用一定 的实例和模拟结果进一步证实了它们的有效性。 关键词：经验贝叶斯、s t e i n 估计量、辅助信息量、分层经验贝叶斯 中图分类号：0 2 1 2 8 a b s t r a c t e m p i r i c a lb a y e sm e t h o di sam o d e ms t a t i s t i c a lm o d e lt h a tb o r r o w so b j e c t i v es a m p l e i n f o r m a t i o ni n t ot h et r a d i t i o n a ls u b j e c t i v eb a y e s i a nm e t h o d s i th a sb e e nw i d e l yu s e d i nt h ea r e a sl i k e f i r ea l a r mp r e d i c t i o n q u a i l t yc o n t r o la n db i o s t a t i s t i t se v e rs i n c e p r o p o s e d i nt h i sa r t i c l e ，w er e t r o s p e c tt h em a j o rr e s e a r c hw o r k so ne m p i r i c a lb a y e s m e t h o d sd u r i n gt h ep a s th a l f ac e n t u r y , a n da l s ow eg a v eo u tc e r t a i nt h e o r e t i c a lr e s u l t s a c h i e v e db yu s i n ge bm e t h o d so ns o m eu s u a ld i s t r i b u t i o n s i nt h em e a nt i m e w e d e v e l o p e ds g v e l a ln o v e lm e t h o d st od e a lw i t hc e r t a i nd a t as a m p l e st h r o u g l lo u tt h e d i s c u s s i o no fa p p l i e de m p i r i c a lh a y e se s t i m a t i o nm e t h o d s u c ha s ：a ni m p r o v e d a u x i l i a r yi n f o r m a t i o ne s t i m a t e as t a n d a r d i z e dm e t h o df o ra n o m a l yd a t a s e t sa n dt h e t h e o r i e so fc l a s s i f i e de m p i r i c a lb a y e sm e t h o d s aj it h e s eh o v e lm e t h o d s w h i c hw e p r o v e dl a t e ri nt h i sa r t i c l e w e r es u p p o r t e db ye m p i r i c a la n ds i m u l a t i o nr e s u l t s k e yw o r d s ：e m p i r i c a lb a y e s ，j a m e s - s t e i ne s t i m a t e ，a u x i l i a r ye s t i m a t e ，c l a s s i f i e d e m p i r i c a lb a y e s 2 1 引言 第一章绪论 经验贝叶斯方法( e b ) 的运用最早是由r o b b i n s 于1 9 5 5 年提出的，其在多 参数估计的问题应用中表现出很好的性质。历经半个世纪的发展，经验贝叶斯方 法在火灾预警处理、质量控制以及生物统计等许多领域得到了广泛的应用，并且 越来越为广大科研工作者所接受和采用。而在这些实际问题的处理过程中，无不 涉及到多参数估计的问题，正是由于经验贝叶斯方法的运用，使得我们得到了比 传统方法结果更为良好的最终估计。因而，关于经验贝叶斯方法在多参数问题中 应用的进一步讨论与研究，是很具现实意义的。 我们首先回顾一下前人在经验贝叶斯方法上所作的主要工作。尽管关于经验 贝叶斯方法的研究一直是理论界所关注的一个热门问题，但其在实质性方法论上 的主要贡献是由为数不多的几位前辈所做出的。1 9 5 5 年，r o b b i n s 最早提出了经 验贝叶斯的思想，可以说是整个经验贝叶斯方法论的奠基者。j a m e s ，w 和s t e i n ， c 在1 9 6 1 年给出了著名的同方差情形下的j a m e s s t e i n 估计量如下式 g ( n 5 ，+ ( 1 一( i 一2 ) s ) ( i 一“) ，i = 1 ，- ，k ，k 3 1 1 1 这个估计量的提出，第一次将经验贝叶斯方法引入到了多参数估计问题的讨论 中，也为经验贝叶斯方法的应用奠定了最为有效的一个实用领域，在这以后的许 多实际问题研究中，经验贝叶斯方法的应用者都或多或少地涉及到对j a m e s s t e i n 估计量的直接引用或进一步修正。紧接着，e f r o n 和m o r r i s 于上世纪7 0 年代初 发表了一系列具有突破性理论意义的论文，开辟了参数经验贝叶斯这一当今经验 贝叶斯分析的主流方法，并且形成了一套相对完整的理论框架。在阻后数十年中 经验贝叶斯方法的发展过程中，大部分的理论结果都是延续着当初由e f r o n 和 m o r r i s 所奠定的这套理论体系所获得的。可以说，以上所提到的关于经验贝叶斯 方法的主要工作，已经为整个经验贝叶斯理论的形成与发展铺平了基石，并且促 进了经验贝叶斯方法逐步完善为在理论上和实用中都具良好结果的一类估计方 法。 在经验贝叶斯方法实际应用于多参数估计问题时，又会遇到各种各样的问 题。例如一些学者提出应当采用异方差假设取代同方差假设来进一步构造模型进 行经验贝叶斯估计。还有一些情况下，由于数据集本身的特点，我们运用经验贝 叶斯方法往往不能达到预期的效用，即有时传统经验贝叶斯方法得到的估计结果 会很难区分于极大似然估计的结果。针对这些不同的实际情况，我们都将在本文 中加以进一步讨论，提出一些解决问题的新方法。 2 本文主要工作 本文整理并推导了一些常用分布的经验贝叶斯估计结果，主要涉及：样本 方差已知正态分布多参数估计问题的贝叶斯方法、口先验下二项分布参数估计问 题的经验贝叶斯方法、均匀先验下二二项分布参数估计问题的经验贝叶斯方法以及 均匀先验下泊松分布参数估计问题的经验贝叶斯方法等。 针对样本异方差问题，我们提出根据每组样本已有的数据来对其方差进行估 计的方法，经过这样处理后得到的经验贝叶斯估计不再具有同方差假设下模型所 获得的不合理保序性。基于数据样本“和如下多参数估计模型： r 一( 谚，) ，i = l ，一，t 1 2 1 岛一( ，一) ，f = 1 ，- 一，t 1 2 2 我们推导获得异方差假设下参数的经验贝叶斯估计量的最终表达式 萨= + 器芸c 一丢喜 c i l 善n 一 窑c 寺骞y 唼窑峙骞删 c 音和 m 3 同时我们还在异方差假设下将传统的s t e i n 估计量中的辅助信息量进一步拓 展，构造出对辅助信息量进行加权平均修正后的s t e i n 估计量 弘南t 窑赢“磁 1 2 4 对于实际中过程数据受外界因素影响情形下的多参数估计问题，我们给出了 相应的过程数据标准化方法，通过对数据集进行纵向的平均处理恢复过程均值的 稳定性，实验表明，最后获得的新数据集 贰) 具有状态稳定的良好性质，更适合 于进行参数的经验贝叶斯估计。 对于在很多数据集应用中出现的传统经验贝叶斯方法估计结果与极大似然 估计结果难以区分的问题，我们探索性地提出分层经验贝叶斯的方法加以解决。 通过一定的数据分层原则，对于整个数据集拆分成如下j 层： ，) ，江毛+ l ，k 然后对于第t ( t = 1 ，s ) 层的样本数据集，我们使用传统的经验贝叶斯估 计方法，得到其相应的均值参数估计量 语括耳+ 击枷小 似一，s 地s 其中t 值的选取取决于下标( d 的样本组所属的层数，并且下标带，的估计量 鲨矽；i瓣蒸一置嘴 如 + 1 ， ，l + l t = = ， ) ， ， h h ( ( 均由第t 组内部的数据获得，例如我们有： 孓羔r 以及弘吉点嘎而2，= y i ，+ lj = y ，+ 1 对于组间相似性不好的实际例子，实证表明这种分层经验贝叶斯估计的方法 可以大大提高估计的效率。 最后，本文通过一个高中生学习成绩估计的实际例子和一个计算机程序模拟 实际数据进行估计的例子对文中提出的一系列经验贝叶斯估计方法加以验证和 讨论，都取得了较为满意的结果。实证表明：我们提出的方法能够取得不同程度 下优于传统经验贝叶斯估计方法的估计结果。 3 本文结构安排 下面简单介绍一下本文接下来几章的结构安排与主要内容 在第二章中，我们给出经验贝时斯方法的理论综述，对这一领域研究的主要 成果加以阐述，同时介绍了关于该方法的些定义与传统结果。 第三章是对常用分布参数估计的经验贝叶斯方法讨论，整理并推导了一些常 用分布的经验贝叶斯估计结果，这些结果在实用中针对不同的数学模型可以起到 一定的指导作用。 第四章和第五章是本文的核心部分。第四章中我们讨论了经验贝叶斯方法在 多参数估计问题中应用时所遇到的一些问题，并且给出了我们的解决方法。而第 五章中，我们运用实际数据和模拟数据相结合的方式，对文中所提出的数据模型 和处理方法作实证分析，迸一步验证了这些新方法的有效性和实际意义。 最后在第六章中，我们对论文作了一个简要的总结，并且对将来经验贝叶斯 方法领域内研究工作的发展做出了一些的展望。 第二章经验贝叶斯方法的理论综述 现代经验贝叶斯方法可以分为两大类：非参数经验贝叶斯与参数经验贝叶 斯。最初r o b b i n s 提出的方法可以被归为非参数经验贝叶斯方法，而参数经验贝 叶斯方法主要是在e f r o n 和m o r r i s 于上世纪7 0 年代初发表的一系列论文基础上 发展起来的。尽管关于非参数经验贝叶斯方法的研究在近年来有一定的突破，但 总体而言其发展受制于方法本身的不确定性，目前还没有形成一整套系统的理论 机制。另一方面，参数经验贝叶斯方法经过3 0 多年的发展和应用，已被广为接 受并形成较为完整的理论体系。因而本文将主要讨论的是参数经验贝叶斯方法的 一些理论结果及其在实际问题中应用的良好性质。 1 经验贝叶斯方法的思想 尽管对于经验贝叶斯的研究早已不是什么新鲜课题，但是关于其本身的定义 却并不是一件容易的事情。甚至很多统计学家之间也往往会产生分歧，有人认为 这是一种全新的方法，有人则认为只不过是模型上的一种改变，也有人提出经验 贝叶斯实质上是一种统计思想的体现。c a r l i n 和l o u i s ( 2 0 0 0 ) 主张从与传统贝 叶斯分析方法的区别角度来定义经验贝叶斯分析方法，这里我们也沿用他们的定 义方式。 假设现在我们有一堆数据样本y = ( ，y 。) 服从关于参数0 = ( 只，幺) 的 分布f ( y i 。经典频率学派的观点主张假设护为可由y 估计的参数向量，而贝 叶斯学派的观点则认为参数向量一本身服从一定的分布石( 引1 7 ) 。这里我们把 万( 引叩) 称作参数目的先验分布，而其中的玎被称为超参数。在r l 已知的条件下， 我们可以利用下面的贝叶斯公式计算参数口的后验分布： 7 p ( 目i y ，叩) 2 j f i ( ；y i ：o i ) 丽。r ( o i t ) = ! 訾2 l l 其中m o i 印) 是y 的边际分布。 现在我们假设7 7 是未知的，可以利用y 的边际分布来对其进行统计推断。当 ，和万形成共轭先验分布对时，m ( y 1 1 7 ) 就可以被表示为较好的形式。经验贝叶 斯方法的思想就是从y 的边际分布m ( y f 7 ) 出发，得到超参数口的一个估计 口s 希( y ) ，然后综合其他先验信息得到参数口的后验分布p ( o i y ，r ) 。与之相比， 传统的贝叶斯分析方法则通常是利用主观猜测来确定参数0 的先验信息，继而通 过贝叶斯公式来计算其后验分布。应该来说，经验贝叶斯方法较好地将客观信息 融入了主观先验，从一定程度上避免了贝叶斯分析最容易遭受攻击的一点：参数 先验分布选取的主观随意性。 后来，又有不少学者提出了更进一步的贝叶斯经验贝叶斯方法( b e b ) 。其 本质上仍旧是一种经验贝叶斯方法，只足从另外的角度出发，认为超参数r 本身 还服从于某个特定的分布 i ) ，并将其称为超先验分布。这样一来，计算参 数口的后验分布的公式演变为： p c p l y ，五，= 1 1 ：；i ：；j 翥：； = i = j p c p f ，节， c 刁i y ，a ，d 玎： 从中我们可以看到新的后验分布p ( o i y ，五) 在形式上就是原先后验p ( oj y ，叩) 在，7 的先验条件密度 i b 五) 下的一个积分。而事实上，其精髓也正在于利用数 据样本y 提供了估计超参数r 的信息。在这一点上，贝叶斯经验贝叶斯方法与经 验贝叶斯的做法是完全一致的。两者之间的差别则在于贝叶斯经验贝叶斯方法又 引进了新的超先验分布 来对超参数j 7 的不确定性加以进一步刻画，这在一定程 度上使得模型更为合理。但是另一方面，h 的选取通常又是一件很困难的事情， 目前关于这一方面的理论研究工作在国际上还不多见，并且尚未取得突破性进 展。 2 经验贝叶斯统计推断的理论框架 经验贝叶斯统计推断与传统的统计推断方法既有联系又有区别，其区别主要 体现在它同时关心分别关于数据和参数的两个随机过程。在这一节里我们将具体 展开经验贝叶斯统计推断的思想和方法。 简要的说，这里我们要讨论的问题就是：假设某数据集y 服从参数为口的某 个分布，( y i 口) ，而参数目0 又服从属于0 上某个已知分布族的特定分布口， 如何来对参数日进行统计推断。 定义关于目的某个推断过程为，( ，) ，我们建立模型 】，l 口f ( y i 臼) 且臼一7 - ，口2 , 2 1 假设对于某个特定行动n ，我们有损失函数三( 口，n ) ，于是我们定义贝叶斯风 险函数为 r ( 万，f ) = eb 三( 臼，f ( y ) ) ，万2 , 2 2 该风险函数可以被用来衡量某个特定推断过程f ( 力的风险大小。 很直观地，我们可以把上一节中提到的多参数估计问题也融入此框架，例如 我们可以令y 为由t 组样本的均值所组成的向量，而，( y l 则为i 维相互独立正 态样本的密度函数，兀是一族满足独立正态先验的分布，我们可以假定第f 组样 本的均值为，方差为4 或者等方差情形下的4 仁a 。= 4 一。事实上，这里 n 就成了以卢和4 为参数的先验参数分布族，后面我们还将给出一个当f ( 力取为 s t e i n 估计量时的r ( 玎，t ) 的例子( 2 3 1 6 ) ，它是关于芦和4 的函数。 r o b b i n s 证明了在很多情况下，我们总可以找到这样的推断过程使得 ! 哩，( 牙，) 2 ，( 石，o ) ，rai - i 2 2 3 这里的代表贝叶斯推断。 在贝叶斯统计分析中，关于j ，的边际分布的求解问题往往会由于求解积分困 难而难以得到好的结果。也正是由于此困难，曾经一度阻碍了贝叶斯统计发展的 脚步。近年来马尔科夫蒙特卡罗模拟( m c m c ) 方法的提出，以及一系列抽样 方法的逐步发展完善，使得很多贝叶斯统计问题可以绕过此步求积过程而直接求 解，从很大程度上推动了这一块理论研究的迅速发展。但是这里我们要指出的是， 尽管后验分布分母上的积分在实际研究问题时经常可以被跳过不计算，但若其在 某些情况下能够获得较好形式的精确结果( 例如共轭先验情况下) ，对很多问题的 研究还是很有意义的。在经验贝叶斯方法中，求解出该边际分布的良好形式就相 当有必要。我们注意到边际分布的求解结果 p ( y i7 r ) 5l f ( y l o ) z r ( o ) d e 2 2 4 可以被用来对先验口进行估计，这也正是经验贝叶斯方法能够有效地利用已 知样本对先验参数进行估计的秘诀所在。而事实上，这样一种经验贝叶斯方法的 实现对于我们统计学家来说是毫无困难的。对参数本身设定一个分布并且对其加 以求解，实际上只是在原先求解分布参数的基础上迭代一个类似的过程。只要有 了】，的边际分布尸( yf 石) ，我们就能轻而易举地办到。在实际应用中，很多学者 还指出，当样本数量k 足够大时，对于样本的一些限制例如独立性假定还可以被 进一步放宽。此时，我们还有可能利用一系列的非参数经验贝叶斯方法来求解目 标参数，但是本文对此将不作进一步的展开。 最后，我们要指出一处经验贝叶斯统计推断与频率统计推断的相似点，即在 置信区间定义上的一致性。我们这样来定义经验贝叶斯的置信区间：一个区间可 以被称为置信度为l - 盯的经验贝叶斯置信区间，如果对c ( y ) c 0 我们满足 只( 占c c ( y ) ) 1 一口a l l 万2 2 5 当为目的点先验而非贝叶斯先验时，2 2 5 表示的置信区间也就等同于 经典的频率学派意义下的置信区间。 3 目前最重要的经验贝叶斯应用多参数估计模型 实际处理问题时，统计学家经常会遇到多个性质近似样本的参数估计问题， 例如不同地区的年收入估计问题，多个驾驶员的风险估计问题以及工厂多条流水 线的质量控制问题等，我们往往需要同时估计多个相互独立却又彼此类似样本的 参数值，我们把这样的问题称为多参数的估计问题。基于此，统计学家在实际应 用中提出了这样的问题：是把这些样本分开后各自构造统计量对参数进行估计 昵，还是可以综合利用近似样本的某些特点来构造混合模型估计参数? 对于这样 一个问题的研究最终导致了后来经验贝叶斯方法的产生，并且在越来越多的实证 研究中已被证明为是一套切实可行的方法。经验贝叶斯方法的产生使得整体信息 在多个独立近似样本的多参数估计问题中得到了充分利用，进而我们可以构造出 更合理的混合模型使最终估计结果更为准确。 这里我们以正态分布情形为例，介绍多参数估计问题中的经验贝叶斯方法思 想。假设写，k 分别是x , l - k 个样本的均值参数进行估计的统计量，它们分别服 从于t 个相互独立的参数为( q ，k ) ，一，( 最，k ) 的正态分布，即： i l e ( q ，) ，f = 1 ，- 一，k 2 3 1 其中e l = 包，= v a t ( y , ) ，通常我们可以考虑z 为特定的第f 个样本的均值、 中位数或者其他统计量。为使模型简单化，这里假设方差k 是已知的，在更一般 的情况下，我们可以在求得组内方差后利用f i s h e r 引理来获得其估计值。 下面我们来阐述一种直观性的思想描述：如果k 的数值足够小，我们会倾向 于用z 来直接估计包，否则的话( 特别是在小样本情况下) 我们就需要寻求新的 更稳健的估计量茸，这是因为我们没有足够的依据来相信现有数据能提供有效信 息以获得对未知参数的有效估计。“借势”于其他相似数据的思想也正源于这样 的困境，接下来我们就依此原则来构造具体的谚。运用最为自然的想法，茸= f 本身就是一个对母的新的估计。不过从更广泛的意义上讲，我们可以定义： 谚= z 。6 2 3 2 其中五为r 维的回归变量列向量( 可以由辅助变量组成) ，而6 则是估计的回 归系数向量。 这里我们假设o ，k - 3 ，如果对于每一个i ，都有使得： 8 。= z l p 2 3 3 我们就能用2 3 2 得到醴的最优估计，这里6 可由最小二乘估计得到： b = ( z d z ) z d y 2 3 4 其中z 为以弓为横向量的k x r 阶矩阵，d _ 1 为由k ，k 组成的对角矩阵， y = ( x ，耳) ，可以证明这样得到的审是一个无偏估计。 然而当2 3 3 并非总是成立的时候，我们又应该选取怎样的估计量呢? 随后 又有学者提出了这样一个折中的混合统计量： ( 1 一譬) r + 尽e 2 3 5 2 3 5 中，旦的作用类似于一个权重函数，并且我们有0 置1 。 随之而来的问题就是如何选取适当的b ，。经研究我们发现皿的选取在理论 上依赖于岛一的方差4 。尽管这里对4 一般足认为其为未知的，但我们依旧 可以通过i 的值所提供的信息对其进行估计，在此我们就用到了经验贝叶斯的思 1 ， 想。 假设我们有： 瞑i 肛4 一( 肛4 ) ，i = l ，女 2 3 6 不难发现关于q 的估计量构成在r 和尊：艺f n q 的选择事实上等同于在方差 4 = c o 和4 = 0 之间的选择。理论上，我们可以由模型2 3 1 和2 3 6 产生一族比 传统估计更加丰富的估计类。同时通过2 3 1 和2 3 6 ，我们又可以计算得到未知 参数的后验分布： 鼋i r ，屈4 一( g ，( 1 一皿) ) 2 3 7 其中 g = ( 1 一旦) ，：+ 置z ，卢 2 3 8 并且 置= ( + 4 ) 2 3 9 这里如果4 和卢已知，得到的印为任意对称损失函数下的最优估计。假设4 和卢为未知，它们可由z 的边际分布估计得到，这里关于z 有： l i 厉4 一n ( z j 压k + 4 ) 2 3 1 0 如若对于f = l ，k ，我们有k 一一k = v 和4 一- = 4 = 一，2 3 1 0 就可以 演化为： r l 肛a 一( 屈v + 4 ) 2 3 1 1 2 3 8 则演化为： g = ( 1 一曰) r + ，卢 2 3 1 2 此时得到的权重函数b = v ( v + a ) 不再依赖于f 。 等方差条件下，2 3 4 中的b 与s 是相互独立的，这里我们定义： s = ( i 6 ) 2 2 3 1 3 并且我们可以证明b 与s 分别是p 与a 的最小方差无偏估计。因此，由 e b = 卢以及s 一( v + a ) x l ：，我们可以取直；( 七一，2 ) v i s 使西：b 2 3 1 4 用( 6 ，自替换2 3 1 2 式中的( 屈b ) ，我们就得到这样一个经验贝叶斯估计量： 商= ( 1 - 挪r + 如b 2 3 1 5 这个估计量在相关文献中通常被称为s t e i n 估计量，下面我们不妨计算一下 它的平均二次损失： e ( 反一只) 2 = e ( 茸一包) 2 = y ( 1 一曰) + ( 驴+ 2 ) 七) p 曰 2 3 1 6 = y ( 1 一( ( 七一r 一2 ) ：e 奇) 2 3 1 7 显然，当r 女一3 时，该损失函数的值s v ，这正是我们在前文中假定r k 一3 的原因。这里0 = ( 岛，馥) ，当口给定时我们有： 0 k ) e o z ( 4 一只) 2 = v o 一“女一r 一2 ) 女) b 古) 2 3 1 8 s t e i n 还给出了当s 取值非常小时对台的一个改进： b = ( ( k - r - 2 ) ( k r ) ) g ( v + a + ) 2 3 1 9 其中分= m a x ( 0 3 ) a j = s ( k r 、一v 2 3 2 0 当五0 时，2 3 1 9 式中的言与2 3 1 4 式中的杏是致的。这里常数 ( k - r - 2 ) ( k 一，) 起到了一个抵消偏差的作用。又由于b = v ( v + 彳) 是关于a 的 一个非线性凹函数，若使用一的一个无偏估计量来对b 进行估计的话势必就会产 生一定的偏差，某些情况下这种偏差甚至还会达到很大。因此我们构造常数 ( 一，一2 ) ( k r ) l 来抵消这样一种偏差。 然而需要指出的是，在异方差情况下，本节所给出的s t e i n 估计量就不再是 一个有效估计，估计问题将变得更为复杂而困难。在下文的讨论中，我们将对这 一问题有所涉及。 4 s t e i n 估计量 在讨论经验贝叶斯方法在多参数估计问题中的应用时，有一个很重要的估计 量不得不提，那就是s t e i n 估计量，又称j a m e s s t e i n 估计量。可以说，正是由于 这个估计量的提出，推动了经验贝叶斯方法在一系列此类问题中的应用。前文中 已经初步介绍并讨论了s t e i n 估计量的形式及其相关性质，这一节里我们单独把 这个估计量拿出来加以分析，主要也是为下文一些具体应用问题的展开做一个较 好的铺垫。 j a m e s s t e i n 估计量，最早是由j a m e s 和s t e i n 于1 9 6 1 年在其共同合作的论文 中提出的，并因此得名。他们在研究多元正态分布的过程中，得到了一个在二次 损失函数意义下一致优于样本均值的估计量。由于这个估计量的构造采用了经验 贝叶斯的方法，随后又被越来越多地应用到一些关于多参数估计的实际问题中 去，因此也被认为是经验贝叶斯方法在多参数估计问题中应用的首次重大突破。 而后，e f r o n 和m o r r i s 在此基础上进一步推广应用，将经验贝叶斯的一系列方法 加以完善和系统化，并且在处理棒球运动员击球率估计和流行病传染率估计的实 际数据时取得了相当好的结果。 下面我们从一个简单模型出发来介绍j a m e s s t e i n 估计量。对于正态先验下 的正态分布，我们假定当参数毋给定时有 l i e 一( 谚，1 ) ，i = 1 ，七，k 3 2 4 1 其中 r ) 是多个样本组的均值统计量组成的序列，它们相互独立并且同服从 于某个正态分布。简单起见，这里只考虑方差相等情形，并且我们不难通过一定 的变化使得方差近似于己知量l ( e f r o n 和m o r r i s1 9 7 3 ) 。在此模型下，我们有 毛r ；幺，并且( i ) = 1 。我们的目标是估计均值参数口；( b ，最) ，这可以 通过最小化下面的二次损失函数来实现： l ( 8 ，白； 一e ) 2 2 4 2 i = l 由此得到的毋；( 商，反) 就是p 的一个最小二乘估计。同时，我们知道 口。= f k ，e ) 本身就可以作为目的一个极大似然估计，并且由已知条件我们容易 is 得到其二次风险： a ( o ，0 。) ；岛 一日) 2 = i ，= l 2 4 3 不同于这个传统意义上具有较好性质的极大似然估计，j a m e s 和s t e i n 提出 了一个新的估计量0 5 = 钟( 】，) ，( j ，) ) ，其中 彰( y ) z “十( 1 一( t 一2 ) ，s ) ( r u ，) ，i = 1 ，一，t ，k 3 2 4 4 这就是著名的j a m e s s t e i n 估计量。在2 4 4 中，； 4 ，以) 可以为0 的任 意一个猜测例如都取醴的均值，或者如同2 3 3 式的方法构造：另一方面，这 t 里的s - - - z 一“) 2 。 i = l 下面我们考察其二次风险： r ( o ，) ；岛圭研( r ) 一谚) z t 一堕墅一 0 时，才能进一步计算经验贝叶斯的估计量。但在实际解决问题时， 我们却无法完全避免a ，b 小于0 的情况。 这里我们不妨举个例子：假设”= 8 ，经验样本m 为4 ，5 ，5 ，4 ，3 ，5 ，6 5 ，2 ，6 ，则可计算哦2 击善儿2 4 5 ，形2 而1 台咒2 = 2 l 7 ，d = 4 1 5 。根据3 2 6 1 0 1 1 01 我们可以得到 a = 4 5 x ( 2 1 7 - 3 们4 1 5 0 b = 3 5 ( 2 1 7 3 6 ) 1 4 1 5 0 此时，我们再以( 二，5 ) 作为目的先验分布就不合适了。为了解决这个问题， 可以考虑以均匀分布作为0 的先验分布的方法。 现在我们考虑以( 0 ，五) 上的均匀分布作为目的先验分布。设0 的先验分布为： 删俨f 1 7 。嚣旯 3 3 1 据此我们得到y 的边际分布为 胁，= 如湖朋瑚= 砖计w 叫d 目 ，3 z 于是我们有 剀= 骞琨c 力= 瞎瑚”旷净p = 三五，3 。 如果我们有经验样本咒，儿，就可获得e ( y ) = 喜一= 歹，于是兰五= 歹。 又由条件0 0 1 ，因此五1 ，所以可以取 2 7 3 3 4 当 确定以后，我们就可以在二次损失下来求目的贝叶斯估计占。根据贝叶 斯公式，我们可以由3 2 1 和3 3 1 得到0 的后验密度 朋j y ) ：蛐麴盟坠：了旦垫旦生 3 3 5 i p ( y i p ) f ( 曰j x ) d o f o ( 1 一t ，) - y d o 对此密度函数求取相应0 的数学期望我们就可以得到 谷= e ( 口i y ) ：砂( 臼i y ) d 口：弘川( 1 一目) 一，础扣w 一吖一，d 目 3 3 6 0 0 0 由于_ y 是整数，3 3 6 中的定积分不难计算，于是我们可以求解得到占。从 3 3 6 我们可以看出：谷的值与样本y 和由经验样本决定的五有关。 下面，我们再来讨论一下舀与 的关系。由于 砉= ( 五一砂，( 五弘y ( 1 - o ) - - y d o - 2 j 0 川( 1 一卵，枷) ( 扣w 一秽v 棚) z 。 ” u 0 可见毋关于a 递增。这也说明：在现实样本相同的情况下，丑越大，得到的 估计量目也越大，而 又与经验样本的均值y 成正比，所以经验样本的均值越大， 西也就越大。这也正是贝叶斯估计与经典估计不同的地方，它除了与现实样本y 有关以外，还与超先验信息有关。 注意到，当五= 1 时，3 3 1 就成了无超先验信息时的贝叶斯先验假设，此时 由3 3 6 决定的占为 缸四( y + 2 , n - y + 1 ) b ( y + l , n - y + 1 ) = 普器等= 鬲y + l s i ， 这正是传统的贝叶斯估计的结果。 4 均匀先验下泊松分布参数估计问题的经验贝叶斯方法 在讨论实际问题时，泊松分布也是一个较为常见并且有着良好性质的分布。 这一节我们来研究一下泊松分布在均匀先验下的参数估计问题。 我们知道参数为护的泊松分布的概率分布形式为 p ( y l e ) ：了b y e - a v1 3 4 1 同样类似于二项分布，我们考虑以( 0 ，丑) 上的均匀分布作为目的先验分布 其密度函数形式同3 3 1 。 我们容易得到y 的边际分布为 于是我们有 胁，= p 吲帅枷= b 等卯 ，a z 的，= 妻比c y ，= 蓬去y 予口= 瑶去口筹备口= 净p = 詈，4 ， 这样如果我们有经验样本m ，n ，就可获得e ( 力= 妻窑以= 歹，于是害= 了。 进一步得到 五= 2 y 3 4 4 当五确定以后，我们就可以在平方损失下来求0 的贝叶斯估计舀。根据贝叶 斯公式，我们得到口的后验密度 f ( o i y ) ：业盟：里 3 4 5 p ( yi 口) 丌( pi 丑) 卯 y e - e d o 再对此密度求取相应口的数学期望我们就可以得到 = e ( oy ) = f o f ( oy ) d o = p ”分9 d o f o y e - e d o 3 4 - 6 我们把3 4 6 式中的五用2 ；替代计算后就可以得到口的经验贝叶斯估计量的 最终形式了。 第四章关于经验贝叶斯方法在多参数估计 问题中应用的一些讨论 这一章我们将针对经验贝叶斯方法在多参数估计问题中的应用这一主题展 丌一些具体的讨论。主要包括对其部分良好性质的讨论，同时指出一些具体应用 中可能会遇到的问题，并且提出我们解决问题的方法。 1 在估计中结合检验统计量的优良性质 这里我们先看一个方差分析的例子：假设我们现在有五组实验的数据，需要 比较一下它们之间是否有显著性差异。我们分别用i ，e 表示各组样本数据的 均值统计量，同时用舅，只表示各组的真实均值参数。那么我们将会构造f 统 计量来检验下面假设： h o ：a l l 郎e q u a lv s 以：n o th o 4 1 1 等方差情形下，构造的f 统计量形式为 5 ( j ：- r ) ( 5 - d l f = j = l = 一 矿 其中f 为i ，e 的均值，矿为未知的原始样本方差。 4 1 2 更一般地，我们可以推广到i 组实验样本的情形，此时的f 统计量形式变成 i 【( z f ) 似一1 ) 1 f = 堕l _ = 一 矿 4 1 3 矿的值可通过样本数据估计得到。进一步简化为3 1 1 模型中方差已知的情 形，则用已知方差y 代替矿后，我们可以使用下面的丁统计量来完成方差分析： 【( r f ) 舭一1 ) 】 r = 可一磊2 一l 他一1 ) 4 1 4 结合前文3 1 7 的结论，我们发现可以把r 统计量的形式很好地与经验贝叶 斯估计的模型相结合，从而得到： 社( 一卟( 西k - 3 p 卜 t s 至此，我们把检验统计量结合进了估计模型，下面我们再讨论一下这样做的 好处。传统的检验方法只能得出拒绝或者接受原假设的结论并且给出相应的置信 度，但却不能很好地对不同样本之间的差异加以量化。例如，或许我们可以根据 某个检验结果得到两个样本之间在9 5 的置信度下无显著性差异的结论，但这是 否就意味着两个样本之间就没有差异了呢? 答案显然是否定的，那么我们又怎样 来量化这种微小的差异呢? 简单地使用不同样本的均值来比较差异显然是不合理的，因为它忽略了方差 作用所产生的差异，这也正是我们需要构造统计量来进行均值检验的原因所在。 而这里我们得到的经验贝叶斯估计量，把检验统计量的信息结合进了估计模型， 因而可以使得估计结果更为准确地度量不同样本之间的实际差异。在4 1 5 中， 我们也可以看到，r 统计量实际上起到的就是一个调节权重函数的作用。当丁统 计量值比较大时，根据检验我们会拒绝原假设，即认为不同样本之间有显著差异， 于是我们就更倾向于使用各组样本本身的均值f 来对其均值进行估计；而当r 统 计量值比较小时，我们接受原假设，认为各组样本之间不存在显著性差异，于是 我们会倾向于使用f 的均值y 来对每组均值进行估计。以上这些结论，与4 i 5 给出的估计模型所得到的结果，是完全一致的。 2 样本异方差问题及其解决方法 首先我们来看一个关于棒球运动员击球命中率的经验贝叶斯估计的例子 ( e f r o n 和m o r r i s1 9 7 5 ) 。仔细观察表4 2 1 ，我们发现一个有趣的现象：尽管经 验贝叶斯方法所得到的估计值与真实值的偏差相比极大似然估计的结果要小很 多，但其估计值的大小排序结果却与极大似然估计的最终排序结果完全一致。然 而这样的结论显然是不合理的，我们在对比了真实的赛季剩余场次击球命中率结 果就可以看到，一些选手的击球命中率排位顺序后来发生了明显的变化。仔细分 析后，我们发现产生这种结果的主要原因是由于我们在模型建立的时候使用了同 方差的不合理假设。即在该棒球运动员击球率命中估计的模型中，我们原先通过 一定的数学变换后假定了所有样本的方差是已知并且相等的