（概率论与数理统计专业论文）关于计算正规化常数的monte+carlo模拟方法的讨论.pdf

关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 中文提要 中文提要 对许多统计和科学研究来说，计算概率模型的正规化常数( 比) 是一个 基本的计算问题。处理此类问题一般有三类方法：( 1 ) 分析近似，( 2 ) 数值 积分，( 3 ) m o n t ec a r l o 模拟。其中，m o n t ec a r l o 模拟是被广泛使用并行之 有效的方法，它对复杂模型和高维模型尤为适用。 2 0 世纪7 0 年代以来，出现了许多用m o n t ec a r l o 模拟计算正规化常数的 方法。本文首先介绍了重要抽样方法，桥抽样方法，路径抽样方法及其在理 论物理方面的应用( 热力学积分) 和在数值分析方面的应用( o g a t a 方法) ， 这三种方法相应的m o n t ec a r l o 误差逐渐减小。接着讨论了路径抽样中最优 路径的选择问题，它与j e f f r e y s 先验密度及两密度间的r a o 和h e l l i n g e r 距 离有密切关系。正规化常数在统计背景下的一个重要应用是通过计算贝叶斯 因子进行模型选择。本文最后仿照【7 讨论了如何用路径抽样方法对结构方 程可以为非线性的结构方程模型计算贝叶斯因子，并将其作进一步推广，讨 论了如何用路径抽样方法对测量方程和结构方程均可以为非线性的结构方 程模型计算贝叶斯因子，并分别对以上两种情况用w i n b u g s 软件给出模拟 例子。模拟结果表明，从计算贝叶斯因子进行模型选择角度看，路径抽样方 法不失为一个不错的工具。 关键词：重要抽样；桥抽样；路径抽样；贝叶斯因子；结构方程 作者：郭芸 指导教师：汪仁官 汪四水 d i s c u s s i o no fm o n t ec a r l os i m u l a t i o nf o rc o m p u t i n gn o r m a l i z i n gc o n s t a n t sa b s t r a c t d i s c u s s i o no fm o n t ec a r l os i m u l a t i o nf o r c o m p u t i n gn o r m a l i z i n gc o n s t a n t s a b s t r a c t c o m p u t i n g ( r a t i o so f ) n o r m a l i z i n gc o n s t a n t so f p r o b a b i l i t ym o d e l si saf u n d a m e n t a l c o m p u t a t i o n a lp r o b l e mf o rm a n ys t a t i s t i c a la n ds c i e n t i f i cs t u d i e s t h e r ea r et h r e ec o m m o r ta p p r o a c h e sf o rd e a l i n gw i t ht h i sp r o b l e m ：( 1 ) a n a l y t i c a p p r o x i m a t i o n ，( 2 ) n u m e r i c a l j u t e g r a t i o n ，( a ) m o n t ec a r l os i m u l a t i o n a m o n gt h e m ，m o n t ec a r l os i m u l a t i o ni sw i d e l y u s e da n de s p e c i a l l ye f f i c i e n tf o rd e a l i n gw i t hc o m p l e x ，h i g h d i m e n s i o n a lm o d e l s s i n c et h e1 9 7 0 s ，t h e r eh a v eb e e n m a n ym o n t e c a r l o w a y s f o rs i m u l a t i n gn o r m a l i z i n g c o n s t a n t s i nt h i sp a p e r 】w ef i r s tg i v ea ni n t r o d u c t i o no f i m p o r t a n c es a m p l i n g ，b r i d g e s a m p l i n g ，p a t hs a m p l i n ga n dt h e i ra p p l i c a t i o n si nt h e o r e t i c a lp h y s i c s ( t h e r r n o d y n a m i c i n t e g r a t i o n ) a n dn u m e r i c a la n a l y s i s ( o g a t a sm e t h o d ) a m o n gt h e m ，p a t h s a x n p l i n gb a s t h el e a s tm o n t ec a r l oe r r o r t h e nw ed i s c u s st h ec h o i c eo f o p t i m a lp a t hi np a t hs a i l 一 p i i n g ，w h i c ht u r n so u tt oh a v ec l o s ec o n n e c t i o nw i t ht i l e j e f f r e y sp r i o rd e n s i t ya n ( t t i l er a oa n dh e l l i n g e rd i s t a n c e sb e t w e e nt w od e n s i t i e s o n eo f i n i p o r t a n ta p p l i c a t o n s o ft h i sp r o b l e mi ns t a t i s t i c si sm o d e ls e l e c t i o nb y u s i n gb a y e sf a c t m 、a tt h el a s tp a r to f t h i sp a p e r ，a c c o r d i n gt o 7 ) w ed i s c u s sh o w t oc o m p u t e b a y e sf a c t o rw i t hp a t hs a i i l p l i n g f o rn o n l i n e a rs t r u c t u r a le q u a t i o n sw i t hf i x e dc o v a x i a t e s f u r t h e r m o r e ，w e g e i l e r a l i z ec u r r e ! l tn o n l i n e a rm o d e lt oa l l o wn o n l i n e a r i t yo ft h el a t e n tv a r i a b l e si nt l i e f n e a s u r e r n e i l t o q u a t i o n w ea l s op r o v i d es i m u l a t i o ns t u d i e sf o rt h ea b o v et w oc a s e s u s i n gs o f t w a r e i i d i s c u s s i o no fm o n t ec a r l os i m u l a t i o nf o rc o m p u t i n gn o r m a l i z i n gc o n s t a n t s w i n b u g s a n df i n dt h a tp a t hs a m p l i n gi sa ne x c e l l e n tt o o li nc o m p u t i n gb a y e sf a c t o r f o rm o d e ls e l e c t i n k e y w o r d s ：i m p o r t a n c es a m p l i n g ；b r i d g es a m p l i n g ；p a t hs a m p l i n g ；b a y e s f a c t o t ；s t r u c t u r a le q u a t i o n i i i w r i t t e nb yg u oy u n s u p e r v i s e db yp r o f w a n gr e n g u a n a s s o c i a t ep r o f w a n gs i s h u i 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 矿6 46 03l 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其他个 人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或其它教 育机构的学位证书而使用过的材料。对本文的研究作出重要贡献的个人和 集体，均已在文中以明确方式标明。本人承担本声明的法律责任。 研究生签名：垫墨日期：墨盘f 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文合 作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文 档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文 被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布 ( 包括刊登) 授权苏州大学学位办办理。 研究生签名 导师签名 盈支日期 江i t 彦日期 曼、矿，k 2 午十6 加一辛以上。；l 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 1 引言 l 引言 为可以获得随机抽样的概率密度计算正规化常数已经成为统计和其它背 景里频繁出现的问题。我们尤其感兴趣于正规化常数的比值或一个正规化常 数关于一个已知的参考值的相对值。这样一个计算问题产生于物理学、遗传 学等领域，并经常会在似然和贝叶斯推断中遇到。例如，计算物理中自由能 量差异的估计问题，遗传链分析中根据来自一个大家族的观测计算带病基 因相对于一组标记的位置的似然的问题以及贝叶斯推断中贝叶斯因子的计 算问题都可归结为正规化常数( 比) 的计算。 通常有三类方法可以计算难处理的正规化常数：( 1 ) 分析近似，( 2 ) 数 值积分，( 3 ) m o n t ec a r l o 模拟，本文主要研究后一类方法。目前在统计学中 使用模拟的常规方法是重要抽样方法，抽样或者来自一个近似密度，或者 来自n ( u ) ( 或p ) 的一个。但是m e n 9 和w o n g ( 1 9 9 6 ) 1 给出的理论证明 及d i c i c c i oe ta 1 ( 1 9 9 7 ) 训和m e n g 和s c h i l l i n g ( 1 9 9 6 ) 3 在桥抽样背景下给出的 实际证明表明可以通过使用来自不止一个密度的抽样大大减少m c c 。t ec a r l o 误，且计算负担也增加较少。主要想法是考虑到在重要抽样中目标密度间的 距离会使m o n t ec a r l o 误变大，我们使用桥密度来有效缩短这个距离。当引 入无限多座桥时即为路径抽样。 m e n g 和w o n g ( 1 9 9 6 ) t 1 讨论了第二类重要抽样方法，并用模拟方法比较 了“的不同选择。g e l m e n 和m e n g ( 1 9 9 8 ) q 从理论上较全面地给出了重要抽 样、桥抽样和路径抽样的关系，并研究了路径抽样中最优路径的选择问题。 本文主要向读者介绍上面提到的几种方法。本文的第二节将给出计算正 规化常数问题的一般阐述；第三节将介绍重要抽样 1 】 4 】；第四节介绍桥抽样 【q ；第五节介绍路径抽样并简单介绍最优路径的选择问题 1 ；第六节介绍贝 叶斯假设检验和模型选择 5 】 6 】；第七节仿照 7 讨论了如何用路径抽样方法对 结构方程可以为非线性的结构方程模型计算贝叶斯因子，并用彬订? b u g s 8 1 关于计算正规化常数的m o n t ec a h o 模拟方法的讨论 1 引盲 软件给出一个模拟例子；( 9 】提出了测量方程和结构方程均为非线性的一般 的结构方程模型，并用m o n t e c a r l oe m 算法给出参数估计。在第八节中， 对第七节推广，讨论了如何用路径抽样方法对测量方程和结构方程均可以 为非线性的结构方程模型计算贝叶斯因子，也用w i n b u g s s l 软件给出一个 模拟例子；第九节对本文全部内容给出一个小结。 2 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 2 同题的提出 2 问题的提出 问题一( 正规化常数的计算) 设我们在相差一个正规化常数的情况下已 知密度：p ( u ) = g ( u ) z ，即已知g ) ，并可从完全已知的且与p ( 甜) 相当接近 的面( 叫) 抽样，我们要用这些抽样值来计算正规化常数z 问题二( 正规化常数比的计算) 设敬( 川) ，i = o ，1 是两个具有公共支撑的密 度，每个密度在相差一个正规化常数的条件下是已知的：p i ) = q i ( 叫) 磊， 从而可以从每个密度得到抽样( 例如可借助m c m c 方法) ，我们要用这些 抽样值来计算正规化常数的比值。，钿 问题一和问题二中计算正规化常数( 比) 时使用的方法即为重要抽样方 法，我们可以对问题二进一步推广，即除伽( u ) 、p l ) 外还可利用来自介 于它们之间的单个密度或无限多个密度的抽样来计算正规化常数的比值， 它们分别为桥抽样和路径抽样。 3 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 3 重要抽样 3 重要抽样 计算正规化常数通常有两类不同的重要抽样，以下分别给出介绍。 3 1 第一类重要抽样 设痧( u ) 是完全已知的( 例如可为p ( u ) = g ( “) 肛的分析近似) ，则z 的重 要抽样估计基于以下恒等式 一马f 嬲 设，w 。为来自声( u ) 的抽样，则相应的m o n t ec a 7 l o 估计为 j = ；娄器 这种方法仅当乒是p 的很好的近似的时候才有效。但是，对于复杂模 型，找到可接受的完全已知的重要抽样密度是不可能的，即使用不同的方差 减少技术( 例如使用控制变量) ，重要抽样也不能提供有用的回答。 3 2 第= 类重要抽样 一、接受率方法 b e n n e t t ( 1 9 7 6 ) 加】通过考虑允许在p o 和p 1 间转移的m e t r o p o l i s 算法提出 了接受率方法，从而启发人们提出第二类重要抽样方法。下面我们不妨用更 一般的m e t r o p o l i s h a s t i n g s 算法( 简称m 日算法) 回顾一下其发展过程。 考虑在( u ，t ) 的联合空间的m h 算法，其中t = 0 或1 ，目标密度为 p ( u ，t ) 三q t ( “j ) ，注意到矶( u ) = 吼( u ) 易见轨( u ) = p ( “f t ) ，我们关注的是 2 ( ! 三1 2 一旦一， p ( t = 0 ) 翔 4 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 3 重要抽样 对于所有u 不变t 变化的转移，根据m h 算法的精细的平衡要求，有 t ( ( u ，珏) l ( u ，”) ) = t ，( ( u ，u ) i ( u ，u ) ) m 讥 ，： ： ；渊) ，。 = 幽恻掣2 ，掣) p 纠 k z o 嬲黜 。) e - t ( ( u ，o ) i ( u ，1 ) ) 】 叫 在( 3 3 ) 中令m ) 刊r “业黜严，业黜掣) 即得 鱼一堡【趔! 鲫 z oe l q o ( ) d ( u ) 0 0 ，v i ，j ) 由于对任何f 占 0 ，f g 是r 的一致估计，归纳地，很容易证明，t _ 0 0 ：1 i m ；i = 0 ，1 ) ，( 31 2 ) 定义 的迭代序列收敛到唯一的极限柏，具有性质 f g + ”一f d f 0 ，k 0 ， c * ( f f ，a ) = 阱+ ( 4 卯) 个 唧( ，4 ) = 币e o 1 蕊+ ( a i q 研o q 1 ) - k ( 31 7 ) 9 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 3 重要抽样 这类盘是受到f d 和f g 的启发的。当抽样独立时，( 3 1 1 ) 给出的最优的o l 相 应于“( 1 ，a 。) ，凡2r n o n t ( 。( 1 ，山) 2i 干五1 面。i i 面1 ：而面f 南而) 。 因此4 的一个合理的选择可使磊( 1 ，a ) 接近最优估计为。另一方面，4 的不 好的选择可给磊( 1 ，a ) 带来很大的误差。当抽样不独立时，情况更加复杂，因 为磐不一定相应于有效样本大小的比。我们猜测当抽样不独立时，a 的最 优选择仍是a ( 1 ，a ) 的形式，但a 由r 及有效的样本大小决定。一般来说， 用m c m c 确定有效的样本大小比很困难，而寻找对有效样本大小不是很敏 感的a 的好的选择是恰当的。 这启发我们考虑“( k ，a ) ，k l 。我们注意到l i m * o 。2 k a ( ，a ) = ( a q i q o ) 一； 由于对“乘任何常数因子不改变比值估计，当k - o c 时，i ，( k ，a ) 接近话。 这表明当k 很大时，( k ，a ) 可能对a 不怎么敏感，从而对有效样本大小也 不怎么敏感。但f g 有一个不好的特征，结果的被积函数( q 。) ；和( q o 几。) 女 不一定有界，而( 3 17 ) 中的被积函数以m a x 1 ，a 一) 为界。无界性是结果彳十 计方差很大的主要原因。这表明当有效样本大小很难确定时，为了达到小的 m o n t ec a r l o 误，选择k 时要进行权衡：我们一方面要使被积函数有界，一 方面要有防止错误说明有效样本大小及a 的稳健性。 ( 3 ) 常数形式a = 1 r c = e o ( q 1 ) e , ( q o )( 31 8 ) 这个旺的选择由a n d r e wg e l m a n 建议且在某些简单例子中效果相当好， 它的潜力有待开发。( 3 1 8 ) 的一个缺点是，不像( 3 1 3 ) 或( 3 1 7 ) ，( 3 1 8 ) 中的被 积函数当q ，= q o 时没有限制为常数。结果，即使当q = q o ( 从而r 被认为是 1 ) 时，r e ( 霞) 0 1 0 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 4 桥抽样 4 桥抽样 在第二类重要抽样的恒等式( 3 6 ) 中令 n ( u ) = 磊考u q 。n n 。 f a - ) 其中q ( u ) 是任意一个具有支撑q 。n q ，的非正规化密度，易见血满足条件 ( 3 4 ) 。此处我们用下标“”表示使用一个介于q o 和g ，之间的密度，这个 密度被两者交叠，我们有 设l d o i ，i = l ，2 ，n o 为来自p o 的n o 个抽样，i = 1 ，2 ，n l 为来自i 的 札t 个抽样，相应的估计为 1 r n o9 ( “o t ) i2 篙器 ( 43 ) 上、n i 二三二= l ”og l 忡l ：j 若我们取了一个合理的桥密度p ，则a ( = 0 ，1 ) 和p 之间的非交叠部 分要比p o 和p ，之间的非交叠部分少，从而增加了效率，即p ；在p 。和p ，间 起到桥梁作用，因此命名为桥抽样。 由( 3 i 0 ) 和( 41 ) 可知，最优的桥密度是p 。和p ，的( 带权) 调和均值 o p t ( s j 丽+ s o p 一= 焘 鬻 堡朝互卸 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 5 路径抽样 5 路径抽样 构造一座桥的想法可以进一步改进。很可能q o ( u ) 和q l ( u ) 这两个密度相 隔很远使得即使用最优的桥密度q 巴估计( 4 3 ) 还是变化太大以致不实用。 在这种情况下，构造l 一1 个可以从中抽样的中间密度是有用的。为使推导 简单，我们记包括两个端点的未正规化密度为g ( u ，1 = 0 ，1 ，l ，对每一 对连续的函数q ( u 1 吼) 和q ( u l o ) ，l = 0 ，1 ，l 一1 ，我们记中间的可以计算 的但从中直接抽样很困难的未正规化密度为q ( u i 钆；) ，应用( 4 2 ) 我们得 嚣三器= 鱼姑黜= 垂鬻q ( w o t a ) - ， 作为( 4 2 ) 的推广，这是有2 l 一1 个间隔的桥抽样。 进一步，我们研究当l _ c , o 时的极限情况，即无限多座桥。设下标0 z 对 应于参数系( q ( 愀0 0 1 ) 的参数0 0 ，1 ，对任何a 0 ，l ，0 。= a l ， 对( 5 1 ) 两边取对数得 细i z l = 驴l 虬【渊驯掣 ) 令g l ( f ) 兰l o q f 掣瓣p ( u p ( 幽) ，l = 0 1 一，l ，则 f 。9 磊z l = 萎l 【g 一- ( 矗) 一g t ( 一矗) 】0 0 ，一1 “u 注意到 g 2 璁瓣丽1 _ p 丽( w t o , ) 瑟d g ( w i 吼+ 洲幽) 令u ( u ，0 ) = j o l o g q ( u l o ) ，贝0 g ；( o ) = e o ，眇( u ，吼) 1 2 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 5 路径抽样 义易见 a z ( 0 ) = 0 g f 一。( 瓦1 ) = g h ( o ) + g “o ) 壶+ 。( 圭) g j ( - 瓦1 ) ：g ( 0 ) g ；( 0 ) 壶+ 。由 两式相减g z - 1 ( 壶) 一g z ( 矗) = 壶吲一( o ) + g ：( o ) + 。( 圭) 从而 忉杀= 2 骢苫l g - ( 壶) 一g 2 ( 矗) = i i m 1 圭型型等燮 = z 1 e o i u ( 叫，o ) d o 这正是路径抽样下的恒等式。 二、基本恒等式 给定两个带有相同支撑的未正规化的密度蜘( u ) 和q ，( u ) ，我们可以构 造一条连续路径q ( u l o ) 来连接它们。 p j 8 ) 2 赢g ( u 1 9 ) 1 5 2 ) 首先考虑0 是一个标量的情况。不失一般性，我们假设0 0 ，1 ，我们关 心的是计算比值r = 瑞。假设积分和微分可交换，我们由( 5 2 ) 式可得 了d l o g z ( o ) = j r 丽1 丽d q ( u m ( 妣) = f o e j o 2 吲( u 例( 5 3 ) 其中e o 表示相应于抽样分布p ( 训目) 的期望。 我们记 u ( u ，口) 2 荔。叫q ( u i o ) 1 3 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 路径抽样 对( 5 3 ) 从0 到1 积分得 吲器 = z 1 卯( 删枷 ( 5 4 ) 如果我们把0 看作一个服从【0 , 1 上均匀分布的随机变量，我们可以把( 5 4 ) 的右边解释为u ( u ，目) 关于( w ，0 ) 的联合分布的期望。更一般地，我们可以引 入先验密度p ( 目) ，0 0 ，1 】，改写( 5 4 ) 为 a 叫等 ( 5 j ) 其中期望相应于联合密度p ( u ，0 ) = p ( u i 自) p ( 目) 根据等式( 55 ) 使用来自它们的联合分布的n 个抽样( 晚) ，i = i ，2 ，一，r 。 ( 未必独立) 可给出 的无偏估计 玉= ：娄等 。， 另外，我们对中间值n ，b 0 ，1 】，可以只用0 i n ，明的样本点i 来估计 l o q ( 器) 。i 的模拟误既依赖于p ( 日) ，也依赖于样本是如何抽取的。 将( 5 5 ) 推广到0 为多元的情况是直接的。设0 是一个d 维参数向量， 我们关心的是对给定的向量氏和p ，计算比值揣。首先，我们选择一条 d 维参数空间中连接岛和。的连续路径： o ( t ) = ( p l ( f ) ，口2 ( z ) ，( t ) ) t 0 ，1 o ( o ) = 0 0o o ) = 0 。 定义玩，= 警且巩( # ) = 掣南= 1 ，2 ，d ，对t 从。到1 ，我们 用与( 54 ) 相同的参数可得 a = z 1 e o ( t ) 瓤舯) d t = z 1 驯垫呲州啪池 7 ) 从( j 7 ) 我们可以方便地构造a 的相应的路径抽样估计 1d i = ；f 畎( ，) 魄慨口) 】 ( 58 ) l = 1k = l 1 4 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 5 ，路径抽样 其中t i 是从 o ，1 上的均匀分布抽样得到的，姑为来自p ( u i p ( 赴) ) 的抽样。 很明显，路径的选择会影响m o n t ec a r l o 误，这在后面部分会说明。在寻 找最优估计时，引入关于t o ，1 】的非均匀密度是不必要的，因为这样的密 度可被路径函数p ( t ) 吸收。不妨从单变量的情况来考察，取满足口( ) 2 翮1 的日( t ) 。事实上，( 5 4 ) 可写为 a = 上1 m ，忡i 晰口= 辫出i 帅( 训删口 令榔) 叫帮出l o ) 触) 例 a = z 19 ( 口) p ( 8 ) 劣。掣f o lg ( p ( 拈z 1 g ( 出 三、热力学积分和o g a t a 方法 使用( 5 4 ) 来计算正规化常数比不是一个新想法，它在理论物理和数值 分析领域早就被广泛应用。 ( 一) 热力学积分 在物理学和化学中，计算正规化常数的一个很好的饲子为自由能量估 计。我们考虑的非正规化密度为系统密度 如i t , a ) = 唰一掣) 其巾h “) 为在状态u 处的能量函数，k 是波尔兹曼常数，t 是温度，a 是系统的特征向量。设正规化常数为z ( t ，0 1 ) ，从p ( w l t ，0 1 ) = q ( w l t ，血) z ( 丁，o ) 模拟u 通过m c m c 方法来实施，系统的自由能量为 f ( zo s ) = 一k t t o g ( z ( t ，a ) ) 我们可以计算具有相同温度t 的两个系统的自由能量差。首先由4 ) 可得 忉。( 丁，“- ) - t o , ”z ( 丁，= e l 高强。 量日( 圳m 1 5 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论5 5 路径抽样 从而 f ( t ，血l ) 一f ( t ，“2 ) = - k t 1 0 9 z ( t ，o r l ) 一l o g z ( t ，q q ) j = e 1e r , 。 杀日( 邺) d “ 其中研。表示相应于系统密度p i t ，乜) 的期望。 类似地，我们可以对具有相同的口不同的湿度的系统计算自由能量差， 也可用( 5 7 ) 对d 和t 均不同的情况计算。 ( 二) o g a t a 方法 o g a t a 曾提出一个应用( 5 4 ) 处理高维积分的刨新的方法。为简单起介， 我们考虑正函数q ( w ，u t ) 在包含原点的 维立方体陋们2 上的积 分，k 可以非常大。我们首先构造一族以o - 为下标的密度族 批= 业茅型 其中讯( a ) = 璧贮露q ( a w ，盯u 。，盯u 。) 山。d w 。d w k 为相应于非正规化密 度q ( a w 。，o 6 2 2 ，a “e ) 的正规化常数，由( 5 ，4 ) 可得 l o 鲈k ( 1 ) 一l o g z k ( o ) = z 1 e ， d t o g g ( 删 其中日相应于密度p ( 叫l o ) ，z k ( 1 ) 是要求的积分，魏( o ) = ( b 。) 。q ( o ) 四、用关于0 的数值积分进行路径抽样估计 我们首先排除重复点后重排模拟值0 t 的不同值，使 。对每个新标记的，我们对瓯= 吼j ) 的所有模拟抽样i ，计算u ，的 平均值) 。假设我们要估计对数密度比a ( 。，6 ) = f d 9 ( 貉) ，o 冬n 6 s1 ， 设下标j 。和如满足) s 目慌+ 1 ) o ( i 。- 1 ) b 冬) ，应用梯形公 式，我们有 1 6 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 5 路径抽样 天( o ，b ) = 。i 、0 “。+ 1 ) 一。) ( e ( j o + 1 ) + 玩) 1如一2 + ：( 口o + 1 ) 一9 0 ) ) ( d o + 1 ) + 口o ) ) ( 5 9 ) 。j = 矗+ 1 + 去p 一8 魄一1 ) ) ( 玩+ 魄一，) ) 类似地，我们也可用s i m p s o n 公式。 对于多变量0 ，正如( 5 7 ) 所述，没有实施数值积分的唯一方法，我们可 以对路径的许多不同的选择应用( 5 9 ) ，甚至可以考虑结合来自不同路径的估 计。这儿，我们给出一次关于0 的一个成分求平均的简单方法。为简单起 介，我们描述二维的口在矩形格点值，铝) ，i = 1 ，2 ，m - ；j = i ，2 ，蚴上 的估计我们首先在格点上估计以下函数 口l ( 0 1 ，0 2 ) = l o g z ( & ，0 2 ) 一l o o z ( o o ，p 2 ) 9 2 ( 0 1 ，0 2 ) = l o g z ( o l ，0 2 ) 一i o g z ( o l ，p 2 ) 其中( 田，磅) 可以是格点上的固定点。对每个岛，可用路径抽样估计( j 9 ) 把 函数g l ( 目，观) 作为0 的函数来估计。类似地，对每个0 i ，9 t ( 钟，0 。) 可用沿 着0 。的路径抽样来估计。这些估计可用以下恒等式结合起来： 只寸任何0 ：l o g z ( o i ，0 2 ) 一l o g z ( o ，o o ) = 9 l ( 口l ，0 2 ) + 9 2 ( o i ，口2 ) 一口1 ( 目；，0 2 ) 对以的所有值求平均，我们得到 2 咿8 。) 2 9 l ( 0 1 , ) + 者萎( 9 2 ( 畦, 0 2 ) 咱( 班，日2 ) ) + c 0 邶咖t 当然，在上面的表达式中可以交换0 ，和0 z 的次序给出另一个估计。 五、关于最优路径的讨论 ( 一) 一维的最优先验密度 ( 5 6 ) 中的先验密度p ( 目) 的任意性允许我们在获得最小m o n t ec a r l o 方 差的意义下寻找最优估计。由于在任意抽样方法下获得一般结果很困难，我 们将为了理论研究假设抽样是独立的。 1 7 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 路径抽样 如果( 5 6 ) 中的( 她，江1 ，2 ，竹是从联合分布p ( u ，0 ) = p ( u 1 目) p ( p ) 得 到的n 个独立抽样，则五的m o n t ec a r l o 方差为 哳圆= w j r 骅p ( 帅触瑚卅 = 三 o i 铲d o - a 2 现在我们先假定p t o ) 是给定的，则我们寻找最小化( 5 , 1 0 ) 的边缘( 或先验) 密度p ( 等价于最小化( 5 ，1 0 ) 中的第一项，由c a u c h y s c h w a r t z 不等式 上1 等铲一：1c 厕2 枷z ( 警) 2 d 。 ( f 1 、e o e v 2 ( “j ，目) 瑚) 2 上面不等式右面不依赖于p ( 日) ，当且仅当 刚，= 茄糕 c s 等号成立。从而( 5 1 i ) 中的p ( 目) 是最优的先验密度，相应的支的最优方差为 v n r 印t5 i f ( 上 e 9 u 2 ( w ，目) a o ) 2 一a 2 ( 5 1 2 ) 有趣的是，当z ( 口) 独立于0 ，从而a = 0 时，( 5 1 1 ) 中的最优密度 恰好是v ( c o l o ) 限制在0 0 ，l 】上的 c f f r e y s 先验密度。一般地，( 51 1 ) 可作为基于未正规化密度q ( u f o ) 的广义位置j e f f r e y s 先验密度并且只要 詹局 u 。，o ) d o ，它就是正常的。我们可以把( 5 1 1 ) 看作为通过方程 p ( 口( t ) ) 口( t ) = 1 在路径函数和先验密度之间的“方差稳定”变换，当然由于在 当前设定下e d u ( u ，口) 】一般非零，“二阶矩稳定变换”这个词更适用。若用 ( 5 1 1 ) 中的最优先验，则( 5 6 ) 中的每一项的二阶矩都与目无关，由此我们可 以看出二阶矩稳定的特征。这是有意义的，因为最优程序就应在目的不同位 置平衡铲的二阶抽样矩，从而使它们的平均值最小。 ( 二) 多维中的最优路径 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 5 路径抽样 把上面结果推广到0 是多维的情况是直接的。对于给定的路径，该路 径上口的最优密度是该路径上的广义局部j e f f r e y s 先验密度。但是这没有 解决在所有可能的路径中哪条路径在产生( 5 8 ) 的最小m o n t ec a r l a 方差的 意义下最优这个问题是方差计算问题，具体地说，在独立抽样的条件下， ( 58 ) 的方差为 v “r 2 ； 上j ! 薹。r 。巩u ，9 0 2 p “旧 。6 b d 。一1 “ ( 51 3 ) ：三f ，1 ( 手吼，c o ( 砖) 或( j ，f 曲) d t a ： 。 2 瓤( i 。) ) ) 加碉 其中勤= e o t u + ( “，固? 钏 最小化( 51 3 ) 中右边第一项的路径函数目( t ) 是以下e u l e 7 一l a q r a n g c 方 程带边界条件o ( t ) = 吼，t = o ，1 的解 9 ：t ( 口( t ) ) 或( ) + ij k l o + ( t ) o s ( t ) = o k = l ，2 ，d( o1 4 ) o = 1 z j 二l 其中( 0 表示关于t 的二阶导，瞄 纠为第一种c h r i s t o f e l 符号： ，炉争掣+ 掣一筹m - 1 】z ，d 相似的方差计算问题在寻找两密度的r a o 距离的统计文献中也有出现。 r a o 距离和( 58 ) 的最小方差是自然相关的，因为路径抽样估计的准确性主 要依赖于两个未正规化密度铂( “) 和q 。( “) 的距离，雨r a o 距离提供，合适 的度量。r a o 距离是通过考虑投射到特定路径上的得分函数的方差而构建 的，因此r a o 距离和目前的计算间的唯一差异是我们处理的是未正规化密 度。例如，( 51 4 ) 与a t k i n s o n 和m i t c h e u ( 1 9 8 1 ) “】的唯一不同为在定义9 。中 的u 函数时用f 啪g ( u l 目) 两不是l o ：m ( w o ) 。 正如关于r a o 距离的文献所研究的，解( 51 4 ) 特别困难。 小拍一，。和 m i t c h e l l ( 1 9 8 1 ) ”】建议用h a m i l t o n 方程和h a m i l t o n j a c o b i 方程两种方法表 达解并给出找到两个j f 态密度n j j 的m u 距离的微分i l n 参数。尽倚做r 这 1 0 关于计算正规化常数的m o n t ec a r l o 模拟方法的讨论 5 路径抽样 些努力，解一般问题还是很困难。 ( 三) 分布空间中的最优路径 前面部分，分布族p ( u 口) 是给定的。一个不同的问题是在连接两个非正 规化密度函数伽( u ) 和q 。( u ) 的可积非负函数的空间中找一条最优的路径， 即在满足边界条件q ( u l o ) = c 咖( u ) ，q ( w 1 1 ) = 州。) ( 其中c 为任意正常数) 的 所有非负函数g ( “愀0 n1 中寻找最优。考虑到本节第二部分结尾所讨论 的“吸收”变换，我们不失一般性可以假设0 服从 0 ，1 上的均匀分布。实际 上，因为q o ( u ) 和q ，( u ) 不是一个公共参数系的一部分，可能有必要定义一族 函数。或者说，这两个分布可能具有一个参数形式。可能的一般构造包括物 理学中建议的几何路径以及比例化路径q ( 叫l o ) = q o ( “) ；斗筹( j1 5 ) ，当用这 条路径来估计a 时，我们需要调整一个已知的偏差l 。g ( 1 2 糕) 。但若摆脱参 数形式而在整个分布空间中考虑的话，可能会找到更有效的路径。 在整个分布空间找最优路径在数学上比前面部分提到的最优化问题更 容易。首先，我们写路径函数 则 z 1e o i l o l o 。m 坩删= f o 【丽d 坳 2 d o + z 1e 一 刍忉m 驯2 d o ( 5 1 6 ) 为最小化( 5 1 6 ) 的左面，我们可以分别最小化( j 1 6 ) 的右边的两项。对于右 边的第一项，以下简单结果给出了回答。 引理5 1 如果z ( 口) 是满足l o g z ( 1 ) 一l o g z ( o ) =