（统计学专业论文）Renyi熵的比较、估计及其应用于统计检验.pdf

摘要 自s h a n n o n 上世纪五十年代提出s h a n n o n 熵以来，s h a n n o n 熵得到了迅速的 发展和广泛的应用，目前，s h a n n o n 熵已经成为信息科学、统计学、经济学等诸 多研究领域中的重要工具。s h a n n o n 熵是r - r e n y i 熵在，- 1 时的特殊情形。在许 多情形下，1 的r - r c n y i 熵比s h a n n o n 熵有着更好的性质，因此对于r - r e n y i 熵 及其统计性质的研究有着重要的理论价值与实际意义。 本论文研究的对象是r - r e n y i 熵，研究的主要问题有三个，一是两个随机变 量的r - r c n y i 熵序，二是r - r e n y i 熵的计算与估计，三是如何利用r - r e n y i 熵进行 统计检验。 全文共分四章。第一章，介绍熵的基本理论与随机序的基本概念。第二章， 讨论r - r e n y i 熵序与一般随机序的关系，得到了在一般随机序成立的前提下， r - r e n y i 熵序保持的一些充分条件，并给出次序统计量熵序和随机变量卷积熵序 的一些有用的判别条件。第三章，分为两个部分，第一部分利用 m e t r o p o l i s h a s t i n g s 算法，计算任意分布的r - r e n y i 熵；第二部分给出离散时间马 尔科夫链一维分布的r - r c n y i 熵的蒙特卡罗估计，并证明了此估计的相合性与渐 近正态性，第四章，通过随机模拟给出在进行分布参数的统计检验及独立性检验 时，如何通过挑选不同的r ，而得到较好的检验统计量。 关键字：r - r e n y i 熵，随机序。蒙特卡罗估计，检验统计量 s i n c es h a n n o np r o p o s e ds h a n n o ne n t r o p yi n1 9 5 0 s ，s h a n n o ne n t r o p yh a sb e e n d e v e l o p e da n da d o p t e db r o a d l y a tp r e s e n t ，s h a n n o ne n t r o p yh a sb e c o m e a l l i m p o r t a n ta n a l y t i ct o o li nt h ei n f o r m a t i o ns c i e n c e ，s t a t i s t i c sa n de c o n o m i e s s h a n n o ne n t r o p yi st h es p e c i a lc a s eo fr - r e n y ie n t r o p yf o rr - 1 h o w e v e r , i nm o s t s i t u a t i o n , r - r e n y ie n t r o p yf o r 睁1h a sb e t t e rp r o p e r t i e st h a ns h a n n o ne n t r o p y s o ，i ti s v e r yi m p o r t a n tt os t u d yr _ r e n y ie n t r o p ya n di t ss t a t i s t i cc h a r a c t e r i s t i c sf u r t h e r i nt h i sp a p e r , w em a i n l yd i s c u s st h r e ea s p e c t so fr - r e n y ie n t r o p y i np a r to n e , w e s t u d yr - r e n y ie n t r o p yo r d e ro ft w o s t a t i s t i cv a r i a b l e s ；i np a r tt w o ，w ec a l c u l a t ea n d e s t i m a t es h a n n o ne n t r o p y ；i np a r tt h r e e ，w ec o n d u c th y p o t h e s i st e s tb a s e do nr - r e n y i e n t r o p y i nc h a p t e ro n e w ei n t r o d u c eb a s i ct h e o r yo fe n t r o p ya n ds t o c h a s t i co r d e r h c h a p t e rt w o ，w ed i s c u s st h er e l a t i o n s h i pb e t w e e nt h er - r e n y i e n t r o p yo r d e r a n du s u a l s t o c h a s t i co r d e r ，o b t a i ns o m es u f f i c i e n tc o n d i t i o n sf o rr - r e n y ie n t r o p yo r d e r ，a n dg e t d e t c r m i m s t i cc o n d i t i o n so fr - r e n y ie n t r o p yo r d e rf o ro r d e rs t a t i s t i c sa n ds u m so f i n d e p e n d e n tr a n d o mv a r i a b l e s c h a p t e rt h r e ec o n t a i n st w op a r t s i np a r to n e ，w e u s e m e t r o p o l i s h a s t i n g sa l g o r i t h mt oc a l c u l a t et h er - r e n y ie n t r o p yo fa n y d i s t r i b u t i o n i n p a r tt w o ，w ep r o p o s e dt h em o n t ec a r l oe s t i m a t i o no fr - r e n y ie n t r o p y f o rm a r k o v c h a i n sa n ds h o wi t sw e a kc o n s i s t e n c ya n da s y m p t o t i cn o r m a l i t y i nc h a p t e rf o u r , w e e s t a b l i s hp a r a m e t e r st e s ts t a t i s f i c sa n di n d e p e n d e n tt e s ts t a t i s t i c sb a s e do nr r e n y i e n t r o p ya n dm o n t ec a r l os i m u l a t i o n st os h o wh o w t oc h o o s eb e t t e rs t a t i s t i c sf r o m d l f f e r e n tr k e yw o r d s ：r e n y ie n t r o p y , s t o c h a s t i co r d e r ，m o n t ec a r l oe s t i m a t i o n ，s t a t i s t i c s m 第一章绪论 1 1 熵理论的介绍 1 1 1 信息熵的理论意义 对信息的研究指出，信息量的大小，取决于包含信息内容的消息不确定性程 度。信息不确定性程度大，发出的信息量就大，信息不确定性程度小，发出的信 息量就小。在统计学中不确定性是用概率来描述的，因而，信息量的大小应该也 能用概率来描述。1 9 4 8 年，申农把波尔兹曼熵的概念引入信息论中，把熵作为 一个随机事件的不确定性或信息量的量度，从而奠定了现代信息论的科学理论基 础，大大地促进了信息论的发展。 熵是一个系统失去了信息的度量，科学界普遍认为熵的获得永远意味着信息 的丢失。从微观上看，一个系统有序程度越高，则熵就越小，所含的信息量就越 大，信息的“质”也越高；反之，系统的无序混乱程度越高，则熵就越大，信息的 “质”和“量”就越小。对于有组织的系统，随着熵的增加，组织的破坏，意味着信 息减少，当组织完全破坏，熵最大，信息量为零。信息和熵都是系统状态的物理 量，信息描述的是系统有序的程度，而熵则是描述系统无序的程度。在信息熵公 式中有一负号，它与热力学公式所代表的方向相反，不是描述系统的无序状态， 而是表示系统的有序程度，表示系统获得信息后，无序状态的减少或消除，即消 除不确定性的大小。 信息量是信息论的中心概念。信息论量度信息的基本出发点，是把获得的信 息看作用以消除不确定的东西。因此信息数量的大小，可以用破消除的不确定性 的多少束表示，而随机事件的不确定性的大小可以用概率分布函数束描述。 信息熵是一个独立于热力学熵的概念，但具有热力学熵的基本性质( 单值性、 可加性和极值性1 ，并且具有更为广泛和普遍的意义，所以称为广义熵。它是熵 概念和熵理论在非热力学领域泛化应用的一个基本概念。 1 1 2 离散型分布熵的定义及其性质 我们考虑一个概率实验4 ( 随机事件) ，设它有n 个可能的( 独立的) 结局 口。，口：，口。，每一个结局出现的概率分别是n ，p ：，见，他们满足以下条件： f 0 只1 f = l 2 ，尼 1 1 罗只；1 l , m - 对于随机事件，他们的出现与否没有完全把握，概率实验先验地含有这一不 确定性，本质上是和该实验可能结局的概率分布有关。为了量度概率实验彳先验 地含有不确定性，申农引入函数： 日一瓴，p 2 ，以) - 一罗p i l n b 面 作为概率实验a 试验结果的量度，日叫做申农熵( s h a n n o n 熵) 。由于事件4 。的熵为 - l n p 。，并且p ( x 口；) ip | ，所以s h a n n o n 熵是各事件熵的一种加权平均，或说 是确定各个结局的一种平均信息量。 ，- r e n y i 熵是s h a n n o n 熵的扩展，当r 等于1 时，r r e n y i 熵为s h a n n o n 熵。 定义1 1 1 设离散随机变量x 的概率分布为p ( x 1 ，r e n y i 熵定义为： h ，q ) - 西1 h ( ；p 叫 一p ( x ) l i i p ( x ) r o r _ 1 r - 1 定义i i 2 设一对离散随机变量( z ，y ) 的联合概率分布是p ，) ，) ，那么( z ，y ) 的 联合r - r c n y i 熵的定义为： 珥暖，y ) i击b 陲川训) ) r o , r 一1 一p ，y ) n n ( p ( x ，_ ) ，) ) r 一1 定义1 1 3 设一对离散随机变量偿，y ) 的联合概率分布是，则给定z 石条件下l ， 的，- r e n y i 熵定义为 h r q x 一幻一击h 工) ) 一p ( y x ) l n p ( y x ) 舯酬小茄。 定义1 1 4 设两个离散随机变量j 和l ，其概率分布分别为p o ) 和口o ) ，x 的， 阶相对熵d ( f ，g ) 的定义为： d ，0 ，g ) 一 五1h ；p g ) q l - , 。) r ，。，- 1 ；删- n 器 嘲 定义l 1 , 5 设一对离散随机变量( z ，y ) 的联合分布为p o ，y ) ，边际分布分别为 p o ) 和p r y ) ，互信息，( x ；l ，) 是联合分布p o ，) ，) 与乘积分布p ) p ( y ) 的相对熵， 即 2 ，( z ；y ) 一 击1 1 1 ；军p y ) ( p ”p ( ) ，) 广 ；p m 蔫裔 ， o - r _ 1 ，一1 1 1 3 连续型分布熵的定义及其性质 定义1 1 6 设连续随机变量z 的密度函数为，o ) ，r e n y i ； 耳僻) 。j 击l i i 缸，o 皿) ”o ，h 1 ， l t f ( x ) t n f ( x ) d x ，- 1 定义1 1 7 设一对连续随机变量 ，y ) 的联合密度函数为f ( x ，) ，) ，那么( x ，y ) 的 联合，- r e n y i 熵的定义为： 耳僻，y ) j 击l n 缸，7 似y ) 血妙) r ，。，一1 i 叽， ，y ) l n f ( x ，y ) a x d y r 一1 定义1 1 8 设一对连续随机变量( x ，y ) 的联合密度函数为f ( x ，y ) ，那么( z ，y ) 的 条件，- r e n y i 熵的定义如下： 驯跏肛辔h 缸加d y ) 出r o ，川 i 弧f ( x ，y ) i n f ( y x ) d y d x ，- 1 定义1 1 9 设两个连续随机变量x 和l ，其密度函数分别为， ) 和g ) ，z 的 相对熵优厂，g ) 的定义为： d ，( ，g ) 一 击l l i l ，聃g l - 7 g m r ，o r 一1 l m h 静 w 硒。蓐兰：蒜) l - ， 3 1 1 4s h a n n o n 熵的相关定理 定理1 1 1 ( 链法则) h 。伍，l ，) - h 1 僻) + h 1 皤i y ) 定理1 1 2 假定一对随机变量( x ，n ，当且仅当x 与l ，相互独立，有 巩僻，y ) 一h 1 皤) + 日0 9 定理1 1 3 t l ( x ；y ) 一h 1 旺) + 日。) 一日。僻，y ) - h 1 僻) 一日伍l y ) - h 1 0 9 - h 。( y l x ) 1 1 t y ；x ) 由互信息可以看成是一个随机变量中包含的关于另一个随机变量的信息量， 或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。 定理1 2 4 ( s h a n n o n 不等式) ：当x e r “时，有d l ( ，g ) 0 定理1 2 51 1 ( x ；y ) 0 ，且等号成立的充要条件是x 和y 互相独立。 1 2 随机序的有关概念和性质 本文的第二章是对随机变量的，r e n y i 熵进行随机比较。下面将简要介绍一 些随机偏序的定义，以及证明过程中需要用到的定理。 定义1 2 1 设x ，y 是两个随机变量，f o ) 和g ) 分别为它们的分布函数。若 对一切实数x ，有f 0 ) g 0 ) ，则称随机变量x 在一般随机序下小于l ，记为 x 。y 。 定理1 2 1 设x ，y 是两个随机变量，下面两个条件是等价的： 1 ) x y ； 2 ) 对所有使得期望存在的单调函数庐，不等式e ( x ) e ( 1 ，) 成立。 定义1 3 2 设x ，y 是两个连续随机变量， ) 和9 0 ) 分别为它们的密度函数。 若对所有的j ，有f ( t ) g o ) f ( s ) g ( f ) ，则称随机变量j 在似然比序下小于y ， 记为x y 。 似然比序在我们常见的随机序中是比较强的一种序，它比一般随机序强，由 似然比序可以推出一般随机序：如果x y ，则有x 。y 。 上面两种随机序是比较常见的随机序，他们在可靠性理论和精算理论中是非 常有用的。接下来我们要给出本文讨论的重点，r e n y i 熵序的定义。 定义1 2 3 设x ，y 是两个连续随机变量，f ( x ) 和g o ) 分别为它们的密度函数， 若以( x ) h0 9 ，则称随机变量x 在，- r e n y i 熵序下小干y ，记为x 。y 。 当r 一1 时，r e n y i 熵即为s h a n n o n 熵，因此我们通过讨论，- r e n y i 熵序， 即可获得s h a n n o n 熵的随机比较。 4 对于，r e n y i 熵序的研究才刚开始，至今还没有直接给出它的判别条件。由 r r e n y i 熵的定义可以看出熵与随机变量的分布有着紧密的联系，所以对于熵序 的直接研究相对比较困难。由于分散序可以推出s h a n n o n 熵序，而且对于分散序 有较多的判别条，所以很多关于s h a n n o n 熵序的研究都是从分散序着手。以下给 出分散序的定义： 定义1 2 4 设x ，y 是两个连续随机变量，f ( x ) 和g ( x ) 分别为它们的分布函数， 若 g 1u ) 一g - 1 ( v ) f 1 ( “) 一f - 1 ( y )1 h v 0 则称随机变量x 在分散序( d i s p e r s i v e ) 下小于y ，记为x 。】，。 由分散序的定义可以看出它是用比较随机变量两个分位点之间的距离来衡 量随机变量离散程度的，距离越大离散程度越大。分散序要求随机变量任意两分 位点的距离都比另一个随机变量的距离大，因此可以看出分散序要比熵序强很 多，即若x 。y ，则有x 。y 。但r - r e n y i 熵序成立的条件并不需要像分散 序成立时的那么强，可以找到比较弱的条件使得r r e n y i 熵序成立。 目前对于随机变量卷积的随机序的研究比较热门，下面我们介绍优化序 ( m a j o r i z a t i o n ) ，它对于研究随机变量卷积的随机序有着重大作用。 定义1 2 5 设a - ( ，九，屯) 和z 一( 地，z 2 ，z ) 为两列实向量，设 ：) ) 为a 从大到小的次序量，z ( 。) z ( 2 ) z ( ) 为z 从大到小的 次序量。若当m - 1 , 2 , ，厅一1 时，有二l 。艺二1 吼) ，且芝二d 1 ) 一艺：。一圹 则称被a 超越，记为a 卜p 。 优化序表示实值向量间的一种偏序，a - 就意味着在向量和一定的情况 下，比a 要分散，下面的两个例子可以说明这种关系： c 枷川卜f 挚，翠，孚1 g 。，。，卜( 三，i 1 ，o ，。) 卜( 三，j 1 ，；，。，。) 卜卜( 丢，1 一，丢，i 1 ) 定义1 2 6 设x 是连续随机变量，密度函数为f ( x ) ，x 的失效函数为： 。监l 。 1 一f q ， 如果n b ) 单调递减，称z 具有d f r ( d e c r e a s i n g f a i l u r e r a t e ) 分布。 1 3 本论文的主要研究内容以及框架 本文共分四章，各章节的安排如下： 第一章：简单介绍熵的基本理论与随机序的基本概念，以及本文主要的研究 内容和框架。 第二章：讨论r r e n y i 熵序与一般随机序的关系。得到了在一般随机序成立 的前提下，r r e n y i 熵序保持的一些充分条件，并给出次序统计量熵序和随机变 量卷积熵序的一些有用的判别条件，并给出一些例子。 第三章：分为两个部分，第一部分利用m e t r o p o l i s h a s t i n g s 算法，计算任意 分布的，r e n y i 熵；第二部分给出了离散时间马尔科夫链一维分布的，r e n y i 熵 的蒙特卡罗估计，并证明了此估计的相合性与渐近正态性， 第四章：通过随机模拟给出在进行分布参数的统计检验及独立性检验时，如 何通过挑选不同的r ，而得到较好的检验统计量。 6 第二章r e n y i 熵的随机比较 n a d e r e b r a h i m i ( 1 9 9 9 ) 分析不同分布的s h a n n o n 熵和方差与参数之间的关系， 进而得知熵和方差的表现几乎是一致的，即熵增大的时候方差也随之增大，并给 出随机变量经过特定类函数变换后的s h a n n o n 熵序。n a d e re b r a h i m i ( 2 0 0 4 ) 对 s h a n n o n 熵序做了进一步的研究，并得出以下定理： 定理2 1 1 设x 和l ，是两个非负随机变量，若x 。y ，且y 是d f r ，则z 吒y 。 易知d f r 分布的密度函数一定单调递减。在以上定理的基础上，考虑将条 件d f r 放宽，得出更一般的结论，并将该结论扩展到r r e n y i 熵。 定理2 1 2 设x 和l ，是两个连续随机变量，它们的分布函数分别为f 0 ) 和g 0 ) ， 密度函数分别为， ) 和g o ) 。 ( 1 ) 若，- l g ，o ，g 单调递减，且石。y ，那么工d y ； ( 2 ) 若r - l g p 0 ，g 单调递增，且l ，。石，那么z m y ； ( 3 ) 若r - l i o ) o ，g ( x ) o 单调递减，r x 。y ，那么x 。y ； ( 4 ) 若， l f 0 ，g ( x 卜0 单调递增，r y 。工，那么z 。y 证( 1 ) 当r - 1 ，通过积分交换可以获得r r e n y i 熵的另外一个表达式： 日，( x ) 。_ l ，o ) l i l ，o 灿 一i ：l ni ( f 。1 ) ) 血 由相对熵的性质知 - l f ( x ) l n f ( x ) d r _ l f ( x ) b a g ( x ) d x 因此我们只需要证明 zf ( x ) l n g ( x ) d r 1 ，& ( y ) 单调递减f - 1 , 2 , ，行，n x ( “) k h ) ； ( 4 ) 若， 1 ，f ( ) ，) 单调递增f - 1 , 2 ，厅，则x o , 。) 4 x 。 证( 1 ) 由m u l l e r ( 2 0 0 2 ) 1 2 1 8 知，若五。y ，i - l 2 , ，玎，则有 x ( ，。) ，x j 。) i 。1 2 ，雄 由此可知x ( “) 。) 。接下来计算k 。) 的密度函g m ( t ) 1 3 0 ( f ) - 尸( k “) f ) - 1 一尸( k ，f ，k f ，k f ) = 1 - 尸 f ) p ，f ) p 以 f ) 。1 一一g 。( f ) 石z ( f ) 乙o ) g 。o ) 掣 。多石，p ) 瓦一。( f 培。( f ) 石+ - ( f ) 瓦( f ) 符 因为否，单调递减，i l 2 , ，疗，又因g i ( f ) 单调递减，所以g 。( f ) 也单调递减， 因此由定理2 1 2 的( 1 ) 可得 x h ) d 誓h ) ( 2 ) 同上，由已知可得x ( 删。x 。接下来计算z ( 的密度函数，0 ( f ) ， e 。* 尸( x ) f ) 一p ( x 1 f ，x 2 f ，以c f ) - p ( x 。( t ) p ( x 2 1 时， 如果 。( 了1 ，一1 ，与卜二，土，与。! ，则 勺地地以 z 善五皇2 m 荟版酽 因为萎，i - l 2 , ，l 是服从标准正态分布相互独立的随机变量，则 酽服从分 布g a 咖a 畦，寺由例2 工- 知，若三一( 二1 ，i 1 ，旁卜唼，瓦1 ，1 - 石1 ， 则 善 算m 荟以酽 在r a m e s hm k o 晰耐2 0 0 1 ) q b ，定理3 6 给出在例2 1 1 的条件下，当g a m m a 分布的形状参数a ，1 时，有 善置却善誓 因此r ：1 时有 善置m 荟x 例2 1 3 设x 一阮，x 2 , - - , 以) 和y 一嘶，k ，k ) 为两个分量独立的随机向量， 他们的边际分布服从g a 咖a 分布，具有相同的形状参数n ( 0 c ac 1 ) ，且分别具 有尺度参数a 一“，t ，丸) 。p ；( 一，心，以) 。若a 卜，则r 1 1 时有 x 似) ) 因为由s u n l a n d z h a n g x ( 2 0 0 5 ) 定理1 1 知，若a 卜，有x ( l ) 。誓h ) 因 为置的密度函数单调递减，则x ( 。) 的密度函数也单调递减。由推论2 1 1 的( 1 ) 和( 3 ) 知x m ) m ) 例2 1 4 设x 1 1 ( 墨，以，邑) 和y - ，k 9 - jm 9 k ) 为两个分量独立的随机向量， 五服从g a m m a ( a l ， ) ，誓服从g a m m a ，雎) ，i ；1 ，2 ，n 。如果r 1 ，a j 包1 ， h ，i - 1 , 2 , ，厅，则 x ( “) m 誓h ) 。 因为根据m u l l e r ( 2 0 0 2 ) 6 3 页知，在以上条件下有置。x 。又因为6 l 1 ，故 有y 的密度函数单调递减。根据推论2 l 1 的( 1 ) 和( 3 ) ，可得x ( h ) 。) 。 例2 1 5b e t a 分布族 b ( 4 ，b ) ：a o , b 0 的密度函数为 无脚- 器c x p 。一驷( 6 1 ) 1 n ( 1 吖) ) 矩( o 1 ) ， x 的分布函数为b ( a 。，q ) ，l ，的分布函数为b q ：，也) 。由定理2 1 2 知，若 a 1 a 2 , b l 6 2 ，有 ( 1 ) 当r 1 时，若a 2 1 ，6 2 1 ，则x m y ； ( 2 ) 当，1 时，若口l ，1 ，岛一1 ，则x y 。 由m i i u e r ( 2 0 0 2 ) 6 3 页知，如果a 。a 2 , b 1 6 2 ，则z 。y 且易知当 a 一1 ，6 1 ，b e t a 分布的密度函数单调递减；当a 1 , b - 1 ，b e t a 分布的密度函数单 调递增。由定理2 1 2 可得以上结论。 米特罗波利斯( m 舯p o l i s ) 等人在1 9 5 3 年最早给出了通过生成m a r k o v 链实 现从分布石( x ) 中采样( 生成相关的样本) 这一重要基本思想。随后哈斯汀( h 勰细g s ) 将其推广到更一般的形式。通过建立一个平稳分布为石( 石) 的m a r k o v 链来得到 万( x ) 的样本。 任意选择一个不可约的转移概率q ( y 协，由下列步骤生成服从厢o ) 的样本 x 一 墨，t 田： 1 ) 任意选择初始值x 【o ) ，抽i r v , ，y 口( ) ，k b ，并计算 彬珈曲仉裂黼k 2 ) 生成u ( o ，1 ) 的随机数“，若“c p o ( ”，y ) ，则令x ( f + 1 ) 一誓，返回步骤( 1 ) ；否 则舍去，取x o “) 一x ( f ) ，返回步骤( 1 ) ； 重复上述步骤，生成x - x ，t o a 则当瓦足够大的时候，可认为x r , ，x 毛“，服从石( x ) 。 比较常用f i l q q ( y l x ) 选择有两种： 1 ) 考虑对称分布，b 0 q ( r , l x l o ) 一日( k ) ，此时p o ，y ) 一l i l i n 扎：篆静。最 常用的对称分布是正态分布，以x ( ) 为均值，方差为常数。 动考虑g 。与石无关，即日c y 协：g o ，此时p 。，y ，m 血孔三菩篝安。 通常要使该抽样效果好，口( y ) 因该接近石( x ) 。 3 1 2 用m e t r o p o l i s - h a s t i n g s 方法模拟计算r e n y i 熵 正态分布r e n y i 熵的模拟计算 正态分布( p ，仃2 ) 的r e n y i 熵为： h 一 ( 加2 ) ，1 l n a + 三l i i ( 栅) 2 、， r 0 r ，1 ，一1 选取初始值x ( o ) - o 1 5 ，转移概率口( ) ，) 为正态分布 ( f ) ，4 ) ，模拟正态分 布( 0 1 3 6 1 ) 的r e n y i 熵。选取瓦t 1 0 5 ，用x r 之后获得的数据作为样本代入公 式( 3 1 ) 计算，i o 7 5 ，1 , 1 2 5 ，1 5 ，1 7 5 ，2 的r e n y i 熵。附录1 图1 1 为样本量从1 到1 0 4 所计算出的r e n y i 熵的数值。图中的曲线由上倒下分别为 ，一o 7 5 ，1 1 2 5 ，1 5 ，1 7 5 ，2 ，可以看出，随着样本量的增加模拟值逐渐收敛，最终 成为一条几乎水平直线。由附录1 表1 1 可以看出模拟值与真实值相对误差随着 r 的增大逐渐减小，并且最大值的相对误差为0 2 4 。 伽玛分布r e n y i 熵的模拟计算 伽玛分布g ( 口，b ) 的密度函数为，b ) 一b 4 ( r ( 口) ) 一r - 1 e 一，当n l l t v j 的r e n y i 熵为： h ，-7 铲 r o - r _ 1 - l n b + l n f ( a ) - ( 1 + a ) 日o ( a ) + a ，- 1 其中妒( 4 ) i r a ) 。 选取初始值z 【“- 1 ，转移概率q ( y l x i ”) 为伽玛分布g ( 2 ，1 ) ，模拟伽玛分布 g ( 2 3 , 1 1 ) 的r e n y i 熵。选取瓦一1 旷，用z 矗之后获得的数据作为样本代入公式 ( 3 1 ) 计算，一0 7 5 ，1 , 1 2 5 ，1 5 ，1 7 5 ，2 的r e n y i 熵。附录图1 2 为样本量从1 到1 0 4 所 计算出的r e n y i 熵的数值。图中的曲线由上倒下分别为，- 0 7 5 ，1 , 1 2 5 ，1 5 ，1 7 5 ，2 ， 可以看出，随着样本量的增加模拟值逐渐收敛，最终成为一条几乎水平直线。由 表1 2 可以看出模拟值与真实值相对误差随着r 的增大逐渐减小，并且最大值的 相对误差为n 8 5 。 贝塔分布的r e n y i 熵的模拟计算 贝塔分布口( n ，6 ) 的密度函数为，扛) 一( b ( n ，6 ) ) r 4 ( 1 一x ) b 一，当口，b ，1 时 的r e n y i 熵为： 1 4 月? 。f ( b ( 口，6 ) ) 一7b ( ( 阳一，) ，( 而一，) ) ；i ：j j ! ；i i r o , r - 1 l l n b ( a , 6 ) 一( 口一1 ) ( 妒( n ) 一妒( 口+ 6 ) ) 一( 6 1 ) ( 妒( 6 ) 一妒( n + 6 ) ) r - 1 其中妒0 ) 一r 7 ( 4 ) 。 选取初始值“- 0 1 ，转移概率q ( y i ) 为贝塔分布曰( 4 ，4 ) ，模拟贝塔分布 b ( 4 3 ，4 1 1 的r e n y i 熵。因为伽玛分布的熵比较小，因此需要更加精确的模拟值， 所以选取毛1 9 x 1 0 5 ，用x r 之后获得的数据作为样本代入公式( 3 1 ) 计算 r - 0 7 5 ，l 1 2 5 ，1 5 ，1 7 5 ，2 的r e n y i 熵。附录图1 3 为样本量从1 到1 0 4 所计算出的 r e n y i 熵的数值。图中的曲线由上倒下分别为，- 0 7 5 ，1 , 1 2 5 ，1 517 5 ，2 ，可以看 出，随着样本量的增加模拟值逐渐收敛，最终成为一条几乎水平直线。由表1 3 可以看出模拟值与真实值相对误差随着，的增大逐渐减小，并且最大值的相对误 差为0 4 5 。 f 分布的r e n y i 熵的模拟计算 选取初始值x 1 0 ) 一1 ，转移概率q ( y ) 为f j f f 4 1 i f ( 3 , 4 ) 。模拟f 分布f ( 2 ，3 ) 的r e n y i 熵。因为伽玛分布的熵难以计算，为了确保模拟值接近真实值，所以选 取瓦一1 9 x l 旷，用石矗之后获得的数据作为样本代入公式( 3 1 ) 计算 r 。0 7 5 ，1 ，1 2 5 151 7 5 ，2 的r e n y i 熵。附录图1 4 为样本量从1 至, j 1 0 4 所计算出的 r e n y i 熵的数值。图中的曲线由上倒下分别为，一0 7 5 ，1 , 1 2 5 ，1 5 ，1 7 5 ，2 ，可以看 出，随着样本量的增加模拟值逐渐收敛，最终成为一条几乎水平直线。 3 2 基于m a r k o v 链蒙特卡罗方法的r e n y i 熵估计 d i d i e rca n dp i e r r ev ( 2 0 0 4 ) 给出基于离散时间马尔科夫链的s h a n n o n 熵的蒙 特卡罗估计，本节用该思想给出r e n y i 熵的蒙特卡罗估计。在证明s h a n n o n 熵的 蒙特卡罗估计的相合性和渐近正态性时，他们利用了l n x 的拉格朗日余项的泰勒 展开，但我们尝试用拉格朗日余项的泰勒展开证明r e n y i 熵的蒙特卡罗估计的相 合性和渐近正态性时遇到较大困难，因此本节改用积分余项的泰勒展开束证明 r e n y i 熵的蒙特卡罗估计的相合性和渐近正态性。 设j 一( l 0 是一个m a r k o v 链，x 可测空间为( e ，) ，已知转移概率 q ( x ，y ) ，由初始密度函数p o 可得m a r k o v 链x 在t + 1 时刻的密度函数： p t “( y ) 一c p ( 工) 口( x ，y ) d x t 0 ( 1 ) 本节的基本思想是利用转移概率q ( x ，y ) 的积分公式，以及蒙特卡罗积分方 法，估计t 时刻x 的r e n y i 熵 日7 p ) 一e p , ( p tr 。r o 且r 一0 通过模拟获得x 的2 个相互独立样本，将2 个样本分为两组，每组个 样本，一组为f 时刻n 个相互独立样本记作： x ( 耐，e ，z 0 ) 另一组为t + 1 时刻n 个相互独立样本记作： 文- ( j ：“，碧萱) 由强大数收敛定理可知 专耋矿( 雹，y ) 一正p ( 工) q ( x ，_ ) ，) d x - p t , , ( y ) 当 因此希望利用第二组来自t + l 时刻服从p “1 的独立样本，使得上式左边收敛到 日7 p ) ，于是很自然想到基于两样本( ，文+ 1 ) 的两次蒙特卡罗积分估计： 叫“) 一专薹( 专薹矿( 啪+ 1 ) 厂例且，一。 因此需要理论研究骨7p “1 的近似性。 引进另外一个m a r k o v 链y 一( y ，) ，0 ，它与x 有着不同的转移概率、初始概 率以及t 1 时刻密度函数武。将两次蒙特卡罗积分估计的思想一般化，用同样 的方法可以计算外部熵 日7 ( 硝，p ) 一d ( p ) 1 r ，咀r ，o 将y 在t 时刻的独立同分布样本记为 y t 一( 巧，e ，瑶) 则由以上思想提出外部熵估计 疗7 ( 爿“，p “) 一万1 刍nl i 万l 荟n 矿( z ，f + 1 ) ) ，4 r ，。且r - 1 接下来我们研究以上提出的熵估计的近似性质。我们用独立样本( x f ，爻f “) 估 计日7p “1 ) ，和用独立样本( x i y “1 ) 估计h 7 ( 矗”，p “1 ) ，因此两个估计的性质是 相似的，仅仅是密度函数有所改变。鉴于它们的相似性，我们仅需要给出一个估 计的相合性和渐近正态性证明。为了方便将墨记为以，x ”1 记为巧，且邑p ， y 一一“。 定理3 2 1 若对某个，0 ，有e ，州【q f ( x ，y ) 一p “( y ) 】2 ”t * ，且满足以下 条件： ( 1 ) 当r ，3 时，e p “( y ) 尸7 q t * ； ( 2 )当r t 3 时，对某个_ r ，2 ， 有e d i ( p ( y ) ) f ”c * ， 且 e 一。( p “( y ) ) 斫卅t m ， 则有 或( ，p “) - 日7 ( p p “1 ) 万( 成倒“，p “) 一h 似“，p + 1 ) ) _ ( 0 ) 当0 0 当_ 其中一。+ z ：，。- ( r - 1 ) 2 妇。( e ( q ，( x ，) 一p ) ) ( p “) ) 2 ) ， z ：一v ( p ( y ) ) “。 证考虑以下分解： 西；( 五“，p “) 一h 7 ( “，p “1 ) 一互+ t o 其中 - 万1 刍n 【 万i 荟j 。矿( 鼍，x ) ) r - i 一专荟n ( p “( v ) ) 1 一专冀( ( 专耄矿( 以，v ) ) “一( p “1 ) ) ，1 ) 一万i 台nl l p t + 1 ( 圳“) 一毛。( p “) ，4 x r 。1 ，y 1 的积分余项泰勒展开表达式为： x “| 1 + ( r - 1 ) ( 石一1 ) + 4 ( r _ 1 ) ( 卜2 ) ( r ( x _ 1 f ) 出 y , - 1 1 + ( ，一o ( y 一1 ) + f 0 4 ( ，一1 ) ( ，一2 ) ( f + 1 ) “( y 一1 一f ) 出 因此可得 1 7 x 一一y 。 - ( 一) ( 工一y ) + ( ，1 ) ( ，_ 2 ) 。1 ( f + 1 ) ，- 3 ( x - l - t ) d t n f + 1 ) “( y _ 1 - f ) d f c ( f + 1 ) “3 ( y 一1 一t ) d f ) i ( ) ( 石一_ ，) + ( ) ( ，- 2 ) 。1 ( f + 1 九州) d f ( ) ，- 3 ( y - 1 - t ) 出) i ( ) o y ) + ( ) ( ，