离散信息的度量

1、北京邮电大学信息工程学院 北京邮电大学信息工程学院 北京邮电大学信息工程学院iax )(a-logp)(aiixixii-logp)i(a logp(x)- i(x)或01ip1iip非负)(xi北京邮电大学信息工程学院 x集合x事件)(apxix的概率ia),(pxyjiba联合概率北京邮电大学信息工程学院比特x2log奈特xln哈特x10log比特奈特443. 11比特哈特32. 31 北京邮电大学信息工程学院事件发生的不确定性事件发生前事件包含的信息量事件发生后北京邮电大学信息工程学院北京邮电大学信息工程学院9 . 0)(1ap1a152. 09 . 0log)(1ai1a2a1 . 0

2、)(2ap2a323. 31 . 0log)(2ai)()(12aiai北京邮电大学信息工程学院jibyax,)b,(a-logp)b,(aijixyjixy logp(xy)- i(xy) 北京邮电大学信息工程学院北京邮电大学信息工程学院11/22/991001090) 1 , 1 (2100110190cccpxy460. 211/2log) 1 , 1 (i比特110/12/991002/910)2 , 0(2100210ccpxy782. 6110/1log)2 , 0(i比特110/892/991002/8990)0 , 2(2100290ccpxy306. 0110/89log)0

3、 , 2(i比特因为 ，所以事件“两个球都是白球”的发生更难猜测。 )0 , 2()2 , 0(ii北京邮电大学信息工程学院)b|(a-logp)b|(aijiy|xjiy|x y)|logp(x- y)|i(xjby iax 北京邮电大学信息工程学院事件发生的不确定性事件发生前事件包含的信息量事件发生后ija，xby给定ija，xby给定北京邮电大学信息工程学院北京邮电大学信息工程学院比特比特99/10)|(rxwyp307. 399/10log)|(rxwyi99/89)|(rxryp154. 099/89log)|(rxryi北京邮电大学信息工程学院北京邮电大学信息工程学院北京邮电大学信

4、息工程学院jib，yax/ij;xi( /b )( ;)logp (a )x yx yijpaia b( / )( ; )log( )p x yi x yp x( ;)logjiijipi a bp)|()();(yxixiyxii(x;y)与与 i(x|y)的区别？的区别？北京邮电大学信息工程学院北京邮电大学信息工程学院)(ei)|(fei)(ei)|(fei);(fei);(fei北京邮电大学信息工程学院1) i(e)= -log0.125 =3 bit 2) i(e |f)= -log0.8 =0.322 bit 3) i( )= -log0.875 =0.193 bit 4) i( |

5、f)= -log0.2 =2.322 bit 5) i(e；f)= 3 0.322 =2.678 bit 6) i( ；f)= 0.193 2.322 = -2.129 bit eee北京邮电大学信息工程学院( /)( ;/ )log( / )p x yzi x y zp x z北京邮电大学信息工程学院北京邮电大学信息工程学院( )p xe( )( ) ( )( )log ( )p xxh xe i xp xp x北京邮电大学信息工程学院北京邮电大学信息工程学院30000010300000101 pbitpxh63000002210)10(log)/1 (log)(北京邮电大学信息工程学院晴阴

6、雨a城市08015005b城市040303北京邮电大学信息工程学院符号比特/ 884. 0 05. 0log05. 015. 0log15. 08 . 0log8 . 0)05. 0 ,15. 0 , 8 . 0()( hah符号比特/ 571. 1 3 . 0log3 . 03 . 0log3 . 04 . 0log4 . 0)3 . 0 , 3 . 0 , 4 . 0()( hbh北京邮电大学信息工程学院符号比特/ 486. 1 3 . 0log3 . 02 . 0log2 . 05 . 0log5 . 0)03, 2 . 0 , 5 . 0()( hah符号比特/ 469. 01 . 0

7、log1 . 09 . 0log9 . 0) 1 . 0 , 9 . 0()( hbh北京邮电大学信息工程学院iiiuhuqxh)()()(北京邮电大学信息工程学院北京邮电大学信息工程学院()( /) ( / )p xyh y xe i y xxyxypyxp)/(log)(xyxypxypxp)/(log)/()(xxyhxp)/()(的熵取某一特定值时为在yxxypxypxyhy)/(log)/()/(北京邮电大学信息工程学院32)0(xp31) 1 (xp21)0|1()0|0(xypxyp1) 1|1(xyp) 1|() 1()0|()0()|()()|(xyhxpxyhxpxyhxp

8、xyhx符号比特/ 32) 1 (31)21(32hh北京邮电大学信息工程学院()() ()p xyh xye i x yxyyxpyxp)(log)(北京邮电大学信息工程学院yp(xy)01x010313131符号比特/ 585. 13log)31,31,31()y( hxh北京邮电大学信息工程学院北京邮电大学信息工程学院1log)()(iiipppphxh元函数为1)(nxh2n当)()1 ,(),()(11121phpphpphph北京邮电大学信息工程学院若当且仅当若当且仅当x1 = x2或或= 0,1时等式成立时等式成立若当且仅当若当且仅当x1 = x2或或= 0,1时等式成立时等式成

9、立北京邮电大学信息工程学院)(11qkkkqkkkxfxf北京邮电大学信息工程学院证证 利用数学归纳法。根据上凸函数的定义有 fx1+(+(1-)x2f(x1)+(1-)f(x2) 其中0log24 北京邮电大学信息工程学院证证 设随机变量集合有设随机变量集合有n个符号，概率分布为个符号，概率分布为p(x) ；q(x)为等概率分为等概率分布，即布，即 q(x)=1/n。 根据散度不等式有根据散度不等式有xxqxpxpqpd)()(log)()/(xxnxpxpxp)/1log()()(log)(0log)(nxhnxhlog)(北京邮电大学信息工程学院北京邮电大学信息工程学院)()|(yhxy

10、h在信息处理过程中，条件越多，熵越小。在信息处理过程中，条件越多，熵越小。)/(log)/()()(log)()/()(xypxypxpyqyqxyhyhyxyxyyqxypxypxp)()/(log)/()(0北京邮电大学信息工程学院 niinxhxxxh121)()()()|(yhxyh 联合熵与信息熵、条件熵的关系联合熵与信息熵、条件熵的关系 h(xy)= h(x) + h(y/x ) 北京邮电大学信息工程学院北京邮电大学信息工程学院北京邮电大学信息工程学院xxpyxpyxpyxi)()|(log)|();(定理定理 i(x；y)0， 仅当仅当y与所有与所有x 独立时，等式成立。独立时，

11、等式成立。 证 根据散度的定义，有 仅当对所有x，p(x)= p(x / y ) 时，等式成立, 证毕。 /(; )(/)0xyxi x yd pp北京邮电大学信息工程学院xxyixpyxi);()();(yxypxypxypxp,)()/(log)/()(yxxxypxpxypxypxp,)/()()/(log)/()(jiiijiijijippppp,log北京邮电大学信息工程学院i(x;y)h(y|x)h(x|y)h(y)h(x) h(xy)北京邮电大学信息工程学院0);(yxi0 其均值);();(xyiyxi北京邮电大学信息工程学院)(),(21xpxp设)()1 ()()(, 10

12、21xpxpxp取令)()1 ()()(21xpixpixpi那么只要证)();(xpiyxi北京邮电大学信息工程学院ppppqq111) 1 ()0(ppppq2)1()1()0(ppppppq21)1 ()1 ()1)(1 () 1 ()2()(pphyh) 1 () 1 ()0()0(qpqpyy北京邮电大学信息工程学院(|) (1)log(1)log(1)log(1)log(1)h yxpppppppp)()1log()1 (logphpppp)()2()|()();(phpphxyhxhyxi0)21()21();(,21,21,21hhyxipp当有极大值时当212pp02/1(2

13、1）（移项p北京邮电大学信息工程学院北京邮电大学信息工程学院)|(),|(21xypxyp设)|()1 ()|()|(, 1021xypxypxyp取令yxyp1)|()|();(xypiyxi记)|()1 ()|()|(21xypixypixypi那么只要证北京邮电大学信息工程学院固定，phpphyxi)()2();(10i(x;y)h()1/2p北京邮电大学信息工程学院北京邮电大学信息工程学院);()|;()()|()|()|(log)()|(log);(zxizyxixpzxpzxpyzxpxpyzxpyzxi由于(;)(;/)(;)ix yzix zyix yzyxzyxzxpyzxp

14、xyzpzxpyzxpzyxi,)|()|(log)()|()|(log)|;();()/;();()/;();(zxizyxiyxiyzxiyzx：i，得两边求平均北京邮电大学信息工程学院0)/;(zyxi等式成立时当且仅当0)/()/;()|()|(/yzzxxyzpppdzyx，iyzxpzxp等式成立当且仅当，yzxpzxp)|()|(, , ,( /)(;/)()log( / )()()log( / ) ()x y zx y zp x yzi x y zp xyzp x zp xyzp xyzp x z p yz北京邮电大学信息工程学院(;)(; )i x yzi x z(;)(; )i x yzi x y时等式成立当且仅当)|()|(yzxpzxp时等式成立当且仅当)|()|(yzxpyxp北京邮电大学信息工程学院北京邮电大学信息工程学院( )() log( )p xh xep x()(/ ) log( / )p xyh x