北邮信息论课件-第2章 离散信息的度量

1、北京邮电大学信息与通信工程学院1/76 北京邮电大学信息与通信工程学院2/76 通信系统模型：信源、编码器、信道、译码器、信宿通信系统模型：信源、编码器、信道、译码器、信宿 通信系统三项性能指标：传输的有效性、传输的可靠性、通信系统三项性能指标：传输的有效性、传输的可靠性、传输的安全性传输的安全性 信息的三个基本层次：语法信息、语义信息、语用信息信息的三个基本层次：语法信息、语义信息、语用信息上章内容复习！注意：香农信息论所研究的信息为语法信息中的概率信息注意：香农信息论所研究的信息为语法信息中的概率信息北京邮电大学信息与通信工程学院3/76本章知识结构离散信息的度量单个事件信息度量事件集平均

2、信息度量自信息条件自信息联合自信息互信息条件互信息熵条件熵联合熵平均互信息平均条件互信息67811345912北京邮电大学信息与通信工程学院4/76 北京邮电大学信息与通信工程学院5/76iax ()log()XiXiIaPa ( )log ( ) ()logiiI xp xI ap 或1,01iiipp( )I x非负北京邮电大学信息与通信工程学院6/76比特x2log奈特xln哈特x10log比特奈特443. 11比特哈特32. 31 证明使用最常用北京邮电大学信息与通信工程学院7/76 X随机事件集合x随机事件( )iXixaPa的概率( ,)XYijPa b联合概率概率论与随机过程北京

3、邮电大学信息与通信工程学院8/76事件发生前事件发生后事件发生的不确定性事件包含的信息量北京邮电大学信息与通信工程学院9/76北京邮电大学信息与通信工程学院10/761()0.9p a1a152. 09 . 0log)(1aI1a2a2()0.1p a2a323. 31 . 0log)(2aI)()(12aIaI北京邮电大学信息与通信工程学院11/76jibyax,( ,)log( ,)XYijXYijIa bPa b ()log () I xyp xy () p xy联合概率空间归一化把xy看成单一事件联合自信息与自信息含义相同北京邮电大学信息与通信工程学院12/76北京邮电大学信息与通信工

4、程学院13/7611/22/991001090) 1 , 1 (2100110190CCCPXY460. 211/2log) 1 , 1 (I比特110/12/991002/910)2 , 0(2100210CCPXY782. 6110/1log)2 , 0(I比特110/892/991002/8990)0 , 2(2100290CCPXY306. 0110/89log)0 , 2(I比特因为因为 ，所以事件，所以事件“两个球都是白两个球都是白球球”的发生更难猜测的发生更难猜测。 (0,2)(2,0)II北京邮电大学信息与通信工程学院14/76|(|)log(|)X YijX YijIa bP

5、a b ( | ) log ( | ) I x yp x y jby iax ( | ) p x yx概率空间归一化把x|y看成单一事件条件自信息与自信息含义相同北京邮电大学信息与通信工程学院15/76jiybxa给定，事件发生前jiybxa给定，事件发生后事件发生的不确定性事件包含的信息量如何理解如何理解北京邮电大学信息与通信工程学院16/76北京邮电大学信息与通信工程学院17/76比特比特99/10)|(rxwyp307. 399/10log)|(rxwyI99/89)|(rxryp154. 099/89log)|(rxryI北京邮电大学信息与通信工程学院18/76北京邮电大学信息与通信工

6、程学院19/76北京邮电大学信息与通信工程学院20/76,ijxa yb/;( |)( ;)log( )X YijX YijXiPabIa bP a( | )( ; )log( )p x yI x yp x( ;)logijijipI a bp)|()();(yxIxIyxII(x;y)与与 I(x|y), I(xy)的区别的区别北京邮电大学信息与通信工程学院21/76如何理解如何理解( | )( )( ; )0I x yI xI x y北京邮电大学信息与通信工程学院22/76)(eI)|(feI)(eI)|(feI);(feI);(feI北京邮电大学信息与通信工程学院23/761) I(e)

7、= -log0.125 =3 bit 2) I(e |f)= -log0.8 =0.322 bit 3) I( )= -log0.875 =0.193 bit 4) I( |f)= -log0.2 =2.322 bit 5) I(e;f)= 3-0.322 =2.678 bit 6) I( ;f)= 0.193-2.322 = -2.129 bit eee北京邮电大学信息与通信工程学院24/76( |)( ; | )log( | )p xyzI x yzp xz北京邮电大学信息与通信工程学院25/76北京邮电大学信息与通信工程学院26/76( )p xE( )( ) ( )( )log ( )

8、p xxH XE I xp xp x北京邮电大学信息与通信工程学院27/76北京邮电大学信息与通信工程学院28/7630000010300000101 pbitpXH63000002210)10(log)/1 (log)(北京邮电大学信息与通信工程学院29/76晴阴雨A城市08015005B城市040303北京邮电大学信息与通信工程学院30/76符号比特/ 884. 0 05. 0log05. 015. 0log15. 08 . 0log8 . 0)05. 0 ,15. 0 , 8 . 0()( HAH符号比特/ 571. 1 3 . 0log3 . 03 . 0log3 . 04 . 0lo

9、g4 . 0)3 . 0 , 3 . 0 , 4 . 0()( HBH北京邮电大学信息与通信工程学院31/76符号比特/ 486. 1 3 . 0log3 . 02 . 0log2 . 05 . 0log5 . 0)03, 2 . 0 , 5 . 0()( HAH符号比特/ 469. 01 . 0log1 . 09 . 0log9 . 0) 1 . 0 , 9 . 0()( HBH北京邮电大学信息与通信工程学院32/76iiiuHuqXH)()()(北京邮电大学信息与通信工程学院33/76北京邮电大学信息与通信工程学院34/76()( |) ( | )p xyH Y XE I y x()log

10、( | )xyp x yp y x ( )( | )log ( | )xyp xp y xp y x( )(| )xp x H Y x(| )(| )log(| )yH Y xp y xp y xxY 为在 取某一特定值时 的熵北京邮电大学信息与通信工程学院35/7632)0(xp31) 1 (xp21)0|1()0|0(xypxyp1) 1|1(xyp) 1|() 1()0|()0()|()()|(xYHxpxYHxpxYHxpXYHx符号比特/ 32) 1 (31)21(32HH北京邮电大学信息与通信工程学院36/76()() ()p xyH XYE I xyxyyxpyxp)(log)(

11、北京邮电大学信息与通信工程学院37/76Yp(xy)01X010313131符号比特/ 585. 13log)31,31,31()Y( HXH北京邮电大学信息与通信工程学院38/76北京邮电大学信息与通信工程学院39/761log)()(iiippppHXH元函数为1)(nXH2n当11112(,( )()(,1H pHH p ppH pp北京邮电大学信息与通信工程学院40/76若当且仅当若当且仅当x1 = x2或或= 0,1时等式成立时等式成立若当且仅当若当且仅当x1 = x2或或= 0,1时等式成立时等式成立北京邮电大学信息与通信工程学院41/76)(11qkkkqkkkxfxf北京邮电大

12、学信息与通信工程学院42/76证证 利用数学归纳法。根据上凸函数的定义有 fx1+(1-)x2f(x1)+(1-)f(x2) 其中0log24 北京邮电大学信息与通信工程学院51/76证证 设随机变量集合有设随机变量集合有n个符号，概率分布为个符号，概率分布为P(x) ；Q(x)为等概率分为等概率分布，即布，即 Q(x)=1/n。 根据散度不等式有根据散度不等式有xxQxPxPQPD)()(log)()/(xxnxPxPxP)/1log()()(log)(0log)(nXHnXHlog)(北京邮电大学信息与通信工程学院52/76北京邮电大学信息与通信工程学院53/76)()|(YHXYH在信息

13、处理过程中，条件越多，熵越小。在信息处理过程中，条件越多，熵越小。)/(log)/()()(log)()/()(xypxypxpyqyqXYHYHYxyxyyqxypxypxp)()/(log)/()(0北京邮电大学信息与通信工程学院54/76 NiiNXHXXXH121)()()()|(YHXYH 联合熵与信息熵、条件熵的关系联合熵与信息熵、条件熵的关系 H(XY)= H(X) + H(Y|X ) 北京邮电大学信息与通信工程学院55/76北京邮电大学信息与通信工程学院56/76北京邮电大学信息与通信工程学院57/76xxpyxPyxPyXI)()|(log)|();(定理定理 I(X；y)0

14、， 仅当仅当y与所有与所有x 独立时，等式成立。独立时，等式成立。 证 根据散度的定义，有 仅当对所有x，p(x)= p(x / y ) 时，等式成立, 证毕。 /(; )(/)0XyXI X yD PP北京邮电大学信息与通信工程学院58/76xxYIxpYXI);()();(yxypxypxypxp,)()/(log)/()(yxxxypxpxypxypxp,)/()()/(log)/()(jiiijiijijippppp,log北京邮电大学信息与通信工程学院59/76I(X;Y)H(Y|X)H(X|Y)H(Y)H(X) H(XY)北京邮电大学信息与通信工程学院60/760);(yXI0 其

15、均值);();(XYIYXI北京邮电大学信息与通信工程学院61/76)(),(21xpxp设)()1 ()()(, 1021xpxpxp取令)()1 ()()(21xpIxpIxpI那么只要证)();(xpIYXI北京邮电大学信息与通信工程学院62/76ppppqq111) 1 ()0(ppppq2)1()1()0(ppppppq21)1 ()1 ()1)(1 () 1 ()2()(ppHYH) 1 () 1 ()0()0(qPqPYY北京邮电大学信息与通信工程学院63/76(|) (1)log(1)log(1)log(1)log(1)H YXpppppppp)()1log()1 (logpH

16、pppp)()2()|()();(pHppHXYHXHYXI0)21()21();(,21,21,21HHYXIpp当有极大值时当212pp02/1(21）（移项p北京邮电大学信息与通信工程学院64/76)|(),|(21xypxyp设)|()1 ()|()|(, 1021xypxypxyp取令yxyp1)|()|();(xypIYXI记)|()1 ()|()|(21xypIxypIxypI那么只要证北京邮电大学信息与通信工程学院65/76固定，pHppHYXI)()2();(10I(X;Y)H()1/2p北京邮电大学信息与通信工程学院66/76北京邮电大学信息与通信工程学院67/76);()

17、|;()()|()|()|(log)()|(log);(zxIzyxIxpzxpzxpyzxpxpyzxpyzxI由于(;)(;/)(;)Ix yzIx zyIx yzyxzyxzxpyzxpxyzpzxpyzxpZYXI,)|()|(log)()|()|(log)|;();()/;();()/;();(ZXIZYXIYXIYZXIYZX：I，得两边求平均北京邮电大学信息与通信工程学院68/76(;|)0I X Y Z 等式成立时当且仅当0)/()/;()|()|(/YZZXXYZPPPDZYX，Iyzxpzxp等式成立当且仅当，yzxpzxp)|()|(, , ,( /)(;/)()log( / )()()log( / ) ()x y zx y zp x yzI X Y Zp xyzp x zp xyzp xyzp x z p yz北京邮电大学信息与通信工程学院69/76(;)(; )I X YZI X Z(;)(; )I X YZI X Y时等式成立当且仅当)|()|(yzxpzxp时等式成立当且仅当)|()|(yzxpyxp北京邮电大学信息与通信工程学院70/76北京邮电大学信息与通信工程学院71/76(