《信息论基础熵》ppt课件

1、熵、结合熵、条件熵目的目的了解各种熵的概念了解各种熵的概念; 掌握离散信源各种熵的根本性掌握离散信源各种熵的根本性质质1( )log( )iiI aP a( )iI a有两个含义： 1、当事件发生前，表示该事件发生的不确定性；2、当事件发生后，标是该事件所提供的信息量 自信息量的单位取决于对数所取的底，假设以2为底，单位为比特，以e为底，单位为奈特，以10为底，单位为哈特,通常取比特为单位回想回想1回想回想11a2a1,2( )1/ 4,3/ 4aaXp x1( )log42I a 24()log0.4153I a例1：设天气预告有两种音讯，晴天和雨天，出现的概率分别为1/4和3/4，我们分别

2、用 来表示晴天，以 来表示雨天，那么我们的信源模型如下： 对一个信源发出不同的音讯所含对一个信源发出不同的音讯所含有的信息量也不同。自信息是一有的信息量也不同。自信息是一个随机变量，不能用它来作为整个随机变量，不能用它来作为整个信源的信息测度个信源的信息测度11()log( )log ( )( )qiiiiH XEP aP ap a 信息熵具有以下两种物理含义：信息熵具有以下两种物理含义：1、表示信源输出前信源的平均不确定性、表示信源输出前信源的平均不确定性2、表示信源输出后，每个符号所携带的平均信息量、表示信源输出后，每个符号所携带的平均信息量熵的单位取决于对数所取的底，假设以2为底，单位为

3、比特/符号回想回想2熵是从整个集合的统计特性来思索的，它从平均意义上熵是从整个集合的统计特性来思索的，它从平均意义上来表征信源的总体特征。来表征信源的总体特征。阐明 自信息量自信息量I(x1 )和和I(x2 )只是表征信源中只是表征信源中各各 个符号的不确定度，一个信源总是包含个符号的不确定度，一个信源总是包含着着 多个符号音讯，各个符号音讯又按概率多个符号音讯，各个符号音讯又按概率空空 间的先验概率分布，因此各个符号的自间的先验概率分布，因此各个符号的自信信 息量就不同。所以自信息量不能作为信息量就不同。所以自信息量不能作为信源源 总体的信息量。总体的信息量。平均不确定度平均不确定度H(X)

4、H(X)的定义公式与热力学的定义公式与热力学中熵的表示方式一样，所以又把中熵的表示方式一样，所以又把H(X)H(X)称为称为信源信源X X的熵。熵是在平均意义上来表征信源的熵。熵是在平均意义上来表征信源的的总体特性的，可以表征信源的平均不确定总体特性的，可以表征信源的平均不确定度。度。 阐明 信息量那么只需当信源输出符号而被接纳信息量那么只需当信源输出符号而被接纳者收到后，才有意义，这就是给予接纳者者收到后，才有意义，这就是给予接纳者的信息度量，这值本身也可以是随机量，的信息度量，这值本身也可以是随机量，也可以与接纳者的情况有关。也可以与接纳者的情况有关。 某一信源，不论它能否输出符号，只需这

5、某一信源，不论它能否输出符号，只需这些符号具有某些概率特性，必有信源的熵些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因值；这熵值是在总体平均上才有意义，因此是一个确定值，普通写成此是一个确定值，普通写成H(X) , XH(X) , X是指是指随机变量的整体包括概率分布。随机变量的整体包括概率分布。阐明作业相关作业相关人口问题：在某个地域，一对夫妻只允许生一个孩子，人口问题：在某个地域，一对夫妻只允许生一个孩子，可是这里一切的夫妻都希望能生个男孩传宗接代，因此可是这里一切的夫妻都希望能生个男孩传宗接代，因此这里的夫妻都会不断生到生了一个男孩为止，假定生男这里的夫妻都会不

6、断生到生了一个男孩为止，假定生男生女的概率一样问：生女的概率一样问： (1)这个地域男孩会多于女孩吗？这个地域男孩会多于女孩吗？ (2)一个家庭孩子的个数用离散随机变量一个家庭孩子的个数用离散随机变量X表示，计算表示，计算X的熵的熵 解：解： 假定一个家庭里有假定一个家庭里有k个女孩，个女孩，1个男孩，相应的概率个男孩，相应的概率是是0.5k * 0.5，因此女孩的平均数是，因此女孩的平均数是 ，女孩的平均数与男孩的平均数相等。女孩的平均数与男孩的平均数相等。 1(0.5 0.5 )1kkk 1()0.5log0.52kkkH X 习题相关习题相关设离散无记忆信源其发生的音讯为20212021

7、0213001203210110321010021032021223210(1)此音讯的自信息是多少?(2)在此音讯中平均每个符号携带的信息量是多少? 01230123( )3/81/41/41/8XaaaaP x解： (1)由于离散信源是无记忆的，所以其发出的音讯序列中各符号是统计独立的。因此，此音讯的自信息就等于音讯中各个符号的自信息之和!根据题意，可得 123431(0)log1.415(1)log28411(2)log2(3)log348I aI aI aI a 比特比特比特比特此音讯中共有14个“0符号，13个“1符号，12个“2符号，6个“3符号，那么得到音讯的自信息是123414

8、 (0)13 (1)12 (2)6 (3)87.81II aI aI aI a比特 01230123( )3/81/41/41/8XaaaaP x习题相关习题相关(2)此音讯中共含此音讯中共含45个信源符号，这个信源符号，这45个信源符号携带个信源符号携带着着8781比特信息量，那么此音讯中平均每个符号携比特信息量，那么此音讯中平均每个符号携带的信息量为带的信息量为287.81/451.95I 比特/符号202120210213001203210110321010021032021223210 留意：此值是此音讯中平均每个符号携带的信息量该离散无记忆该离散无记忆信源平均每个信源平均每个符号携带

9、的信符号携带的信息量，即信息息量，即信息墒墒41()()log()1.91kkkH XP aP a 比特/符号习题相关习题相关新授课新授课结合熵与条件熵熵、结合熵与条件熵信息熵的根本性质新授课新授课结合熵与条件熵熵、结合熵与条件熵信息熵的根本性质信源发出序列中只需前后两个符号间有依赖关系：信源的概率空间:延续两个信源符号出现的结合概率分布为：结合熵与条件熵结合熵与条件熵1212,( )1(), (), ()()qiqaaaXp ap ap ap aP Xqi=1且1()()1qqijijjP a aP a ai=1且知符号 出现后，紧跟着 出现的条件概率为：iaja()(|)()ijjiiPa

10、 aPaaPa 由二维离散信源的发出符号序列的特点可以把其分成每两个符号一组，每组代表新信源 中的一个符号。并假设组与组之间是统计独立的，互不相关的。 12XX X得到一个新的离散无记忆信源 ，其结合概率空间为：12X X1212()X XP x x11121,.,()() (|)qqqqijijia a a aaaa aP a aP a P aa结合熵与条件熵1211(,)()log ()qqijijijH XXP a aP a a 根据信息熵的定义，可得：1结合熵可以表征信源输出长度为2的平均不确定性，或所含有的信息量。阐明阐明: 结合熵是随机序列结合熵是随机序列 结合离散符号集上的每个结

11、合离散符号集上的每个符号对符号对 结合自信息量的数学期望结合自信息量的数学期望结合熵与条件熵 12X Xija a(2)条件熵211(|)(|)log(|)qijijijH XXaP aaP aa 那么：21211(|)()(|)qiiiH XXP a H XXa11() (|)log(|)qqijijiijP a P aaP aa 11()log(|)qqijjiijP a aP aa 结合熵与条件熵随机序列 的结合符号集上的条件自信息量的数学期望 12X X例题知二维随机变量 的结合概率分布 为 求XY()ijP x y(0,0)(1,1)1/8PP(0,1)(1,0)3/8PP(|)H

12、X Y解：由21()()(0)(1)1/2jijYYiP yP x yPP又由|()13(|)(0|0)(1|1),(1|0)(0|1)()44ijijX YX YX YX YjP x yP xyPPPPP y所以(|)()log (|)0.811ijijH X YP x yP xy 比特/符号新授课新授课结合熵与条件熵 熵、结合熵与条件熵信息熵的根本性质(, )H X Y(|)H X Y(|)H Y XHX，YHXHYXHX，YHYHXY 证明证明: )/()()(ijijixypxpyxp)/()(jijyxpypjijiyxp,)()iip xjjyp)(熵、结合熵与条件熵 所以所以)/

13、()(log)(,ijijijixypxpyxp)/(log)(,ijjijixypyxp)(log)(iiixpxp)(log)(,ijijixpyxp)/(log)(,ijjijixypyxp)/()(XYHXH)(XYHjijijijijijiyxpyxpyxIyxp,)(log)()()(熵、结合熵与条件熵证明证明: 由由)/()()(ijijixypxpyxp)/()(jijyxpypjijiyxp,)()(iixpjjyp)(熵、结合熵与条件熵HXYHYHXY所以所以)(XYHjijijijijijiyxpyxpyxIyxp,)(log)()()()/()(log)(,jijjij

14、iyxpypyxp)(log)(jjjypyp)/(log)(,jijijiyxpyxp)/()(YXHYH)/(log)()(log)(,jijijijijjiyxpyxpypyxp熵、结合熵与条件熵1,41943611210)(31iipxpXxi01201/41/18011/181/31/18201/187/360121141( )3694Xp x()(|)()ijjiiP x xP xxP xxjxi01209/111/8012/113/42/9201/87/9xi0 01 12 20 01/41/41/181/180 01 11/181/181/31/31/181/182 20 01

15、/181/187/367/36)/(542. 1)(log)()(31SymbolBitaPaPXHiii)/(87. 0)/(log)()/(313112SymbolBitaaPaaPXXHijijji)/(41. 2)(log)()(313121SymbolsBitaaPaaPXXHjiijjiH(X)：表示信源中每个符号的平均信息量：表示信源中每个符号的平均信息量信源熵。信源熵。H(Y)：表示信宿中每个符号的平均信息量：表示信宿中每个符号的平均信息量信宿熵。信宿熵。H(X|Y)：表示在输出端接纳到：表示在输出端接纳到Y的全部符号的全部符号后，发送端后，发送端X尚存的平均不确定性。这个尚存

16、的平均不确定性。这个对对X尚存的不确定性是由于干扰引起的。尚存的不确定性是由于干扰引起的。信道疑义度信道疑义度(损失熵，模糊度损失熵，模糊度)H(Y|X)：表示在知：表示在知X的全部符号后，对于输的全部符号后，对于输出出Y尚存的平均不确定性。信道分布度尚存的平均不确定性。信道分布度(噪噪声熵声熵)H(XY)：表示整个信息传输系统的平均不确：表示整个信息传输系统的平均不确定性结合熵。定性结合熵。熵的意义对通讯系统熵的意义对通讯系统 熵之间的相互关系H(X,Y) = H(X) + H(Y|X)H(X,Y) = H(Y) + H(X|Y)H(X) = H(X|Y)H(Y) = H(Y|X)H(X,Y

17、) 0 ;2假设X与Y独立，那么H(X)=H(X|Y) ;3) 假设H(X|YZ)=0,那么要么H(X|Y)=0 , 要么H(X|Z)=0 ;4H(X|X)=0 ;5假设X与Y独立，那么H(X|Y)= H(Y|X) .x只需只需个个能够的结果，能够的结果，H(X)0p(x)=p(x|y)H(X|Y=y)=H(X)棋子所在的棋子所在的位置位置:横格和横格和纵格共同决纵格共同决议议FFFTT 123456( )0.20.190.180.170.160.17XaaaaaaP x该信源的熵H(X) log6不满足熵的极值性？2.652.58判别题判别题1H(X)0 ;2假设X与Y独立，那么H(X)=H

18、(X|Y) ;3) 假设H(X|YZ)=0,那么要么H(X|Y)=0 , 要么H(X|Z)=0 ;4H(X|X)=0 ;5假设X与Y独立，那么H(X|Y)= H(Y|X) .x只需只需个个能够的结果，能够的结果，H(X)0p(x)=p(x|y)H(X|Y=y)=H(X)棋子所在的棋子所在的位置位置:横格和横格和纵格共同决纵格共同决议议FFFTT 123456( )0.20.190.180.170.160.17XaaaaaaP x该信源的熵H(X) log6不满足熵的极值性？2.652.58作业P22T1 除I(X;Y)T6 T1 H(X,Y)=1.825 H(X)=0.9183 H(Y)=1T

19、6 H(X,Y|Z)=H(X|Z)+H(Y|X,Z)H(X|Z) 当H(Y|X,Z)=0，即 Y是X、Z的函数时，原式等号成立。有两个同时输出的信源有两个同时输出的信源X和和Y，其中，其中X的信源符号为的信源符号为A，B，C ，Y的信源符号为的信源符号为D，E，F，G ，知，知 P(X )和和PY|X，求结合信源的结合熵和条件熵。，求结合信源的结合熵和条件熵。XABCP(x)1/21/31/6P(y|x)D1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/6扩展训练扩展训练 1 1)61log6131log3121log21(解：信源解：信源X的熵为：的熵为：()

20、()log()XH XP XP X )/(461. 1SymbolBitP(x,y)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/36扩展训练扩展训练 1 1信源信源XY输出每一对音讯的结合概率为：输出每一对音讯的结合概率为：P(X,Y) = P(Y/X)P(X) ，结果如上表。结果如上表。( /)()log( /)1113111111(4*log2*log2*loglog3*log )8410101551223661.956(/)XYH YXP XYP YXBit Symbol ()()log()1111111111(4*log2*lo

21、g2*loglog3*log)8810101515121236363.417(/)XYH XYP XYP XYbit Symbols 条件熵：条件熵： 扩展训练扩展训练 1 1360916161103314121)/()()/()()/()()/()()(CDPCPBDPBPADPAPxDPxPDPX从上述结果可得：从上述结果可得：H(X,Y)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每对符号每对符号)当两个信源统计独立时，当两个信源统计独立时，H(X,Y)=H(X)+H(Y)为最大。为最大。对第二个信源对第二个信源Y，其熵，其熵H(Y)的计算。由全概率公式：的计

22、算。由全概率公式：1203312115181)(EP3607936115181)(FP3609136110181)(GP扩展训练扩展训练 1 1max()()( )1.461 1.9973.458(/ ymbols)HXYH XH YBit S结合熵的最大值为：结合熵的最大值为：max()()3.4583.4170.041(/ ymbols)HHXYH XYBit S由于信源相关，使结合熵减小，其减小量为：由于信源相关，使结合熵减小，其减小量为：因此：因此：)36091log3609136079log3607912033log1203336091log36091( )( )log( )YH Y

23、P YP Y )/(997. 1SymbolBit扩展训练扩展训练 1 1电视屏上约有电视屏上约有 500 500 600= 3 600= 3 105 105个格点，个格点，按每点有按每点有 10 10个不同的灰度等级思索，那么共能个不同的灰度等级思索，那么共能组成组成n=103n=103* *1010个不同的画面。按等概率个不同的画面。按等概率1/1031/103* *1010计算，平均每个画面可提供的信息量为计算，平均每个画面可提供的信息量为 53 10221( )( )log( )log 10niiiH Xp xp x =3 105 3.32 比特比特/画面画面 扩展训练扩展训练 2 2

24、有一篇千字文章，假定每字可从万字表中任选，有一篇千字文章，假定每字可从万字表中任选，那么共有不同的千字文那么共有不同的千字文 N=100001000=104000 篇篇 仍按等概率仍按等概率1/100001000计算，平均每篇千字计算，平均每篇千字文可提供的信息量为文可提供的信息量为 HXlogN4 103332 13 104 比特千字文比特千字文 比较：比较： “一个电视画面平均提供的信息量远远超越一个电视画面平均提供的信息量远远超越“一篇千字文提供的信息量。一篇千字文提供的信息量。 扩展训练扩展训练 3 3该信源该信源X X输出符号只需两个，设为输出符号只需两个，设为0 0和和1 1。输出符号发生的概率分别为输出符号发生的概率分别为p p和和q q，p pq=1q=1。即信源的概率空间为。即信源的概率空间为 qpPX10 那么二元信源熵为 H(X)= -plogp-qlogq = -plogp-(1-p)log(1-p )=H(p)扩展训练扩展训练 4 40 0.2 0.4 0.6 0.8 110.80.60.40.2pH(p)扩展训练扩展训练 4 4信源信息熵信源信息熵H HX X是概率是