第二章信息论基本概念

1、第二章信息论基本概念第二章信息论基本概念第1页，共63页。第一节第一节 信源的描述和分类信源的描述和分类一、香农信息论的基本点 用随机变量或随机矢量来表示信源，运用概率论和随机过程的理论来研究信息。 二、信源的分类 按照信源发出的消息在时间上和幅度上的分布情况可将信源分成离散信源和连续信源两大类 信源离散信源连续信源2第2页，共63页。 连续信源 连续信源是指发出在时间和幅度上都是连续分布的连续消息（模拟消息）的信源，如语言、图像、图形等都是连续消息。 离散信源 离散信源是指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 离散信源离散无记忆信源离散有记忆

2、信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源3第3页，共63页。离散无记忆信源 离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。 离散有记忆信源 离散有记忆信源所发出的各个符号的概率是有关联的。 发出单个符号的信源 发出单个符号的信源是指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 发出符号序列的信源是指信源每次发出一组含二个以上符号的符号序列代表一个消息。 4第4页，共63页。发出符号序列的有记忆信源 发出符号序列的有记忆信源是指用信源发出的一

3、个符号序列的整体概率（即联合概率）反映有记忆信源的特征。 发出符号序列的马尔可夫信源 发出符号序列的马尔可夫信源是指某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。 5第5页，共63页。三、先验概率及概率空间的形式 一个离散信源发出的各个符号消息的集合为： ,21nxxxX它们的概率分别为： )(,),(),(21nxpxpxpP)(ixp为符号ix的先验概率。1)(, 0)(1niiixpxpl 先验概率 一般信源可用一个概率空间来描述，信源的不确定程度可用该概率空间的可能状态数目及其概率来描

4、述。 状态空间 6第6页，共63页。)()()(2121nnxpxpxpxxxPXl 概率空间 状态空间X中各状态 相互独立。 ixl 举例（二进制信源）：100.50.5XPl 信息论所关心的就是这种随机变量的不确定性，驱使我们对随机变量进行观察和测量，从中获取信息。7第7页，共63页。问题：问题：u什么叫自信息量？什么叫自信息量？u什么叫不确定度？什么叫不确定度？ u什么叫互信息量？什么叫互信息量？u 什么叫平均自信息量？什么叫平均自信息量？u 什么叫条件熵？什么叫条件熵？u 什么叫联合熵？什么叫联合熵？u 联合熵、条件熵和熵的关系是什么？联合熵、条件熵和熵的关系是什么？u 熵的性质有哪些

5、？熵的性质有哪些？u 什么叫平均互信息量？什么叫平均互信息量？u 什么叫信源熵？如何计算离散信源熵？什么叫信源熵？如何计算离散信源熵？第二节第二节 离散信源的信息论概念离散信源的信息论概念8第8页，共63页。（一）（一） 自信息量自信息量1. 信息量？2. 自信息量？3. 不确定度？4. 联合自信息量？5. 条件自信息量？本节的重点内容：9第9页，共63页。 I I（信息量）不确定程度的减少量（信息量）不确定程度的减少量（一）（一） 自信息量自信息量1. 信息量 定义：一个随机事件的自信息量定义为其出现概率对数的负值:2. 自信息量 即收信者收到一个消息后，所获得的信息量等于收到信息前后不确定

6、程度减少的量。（举例）10)(log)(iixpxI第10页，共63页。c. 因为概率 越小， 的出现就越稀罕，一旦出现，所获得的信息量也就较大。由于 是随机出现的，它是X的一个样值，所以是一个随机量。而 是 的函数，它必须也是一个随机量。 )(ixpixix)(ixIix说明：( )iI xa. 自信息量 是非负的。b. 对于离散无记忆信源，符号串中各符号统计独 立，符号串自信息量具有可加性：log ( )iiIp x11第11页，共63页。d. 自信息量单位的确定自信息量单位的确定在信息论中常用的对数底是在信息论中常用的对数底是2，信息量的单位为，信息量的单位为比特（比特（bit），），用

7、用log2或或lb表示；（表示；（ bit /符号符号）若取自然对数，则信息量的单位为奈特（若取自然对数，则信息量的单位为奈特（nat），用），用loge或或ln表表示；（示；（nat/符号）符号）若以若以10为对数底，则信息量的单位为哈脱莱为对数底，则信息量的单位为哈脱莱(Hartley)，用，用log10或或lg表示；（表示；（hartley/符号）符号） 若对数底为若对数底为r，则信息量的单位为，则信息量的单位为r进制用单位进制用单位/符号。符号。 这三个信息量单位之间的转换关系如下：这三个信息量单位之间的转换关系如下： 1 natlog2e l.433 bit， l Hartley l

8、og210 3.322 bit 12第12页，共63页。 定义：定义：随机事件的随机事件的不确定度不确定度在数量上等于它的在数量上等于它的自信息量自信息量 说明说明:两者的单位相同，但含义却不相同。两者的单位相同，但含义却不相同。a.具有某种概率分布的随机事件不管发生与否，都存在不确具有某种概率分布的随机事件不管发生与否，都存在不确定度，不确定度表征了该事件的特性，而自信息量是在该定度，不确定度表征了该事件的特性，而自信息量是在该事件发生后给予观察者的信息量。事件发生后给予观察者的信息量。 3. 不确定度13第13页，共63页。 一个出现概率接近于1的随机事件，发生的可能性很大，所以它包含的不

9、确定度就很小； 反之，一个出现概率很小的随机事件，很难猜测在某个时刻它能否发生，所以它包含的不确定度就很大； 若是确定性事件，出现概率为1，则它包含的不确定度为0。14第14页，共63页。几个关于自信息量的例子：几个关于自信息量的例子：（1） 一个以等概率出现的二进制码元（一个以等概率出现的二进制码元（0，1）所包含）所包含的自信息量为：的自信息量为： I（0）= I（1）= - log2 （1/2）=log22=1 bit/符号符号 （2）若是一个m位的二进制数，因为该数的每一位可从0, 1两个数字中任取一个，因此有2m个等概率的可能组合。所以I= -log2(1/2m)=m bit/符号，

10、就是需要m比特的信息来指明这样的二进制数。 15第15页，共63页。（3）具有四个取值符号的随机变量 各符号概率相等，均为1/4，各符号的自信息量：1234 ,Xx x x x12341()()()()2(/)4I xI xI xI xlbbit符号注：ubit的含义是二进制数字（0、1），自信息量为2（bit/符号），意味着其不确定性可用2位二进制数字来度量（00、01、10、11）。u若取4为对数底，自信息量为1（四进制单位/符号），意味着其不确定性可用1位四进制数字来度量（0、1、2、3）。16第16页，共63页。（4）英文字母中英文字母中“e” 出现的概率为出现的概率为0.105，“c

11、”出现的概出现的概率为率为0.023，“o”出现的概率为出现的概率为0.001。分别计算它们的。分别计算它们的自信息量。自信息量。解：解：“e”的自信息量的自信息量 I（e）= - lb0.105=3.25 （bit/符号）符号） “c”的自信息量的自信息量 I（c）= -lb0.023=5.44 （bit/符号）符号） “o”的自信息量的自信息量 I（o）= -lb 0.0019.97 （bit/符号）符号）17第17页，共63页。（5）某离散无记忆信源（DMS,Discrete Memoryless Source）的概率空间为 信源发出消息202 120 130 213 001 203 2

12、10 110 321 010 021 032 011 223 210。 求该消息的自信息量以及消息中平均每符号的自信息量？12340123p3/81/41/41/8xXxxxx18第18页，共63页。121( )log1.4153/8I x2321()()log21/4I xI x41()log31/8I x解：信源符号的自信息量：单位都是 bit/符号 信源无记忆，发出的符号串中各符号统计独立，由自信息量的可加性，符号串自信息量等于各符号自信息量之和：123414 ( )13 ()12 ()6 ()87.81(/)II xI xI xI xbit符号平均一个符号的自信息量：/ 4587.81

13、 / 451.95(/)Ibit符 号19第19页，共63页。（6）同时抛掷一对质地均匀的骰子，每个骰子各面朝同时抛掷一对质地均匀的骰子，每个骰子各面朝上的概率均为上的概率均为1/6，试求：，试求： (a)事件事件“3和和5同时发生同时发生”的自信息量？的自信息量？ (b)事件事件“两个两个1同时发生同时发生”的自信息量？的自信息量？ (c)事件事件“两个点数中至少有一个是两个点数中至少有一个是1”的自信息量？的自信息量？解: (a) 存在两种情况：甲3乙5，甲5乙3。 P(A)=1/362=1/18，I(A)=-lbP(A)=4.17（bit）。 (b) 存在一种情况：甲1乙1。 P(B)=

14、1/36，I(B)=-lbP(B)=5.17（bit）。 (c) P(C)=15/65/6=11/36，I(C)=-lbP(C)=1.17（bit）。20第20页，共63页。（7）在布袋中放入在布袋中放入81枚硬币，它们的外形完全相同。枚硬币，它们的外形完全相同。已知有一枚硬币与其它已知有一枚硬币与其它80枚硬币重量不同，但不知枚硬币重量不同，但不知这个硬币比其它硬币的重量是重还是轻。问确定随这个硬币比其它硬币的重量是重还是轻。问确定随意取出的一枚硬币恰好是重量不同硬币的所获得的意取出的一枚硬币恰好是重量不同硬币的所获得的信息量是多少？并进一步确定它比其它硬币是重还信息量是多少？并进一步确定它

15、比其它硬币是重还是轻所需要的信息量是多少？是轻所需要的信息量是多少？解: (a) P(A)=1/81，I(A)=-lbP(A)=6.34（bit）。 (b) P(B)=1/2，PP(A)P(B)1/162; I=-lbP=7.34（bit）。21第21页，共63页。( ,)lb ( ,)ijijI x yp x y 4. 联合自信息量bit/二元符号随机变量Z是两个随机变量X、Y的联合，即Z=XY，其概率空间：,( ,), ( ,)|1,2,.,;1,2,.,XYijijXY Px yp x yiN jM11( ,)1,NMijijp x y概率空间完备）二元联合符号的自信息量称为联合自信息量

16、：同理，三元联合符号的联合自信息量：( ,)lb ( ,)ijkijkI x yzp x yz bit/三元符号22第22页，共63页。注意:当(xi，yj)相互独立时，有P(xi，yj)=P(xi)P(yj)，那么就有 I(xi，yj)=I(xi)+I(yj)。a.(xi，yj) 所包含的不确定度在数值上也等于它们的自信息量。 23第23页，共63页。定义：定义：注意: 在给定yj条件下，随机事件xi所包含的不确定度在数值上与条件自信息量相同，但两者含义不同。 5. 条件自信息量(|)lb (|)ijijI xyp xy bit/符号(|)ijp xy(|)jip yx联合随机变量,.2 ,

17、 1;.2 , 1| ),(MjNiyxXYji有两种条件概率定义两种条件自信息量：(|)lb (|)jijiI yxp yx bit/符号24第24页，共63页。条件自信息量的物理意义，要根据具体情况来做出相应的解释 如果X是观察输入，Y是观察输出： 后验概率 在观察到符号yj的条件下xi还剩下的不确定性 转移概率 代表输入xi且观察到yj时干扰引入的不确定性 (|)ijp xy(|)lb (|)ijijI xyp xy bit/符号(|)jip yx(|)lb (|)jijiI yxp yx bit/符号条件自信息量物理意义：25第25页，共63页。1. 甲在一个88的方格棋盘上随意放入一

18、个棋子，在乙看来棋子落入的位置是不确定的。试问：（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？|1,2,64lzl 解：将棋子方格从第一行开始按顺序编号，得到一个序号集合|1,2,64lZzl棋子落入的方格位置可以用取值于序号集合的随机变量Z来描述几个关于条件自信息量的例子：26第26页，共63页。1p( )1,2,6464lzl（1）由于棋子落入任一方格都是等可能的，则棋子落入某方格的不确定性就是自信息量1( )lbp( )lb664llI zz bit/符号1p(|)1,2,64;1,2,88lizxli(

19、1,2,8)ix i (|)liI zxp(|)lizx（2）棋盘方格可分为8行8列，已知行号后，棋子落入某方格的不确定性就是条件自信息量 它与条件概率有关，由于1(|)lbp(|)lb38liliI zxzx 故 bit/符号27第27页，共63页。解：设A表示“大学生”这一事件，B表示“身高1.6m以上”这一事件，则： P(A)0.25； P(B)0.5； P(B|A)=0.75;因此： P(A|B)P(AB)/P(B)=P(A)P(B|A)/P(B)=0.750.25/0.5=0.375; I(A|B)-lbP(A|B)=1.42(bit)。2. 居住在某地区的女孩中有25是大学生，在女

20、大学生中有75是身高1.6m以上的，而女孩中身高1.6m以上的占女生总数的一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？28第28页，共63页。（二） 互信息量1212,( )1( ), (), ( ), ()()iniiinxxxxp xp xp xp xp xPXX设信源1212,()1(), (), (), ()( )jmjjjmyyyyp yp yp yp yp yPYY信宿信道信源X信宿Y29第29页，共63页。互信息量设观察输入为:ix （ i=1,2,.,N）设观察结果为:jy（ j=1,2,.,M） 从yj中得到有关输入符号xi的信息称为xi与

21、yj之间的互信息量（事件信息） （注意与联合自信息量符号标志不同 ）。( ;)ijI x y( ,)ijI x y信息先验不确定性后验不确定性xi在观察到yj前不确定性 xi在观察到yj后不确定性( ;)ijI x y(|)( ,)( ;)( )(|)( ) (|)( )( ) ()ijijijiijiijiijp xyp x yI x yI xI xylbp xlbp xylblbp xp x p y 30第30页，共63页。 (1) yj对xi的互信息 I(xi;yj) I(xi;yj)= I(xi)-I(xi/yj) 含义互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi

22、/yj)I(xi) -信宿收到yj之前，对信源发xi的不确定度 I(xi/yj) -信宿收到yj之后，对信源发xi的不确定度 I(xi;yj) -收到yj而得到(关于xi )的互信息 =不确定度的减少量 p(xi) 先验概率：信源发xi的概率 p(xi/yj)后验概率：信宿收到yj后，推测信源发xi的概率即互信息量为后验概率与先验概率比值的对数 :31)()|(log);(2ijijixpyxpyxI第31页，共63页。(2) xi对yj的互信息 I(yj;xi)含义 信源发xi前、后，信宿收到yj的不确定度的减少(3) I(xi;yj) =I(xi) +I(yj) -I(xi，yj) 注意

23、I(xi;yj) 与I(xi，yj) 不同！2(/)(;)log()(/)()jijijjijp yxI yxI yI yxp y( ,)( ;)( ) ()( ) () ( ,)( )()( ,)ijijijijijijijp x yI x ylbp x p ylbp xlbp ylbp x yI xI yI x y 32第32页，共63页。 (4) 实在信息： 后验概率p(xi|yj)1，即收到yj时就能完全肯定此时的输入一定是xi ， xi的后验不确定性完全消除。(|)(|)0(/)ijijI xylbp xybit 符号即从输出结果中得到了输入实有的全部信息实在信息： ( ;)( )0

24、( )ijiiI x yI xI x注意 a. 输入的先验不确定性 在数值上等于自身含有的实在信息。 b. 信息与不确定性是两个不同的物理概念， 不是信息，只是不确定性，互信息量 才是信息，把 当作信息只是说明一种数量上的相等关系。 胡扯( )iI x( )iI x( ;)ijI x y( )iI x33第33页，共63页。 (4) 互信息量定义扩展： 符号xi与符号对yj zk之间的互信息量定义为34)()|(log);(2ikjikjixpzyxpzyxI第34页，共63页。2. 互信息的性质（具体推导可见课本p24） (1) 对称性I(xi ;yj) = I(yj ;xi) (2) X与

25、Y独立时I(xi ;yj) = 0 (3) I(xi;yj) 可为正、负、0 当事件xi 和yj 统计独立时，互信息量为零;互信息量为正，说明yj 的出现有助于减小xi 的不确定性；反之，互信息量为负说明yj 的出现增大了xi 的不确定性（比如信道存在干扰）。 (4)任何两个事件之间的互信息量不可能大于其中任意事件的自信息量 I(xi)I(xi; yj) = I(yj; xi) I(yj)35第35页，共63页。I(xi;yj) 可为正、负、0的举例设yj代表“闪电”，则当xi代表“打雷”时，I(xi/yj) = 0，I(xi;yj) = I(xi) 0 当xi代表“下雨”时，I(xi/yj)

26、 I(xi)，I(xi;yj) 0当xi代表“雾天”时，I(xi/yj) = I(xi)，I(xi;yj) = 0当xi代表“飞机正点起飞”时，I(xi/yj)I(xi)，I(xi;yj) 0 ( ;)( )(/)ijiijI x yI xI xy36第36页，共63页。3. 条件互信息量给定zk条件下，xi 与yj间的互信息量是另外，还存在xi 与yjzk 之间的互信息量：2(/)( ;)log( )ijkijkip xy zI x y zp x37)|()|(log)|;(2kikjikjizxpzyxpzyxI第37页，共63页。( ;)( ;)( ;|)( ;)( ;|)ijkijik

27、jijijkI x y zI x yI x z yI x yI x y z（该式推导见p25-26）由上述两式得说明：一个联合事件yjzk 出现后提供的有关xi的信息量=zk事件出现后提供的有关xi的信息量在给定zk条件下再出现yj事件后所提供的有关xi的信息量38第38页，共63页。4. 关于互信息的例子 已知信源发出 两种消息，且 此消息在二进制对称信道上传输，信道传输特性为： 求互信息量12,a a12()()0.5,P aP a11222112(|)(|)1,(|)(|)P baP baP baP ba1112( ;), ( ;)?I a bI a b解：根据 得到：( )() (|)

28、ijijjP bP a P b a12( )()0.5P bP b11111112112212(|)( ;)( ;)2(1)( )(|)( ;)(;)(2 )()P b aI a bI b alblbP bP baI a bI b alblbP b39第39页，共63页。 一个布袋内放一个布袋内放100个球，其中个球，其中80个球是红色的，个球是红色的，20个球是白色个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。信息量。 解解: 依据题意，这一随机事件的概率空间为依据题意，这一随机事件的概率空间为 2

29、. 08 . 021xxPX（三（三) ) 平均自信息量平均自信息量-熵熵40第40页，共63页。其中：其中：x1表示摸出的球为红球事件，表示摸出的球为红球事件，x2表示摸出的表示摸出的 球是白球事件。球是白球事件。如果摸出的是红球，则获得的信息量是如果摸出的是红球，则获得的信息量是 I（x1）=-log2p（x1）=-lb0.8=0.322bit 如果摸出的是白球，则获得的信息量是如果摸出的是白球，则获得的信息量是 I（x2）= -log2p（x2）=-lb0.2=2.322bit 如果每次摸出一个球后又放回袋中，再进行下一次摸取。如此摸取n次，则红球出现的次数为np（x1）次，白球出现的次

30、数为np（x2）次。随机摸取n次后总共所获得的信息量为 np（x1）I（x1）+np（x2）I（x2）41第41页，共63页。则平均随机摸取一次所获得的信息量为则平均随机摸取一次所获得的信息量为 H（X）= 1/nnp（x1）I（x1）+np（x2）I（x2） = -p（x1）log2p（x1）+p（x2）log2p（x2）212)(log)(iiixpxp= 0.722比特/次说明：说明：自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量是一个随机变量，所以自信息量不能作为整个信源的信

31、息测度。42第42页，共63页。因为因为X中各符号中各符号xi的自信息量的自信息量I（xi）为非负值，）为非负值，p（xi）也是非负值，）也是非负值，且且0 0p(xi)1，故信源的平均自信息量，故信源的平均自信息量H（X）也是非负量。）也是非负量。定义：离散信源熵H(X)(平均不确定度/平均信息量/平均自信 息量/信息熵/熵)定义信源的平均不确定度H(X)为信源中各个符号不确定度的数学期望，即( ) ( )( ) ( )( )lb ( )iiiiiiiH XE I xp x I xp xp x 单位为比特/符号或比特/符号序列 平均自信息量H（X）的定义公式与热力学中熵的表示形 式相同，所以

32、又把H（X）称为信源X的熵。熵是在平均意义 上来表征信源的总体特性的，可以表征信源的平均不确定度。 43第43页，共63页。某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，必有信源的熵值；这熵值是在总体平均上才有意义，因而是一个确定值，一般写成H（X），X是指随机变量的整体（包括概率分布）。5)信息量则只有当信源输出符号而被接收者收到后，才有意义，这就是给予接收者的信息度量，这值本身也可以是随机量，也可以与接收者的情况有关。ixipiipp logiipp logx1)(xp6）当某一符号 的概率 为零时， 在熵公式中无意义，为此规定这时的 也为零。当信源X中只含一个符号 时，必定

33、有 ，此时信源熵H（X）为零。7）平均自信息量H（X）表示集X中事件出现的平均不确定性，即在观测之前，确定集X中出现一个事件平均所需的信息量；或者说在观测之后，集X 中出现一个事件平均给出的信息量。 44第44页，共63页。例：例：电视屏上约有电视屏上约有 500 600= 3 105个格点，按每点有个格点，按每点有 10个不个不同的灰度等级考虑，则共能组成同的灰度等级考虑，则共能组成 个不同的画面。按个不同的画面。按等概率等概率 计算，平均每个画面可提供的信息量为计算，平均每个画面可提供的信息量为 510321210log)(log)()(niiixpxpXH =3 105 3.32 比特/

34、画面 53 1010n53 101/1045第45页，共63页。例：例：有一篇千字文章，假定每字可从万字表中任选，则共有不同有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文的千字文 N=100001000=104000 篇篇 仍按等概率仍按等概率1/1/100001000计算，平均每篇千字文可提供的信息量计算，平均每篇千字文可提供的信息量为为 H H（X X）loglog2 2N N 4 4 10 103 3 3 332 32 1 13 3 10 104 4 比特千字文比特千字文 比较：比较： “一个电视画面”平均提供的信息量远远超过“一篇千字文”提供的信息量。 46第46页，共6

35、3页。例：例：设信源符号集设信源符号集X=x1,x2,x3，每个符号发生的概，每个符号发生的概率分别为率分别为p（x1）=1/2，p（x2）l4，p（x3）14。 则信源熵为则信源熵为 H（X）=1/2log22+1/4log24+1/4log24 =1.5 比特比特/符号符号 47第47页，共63页。例：例：该信源该信源X输出符号只有两个，设为输出符号只有两个，设为0和和1。输出符号发生的概率分别为输出符号发生的概率分别为p和和q，pq=l。即信源的概率空间为即信源的概率空间为 qpPX10 则二元信源熵为 H（X）= -plbp-qlbq = -plbp-(1-p)lb(1-p) =H(p

36、) 48第48页，共63页。49第49页，共63页。说明：说明： 信源信息熵信源信息熵H（X）是概率）是概率p的函数，通常用的函数，通常用H（p）表示。表示。p p取值于取值于0，1区间。区间。H（p）函数曲线如图所）函数曲线如图所示。从图中看出，如果二元信源的输出符号是确定示。从图中看出，如果二元信源的输出符号是确定的，即的，即p=1或或q=1，则该信源不提供任何信息。反之，则该信源不提供任何信息。反之，当二元信源符号当二元信源符号0和和1 1以等概率发生时，信源熵达到以等概率发生时，信源熵达到极大值，等于极大值，等于1比特信息量。比特信息量。 50第50页，共63页。几个概念几个概念定义：

37、定义： 在给定在给定yj条件下，条件下，xi的条件自信息量为的条件自信息量为I(xi/yj)，X 集合的集合的条件熵条件熵H（X/yj）为）为 H（X/yj）= 在给定在给定Y（即各个（即各个yj）条件下，）条件下，X集合的条件熵集合的条件熵 H(X/Y)定义为定义为 H（X/Y）= =)/()/(jiijiyxIyxpjijijijjjjyxIyxpypyXHyp,)/()/()()/()(,(,) (/)ijijijp xyIxy条件熵51第51页，共63页。相应地，在给定相应地，在给定X（即各个（即各个xi）的条件下，）的条件下，Y集合的条件集合的条件熵熵H(Y/X)定义为定义为 H(Y

38、/X)= ,() (/ )( ,)log (/ )ijjiijjii ji jp xy I yxp x yp yx【注意】： 条件熵是在联合符号集合XY上的条件自信息量的联合概率加权统计平均值。 52第52页，共63页。联合熵（共熵）定义：联合熵是联合符号集合 XY上的每个元素对xiyj的联合自信息量的联合概率加权统计平均值。定义为 H（XY）=【说明】表示X和Y同时发生的平均不确定度。 ,( ,) ( ,)( ,)log ( ,)ijijijiji ji jp x y I x yp x yp x y53第53页，共63页。 联合熵联合熵H（XY）与熵）与熵H（X）及条件熵）及条件熵H（X/Y

39、）之间存）之间存在下列关系在下列关系 ： 1） H（XY）H（X）H（YX） H（XY）H（Y）H（XY） 2） H（XY） H（X） H（YX） H（Y） 即即H（XY） H（X） H（Y）（当（当X与与Y相互独立时，等号成立！共熵得到最大值！）相互独立时，等号成立！共熵得到最大值！）【注】上式表明，从平均意义上讲，条件熵在一般情形下 总是小于无条件熵。从直观上说，由于事物总是联 系的，因此对随机变量X的了解平均讲总能使Y的不 确定性减少。同样，对Y的了解也会减少X的不确 定性。54第54页，共63页。证明: ( ,)( ) (/)() (/)ijijijijp x yp x p yxp y

40、p xy,(,) () (/) ()(/)()ijijii ji jijiijiip x yp xp yxp xp yxp x,( ,)()ijji jjp x yp y同理: 55第55页，共63页。所以所以,( ,)log() (/)ijijii jp x yp x p yx ,(,)log(/)ijjii jp xyp yx)(log)(iiixpxp,( ,)log ( )ijii jp x yp x ,( ,)log (/)ijjii jp x yp yx)/()(XYHXH,()( ,) ( ,)( ,)log ( ,)ijijijiji ji jH XYp x y I x yp

41、x yp x y56第56页，共63页。 同理：,()( ,) ( ,)( ,)log ( ,)ijijijiji ji jH XYp x y I x yp x yp x y,( ,)log () ( /)ijjiji jp x yp y p xy)(log)(jjjypyp,(,)log(/)ijiji jp xyp xy)/()(YXHYH,( ,)log ()( ,)log (/)ijjijiji ji jp x yp yp x yp xy2）的证明见课本p29（略）57第57页，共63页。三维联合符号集合三维联合符号集合XYZ上的共熵上的共熵H(XYZ):存在下列关系 ： 1） H（XYZ）H（XY）H（ZXY） H（X）H（Y X ）H（ZXY） 2） H（XYZ） H（X） H（Y） H（Z） （当X