信息论基础1第二章

1、第2章 信息的度量内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第2章 信息的度量2.1 自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。 对于随机事件集X = x1，x2，xi，xI中的随机事件xi，其出现概率记为q(xi)，将两个事件xi ,yj同时出现的概率记为p(xi yj)，则q(xi) ，p(xi yj)应满足： 相应的条件概

2、率为信息量直观的定义为：收到某消息获得的信息量 = 不确定性减少的量 将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=fq(x) 211 自信息量和条件自信息量1自信息量 直观地看，自信息量的定义应满足以下四点： a. I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；c.当q(x)=1时，I(x)= 0：表示确定事件发生得不到任何信息； d.当q(x)=0时，I(x)：表示不可能事件一旦发生，信息量将无穷大。 综合

3、上述条件，将自信息量定义为: (2-1) 自信息量的单位与log函数所选用的对数底数有关， 如底数分别取 2、e、 10，则自信息量单位分别为：比特、奈特、哈特【例2.3】若盒中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的电阻记为事件 （i = 1，2，3），则事件集X = x1, x2, x3，其概率分布 计算出各事件的自信息量列表2-1如下：消息xi x1 x2 x3 概率分布q (xi) 1/3 1/6 1/2 自信息量I (xi) log 3 log 6 log 2 自信息量I(xi)代表两种含义： 1.事件xi发生以前，表示事件发生的先验不确定性2.

4、当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下） 二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为： (2-3) 2.条件自信息量在已知事件yj条件下,随机事件xi发生的概率为条件概率(xiyj),条件自信息量 定义为： (2-4) 【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若： 1. 甲只知道乙住在第5栋，他找到乙的概率有多大？他能得到多少信息？ 2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件

5、是二维联合集X Y上的等概分布 ，这一事件提供给甲的信息量为 I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特） （2）在二维联合集X Y上的条件分布概率为 ，这一事件提供给甲的信息量为条件自信息量 I(yjxi) = -log p(yjxi) = log12 = 3.585（比特） 1.互信息量从通信的角度引出互信息量的概念信源符号X=x1，x2，xI ，xia1,a2,ak，i = 1, 2 , I。 经过信道传输，信宿方接收到符号Y = y1，y2，yJ，yjb1,b2,bD，j = 1, 2, ,J。图21简单的通信模型 b1,b2,bD信

6、源符号集a1,a2, ak信宿符号集干扰x1，x2，xIy1，y2，yJ信源 信道信宿212 互信息量和条件互信息量事件xi是否发生具有不确定性，用I(xi)度量。接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xiyj)度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi ; yj )表示： 。注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别在于：前者是事件xiX和事件yjY之间的互信息量，后者是二维空间XY 上元素xi yj 的自信息量。称(2-6)式为事件xi和事件yj之间的互信息量。（2-6）根据概率互换公式p(xi yj

7、) = p(yjxi)q(xi)=(xiyj)(yj) 互信息量I(xi ;yj )有多种表达形式: (2-7) (2-8)将事件互信息量的概念推广至多维空间：在三维X Y Z联合集中，有： I(xi ; yj zk)= I(xi ; yj )+ I(xi; zkyj) （2-9） 类似，在N维U1 U2 UN联合空间,有： I (u1; u2u3 uN ) = I (u1; u2 )+ I (u1; u3u2) + + I (u1; uiu2 u i-1)+ + I (u1; uNu2 uN -1) （2-10） 三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(

8、xi ;yjzk )定义为： （2-11）2条件互信息量3互信息量的性质 （1）互易性 I(xi ;yj )= I(yj ; xi) (2-12) （2）可加性：（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。 （3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互信息量（5）两个事件的互信息量不大于单个事件的自信息量，即有： （2-13） 【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成7个三位二进制数000，001,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在

9、接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。信源消息码字消息先验概率消息后验概率收到1后收到10后收到100后x0 0001/16000 x1 0011/16000 x2 0101/16000 x3 0111/16000 x4 1001/22/34/51x5 1011/81/61/50 x61101/81/600表2-4为7个三位二进制数对应的各种概率。 根据给定的先验概率，可算出： 将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计算出互信息量：I (x4;100 ) = I (x4; 1)+ I (x4; 01)+ I (x4; 010) (比特

10、) 也可直接计算出： (比特)P (x4100) = 122 离散集的平均自信息量 1平均自信息量(熵) 人们注意的是整个系统的统计特性，当信源各个消息的出现概率相互统计独立时，这种信源称为无记忆信源，无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为： （2-15 ） H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵，简称熵。 【例2.9】计算下列信源的熵（1）信源一： 熵 H(X1) =-0.99 log 0.99 0.01 log 0.01 = 0.08（比特/

11、符号）（2）信源二：等概信源熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1（比特/符号）（3）信源三: 等概信源熵 H(X3) = -40.25 log 0.25 = log4 = 2（比特/符号） (5) 信源五：一般情况下，二元信源的概率分布为 熵 H(X) = log -（1-）log（1-）记H2() = log -（1-）log（1-）H2()与的关系如图2-2所示。（4）信源四： 信源为确定事件 熵H(X4) = - 0 log 0 1 log 1 = 0 计算结果说明确定事件的熵为零 H 2() 0 0.5 1 图 2-2 H2()与关系2平均

12、条件自信息量(条件熵)（2-16）若事件xi yj的联合分布概率为p(xi yj )，给定yj条件下事件xi的条件自信息量为I (xiyj)，则H (XY) 定义为：当X ,Y统计独立时，有p (xi yj) = q ( xi )( yj )，(xiyj) = q (xi)，则 （2-17） 从通信角度来看：若将X = x1，x2，xi，视为信源输出符号； Y = y1，y2，yj，视为信宿接收符号；I (xiyj)可看作信宿收到yj后，关于发送的是否为xi仍然存在的疑义度（不确定性），则 反映了经过通信后，信宿符号yj（j = 1, 2,）关于信源符号xi（i = 1, 2,）的平均不确定性

13、。类似，若给定xi条件下事件yj的条件自信息量为I (yjxi)，则H (YX)定义为 （2-18）当X ,Y统计独立时，有p (xi yj) = q ( xi )( yj )， ，则 （2-19）存在以下两种极端情况： （1）对于无噪信道H (XY) = 0 （2）在强噪声情况下，收到的Y与X毫不相干，可视为统计独立，H (XY) = H (X) （2）对于强噪信道，有H (YX)= H (Y) 。（1） 对于无扰信道，有H (YX) = 0。从通信角度来看，H (YX)是发出确定消息xi后，由于信道干扰而使yj存在的平均不确定性，称H (YX)为噪声熵（散布度）。存在以下两种极端情况：由熵

14、、条件熵、联合熵的定义式可导出三者的关系式 H (X Y) = H (X) + H (YX)= H (Y) +H (XY) （221） H(X Y)= H(X)+ H(Y) (2-22)上式反映了信息的可加性。当X,Y统计独立时，有3联合熵联合熵H (XY) 是定义在二维空间X Y上，对元素xi yj的自信息量的统计平均值，若记事件xi yj出现的概率为p (xi yj)，其自信息量为I (xi yj)，则联合熵H (X Y) 定义为 （2-20） 1凸集合与凸函数简单介绍凸集和凸函数的概念。定义2.1 是n维实矢量空间集合R中任意两个n维矢量，对实数，0 1，有 +（1-） R则称R为凸集合

15、。 222 熵函数的性质图23 一维和二维凸集合的例子凹集合非凹集合 从几何上来看，若，是集合R中的任意两点，+（1-）表示这两点间的连线，若该连线也在集合R中，则称为R凸集。下面给出了几个凸集和非凸集合的例子。定义2.2设f(x) = f (x1, x2, , xn) 为一个n元函数，若对任意f (x1), f (x2) f (x) ，任意正数，0 1，有f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-23)x0 x1 x1+(1-) x2 x2 图2-4 一元型凸函数f (x1)f (x1)+(1-) f (x2) f x1+(1-)x2 f (x)f (x2)则称f

16、(x)为定义域上的型凸函数。一元型凸函数可用图2-4所示的几何图形表示。定义2.3设f(x) = f (x1, x2, , xn) 为一个n元函数，若对任意f (x1), f (x2) f (x) ，任意正数，0 1，有f x1 +（1-）x2 f (x1) +（1-）f (x2) (2-24)图2-5 一元型凸函数x1 x1+(1-) x2 x2 x f (x1 )f x1+(1-) x2f (x1)+(1-) f (x2)f (x) f (x2 )则称f(x)为定义域上的型凸函数，一元型凸函数可用图2-5所示的几何图形表示。2极大离散熵定理 设信源的消息个数为M，则H(X) logM，等号

17、当且仅当信源X中各消息等概 时成立，即各消息等概分布时，信源熵最大。证明方法一：利用不等式log x x - 1等号在x = 1时成立（见图 2-6） 图2-6 logx x1关系 曲线x-1 log x 10 x上面两种证明方法是信息论中经常用到的证明方法 证明方法二：利用log x的型凸函数性质 = log 1 = 0 证毕H(X)-log M3熵函数的性质 （1）对称性集合X = x1，x2，xN 中的各元素x1，x2，xN任意改变其顺序时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。例如 和 的熵是相等的。 （4）扩展性：离散事件集 ，增加一个不可能事件xN+1后，得到集合

18、，0，则两个集合的熵相等 （2）非负性：H(X) 0 （3）确定性：在集合X = (x1，x2，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 （5）可加性：集合X = x1，x2，xi，xi+1，xN的概率分布为：则下式成立：H(X)= H(x1，x2，xi，xi+1，xN) （2-25）（6）条件熵小于等于无条件熵即：H (XY) H (X) X,Y 统计独立时等号成立。 （7） 联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即： （2-26） H (XY) H (X) + H (Y) （2-27）23离散集的平均互信息量 如果将发送符号与接收符号

19、看成两个不同的“信源”，则通过信道的转移概率来讨论信息的流通问题，一次通信从发送到接收究竟能得到多少信息量呢，这就是本节要讨论的平均互信息量。 1平均互信息量定义xi X和yj Y之间的互信息量为I(xi ;yj )，在集合X上对I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为： （2-28） 231 平均互信息量 再将式（2-28）对集合Y进行统计平均，就可以得到平均互信息量 （2-30 ） 当X,Y统计独立时，I(xi ;yj )= 0，从而I(X ; Y)= 0 【例2.14】二元等概信源 ，通过信道转移概率为 的信道传输，信宿接收符号Y = y0, y1，计算信源与信宿间

20、的平均互信息量I（X；Y）。（1） 先根据 计算出 （2）由 计算后验概率 （3）计算各消息之间的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） （4） 计算平均互信息量 （比特） 对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量 （2-31）式中p(xi yj zk)满足 2平均条件互信息量 平均条件互信息量I(X;YZ)是在联合概率空间XYZ，p(xyz)上定义的物理量。由式（2-11）知道 1 平均互信息量的性质232 平均互信息量的性质 (1) 非负性： （2-32） (2)互易性： I(X ; Y)= I(Y ; X) （2-33） 由 的对称性

21、可得到。 (3)I(X;Y)= H（X）-H（XY）(2-35)I(X;Y)= H（Y）-H（YX） (2-36) I(X;Y)= H(X)+ H(Y)- H(XY )(2-37) )2平均互信息量与信源熵、条件熵的关系2-7维拉图它们之间的关系可以用维拉图表示 设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（XY）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。 对于无扰信道，I(X ; Y)=H(X)。 对于强噪信道，I(X ; Y)= 0。从通信的角度来讨论平均互信息量I(X ; Y)的物理意义由第一等式I

22、(X;Y)= H（X）-H（XY）看I(X;Y)的物理意义 对于无扰信道，有I(X ; Y)=H(X)=H(Y)。 对于强噪信道，有H（YX）= H（Y），从而I(X ; Y) = 0。H(Y)是观察到Y所获得的信息量，H（YX）是发出确定消息X后，由于干扰而使Y存在的平均不确定性， 二者之差I(X ; Y)就是一次通信所获得的信息量。由第二等式I(X;Y)= H（Y)-H（YX）看I(X;Y)的物理意义通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+ H(Y)，通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+ H(Y)- H(XY)就是通信过程中不确定性

23、减少的量，也就是通信过程中获得的平均互信息量I(X ; Y)。由第三等式I(X;Y)= H(X)+ H(Y)- H(X,Y)看I(X;Y)的物理意义【例2.15】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道BSC。已知先验概率 , 计算平均互信息量I( X;Y)及各种熵。 0 1- 0 1 1- 1 图2-8 二进制对称信道记 q(x)为信源输入概率； (y)为信宿输出概率； p(yx)为信道转移概率； (xy)为后验概率。（1）由图2-8得 ，先算出p(xi yj)= q(xi)p(yjxi) （2）计算 得： （3）

24、 计算后验概率，得： （4）计算各种熵及平均互信息量：信源熵 信宿熵 联合熵 = -2 0.5 (1-) log 0.5(1-)-2 0.5log 0.5 = log2 - (1-) log (1-)-log = log2 + H 2 () 式中：散布度 = -p(00) log p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()可疑度 = -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -

25、2 0.5 (1-) log (1-)-2 0.5log= H 2 ()平均互信息量 I(X ; Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 () 研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率q(x)及信道转移概率p(yx)来描述，而平均互信息量I(X ; Y)是经过一次通信后信宿所获得的信息。由式（2-30）知道，平均互信息量定义为： （2-38）233 有关平均互信息量的两条定理上式说明I(X ; Y)是信源分布概率q(x)和信道转移概率p(yx)的函数，下面两条定理阐明了I(X ; Y)与q(x)和p(yx)之间的关系。定理2.1

26、当信道给定，即信道转移概率p(yx)固定，平均互信息量I(X ; Y)是信源概率分布q(x)的型凸函数。两个信源分布q1(x)和q2(x)，分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记概率分布q(x)=q1(x)+(1-)q2(x) （式中0 1），对应平均互信息量I(X ; Y)，若I(X ; Y)是型凸函数，则应满足： I1(X ; Y)+(1-) I2(X ; Y) I(X ; Y) （2-39）式(2-39)表示：函数的均值小于等于均值的函数，见图2-9 图2-9函数的均值均值的函数q1 q1+(1-) q2 q2 q(x)I (q1)+(1-) I (q2Iq(x)

27、I q1+(1-) q2【例2.16】二进制对称信道BSC如图2-10所示，输入符号集X =x1,x2=0,1，输出符号集Y =y1,y2=0,1，信道转移概率矩阵 ，信源分布为： ，计算平均互信 息量 I(X;Y)= H（Y）-H（YX） 定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。0 1- 0 1 1- 1 图2-10 二进制对称信道先由 算出：(0) = q(0) p(00) + q(1) p(01) =(1-) + (1-)(1) = = 1-(0) 再计算熵和

28、条件熵 = H2 (1-) + (1-) = - (1-) log (1-)-log= H2 ()则平均互信息量I(X;Y)= H（Y)-H（YX）= H2 (1-) + (1-) - H2 () 当信道固定，即 为恒值，则I(X;Y)是的函数，其曲线如下图2-11所示。当= 0.5时,I(X ; Y)取得极大值，其值为log 2 -H2(),这种情况对应等概分布,信源的平均不确定性最大. 当= 0或1时，这是确定信源的情况，通信得不到任何信息，即I(X ; Y) = 0。图2-11为恒值时的I(X;Y)曲线0 0.5 1log 2 -H2()I(X;Y)定理2.2 当信源给定，即信源分布概率

29、q(x)固定，平均互信息量I(X ; Y)是信道转移概率p(yx)的型凸函数。在信源固定的情况下，如果给定两个信道转移概率p1(yx)和p2(yx)，它们分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记信道转移概率p(yx)=p1(yx)+(1-) p2(yx) (式中（0 1），对应平均互信息量I (X ; Y)，若I (X ; Y)是p(yx)的型凸函数，则应满足： I(X ; Y) I1(X ; Y)+(1-) I2(X ; Y) （2-40）式(2-40)表示：均值的函数小于等于函数的均值，如图2-12所示。 定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时

30、，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。图2-12 函数的均值均值的函数 p1 p1+(1-) p2 p2 I p1+(1-) p2 I (p1)+(1-) I (p2) 24 N维扩展信源的熵和平均互信息量信源输出序列为x= x1 xi xN ，xia0,a1,ak-1，记 x= x1 x 2 xN的概率分布为q (x)，则信源熵为 (2-41)241 N维扩展信源的熵 下面分两种情况来考虑：1信源离散无记忆 按式(2-41)可计算出该信源的熵： （242）2信源离散有记忆在信源输出符号相互有关连的情况下，信源输出序列x= x1 x 2 xN 的概率为p (x) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，相应可以计算出其信源熵H (X) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1)记为： （2-44）根据熵的性质(6)，条件熵小于等于无条件熵，即有 （2-45）熵的链规则将式(2-45)代入式(2-44)得： （2-46）等号在信源无记忆（统计独立）时成立。 H (X) N H ( X ) (2-49)等号在信源无记忆时成立对于平稳信源先看二维情况： I (X;Y1Y2) =