信息论第二章信息度量

1、关于信息论第二章信息的度量第1页，共88页，2022年，5月20日，8点41分，星期四内容提要：根据香农对于信息的定义，信息是一个系统不确定性的度量，尤其在通信系统中，研究的是信息的处理、传输和存储，所以对于信息的定量计算是非常重要的。本章主要从通信系统模型入手，研究离散情况下各种信息的描述方法及定量计算，讨论它们的性质和相互关系。第2章 信息的度量第2页，共88页，2022年，5月20日，8点41分，星期四2.1 自信息量和互信息量 一个事件的自信息量就是对其不确定性的度量。互信息量则表明了两个随机事件的相互约束程度。 对于随机事件集X = x1，x2，xi，xI中的随机事件xi，其出现概率

2、记为q(xi)，将两个事件xi ,yj同时出现的概率记为p(xi yj)，则q(xi) ，p(xi yj)应满足： 相应的条件概率为第3页，共88页，2022年，5月20日，8点41分，星期四信息量直观的定义为：收到某消息获得的信息量 = 不确定性减少的量 将某事件发生所得到的信息量记为I(x)，I(x)应该是该事件发生的概率的函数，即I(x)=fq(x) 211 自信息量和条件自信息量第4页，共88页，2022年，5月20日，8点41分，星期四自信息量 联合 自信息量条件 自信息量信息量第5页，共88页，2022年，5月20日，8点41分，星期四1自信息量 直观地看，自信息量的定义应满足以下

3、四点： a. I(x)应该是q(x)的单调递减函数：概率小的事件一旦发生赋予的信息量大，概率大的事件如果发生则赋予的信息量小；b.信息量应具有可加性：对于两个独立事件，其信息量应等于各事件自信息量之和；c.当q(x)=1时，I(x)= 0：表示确定事件发生得不到任何信息； d.当q(x)=0时，I(x)：表示不可能事件一旦发生，信息量将无穷大。 第6页，共88页，2022年，5月20日，8点41分，星期四综合上述条件，将自信息量定义为: (2-1) 自信息量的单位与log函数所选用的对数底数有关， 如底数分别取 2、 e、 10，则自信息量单位分别为：比特、奈特、哈特第7页，共88页，2022

4、年，5月20日，8点41分，星期四一个以等概率出现的二进制码元(0,1)所包含的自信息量为1bit。第8页，共88页，2022年，5月20日，8点41分，星期四【例2.3】若盒中有6个电阻，阻值为1、2、3的分别为2个、1个、3个，将从盒子中取出阻值为i的电阻记为事件 （i = 1，2，3），则事件集X = x1, x2, x3，其概率分布 计算出各事件的自信息量列表2-1如下：消息xi x1 x2 x3 概率分布q (xi) 1/3 1/6 1/2 自信息量I (xi) log 3 log 6 log 2 第9页，共88页，2022年，5月20日，8点41分，星期四自信息量具有下列性质:图2

5、.1 对数曲线1是非负值。第10页，共88页，2022年，5月20日，8点41分，星期四23的单调递减函数。4自信息量第11页，共88页，2022年，5月20日，8点41分，星期四自信息量I(xi)代表两种含义： 1.事件xi发生以前，表示事件发生的先验不确定性2.当事件xi发生以后，表示事件xi所能提供的最大信息量（在无噪情况下）第12页，共88页，2022年，5月20日，8点41分，星期四 二维联合集X Y上元素xi yj的联合自信息量I(xi yj)定义为： (2-3) 2.联合自信息量其中),2,1;,2,1(1)(0mjnibapjiLL=第13页，共88页，2022年，5月20日，

6、8点41分，星期四3.条件自信息量 在已知事件yj条件下,随机事件xi发生的概率为条件概率(xiyj),条件自信息量 定义为： (2-5)代入式自信息量的公式就有第14页，共88页，2022年，5月20日，8点41分，星期四 联合自信息量和条件自信息也满足非负和单调递减性 ，同时，它们也都是随机变量。 自信息量、条件自信息量和联合自信息量之间有如下关系式：4.联合自信息量和条件自信息量间的关系第15页，共88页，2022年，5月20日，8点41分，星期四 【例2.6】某住宅区共建有若干栋商品房，每栋有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若： 1. 甲只知道乙住在第5栋，他

7、找到乙的概率有多大？他能得到多少信息？ 2.甲除知道乙住在第5栋外，还知道乙住在第3单元，他找到乙的概率又有多大？他能得到多少信息？用xi代表单元数，yj代表户号：（1）甲找到乙这一事件是二维联合集X Y上的等概分布 ，这一事件提供给甲的信息量为 I(xi yj ) = - log p(xi yj ) = log 60 = 5.907（比特） （2）在二维联合集X Y上的条件分布概率为 ，这一事件提供给甲的信息量为条件自信息量 I(yjxi) = -log p(yjxi) = log12 = 3.585（比特） 第16页，共88页，2022年，5月20日，8点41分，星期四1.互信息量 信源符

8、号X=x1，x2，xI ，xia1,a2,ak，i = 1,., I。 信宿方接收到符号Y = y1，y2，yJ，yjb1,b2,bD，j = 1, 2, ,J。图21简单的通信模型x1，x2，xIy1，y2，yJ信源符号集a1,a2, ak信源 b1,b2,bD信宿符号集干扰信道信宿212 互信息量和条件互信息量第17页，共88页，2022年，5月20日，8点41分，星期四 事件xi是否发生具有不确定性，用I(xi)度量。 接收到符号yj后，事件xi是否发生仍保留有一定的不确定性，用I(xiyj)度量。 观察事件前后，这两者之差就是通信过程中所获得的信息量，用I(xi ; yj )表示： 。

9、注：式（2-6）的I(xi ；yj ) 和式（2-3）的I(xiyj )的区别在于：前者是事件xiX和事件yjY之间的互信息量，后者是二维空间XY 上元素xi yj 的自信息量。称(2-6)式为事件xi和事件yj之间的互信息量。（2-6）第18页，共88页，2022年，5月20日，8点41分，星期四根据概率互换公式p(xi yj) = p(yjxi)q(xi)=(xiyj)(yj) 互信息量I(xi ;yj )有多种表达形式: (2-7) (2-8)第19页，共88页，2022年，5月20日，8点41分，星期四先验不定度（联合自信息量） 发送接收物理解释：通信前第20页，共88页，2022年，

10、5月20日，8点41分，星期四后验不定度 通信后发送接收第21页，共88页，2022年，5月20日，8点41分，星期四这样，通信后流经信道的信息量，等于通信前后不定度的差第22页，共88页，2022年，5月20日，8点41分，星期四将事件互信息量的概念推广至多维空间：在三维X Y Z联合集中，有： I(xi ; yj zk)= I(xi ; yj )+ I(xi; zkyj) （2-9） 类似，在N维U1 U2 UN联合空间,有： I (u1; u2u3 uN ) = I (u1; u2 )+ I (u1; u3u2) + + I (u1; uiu2 u i-1)+ + I (u1; uNu2

11、 uN -1) （2-10） 第23页，共88页，2022年，5月20日，8点41分，星期四三维X Y Z联合集中，在给定条件zk的情况下, xi , yj的互信息量I(xi ;yjzk )定义为： （2-11）2条件互信息量第24页，共88页，2022年，5月20日，8点41分，星期四3互信息量的性质 （1）互易性 对称性 I(xi ;yj )= I(yj ; xi) (2-12) （2）可加性：第25页，共88页，2022年，5月20日，8点41分，星期四（4） 互信息量I(xi ;yj)可以是正数，也可以是负数。 （3）当xi ,yj统计独立时，互信息量I(xi ;yj) = 0及条件互

12、信息量（5）两个事件的互信息量不大于单个事件的自信息量，即有： （2-13） 第26页，共88页，2022年，5月20日，8点41分，星期四【例2.8】信源包含7个消息x0,x1,x2,x3,x4,x5,x6 信源编码器将其对应编成7个三位二进制数000，001,110。各消息的先验概率已知，在接收过程中，每收到一个数字，各消息的后验概率都相应地发生变化。考虑在接受100三个数字的过程中，各后验概率的变化，计算信息量I(x4;100)。信源消息码字消息先验概率消息后验概率收到1后收到10后收到100后x0 0001/16000 x1 0011/16000 x2 0101/16000 x3 01

13、11/16000 x4 1001/22/34/51x5 1011/81/61/50 x61101/81/600表2-4为7个三位二进制数对应的各种概率。第27页，共88页，2022年，5月20日，8点41分，星期四 根据给定的先验概率，可算出： P (x4100) = 1第28页，共88页，2022年，5月20日，8点41分，星期四 将各种后验概率的计算结果列于表2-3中，再根据式（2-10）计算出互信息量：I (x4;100 ) = I (x4; 1)+ I (x4; 01)+ I (x4; 010) (比特) 也可直接计算出： (比特)第29页，共88页，2022年，5月20日，8点41分

14、，星期四22 离散集的平均自信息量 信源熵熵条件熵联合熵第30页，共88页，2022年，5月20日，8点41分，星期四22 离散集的平均自信息量 1平均自信息量(熵) 无记忆信源的平均自信息量定义为各消息自信息量的概率加权平均值（统计平均值），即平均自信息量H(X)定义为： （2-15 ） H(X)的表达式与统计物理学中的热熵具有相类似的形式，在概念上二者也有相同之处，故借用熵这个词把H(X)称为集合X的信息熵，简称熵。 第31页，共88页，2022年，5月20日，8点41分，星期四【例2.9】计算下列信源的熵（1）信源一： 熵 H(X1) =-0.99 log 0.99 0.01 log 0

15、.01 = 0.08 比特/符号（2）信源二：等概信源熵 H(X2) = - 0.5 log 0.5 - 0.5 log 0.5 = 1 比特/符号（3）信源三: 等概信源熵 H(X3) = -40.25 log 0.25 = log4 = 2 比特/符号第32页，共88页，2022年，5月20日，8点41分，星期四 (5) 信源五：一般情况下，二元信源的概率分布为 熵 H(X) = log -（1-）log（1-）记H2() = log -（1-）log（1-）H2()与的关系如图2-2所示。（4）信源四： 信源为确定事件 熵H(X4) = - 0 log 0 1 log 1 = 0 计算结

16、果说明确定事件的熵为零 H 2() 0 0.5 1 图 2-2 H2()与关系第33页，共88页，2022年，5月20日，8点41分，星期四信源熵与信息量的比较 信源的平均不确定度消除不定度得到信息与信源是否输出无关 接收后才得到信息 确定值 一般为随机量 有限值 可为无穷大 熵 信息量信源熵和平均自信息量两者在数值上是相等的，但含义并不相同第34页，共88页，2022年，5月20日，8点41分，星期四总括起来，信源熵有三种物理含义：信源熵H(X)表示信源输出后，离散消息所提供的平均信息量。信源熵H(X)表示信源输出前，信源的平均不确定度。信源熵H(X)反映了变量X的随机性。123第35页，共

17、88页，2022年，5月20日，8点41分，星期四2平均条件自信息量(条件熵)（2-16） 若事件xi yj的联合分布概率为p(xi yj )，给定yj条件下事件xi的条件自信息量为I (xiyj)，则H (XY) 定义为：第36页，共88页，2022年，5月20日，8点41分，星期四当X ,Y统计独立时，有p (xi yj) = q ( xi )( yj )，(xiyj) = q (xi)，则 （2-17） 从通信角度来看：若将X = x1，x2，xi，视为信源输出符号； Y = y1，y2，yj，视为信宿接收符号；I (xiyj)可看作信宿收到yj后，关于发送的是否为xi仍然存在的疑义度（

18、不确定性），则 反映了经过通信后，信宿符号yj（j = 1, 2,）关于信源符号xi（i = 1, 2,）的平均不确定性。第37页，共88页，2022年，5月20日，8点41分，星期四类似，若给定xi条件下事件yj的条件自信息量为I (yjxi)，则H (YX)定义为 （2-18）当X ,Y统计独立时，有p (xi yj) = q ( xi )( yj )， ，则 （2-19）存在以下两种极端情况： （1）对于无噪信道H (XY) = 0 （2）在强噪声情况下，收到的Y与X毫不相干，可视为统计独立，H (XY) = H (X) 第38页，共88页，2022年，5月20日，8点41分，星期四（2

19、）对于强噪信道，有H (YX)= H (Y) 。（1） 对于无扰信道，有H (YX) = 0。 从通信角度来看，H (YX)是发出确定消息xi后，由于信道干扰而使yj存在的平均不确定性，称H (YX)为噪声熵（散布度）。 存在以下两种极端情况：第39页，共88页，2022年，5月20日，8点41分，星期四由熵、条件熵、联合熵的定义式可导出三者的关系式 H (X Y) = H (X) + H (YX)= H (Y) +H (XY) （221） H(X Y)= H(X)+ H(Y) (2-22)上式反映了信息的可加性。当X,Y统计独立时，有3联合熵 联合熵H (XY) 是定义在二维空间X Y上，对

20、元素xi yj的自信息量的统计平均值，若记事件xi yj出现的概率为p (xi yj)，其自信息量为I (xi yj)，则联合熵H (X Y) 定义为 （2-20） 第40页，共88页，2022年，5月20日，8点41分，星期四1凸集合与凸函数简单介绍凸集和凸函数的概念。定义2.1 是n维实矢量空间集合R中任意两个n维矢量，对实数，0 1，有 +（1-） R则称R为凸集合。 222 熵函数的性质第41页，共88页，2022年，5月20日，8点41分，星期四图23 一维和二维凸集合的例子凸集合非凸集合 从几何上来看，若，是集合R中的任意两点，+（1-）表示这两点间的连线，若该连线也在集合R中，则

21、称为R凸集。下面给出了几个凸集和非凸集合的例子。第42页，共88页，2022年，5月20日，8点41分，星期四 定义2.2 设f(x) = f (x1, x2, , xn) 为一个n元函数，若对任意f (x1), f (x2) f (x) ，任意正数，0 1，有f (x1) +（1-）f (x2) f x1 +（1-）x2 (2-23)x0 x1 x1+(1-) x2 x2 图2-4 一元型凸函数f (x1)f (x1)+(1-) f (x2) f x1+(1-)x2 f (x)f (x2)则称f(x)为定义域上的型凸函数。一元型凸函数可用图2-4所示的几何图形表示。第43页，共88页，202

22、2年，5月20日，8点41分，星期四定义2.3 设f(x) = f (x1, x2, , xn) 为一个n元函数，若对任意f (x1), f (x2) f (x) ，任意正数，0 1，有f x1 +（1-）x2 f (x1) +（1-）f (x2) (2-24)图2-5 一元型凸函数x1 x1+(1-) x2 x2 x f (x1 )f x1+(1-) x2f (x1)+(1-) f (x2)f (x) f (x2 )则称f(x)为定义域上的型凸函数，一元型凸函数可用图2-5所示的几何图形表示。第44页，共88页，2022年，5月20日，8点41分，星期四2极大离散熵定理 设信源的消息个数为M

23、，则H(X) logM，等号当且仅当信源X中各消息等概 时成立，即各消息等概分布时，信源熵最大。证明方法一：利用不等式log x x - 1等号在x = 1时成立（见图 2-6） 图2-6 logx x1关系 曲线x-1 log x 10 x第45页，共88页，2022年，5月20日，8点41分，星期四上面两种证明方法是信息论中经常用到的证明方法 证明方法二：利用log x的型凸函数性质 = log 1 = 0 证毕H(X)-log M第46页，共88页，2022年，5月20日，8点41分，星期四3熵函数的性质 （1）对称性集合X = x1，x2，xN 中的各元素x1，x2，xN任意改变其顺序

24、时，熵只和分布（概率）有关，不关心某个具体事件对应哪个概率。例如 和 的熵是相等的。第47页，共88页，2022年，5月20日，8点41分，星期四 （4）扩展性：离散事件集 ，增加一个不可能事件xN+1后，得到集合，0，则两个集合的熵相等 （2）非负性：H(X) 0 （3）确定性：在集合X = (x1，x2，xN)中，若有一个事件是必然事件，则其余事件必为不可能事件，即该集合的概率分布为 第48页，共88页，2022年，5月20日，8点41分，星期四（5）可加性：集合X = x1，x2，xi，xi+1，xN的概率分布为：则下式成立：H(X)= H(x1，x2，xi，xi+1，xN) （2-25

25、）（6）条件熵小于等于无条件熵即：H (XY) H (X) X,Y 统计独立时等号成立。 第49页，共88页，2022年，5月20日，8点41分，星期四（7） 联合熵大于等于独立事件的熵，小于等于两独立事件熵之和，即： （2-26） H (XY) H (X) + H (Y) （2-27）第50页，共88页，2022年，5月20日，8点41分，星期四23离散集的平均互信息量1平均互信息量定义xi X和yj Y之间的互信息量为I(xi ;yj )，在集合X上对I(xi ;yj )进行概率加权统计平均，可得I(X;yj)为： 231 平均互信息量 （2-28）第51页，共88页，2022年，5月20

26、日，8点41分，星期四再将式（2-28）对集合Y进行统计平均，就可以得到平均互信息量 （2-30 ） 当X,Y统计独立时，I(xi ;yj )= 0，从而I(X ; Y)= 0 第52页，共88页，2022年，5月20日，8点41分，星期四【例2.14】二元等概信源 ，通过信道转移概率为 的信道传输，信宿接收符号Y = y0, y1，计算信源与信宿间的平均互信息量I（X；Y）。（1） 先根据 计算出 （2）由 计算后验概率第53页，共88页，2022年，5月20日，8点41分，星期四 （3）计算各消息之间的互信息量I(xi ;yj ) （比特） （比特） （比特） （比特） 第54页，共88页

27、，2022年，5月20日，8点41分，星期四（4） 计算平均互信息量 （比特） 第55页，共88页，2022年，5月20日，8点41分，星期四 对上式在三维空间XYZ上求概率加权平均值，就得到平均条件互信息量 （2-31）式中p(xi yj zk)满足 2平均条件互信息量 平均条件互信息量I(X;YZ)是在联合概率空间XYZ，p(xyz)上定义的物理量。由式（2-11）知道 第56页，共88页，2022年，5月20日，8点41分，星期四1 平均互信息量的性质232 平均互信息量的性质 (1) 非负性： （2-32） (2)互易性： I(X ; Y)= I(Y ; X) （2-33） 由 的对称

28、性可得到。 (3)第57页，共88页，2022年，5月20日，8点41分，星期四I(X;Y)= H（X）-H（XY）(2-35)I(X;Y)= H（Y）-H（YX） (2-36) I(X;Y)= H(X)+ H(Y)- H(XY )(2-37) )2平均互信息量与信源熵、条件熵的关系2-7维拉图它们之间的关系可以用维拉图表示第58页，共88页，2022年，5月20日，8点41分，星期四 设X为发送消息符号集，Y为接收符号集，H(X)是输入集的平均不确定性,H（XY）是观察到Y后，集X还保留的不确定性，二者之差I(X;Y)就是在接收过程中得到的关于X,Y的平均互信息量。 对于无扰信道，I(X ;

29、 Y)=H(X)。 对于强噪信道，I(X ; Y)= 0。从通信的角度来讨论平均互信息量I(X ; Y)的物理意义由第一等式I(X;Y)= H（X）-H（XY）看I(X;Y)的物理意义第59页，共88页，2022年，5月20日，8点41分，星期四 对于无扰信道，有I(X ; Y)=H(X)=H(Y)。 对于强噪信道，有H（YX）= H（Y），则I(X ; Y ) = 0。H(Y)是观察到Y所获得的信息量，H（YX）是发出确定消息X后，由于干扰而使Y存在的平均不确定性， 二者之差I(X ; Y)就是一次通信所获得的信息量。由第二等式I(X;Y)= H（Y)-H（YX）看I(X;Y)的物理意义第6

30、0页，共88页，2022年，5月20日，8点41分，星期四 通信前，随机变量X和随机变量Y可视为统计独立，其先验不确定性为H(X)+ H(Y)， 通信后，整个系统的后验不确定性为H(XY)，二者之差H(X)+ H(Y)- H(XY)就是通信过程中不确定性减少的量，也就是通信过程中获得的平均互信息量I(X ; Y)。由第三等式I(X;Y)= H(X)+ H(Y)- H(X,Y)看I(X;Y)的物理意义第61页，共88页，2022年，5月20日，8点41分，星期四【例2.15】已知信源消息集为X=0,1,接收符号集为Y=0,1，通过有扰信道传输，其传输特性如图2-8所示，这是一个二进制对称信道BS

31、C。已知先验概率 , 计算平均互信息量I( X;Y)及各种熵。 0 1- 0 1 1- 1 图2-8 二进制对称信道记 q(x)为信源输入概率； (y)为信宿输出概率； p(yx)为信道转移概率； (xy)为后验概率。第62页，共88页，2022年，5月20日，8点41分，星期四（1）由图2-8得 ，先算出p(xi yj)= q(xi)p(yjxi) （2）计算 得：第63页，共88页，2022年，5月20日，8点41分，星期四 （3） 计算后验概率，得： （4）计算各种熵及平均互信息量：信源熵 信宿熵 联合熵 = -2 0.5 (1-) log 0.5(1-)-2 0.5log 0.5 =

32、log2 - (1-) log (1-)-log = log2 + H 2 () 式中：第64页，共88页，2022年，5月20日，8点41分，星期四散布度 = -p(00) log p(00)-p(01) log p(10)-p(10) log p(01)-p(11) log p(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()可疑度 = -p(00) log(00)-p(01) log(01)-p(10) log(10)-p(11) log(11) = -2 0.5 (1-) log (1-)-2 0.5log= H 2 ()平均互信息量 I(X ;

33、Y)= H(X)+ H(Y)- H(XY) = log2 + H 2 () 第65页，共88页，2022年，5月20日，8点41分，星期四研究通信问题，主要研究的是信源和信道，它们的统计特性可以分别用消息先验概率q(x)及信道转移概率p(yx)来描述，而平均互信息量I(X ; Y)是经过一次通信后信宿所获得的信息。由式（2-30）知道，平均互信息量定义为： （2-38）233 有关平均互信息量的两条定理上式说明I(X ; Y)是信源分布概率q(x)和信道转移概率p(yx)的函数，下面两条定理阐明了I(X ; Y)与q(x)和p(yx)之间的关系。第66页，共88页，2022年，5月20日，8点

34、41分，星期四定理2.1 当信道给定，即信道转移概率p(yx)固定，平均互信息量I(X ; Y)是信源概率分布q(x)的型凸函数。 两个信源分布q1(x)和q2(x)，分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记概率分布q(x)=q1(x)+(1-)q2(x) （式中0 1），对应平均互信息量I(X ; Y)，若I(X ; Y)是型凸函数，则应满足： I1(X ; Y)+(1-) I2(X ; Y) I(X ; Y) （2-39）式(2-39)表示：函数的均值小于等于均值的函数，见图2-9 图2-9函数的均值均值的函数q1 q1+(1-) q2 q2 q(x)I (q1)+(

35、1-) I (q2Iq(x)I q1+(1-) q2第67页，共88页，2022年，5月20日，8点41分，星期四 定理2.1说明，信道固定时，对于不同的信源分布，信道输出端获得的信息量是不同的。因此，对于每一个固定信道，一定存在一种信源（一种分布）q(x)，使输出端获得的信息量最大。【例2.16】二进制对称信道BSC如图2-10所示，输入符号集X =x1,x2=0,1，输出符号集Y =y1,y2=0,1，信道转移概率矩阵 ，信源分布为： ，计算平均互信 息量 I(X;Y)= H（Y）-H（YX） 0 1- 0 1 1- 1 图2-10 二进制对称信道第68页，共88页，2022年，5月20日

36、，8点41分，星期四先由 算出：(0) = q(0) p(00) + q(1) p(01) =(1-) + (1-)(1) = = 1-(0) 再计算熵和条件熵 = H2 (1-) + (1-) = - (1-) log (1-)-log= H2 ()第69页，共88页，2022年，5月20日，8点41分，星期四则平均互信息量I(X;Y)= H（Y)-H（YX）= H2 (1-) + (1-) - H2 () 当信道固定，即 为恒值，则I(X;Y)是的函数，其曲线如下图2-11所示。当= 0.5时,I(X ; Y)取得极大值，其值为log 2 -H2(),这种情况对应等概分布,信源的平均不确定

37、性最大. 当= 0或1时，这是确定信源的情况，通信得不到任何信息，即I(X ; Y) = 0。图2-11为恒值时的I(X;Y)曲线0 0.5 1log 2 -H2()I(X;Y)第70页，共88页，2022年，5月20日，8点41分，星期四定理2.2 当信源给定，即信源分布概率q(x)固定，平均互信息量I(X ; Y)是信道转移概率p(yx)的型凸函数。在信源固定的情况下，如果给定两个信道转移概率p1(yx)和p2(yx)，它们分别对应平均互信息量I1(X ; Y)和I2(X ; Y)，记信道转移概率p(yx)=p1(yx)+(1-) p2(yx) (式中（0 1），对应平均互信息量I (X

38、; Y)，若I (X ; Y)是p(yx)的型凸函数，则应满足： I(X ; Y) I1(X ; Y)+(1-) I2(X ; Y) （2-40）第71页，共88页，2022年，5月20日，8点41分，星期四 定理2.2说明，信源固定以后，用不同的信道来传输同一信源符号时，在信道输出端获得的信息量是不同的。可见，对每一种信源一定存在一种最差的信道，此信道的干扰最大，而使输出端获得的信息量最小。式(2-40)表示：均值的函数小于等于函数的均值，如图2-12所示。图2-12 函数的均值均值的函数 p1 p1+(1-) p2 p2 I p1+(1-) p2 I (p1)+(1-) I (p2) 第7

39、2页，共88页，2022年，5月20日，8点41分，星期四X YX Y各种熵之间的关系第73页，共88页，2022年，5月20日，8点41分，星期四X YX Y第74页，共88页，2022年，5月20日，8点41分，星期四X Y第75页，共88页，2022年，5月20日，8点41分，星期四第76页，共88页，2022年，5月20日，8点41分，星期四24 N维扩展信源的熵和平均互信息量信源输出序列为x= x1 xi xN ，xia0,a1,ak-1，记 x= x1 x 2 xN的概率分布为q (x)，则信源熵为 (2-41)241 N维扩展信源的熵 下面分两种情况来考虑：1信源离散无记忆 按式

40、(2-41)可计算出该信源的熵： （242）第77页，共88页，2022年，5月20日，8点41分，星期四根据熵的性质:条件熵小于等于无条件熵，即有 （2-45）2信源离散有记忆 信源输出序列x= x1 x 2 xN 的概率为p (x) = p (x1) p (x2x1) p(x3x1x2) p(xNx1x2xN -1)，相应可以计算出其信源熵 H (X) = H ( X1) +H (X2X1) +H (X3X1X2)+ +H (XNX1X2XN -1)记为： （2-44）熵的链规则第78页，共88页，2022年，5月20日，8点41分，星期四将式(2-45)代入式(2-44)得： （2-46）等号在信源无记忆（统计独立）时成立。 H (X) N H ( X ) (2-49)等号在信源无记忆时成立对于平稳信源第79页，共88页，2022年，5月20日，8点41分，星期四先看二维情