第2章 信息的度量

1、中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 信息论基础信息论基础 尹洪胜尹洪胜 主讲主讲 中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 第二章第二章 信息的度量信息的度量 2.1 2.1 信源的分类和数学模型信源的分类和数学模型2.2 2.2 自信息和互信息自信息和互信息 2.3 2.3 平均自信息平均自信息 2.4 2.4 平均互信息平均互信息 重点掌握：自信息重点掌握：自信息 、互信

2、息、熵三个基本概、互信息、熵三个基本概 念以及它们的主要性质。念以及它们的主要性质。中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 概述概述关于信息的度量有几个重要的概念：（1）自信息自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。 （2）互信息互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。（3）平均自信息平均自信息（信息熵信息熵）：事件集（用随机变量表示）所包含的平均信息量，它

3、表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。 （4）平均互信息平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。 中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 复习：全概率公式、贝叶斯公式和乘法公式复习：全概率公式、贝叶斯公式和乘法公式如果事件如果事件A A1 1, ,A A2 2, ,A Ai i, ,A An n构成一个事件完备集，并构成一个事件完备集，并且具有正概率，则对于任何一个事件且具有正概率，则对于任何一个事件

4、B B，有：，有：)|()()(1iniiABPAPBPniiimmmABPAPABPAPBAP1)|()()|()()|()()()()()(BAPBPABPAPABP中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 先验（输入）概率：先验（输入）概率：p(x);Pp(x);PX X输出概率输出概率 ：p(y);Pp(y);PY Y联合概率（矩阵）：联合概率（矩阵）：p(x,y)Pp(x,y)P; P; PXYXY后验概率（矩阵）：后验概率（矩阵）： p(x|yp(x|y); P); PX|Y

5、X|Y信道转移概率（矩阵）：信道转移概率（矩阵）：p(y|xp(y|x); P); PY|XY|X矩阵之间关系：矩阵之间关系：PPY Y=P=PX XPPY|XY|X ( (全概率公式全概率公式) )PPXYXY=P=PX X T TPPY Y PPX X T T =P=PX|YX|Y PPY Y T T P(xi,yjP(xi,yj)= ()= (贝叶斯公式贝叶斯公式) )复习：相关概率描述及表示复习：相关概率描述及表示中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-1 信源的分类信

6、源的分类2-1-2 信源的数学模型信源的数学模型2-1 信源的分类和数学模型信源的分类和数学模型中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-1 信源的分类信源的分类 信源的分类方法依信源特性而定，一般按照信源发出的信源的分类方法依信源特性而定，一般按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：消息在时间上和幅度上的分布情况，把信源分为：1.1.连续信源连续信源: :发出在时间上和幅度上都是连续分布的连续消息发出在时间上和幅度上都是连续分布的连续消息的信源；的信源；2.2

7、.离散信源离散信源: :发出在时间上和幅度上都是离散分布的信源。发出在时间上和幅度上都是离散分布的信源。3.3.离散信源又可以细分为：离散信源又可以细分为： 离离散散信信源源离散无记离散无记忆信源忆信源离散有记离散有记忆信源忆信源发出单个符号的无记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出符号序列的马尔可夫信源中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-1 信源的分类信

8、源的分类（1 1）离散无记忆信源：）离散无记忆信源： 所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。间没有统计关联性，各个符号的出现概率是它自身的先验概率。（2 2）离散有记忆信源）离散有记忆信源 发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。也可以根据信源发出一个消息所用符号的多少，将离散信源分为：也可以根据信源发出一个消息所用符号的多少，将离散信源分为：（3 3）发出单个符号的

9、离散信源）发出单个符号的离散信源 信源每次只发出一个符号代表一个消息；信源每次只发出一个符号代表一个消息；（4 4）发出符号序列的离散信源）发出符号序列的离散信源 信源每次发出一组含二个以上符号的符号序列代表一个消息。信源每次发出一组含二个以上符号的符号序列代表一个消息。中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-1 信源的分类信源的分类将以上两种分类结合，就有四种离散信源：将以上两种分类结合，就有四种离散信源：发出单个符号的无记忆离散信源；（先验概率）发出单个符号的无记忆离散信源

10、；（先验概率）发出符号序列的无记忆离散信源；（联合概率）发出符号序列的无记忆离散信源；（联合概率）发出符号序列的有记忆离散信源；（联合概率）发出符号序列的有记忆离散信源；（联合概率）发出符号序列的发出符号序列的马尔可夫马尔可夫离散信源。（条件概率）离散信源。（条件概率） 一类重要的符号序列有记忆离散信源一类重要的符号序列有记忆离散信源- -马尔可夫信源：马尔可夫信源： 某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。面的那些符号。中国矿业大学信电学院中国矿业大学信电学院School of Informat

11、ion and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型 正如绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出正如绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，所以可用什么消息是不确定的，所以可用随机变量或随机矢量随机变量或随机矢量来描述信源输出的消息。来描述信源输出的消息。或者说，用概率空间来描述信源。或者说，用概率空间来描述信源。离散信源的数学模型就是离散型的概率空间：离散信源的数学模型就是离散型的概率空间：1.1.单符号信源单符号信源 假设信源假设信源X X可能取的消息可能取的消息( (符

12、号集，或称为字符集、字母集符号集，或称为字符集、字母集) )只有只有q q个：个： ，而且每次必定取其中一个，而且每次必定取其中一个 : :而且而且 称为符号称为符号 的先验概率，那么的先验概率，那么单个符号的无记忆离散信源单个符号的无记忆离散信源的数学模型为：的数学模型为： qaaa,21),.,2 , 1(qiai),2,1)(qiapi),.,2 , 1(qiai中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 所有所有符号（字母）的先验概率符号（字母）的先验概率且满足且满足 )()()(

13、2121qqapapapaaaPX1)(1niiap2-1-2 信源的数学模型信源的数学模型), 2 , 1(0)(qiapi中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型 2.长度为长度为N的符号序列信源的符号序列信源 我们知道，在实际应用中，很多信源输出的消息往往是我们知道，在实际应用中，很多信源输出的消息往往是由一系列符号所组成的。例如中文信源的样本空间集合由一系列符号所组成的。例如中文信源的样本空间集合X X是所是所有汉字及标点符号的集合。由这

14、些单字和标点符号组成的消有汉字及标点符号的集合。由这些单字和标点符号组成的消息即是中文句子和文章。从时间上看，中文信源的输出是时息即是中文句子和文章。从时间上看，中文信源的输出是时间上离散的一系列符号，而其中每个符号的出现是随机的，间上离散的一系列符号，而其中每个符号的出现是随机的，由此构成了不同的中文消息。由此构成了不同的中文消息。 中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型 又例如对离散化的平面图像来说，从空间上来看是一系列离散的符号，而空间每

15、一点的符号(灰度)又都是随机的，由此形成了不同的图像。所以我们可以把一般信源输出的消息看作为时间或空间上离散的一系列随机变量，即随机矢量。这样，信源的输出可用N维随机矢量 来描述，其中N可为有限正整数或可数的无限值。 ),(21NXXX中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型 在上述随机矢量中，若每个随机变量 都是离散的，则可用N重离散概率空间来描述这类信源。即若N维随机矢量 中 则 ),2, 1(NiXi),(21NXXX),(21qiaaaA

16、XNi, 2 , 1NNXXXX),(21中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型信源的信源的N重概率空间为：重概率空间为：这个空间共有这个空间共有 个元素。个元素。 在某些简单的情况下，信源先后发出的一个个符号彼此是在某些简单的情况下，信源先后发出的一个个符号彼此是统计独立的，则统计独立的，则N维随机矢量的联合概率分布满足维随机矢量的联合概率分布满足:)()()()()(111111qqqqqqNaaapaaapaaaaaaxpXNq中国矿业大

17、学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型 即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源就是离散无记忆信源。 一般情况下，信源先后发出的符号之间是互相依赖的。例如在中文字母组成的中文消息中，前后文字的出现是有依赖的，不能认为是彼此不相关的，放在N维随机矢量的联合概率分布中，就必然要引入条件概率分布来说明它们之间的关联。这种信源即有记忆信源。 NiixpXp1)()(中国矿业大学信电学院中国矿业大学信电学院School of

18、 Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型 表述有记忆信源要比表述无记忆信源困难得多。实际上表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前面几个符号的依赖关系较强，而信源发出的符号往往只与前面几个符号的依赖关系较强，而与更前面的符号依赖关系就弱。为此可以限制随机序列的记与更前面的符号依赖关系就弱。为此可以限制随机序列的记忆长度。忆长度。 当记忆长度为当记忆长度为m+1m+1时，称这种有记忆信源为时，称这种有记忆信源为m m阶马尔可夫阶马尔可夫信源。也就是信源所发出的符号只与前信源

19、。也就是信源所发出的符号只与前m m个符号有关，与更个符号有关，与更前面的符号无关。前面的符号无关。 中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-1-2 信源的数学模型信源的数学模型这样就可用马尔可夫链来描述信源。这时描述符号之间依赖关系的条件概率为 如果条件概率与时间起点j无关，即信源输出的消息可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。 )|()|(2121miiiimiiiixxxxpxxxxp中国矿业大学信电学院中国矿业大学信电学院School of Informat

20、ion and Electrical Engineering, CUMT 2.2 自信息和互信息自信息和互信息2.2.1 自信息自信息 随机事件的自信息量 是该事件发生概率 的函数，并且应该满足以下公理化条件：公理化条件： 1. 是 的严格递减函数。当 时， ，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。 2 极限情况下当 =0时， ；当 =1时， =0。 3 另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。 可以证明，满足以上公理化条件的函数形式是对数形式。)(ixI)(ixp)(ixI)(ixp12()()p xp x1

21、2()()I xI x)(ixp( )iI x )(ixp)(ixI中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 定义定义2.1 随机事件的自信息量自信息量定义为该事件发生概率的对数的负值。设事件 的概率为 ，则它的自信息定义为 从图2.1种可以看到上述信息量的定义正 是满足上述公理性条件的函数形式。 代表两种含义两种含义：当事件发生以前， 等于事件发生的不确定性的大小；当事 件发生以后，表示事件所含有或所能提 供的信息量。ix)(ixp1( )log( )log( )defiiiI xp

22、xp x)(ixI图2.1 自信息量2.2.1 自信息自信息中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 自信息量的单位与所用对数的底有关。 （1）常取对数的底为2，信息量的单位为比特（bit，binary unit）。当 =1/2时， =1比特，即概率等于1/2的事件具有1比特的自信息量。（2）若取自然对数（对数以e为底），自信息量的单位为奈特（nat，natural unit）。 1奈特= 比特=1.443比特 （3）工程上用以10为底较方便。若以10为对数底，则自信息量的单位为哈特莱（

23、Hartley）。1哈特莱= 比特=3.322比特（4）如果取以r为底的对数（r1），则 = 进制单位 1r进制单位= 比特)(ixp)(ixIe2log10log2)(ixIlog( )rip xrr2log2.2.1 自信息自信息中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-2-1 自信息量自信息量不确定度与自信息量不确定度与自信息量 随机事件的不确定度在数量上等于它的自信息量，两者随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不同。即有某种概率分布的随机事件的

24、单位相同，但含义却不同。即有某种概率分布的随机事件不管发生与否，都存在不确定度，而自信息量是在该事件发不管发生与否，都存在不确定度，而自信息量是在该事件发生后给予观察着的信息量。生后给予观察着的信息量。 中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-2-1 自信息量自信息量两个消息两个消息 、 同时出现的联合自信息量同时出现的联合自信息量：用联合概率 来表示，联合自信息量为当 和 相互独立时，有 于是有 ixjy)(jiyxp)(log)(jijiyxpyxIixjy)()()(jiji

25、ypxpyxp)()()(jijiyIxIyxI联合自信息量联合自信息量中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-2-1 自信息量自信息量 条件自信息量条件自信息量：当 和 相互联系时，在事件 出现的条件下， 的自信息量称为条件自信息量，定义 为在事件 出现的条件下， 发生的条件概率。例例2.1 讲解讲解p9ixjyjyix)/(log)/(jijiyxpyxI)/(jiyxpjyix中国矿业大学信电学院中国矿业大学信电学院School of Information and Elec

26、trical Engineering, CUMT 2.2.2 互信息互信息 定义定义2.2 一个事件 所给出关于另一个事件 的信息定义为互信息互信息，用 表示。 互信息 是已知事件 后所消除的关于事件 的不确定性，它等于事件 本身的不确定性 减去已知事件 后对 仍然存在的不确定性 。 互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。 例例2.2 讲解讲解9jyix); (jiyxI( |)( ;)( )( |)log( )defijijiijip x yI xyI xI x yp x); (jiyxIjyixixixjy)(ixI(|)ijI xy中国矿业大学信电学院中国

27、矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3 平均自平均自信息信息 2.3.1 平均自信息（信息熵）的概念平均自信息（信息熵）的概念 自信息量自信息量是信源发出某一具体消息所含有的信息量，发出的消息不同所含有的信息量不同。因此自信息量不能用来表征整个信源的不确定度。我们定义平均自信息量平均自信息量来表征整个信源的不确定度。平均自信息量又称为信息熵信息熵、信源熵信源熵，简称熵熵。 因为信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值

28、和这些取值对应的概率 称为它的概概率空间率空间。 XPX,中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.1 平均自信息（信息熵）的概念平均自信息（信息熵）的概念 定义定义2.3 随机变量X的每一个可能取值的自信息 的统计平均值定义为随机变量X的平均自信息量平均自信息量: 这里q为的所有X可能取值的个数。 熵熵的单位也是与所取的对数底有关，根据所取的对数底不同，可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。通常用比特/符号为单位。 一般情况下，信息熵并不等于收信者平

29、均获得的信息量，收信者不能全部消除信源的平均不确定性，获得的信息量将小于信息熵。 )(ixI1()( )( )log( )qiiiiH XE I xp xp x 中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.2 熵函数的性质熵函数的性质 信息熵 是随机变量X的概率分布的函数，所以又称为熵函数熵函数。如果把概率分布 ，记为 ，则熵函数又可以写成概率矢量 的函数的形式，记为 。 熵函数 具有以下性质： 1. .对称性：对称性：（引出加权熵扩展） 该性质说明熵函数仅与信源的总体统计特性有关

30、。 )(XH( ),1 2ip xiq， ， ，qppp,21),(21qpppp)(pH121()log(,)( )qiiqiH XppH pppH p)(pH122111(,)(,)= = (,)qqqqH pppH pppH ppp中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.2 熵函数的性质熵函数的性质2. . 确定性：确定性： 在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。3. . 非负性：非负性： 对

31、确定信源，等号成立。信源熵是自信息的数学期望，自信息是非负值，所以信源熵必定是非负的。4. . 扩展性：扩展性： 这个性质的含义是增加一个基本不会出现的小概率事件，信源的熵保持不变。5. 连续性：连续性： 即信源概率空间中概率分量的微小波动，不会引起熵的变化。 (1, 0)(1, 0, 0)(1, 0, 0, 0)(1, 0,0)0HHHH12( )(,)0qHH pppp112120lim(,)(,)qqqqHpppHppp，121120lim(,)(,)qqqHppppH ppp，中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrica

32、l Engineering, CUMT 2.3.2 熵函数的性质熵函数的性质6递增性递增性 这性质表明，假如有一信源的n个元素的概率分布为 ，其中某个元素 又被划分成m个元素，这m个元素的概率之和等于元素 的概率，这样得到的新信源的熵增加，熵增加了一项是由于划分产生的不确定性。例例2.4 讲解讲解p137. . 极值性：极值性： 式中n是随机变量X的可能取值的个数。 极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离散熵定理。连续信源的最大熵则与约束条件有关。 121211212(,)(,),mnmnnnnnqqqH pppqqqH pppp Hppp),(21npppnxnx1211

33、1(,),lognH pppHnnnn中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2-2-3 熵的基本性质熵的基本性质香农辅助定理香农辅助定理 对于任意n及概率矢量 和 ，有如下不等式成立 只有当P=Q时，上式取等号。（给出板书证明（给出板书证明） ),(21npppP),(21nqqqQniniiiiinqppppppH1121loglog),(中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CU

34、MT 2.3.2 熵函数的性质熵函数的性质8. . 上凸性上凸性: : 是严格的上凸函数，设 则对于任意小于1的正数 有以下不等式成立： 凸函数在定义域内的极值必为极大值，可以利用熵函数的这个性质可以证明熵函数的极值性。 （给出板书证明）（给出板书证明） )(pH121211(,), (,),1,1qqqqiiiipppppppppp,( 01 )(1) ( )(1)( )HHHpppp中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 解释：设有矢量函数对于 的 定义域中任意两个矢量X，Y，若满

35、足不等式则称f严格上凸。其几何意义为：在上凸函数任两点画一条割线，函数总在割线上方。),()(21nxxxfff10及)()1()()1(YfXfYXf2.3.2 熵函数的性质熵函数的性质中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.2 熵函数的性质熵函数的性质 直观来看，随机变量的不确定程度并不都是一样的。香农香农指出，存在这样的不确定性的度量，它是随机变量的概率分布的函数，而且必须满足三个公理性条件： 1. 连续性条件连续性条件： 应是 的连续函数； 2. 等概时为单调函数等概时

36、为单调函数： 应是 的增函数； 3. 递增性条件递增性条件：当随机变量的取值不是通过一次试验而是若干次试验才最后得到时，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的不确定程度相同，即： 其中 12(,)nf ppp,1, 2,ip in(1/ ,1/ ,1/ )fnnnn121211212(,)(),() (,)nkknkkf pppfppppppppf ppp12/()kkkppppp中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.3 联合熵与条件熵联合熵与

37、条件熵 一个随机变量的不确定性可以用熵来表示，这一概念可以方便地推广到多个随机变量。 定义定义2.4 二维随机变量 的概率空间表示为 其中 满足概率空间的非负性和完备性： XY1111()()()ijnmijnmXYx yx yx yp x yp x yp x yP XY)(jiyxp110()1,()1nmijijijp x yp x y中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.3 联合熵与条件熵联合熵与条件熵 二维随机变量 的联合熵联合熵定义为联合自信息的数学期望，它是二维随

38、机变量 的不确定性的度量。 定义定义2.5 给定 时， 的条件熵条件熵： 其中， 表示已知 时， 的平均不确定性。 XYXY1111()() ()()log()nmnmdefijijijijijijH XYp x yI x yp x yp x y XY(|)( )(|)( ) (|)log(|)()log(|)iiijijiiijijjiijH Y Xp x H Y xp x p yxp yxp x yp yx (|)H Y XXY中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.3.42.

39、3.4各类熵之间的关系：各类熵之间的关系：1联合熵与信息熵、条件熵的关系： （给出板书证明）（给出板书证明） 这个关系可以方便地推广到N个随机变量的情况： 称为熵函数的链规则熵函数的链规则。 推论：推论：当二维随机变量X，Y相互独立时，联合熵等于X和Y各自熵之和： 2 条件熵与信息熵的关系： （给出板书证明）（给出板书证明） 3 联合熵和信息熵的关系： 当X、Y相互独立时等号成立。 12121121()()(|)(|)NNNH X XXH XH XXH XX XX()()( )H XYH XH Y(|)(),(|)( )H X YH XH Y XH Y()()( )H XYH XH Y)/()

40、()(XYHXHXYH例例2.5 讲解讲解p18中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4 平均互平均互信息信息2.4.1 平均互信息的概念平均互信息的概念 为了从整体上表示从一个随机变量Y所给出关于另一个随机变量 的信息量，我们定义互信息 在的 联合概率空间中的统计平均值为随机变量X和Y间的平均互信息平均互信息： 定义定义2.6 X); (jiyxIXY11111111(|)(; )() ( ;)()log( )11()log()log( )(|)()(|)nmnmijijiji

41、jijijinmnmijijijijiijp xyI X Yp x yI x yp x yp xp x yp x yp xp xyH XH X Y中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质 1. .非负性非负性: : 平均互信息是非负的，说明给定随机变量Y后，一般来说总能消除一部分关于X的不确定性。 2. .互易性（对称性）：互易性（对称性）： 对称性表示Y从X中获得关于的信息量等于X从Y中获得关于的信息量。3.平均互信息和各类熵的关系平均互信

42、息和各类熵的关系: : 当 统计独立时，(; )0I X Y (; )( ; )I X YI Y X(; )()(|)( )(|)()( )()I X YH XH X YH YH Y XH XH YH XY(; )0I X Y ,X Y中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质)()(),()()()()()(log)()(log)()(log)()()()()/(log)()()/(log)();()/()()/(log)()/()(log)

43、()/(log)()(log)()()/(log)();(,jijiijjijijijijijjijiijijijjijijijijjijijijijijijiiijijijiijijijiijijiypyxpxpyxpXYHYHXHyxpyxpypyxpxpyxpypypxpyxpyxpxpyxpyxpYXIYXHXHyxpyxpxypxpxpyxpyxpxpyxpxpyxpyxpYXI中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质);()()/

44、(log)()()/()()/()()/(log)();()/()()/(log)()(log)()()/(log)();(,YXIxpyxpyxpypxypxpyxpypxypyxpXYIXYHYHxypyxpypyxpypxypyxpXYIjijjijijijijijijijjiijjijjijijijji据条件概率公式：中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质4. 极值性：极值性： 极值性说明从一个事件提取关于另一个事件的信息量，至多只

45、能是另一个事件的平均自信息量那么多，不会超过另一事件本身所含的信息量。5. 凸函数性凸函数性: : 定理定理2.1 当条件概率分布 给定时，平均互信息 是输入分布 的上凸函数。 定理定理2.2 对于固定的输入分布 ，平均互信息量 是条件概率分布 的下凸函数。 (; )(), (; )( )I X YH XI X YH Y)|(ijxyp);(YXI)(ixp)(ixp);(YXI)|(ijxyp中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质上凸性证

46、明上凸性证明：由平均互信息量的定义若固定信道，调整信源则I(X;Y)=f(p(xi)(上凸) nimjniijiijijixypxpxypxypxpYXI111)/()()/(log)/()(),(中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质（1）平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数。（用于信道容量计算）所谓上凸函数，是指同一信源集合x1,x2,.xn,对应两个不同的概率分布p1(xi)和p2(xi)( i=1,2,n)

47、,若有小于1的正数01,使不等式f(p1(xi)+(1-)p2(xi)f(p1(xi)+ (1-)f(p2(xi)成立，则称函数f为p(xi)的上凸函数。证明：令 p3(xi)= p1(xi)+ (1-)p2(xi),因为p3(xi)是p1(xi)和p2(xi)的线性组合，p3(xi)构成一个新的概率分布。当固定信道特性为p0(yj/xi)时，由p3(xi)确定的平均互信息量为：中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质)/()()1 ()(l

48、og)/()()1 ()()/()/()()1 ()(log)/()()1 ()()/()()1 ()()/(log)/()()1 ()()/()()/(log)/()()();(0210112101021011211021001121111030033ijjjijnimjiiijniijiiijnimjiiniijiiijijnimjiinimjniijiijijiixypypypxypxpxpxypxypxpxpxypxpxpxypxpxpxypxypxpxpxypxpxypxypxpxPfYXf中国矿业大学信电学院中国矿业大学信电学院School of Information and E

49、lectrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质)/(log)/()()1 ()()()1 ()(log)/()()1 ()()1 ()(log)/()(001121112102210111ijijnimjiinimjjjijijjijnimjixypxypxpxpypypxypxpypypxypxp中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质根据香农辅助定理有： niiiniiixpxpxqx

50、p11)(log)()(log)(101211111201222111( )(/)log() (1)()()log()( )(/)log() (1)()()log()mnmijijjjjjijmnmijijjjjjijp x p yxp yp yp yp yp x p yxp yp yp yp y中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 2.4.2 平均互信息的性质平均互信息的性质将上式代入：将上式代入：当p3(xi)=p1(xi)且p3(xi)=p2(xi)时等号成立，从而证明以上定理

51、 )()1 ()()()/(log)/()()1 ()()/(log)/()()/(log)/()()1 ()()(log)()1 ()(log)()(21111200211110010011211221113iinimjijijinimjijijiijijnimjiimjjjmjjjixpIxpIypxypxypxpypxypxypxpxypxypxpxpypypypypxPf中国矿业大学信电学院中国矿业大学信电学院School of Information and Electrical Engineering, CUMT 解释物理意义解释物理意义 信息流通的根本问题，是定量计算信宿收到信道输出的信息流通的根本问题，是定量计算信宿收到信道输出的某一符号后，从中获取关于信源某一符号的信息量某一符号后，从中获取关于信源某一符号的信息量信信 源源 X X有扰离散有扰离散 信信 道道信信 宿宿 Y Y干扰源干扰源 简单的通信系统模型简单的通信系统模型2.