第2章 信息的度量

信息论基础

尹洪胜主讲

中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT第二章信息的度量

2.1信源的分类和数学模型2.2自信息和互信息2.3平均自信息2.4平均互信息

重点掌握：自信息、互信息、熵三个基本概念以及它们的主要性质。中国矿业大学信电学院概述关于信息的度量有几个重要的概念：（1）自信息：一个事件（消息）本身所包含的信息量，它是由事件的不确定性决定的。比如抛掷一枚硬币的结果是正面这个消息所包含的信息量。

（2）互信息：一个事件所给出关于另一个事件的信息量，比如今天下雨所给出关于明天下雨的信息量。（3）平均自信息（信息熵）：事件集（用随机变量表示）所包含的平均信息量，它表示信源的平均不确定性。比如抛掷一枚硬币的试验所包含的信息量。

（4）平均互信息：一个事件集所给出关于另一个事件集的平均信息量，比如今天的天气所给出关于明天的天气的信息量。

中国矿业大学信电学院复习：全概率公式、贝叶斯公式和乘法公式如果事件A1,A2,…Ai…,An构成一个事件完备集，并且具有正概率，则对于任何一个事件B，有：中国矿业大学信电学院先验（输入）概率：[p(x)];PX输出概率：[p(y)];PY联合概率（矩阵）：[p(x,y)P;PXY后验概率（矩阵）：

[p(x|y)];PX|Y信道转移概率（矩阵）：[p(y|x)];PY|X矩阵之间关系：[PY]=[PX][PY|X](全概率公式)[PXY]=[PX]T[PY][PX]T=[PX|Y]

[PY]T

P(xi,yj)=…(贝叶斯公式)复习：相关概率描述及表示中国矿业大学信电学院2-1-1

信源的分类2-1-2信源的数学模型2-1信源的分类和数学模型中国矿业大学信电学院SchoolofInformationandElectricalEngineering,CUMT2-1-1

信源的分类信源的分类方法依信源特性而定，一般按照信源发出的消息在时间上和幅度上的分布情况，把信源分为：1.连续信源:发出在时间上和幅度上都是连续分布的连续消息的信源；2.离散信源:发出在时间上和幅度上都是离散分布的信源。3.离散信源又可以细分为：

离散信源离散无记忆信源离散有记忆信源发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源{{{中国矿业大学信电学院2-1-1

信源的分类（1）离散无记忆信源：所发出的各个符号之间是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。（2）离散有记忆信源

发出的各个符号之间不是相互独立的，各个符号出现的概率是有关联的。也可以根据信源发出一个消息所用符号的多少，将离散信源分为：（3）发出单个符号的离散信源信源每次只发出一个符号代表一个消息；（4）发出符号序列的离散信源信源每次发出一组含二个以上符号的符号序列代表一个消息。中国矿业大学信电学院2-1-1

信源的分类将以上两种分类结合，就有四种离散信源：发出单个符号的无记忆离散信源；（先验概率）发出符号序列的无记忆离散信源；（联合概率）发出符号序列的有记忆离散信源；（联合概率）发出符号序列的马尔可夫离散信源。（条件概率）一类重要的符号序列有记忆离散信源-马尔可夫信源：某一个符号出现的概率只与前面一个或有限个符号有关，而不依赖更前面的那些符号。中国矿业大学信电学院2-1-2信源的数学模型正如绪论中所述，在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，所以可用随机变量或随机矢量来描述信源输出的消息。或者说，用概率空间来描述信源。离散信源的数学模型就是离散型的概率空间：1.单符号信源假设信源X可能取的消息(符号集，或称为字符集、字母集)只有q个：，而且每次必定取其中一个:而且称为符号的先验概率，那么单个符号的无记忆离散信源的数学模型为：中国矿业大学信电学院所有符号（字母）的先验概率且满足

2-1-2信源的数学模型中国矿业大学信电学院2-1-2信源的数学模型

2.长度为N的符号序列信源

我们知道，在实际应用中，很多信源输出的消息往往是由一系列符号所组成的。例如中文信源的样本空间集合X是所有汉字及标点符号的集合。由这些单字和标点符号组成的消息即是中文句子和文章。从时间上看，中文信源的输出是时间上离散的一系列符号，而其中每个符号的出现是随机的，由此构成了不同的中文消息。中国矿业大学信电学院2-1-2信源的数学模型又例如对离散化的平面图像来说，从空间上来看是一系列离散的符号，而空间每一点的符号(灰度)又都是随机的，由此形成了不同的图像。所以我们可以把一般信源输出的消息看作为时间或空间上离散的一系列随机变量，即随机矢量。这样，信源的输出可用N维随机矢量

来描述，其中N可为有限正整数或可数的无限值。

中国矿业大学信电学院2-1-2信源的数学模型在上述随机矢量中，若每个随机变量都是离散的，则可用N重离散概率空间来描述这类信源。即若N维随机矢量中则

中国矿业大学信电学院2-1-2信源的数学模型信源的N重概率空间为：这个空间共有个元素。在某些简单的情况下，信源先后发出的一个个符号彼此是统计独立的，则N维随机矢量的联合概率分布满足:中国矿业大学信电学院2-1-2信源的数学模型即N维随机矢量的联合概率分布可用随机矢量中单个随机变量的概率乘积来表示。这种信源就是离散无记忆信源。一般情况下，信源先后发出的符号之间是互相依赖的。例如在中文字母组成的中文消息中，前后文字的出现是有依赖的，不能认为是彼此不相关的，放在N维随机矢量的联合概率分布中，就必然要引入条件概率分布来说明它们之间的关联。这种信源即有记忆信源。

中国矿业大学信电学院2-1-2信源的数学模型表述有记忆信源要比表述无记忆信源困难得多。实际上信源发出的符号往往只与前面几个符号的依赖关系较强，而与更前面的符号依赖关系就弱。为此可以限制随机序列的记忆长度。当记忆长度为m+1时，称这种有记忆信源为m阶马尔可夫信源。也就是信源所发出的符号只与前m个符号有关，与更前面的符号无关。中国矿业大学信电学院2-1-2信源的数学模型这样就可用马尔可夫链来描述信源。这时描述符号之间依赖关系的条件概率为如果条件概率与时间起点j无关，即信源输出的消息可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。

中国矿业大学信电学院2.2

自信息和互信息2.2.1自信息

随机事件的自信息量

是该事件发生概率的函数，并且应该满足以下公理化条件：

1.

是的严格递减函数。当时，，概率越小，事件发生的不确定性越大，事件发生以后所包含的自信息量越大。

2．

极限情况下当=0时，；当=1时，=0。

3．

另外，从直观概念上讲，由两个相对独立的不同的消息所提供的信息量应等于它们分别提供的信息量之和。可以证明，满足以上公理化条件的函数形式是对数形式。中国矿业大学信电学院定义2.1随机事件的自信息量定义为该事件发生概率的对数的负值。设事件的概率为，则它的自信息定义为

从图2.1种可以看到上述信息量的定义正是满足上述公理性条件的函数形式。代表两种含义：当事件发生以前，等于事件发生的不确定性的大小；当事件发生以后，表示事件所含有或所能提供的信息量。图2.1自信息量2.2.1自信息中国矿业大学信电学院自信息量的单位与所用对数的底有关。

（1）常取对数的底为2，信息量的单位为比特（bit，binaryunit）。当=1/2时，=1比特，即概率等于1/2的事件具有1比特的自信息量。（2）若取自然对数（对数以e为底），自信息量的单位为奈特（nat，naturalunit）。1奈特=比特=1.443比特

（3）工程上用以10为底较方便。若以10为对数底，则自信息量的单位为哈特莱（Hartley）。1哈特莱=比特=3.322比特（4）如果取以r为底的对数（r>1），则=进制单位

1r进制单位=比特2.2.1自信息中国矿业大学信电学院2-2-1自信息量不确定度与自信息量

随机事件的不确定度在数量上等于它的自信息量，两者的单位相同，但含义却不同。即有某种概率分布的随机事件不管发生与否，都存在不确定度，而自信息量是在该事件发生后给予观察着的信息量。中国矿业大学信电学院2-2-1自信息量两个消息、同时出现的联合自信息量：用联合概率来表示，联合自信息量为当和相互独立时，有

于是有

联合自信息量中国矿业大学信电学院2-2-1自信息量

条件自信息量：当和相互联系时，在事件出现的条件下，的自信息量称为条件自信息量，定义

为在事件出现的条件下，发生的条件概率。例2.1讲解p9中国矿业大学信电学院2.2.2

互信息

定义2.2一个事件所给出关于另一个事件的信息定义为互信息，用表示。

互信息是已知事件后所消除的关于事件的不确定性，它等于事件本身的不确定性减去已知事件后对仍然存在的不确定性。

互信息的引出，使信息得到了定量的表示，是信息论发展的一个重要的里程碑。例2.2讲解9中国矿业大学信电学院2.3

平均自信息

2.3.1平均自信息（信息熵）的概念

自信息量是信源发出某一具体消息所含有的信息量，发出的消息不同所含有的信息量不同。因此自信息量不能用来表征整个信源的不确定度。我们定义平均自信息量来表征整个信源的不确定度。平均自信息量又称为信息熵、信源熵，简称熵。因为信源具有不确定性，所以我们把信源用随机变量来表示，用随机变量的概率分布来描述信源的不确定性。通常把一个随机变量的所有可能的取值和这些取值对应的概率称为它的概率空间。

中国矿业大学信电学院2.3.1平均自信息（信息熵）的概念定义2.3随机变量X的每一个可能取值的自信息的统计平均值定义为随机变量X的平均自信息量:

这里q为的所有X可能取值的个数。

熵的单位也是与所取的对数底有关，根据所取的对数底不同，可以是比特/符号、奈特/符号、哈特莱/符号或者是r进制单位/符号。通常用比特/符号为单位。

一般情况下，信息熵并不等于收信者平均获得的信息量，收信者不能全部消除信源的平均不确定性，获得的信息量将小于信息熵。

中国矿业大学信电学院2.3.2

熵函数的性质

信息熵是随机变量X的概率分布的函数，所以又称为熵函数。如果把概率分布，记为，则熵函数又可以写成概率矢量的函数的形式，记为。熵函数具有以下性质：

1.对称性：（引出加权熵扩展）

该性质说明熵函数仅与信源的总体统计特性有关。

中国矿业大学信电学院2.3.2

熵函数的性质2.确定性：

在概率矢量中，只要有一个分量为1，其它分量必为0，它们对熵的贡献均为0，因此熵等于0。也就是说确定信源的不确定度为0。3.非负性：对确定信源，等号成立。信源熵是自信息的数学期望，自信息是非负值，所以信源熵必定是非负的。4.扩展性：

这个性质的含义是增加一个基本不会出现的小概率事件，信源的熵保持不变。5.连续性：即信源概率空间中概率分量的微小波动，不会引起熵的变化。

中国矿业大学信电学院2.3.2

熵函数的性质6．递增性这性质表明，假如有一信源的n个元素的概率分布为，其中某个元素又被划分成m个元素，这m个元素的概率之和等于元素的概率，这样得到的新信源的熵增加，熵增加了一项是由于划分产生的不确定性。例2.4讲解p137.极值性：

式中n是随机变量X的可能取值的个数。极值性表明离散信源中各消息等概率出现时熵最大，这就是最大离散熵定理。连续信源的最大熵则与约束条件有关。

中国矿业大学信电学院2-2-3熵的基本性质香农辅助定理对于任意n及概率矢量和

，有如下不等式成立

只有当P=Q时，上式取等号。（给出板书证明）

中国矿业大学信电学院2.3.2

熵函数的性质8.上凸性:是严格的上凸函数，设

则对于任意小于1的正数有以下不等式成立：

凸函数在定义域内的极值必为极大值，可以利用熵函数的这个性质可以证明熵函数的极值性。

（给出板书证明）

中国矿业大学信电学院解释：设有矢量函数对于的定义域中任意两个矢量X，Y，若满足不等式则称f严格上凸。其几何意义为：在上凸函数任两点画一条割线，函数总在割线上方。2.3.2熵函数的性质中国矿业大学信电学院2.3.2

熵函数的性质直观来看，随机变量的不确定程度并不都是一样的。香农指出，存在这样的不确定性的度量，它是随机变量的概率分布的函数，而且必须满足三个公理性条件：

1.连续性条件：应是的连续函数；

2.等概时为单调函数：应是的增函数；

3.递增性条件：当随机变量的取值不是通过一次试验而是若干次试验才最后得到时，随机变量在各次试验中的不确定性应该可加，且其和始终与通过一次试验取得的不确定程度相同，即：其中中国矿业大学信电学院2.3.3

联合熵与条件熵

一个随机变量的不确定性可以用熵来表示，这一概念可以方便地推广到多个随机变量。

定义2.4

二维随机变量的概率空间表示为其中满足概率空间的非负性和完备性：

中国矿业大学信电学院2.3.3

联合熵与条件熵二维随机变量的联合熵定义为联合自信息的数学期望，它是二维随机变量的不确定性的度量。

定义2.5给定时，的条件熵：其中，表示已知时，的平均不确定性。

中国矿业大学信电学院2.3.4各类熵之间的关系：1．联合熵与信息熵、条件熵的关系：（给出板书证明）

这个关系可以方便地推广到N个随机变量的情况：

称为熵函数的链规则。推论：当二维随机变量X，Y相互独立时，联合熵等于X和Y各自熵之和：

2．条件熵与信息熵的关系：（给出板书证明）

3．联合熵和信息熵的关系：当X、Y相互独立时等号成立。

例2.5讲解p18中国矿业大学信电学院

2.4

平均互信息2.4.1

平均互信息的概念

为了从整体上表示从一个随机变量Y所给出关于另一个随机变量的信息量，我们定义互信息在的联合概率空间中的统计平均值为随机变量X和Y间的平均互信息：定义2.6

中国矿业大学信电学院

2.4.2

平均互信息的性质

1.非负性:

平均互信息是非负的，说明给定随机变量Y后，一般来说总能消除一部分关于X的不确定性。

2.互易性（对称性）：对称性表示Y从X中获得关于的信息量等于X从Y中获得关于的信息量。3.平均互信息和各类熵的关系:

当统计独立时，中国矿业大学信电学院2.4.2

平均互信息的性质中国矿业大学信电学院2.4.2

平均互信息的性质中国矿业大学信电学院2.4.2

平均互信息的性质4.极值性：

极值性说明从一个事件提取关于另一个事件的信息量，至多只能是另一个事件的平均自信息量那么多，不会超过另一事件本身所含的信息量。5.凸函数性:

定理2.1当条件概率分布给定时，平均互信息是输入分布的上凸函数。

定理2.2

对于固定的输入分布，平均互信息量是条件概率分布的下凸函数。

中国矿业大学信电学院2.4.2

平均互信息的性质上凸性证明：由平均互信息量的定义若固定信道，调整信源则I(X;Y)=f(p(xi))(上凸)

中国矿业大学信电学院2.4.2

平均互信息的性质（1）平均互信息量I(X;Y)是输入信源概率分布p(xi)的上凸函数。（用于信道容量计算）所谓上凸函数，是指同一信源集合{x1,x2,….xn},对应两个不同的概率分布p1(xi)和p2(xi)(i=1,2,…n),若有小于1的正数0<α<1,使不等式f(αp1(xi)+(1-α)p2(xi))≥αf(p1(xi))+(1-α)f(p2(xi))成立，则称函数f为p(xi)的上凸函数。证明：令p3(xi)=αp1(xi)+(1-α)p2(xi),因为p3(xi)是p1(xi)和p2(xi)的线性组合，p3(xi)构成一个新的概率分布。当固定信道特性为p0(yj/xi)时，由p3(xi)确定的平均互信息量为：中国矿业大学信电学院2.4.2

平均互信息的性质中国矿业大学信电学院2.4.2

平均互信息的性质中国矿业大学信电学院2.4.2

平均互信息的性质根据香农辅助定理有：

中国矿业大学信电学院2.4.2

平均互信息的性质将上式代入：当p3(xi)=p1(xi)且p3(xi)=p2(xi)时等号成立，从而证明以上定理

中国矿业大学信电学院解释物理意义

信息流通的根本问题，是定量计算信宿收到信道输出的某一符号后，从中获取关于信源某一符号的信息量信源X有扰离散信道信宿Y干扰源

简单的通信系统模型2.4.2平均互信息的性质中国矿业大学信电学院2.4.2

平均互信息的性质中国矿业大学信电学院

信源