信息论与编码第二章信息的度量

第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息前一章内容回顾---(1)从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。

——美国学者欧廷格前一章内容回顾---(2)3通俗的说，信息就是消息。”广义地说，信息是认识主体（人、生物、机器）所感受的事物运动状态和变换方式。

狭义地说，信息是用来消除不确定性的东西。

——这是香农给出的定义。什么是信息？4消息、信号和信息之间的关系前一章内容回顾---(3)信号是表示消息的物理量（随时间、空间变化），适合在信道传输的物理量，如声波、光波、电磁波等。消息是信息载体和具体表现形式（如文字、符号、图片、电影等）；5信息论研究的对象前一章内容回顾---(4)6通信系统的指标通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。前一章内容回顾---(5)7信息论的研究内容前一章内容回顾---(6)概率论知识复习基本事件：随机试验的每一个可能的结果（样本点）。样本空间：基本事件的集合。复杂事件：多个基本事件所组成的事件。随机事件：无论基本事件还是复杂事件，它们在试验中发生与否，都带有随机性。相关知识复习事件域：基本事件和复杂事件是样本空间的子集，所有子集的全体。概率空间：

三要素—样本空间、事件域(集合)、概率。事件A的概率：

A中样本点数与样本空间中样本点之比。先验概率：根据以往的统计规律得到的。相关知识复习必须掌握的概率论知识1）条件概率2）联合概率相关知识复习3)全概率：设B1

,B2

,…

是一列互不相容的事件(Bi

Bj=0），且有B1∪B2∪…=Ω（样本空间）；P(Bi)＞0,i=1，2…，则对任一事件A，有：

相关知识复习4)贝叶斯(Bayes)公式:

设B1,B2

,…

是一列互不相容的事件(Bi

Bj=0），且有B1∪B2∪…=Ω（样本空间）；

p(Bi)＞0，i=1，2，…，则对任一事件A，有：相关知识复习第二章：信息的度量2.1.1自信息2.1.2互信息一、自信息和互信息二、平均自信息三、平均互信息142.1.1自信息量信源发出的消息常常是随机的，其状态存在某种程度的不确定性，经过通信将信息传给了收信者，收信者得到消息后，才消除了不确定性并获得了信息。获得信息量的多少与信源的不确定性的消除有关。不确定度——惊讶度——信息量152.1.1自信息量（1）直观定义自信息量为：收到某消息获得的信息量=不确定性减少的量=收到此消息前关于某事件发生的不确定性-收到此消息后关于某事件发生的不确定性162.1.1自信息量举例：一个布袋中装有对人手感觉完全一样的球，但颜色和数量不同，问下面三种情况下随意拿出一个球的不确定程度的大小。（1）99个红球和1个白球（2）50个红球和50个白球（3）红球、白球、黑球、黄球各25个172.1.1自信息量事件发生的不确定性与事件发生的概率有关，一般情况下，一个信源可以用一个概率空间来描述，信源的不确定程度可以用这个概率空间的可能状态数目及其概率来描述。182.1.1自信息量设信源X的概率空间为其中：X是信源的状态空间，即随机事件的状态数；是随机事件可能状态的概率分布，且，各状态是相互独立的。通常记为192.1.1自信息量应用概率空间的概念分析上例，设取红球的状态为x1，白球为x2，黑球为x3，黄球为x4，则概率空间为：（1）（2）（3）202.1.1自信息量结论：（1）不确定度与信源概率空间的状态数及其概率分布有关。（2）信源概率空间的概率分布为等概率时不确定度最大。（3）等概率时，不确定度与信源概率空间的状态数或相应的概率有关。平均自信息平均互信息自信息和互信息第二章：信息的度量2.1.1自信息（量）公理性条件：

(1)如果p(x1)<p(x2)，则I(x1)>I(x2)，I(xi

)是p(xi)的单调递减函数；

(2)如果p(xi)=0，则I(xi

)→∞;如果p(xi)=1，则I(xi

)=0;(3)由两个相对独立的事件所提供的信息量，应等于它们分别提供的信息量之和：I(xiyj)=I(xi

)+I(yj)

平均自信息平均互信息自信息和互信息第二章：信息的度量2.1.1自信息（量）（续1）

随机事件的自信息定义为该事件发生概率的对数的负值：关于对数底的选取：以2为底，单位为比特(bit)以e为底，单位为奈特(nat)以10为底，单位为哈特莱

(Hartley)

一般都采用以2为底的对数，为了书写简洁，有时把底数2略去不写。2.1.1自信息（量）（续2）平均自信息平均互信息自信息和互信息第二章：信息的度量

单位之间的换算关系：

1奈特=log2

e比特=1.443比特

1哈特莱=log210比特=3.322比特

1r进制单位=log2r比特自信息可以从两个方面来理解：自信息是事件发生前，事件发生的不确定性。自信息表示事件发生后，事件所包含的信息量。试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少倍？

2.1.1自信息（量）（续3）平均自信息平均互信息自信息和互信息第二章：信息的度量2.1.1自信息（量）（续4）平均自信息平均互信息自信息和互信息第二章：信息的度量例1:设在甲袋中放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。解：比特由于是随意取出一个电阻,所以取出任意阻值的电阻的概率相等:例2:在乙袋中放入个电阻，其中阻值为1的1个，2的2个，…，n

的n个，随意取出一个，求被告知“取出的电阻阻值为1

”和“取出的电阻阻值为n”时分别获得的信息量。解：2.1.1自信息（量）（续5）平均自信息平均互信息自信息和互信息第二章：信息的度量2.1.1自信息（量）（续6）平均自信息平均互信息自信息和互信息第二章：信息的度量2.1.1自信息（量）（续7）平均自信息平均互信息自信息和互信息第二章：信息的度量例3：设在A袋放入n个不同阻值的电阻，随意取出一个，求当被告知“取出的电阻阻值为i”时所获得的信息量。在B袋中放入m种不同功率的电阻，任意取出一个，求被告知“取出的电阻功率为j”时获得的信息量。在C袋中放入n种不同阻值，而每种阻值又有m种不同功率的电阻，即共有nm个电阻，随意选取一个，被告知“取出的电阻阻值为i，功率为j”时获得的信息量。

2.1.1自信息（量）（续8）平均自信息平均互信息自信息和互信息第二章：信息的度量I(xi)=–logp(xi)=logn比特I(yj)=–logp(yj)=logm比特I(xi

yj)=–logp(xi

yj)=log(n

m)

=I(xi)+I(yj)比特解：对应A,B,C三袋，随意取出一个电阻事件的概率分别为：因此2.1.1自信息（量）（续9）平均自信息平均互信息自信息和互信息第二章：信息的度量例4：设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意的放在棋盘中的某方格且让乙猜测棋子所在位置。（1）

将方格按顺序编号，令乙猜测棋子所在的顺序号。问猜测的难易程度。（2）将方格按行和列编号，甲将棋子所在方格的列编号告诉乙之后，再令乙猜测棋子所在行的位置。问猜测的难易程度。解：p(xi

yj)=1/64i=1,2,…,8;j=1,2,…,8（1）

I(xi

yj)=–logp(xi

yj)=6比特

（2）I(xi|yj)=–logp(xi|yj)=–log[p(xi

yj)/p(yj)]=3比特

I(xi)=–logp(xi)=3比特

I(yj)=3比特

2.1.1自信息（量）（续10）平均自信息平均互信息自信息和互信息第二章：信息的度量2.1.2互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量设X为信源发出的离散消息集合；Y为信宿收到的离散消息集合；信源发出的消息，经过有噪声的信道传递到信宿；信宿信道信源

图1通信系统的简化模型噪声XY332.1.2互信息量（1）通常预先知道信源集合X的概率空间，即其中为集合X中各个消息的取值，概率称为先验概率。（2）信宿收到的消息符号集合Y的概率空间为其中为集合Y中各个消息的取值。当信宿收到集合Y中的一个符号消息后，接收者重新估计关于信源各个消息Xi发生的概率就成为条件概率也称为后验概率。342.1.2互信息量2.1.2互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量信宿信道信源噪声XYxixi无噪I(xi)p(xi)p(xi|yj)I(xi)yjI(xi;yj)=I(xi)–

I(xi|yj)

先验概率：信源发出消息的概率。后验概率：信宿收到消息

后推测信源发出

的概率，即条件概率。362.1.2互信息量对两个离散随机事件X和Y，事件的出现给出关于事件的信息量定义为互信息量，即互信息量定义为后验概率与先验概率比值的对数，也等于自信息量减去条件自信息量。当对数底分别为2、e、10时，互信息量的单位分别为比特、奈特、哈特莱。2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量互信息有两方面的含义：表示事件出现前后关于事件的不确定性减少的量；事件出现以后信宿获得的关于事件的信息量。2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量讨论：(3)p(xi|yj)=1(2)若p(xi)<p(xi|yj)则I(xi;yj)>0(1)统计独立p(xi|yj)=p(xi)，I(xi|yj)=I(xi)

I(xi;yj)=0

若p(xi)>p(xi|yj)则I(xi;yj)<0I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量例5：某地二月份天气构成的信源为

某一天有人告诉你：“今天不是晴天”，把这句话作为收到的消息y1,求当收到y1后,y1与各种天气的互信息量。

解：2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）平均自信息平均互信息自信息和互信息第二章：信息的度量xiyj观察者站在输出端

I(xi;yj)=logp(xi|yj)–logp(xi)=I(xi)–

I(xi|yj)

：对yj一无所知的情况下xi存在的不确定度；：收到yj

后xi

仍然存在的不确定度；互信息：收到yj

前和收到yj后不确定度被消除的部分。2.互信息（量）（续7）平均自信息平均互信息自信息和互信息第二章：信息的度量观察者站在输入端

I(yj;

xi)=logp(yj|xi)–logp(yj)=I(yj)–

I(yj|xi)

观察者得知输入端发出xi前、后对输出端出现yj的不确定度的差。xiyjI(yj;

xi)=I(xi;yj)?平均自信息平均互信息自信息和互信息第二章：信息的度量观察者站在通信系统总体立场上互信息等于通信前后不确定度的差值

通信前：X和Y之间没有任何关系，即X、Y统计独立，p(xiyj)=p(xi)p(yj)，先验不确定度为通信后：p(xiyj)=p(xi)p(yj|xi)=p(yj)p(xi|yj)，后验不确定度2.互信息（量）（续8）2.互信息（量）（续9）平均自信息平均互信息自信息和互信息第二章：信息的度量1)互信息的对称性2)互信息可为正值、负值，或为03)任何两个事件之间的互信息不可能大于其中任一事件的自信息互信息量的性质2.互信息（量）（续10）平均自信息平均互信息自信息和互信息第二章：信息的度量用公式表示为：

互信息的对称性表明：从yj得到的关于xi的信息量

与从xi

得到的关于yj的信息量

是一样的，只是观察的角度不同而已。1)互信息的对称性2.互信息（量）（续11）平均自信息平均互信息自信息和互信息第二章：信息的度量当后验概率大于先验概率时，互信息为正。

说明事件yj的出现有助于消除事件xi的不确定度。当后验概率小于先验概率时，互信息为负。

说明收信者未收到yj以前，对消息xi是否出现的猜测难度较小，但接收到消息yj后对xi是否出现的猜测的难度增加了，也就是收信者接收到消息yj后对xi出现的不确定性反而增加，所以获得的信息量为负值。当后验概率与先验概率相等时，互信息为零。

这就是两个随机事件相互独立的情况。表明xi和yj之间不存在统计约束关系，从yj得不到关于xi的任何信息，反之亦然。2)互信息可正可负，可为零3)任何两个事件之间的互信息不可能大于其中任一事件的自信息2.互信息（量）（续12）平均自信息平均互信息自信息和互信息第二章：信息的度量例6：居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6m以上的，而女孩中身高1.6m以上的占总数一半。假如我们得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？2.互信息（量）（续13）平均自信息平均互信息自信息和互信息第二章：信息的度量2.互信息（量）（续14）平均自信息平均互信息自信息和互信息第二章：信息的度量解：x=某女孩是大学生；y=某女孩身高1米6以上。则有“身高1米6以上的某女孩是女大学生”为事件2.互信息（量）（续15）平均自信息平均互信息自信息和互信息第二章：信息的度量例7：已知信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特性为。求互信息量和。

2.互信息（量）（续16）平均自信息平均互信息自信息和互信息第二章：信息的度量解：由已知可得2.互信息（量）（续17）平均自信息平均互信息自信息和互信息第二章：信息的度量第二章：信息的度量一、自信息和互信息二、平均自信息三、平均互信息1.平均自信息的概念2.熵函数的性质3.联合熵与条件熵1.平均自信息的概念自信息和互信息平均互信息平均自信息第二章：信息的度量平均自信息（信息熵/信源熵/香农熵/无条件熵/熵函数/熵）：自信息是一个随机变量：

自信息是指信源发出的某一消息所含有的信息量。不同的消息，它们所含有的信息量也就不同。自信息和互信息平均互信息平均自信息第二章：信息的统计度量信息熵的单位，取决于对数选取的底：以2为底，单位为比特/符号以e为底，单位为奈特/符号以10为底，单位为哈特莱/符号。信息熵的意义：

信源的信息熵是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源，其信息熵只有一个。不同的信源因统计特性不同，其信息熵也不同。1.平均自信息的概念（续1）1.平均自信息的概念（续2）自信息和互信息平均互信息平均自信息第二章：信息的度量通常把一个随机变量的样本空间和样本空间中的元素对应的概率称为概率空间。离散随机变量的概率空间为：1.平均自信息的概念（续3）自信息和互信息平均互信息平均自信息第二章：信息的度量例1掷一个六面均匀的骰子，每次出现朝上一面的点数是随机的，以朝上一面的点数作为随机试验的结果，并把试验结果看作一个信源的输出，试建立数学模型。信源的输出：离散随机变量XX：{1，2，3，4，5，6}——样本空间P（X）：{P(X=1)=1/6，P(X=2)=1/6，…，P(X=6)=1/6}[X

•P]=X：123456P(X)：1/61/61/61/61/61/6解：

——概率空间1.平均自信息的概念（续4）自信息和互信息平均互信息平均自信息第二章：信息的度量例2：一信源有6种输出符号，概率分别为P(A)=0.5，P(B)=0.25，P(C)=0.125，P(D)=P(E)=0.05，P(F)=0.025。

1)计算H(X)。

2)求符号序列ABABBA和FDDFDF的信息量，并将之与6位符号的信息量期望值相比较。

解：

1)由信息熵定义，该信源输出的信息熵为

1.平均自信息的概念（续5）自信息和互信息平均互信息平均自信息第二章：信息的度量1.平均自信息的概念（续6）自信息和互信息平均互信息平均自信息第二章：信息的度量

符号序列FDDFDF所含的信息量为6位符号序列的信息量平均值为

符号序列ABABBA所含的信息量为三者比较为

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质离散随机变量X的概率空间为记pi=p(xi)，则

由于概率的完备性，即，所以实际上是元函数。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续1）

当n=2

时，自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续2）熵函数的数学特性包括:(1)对称性(2)确定性(3)非负性(4)扩展性(5)连续性(6)递增性(7)上凸性(8)极值性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续3）当概率矢量中各分量的次序任意变更时，熵函数的值不变，即

H(p1，p2，…，pn)=H(p2，p1，…，pn)=H(p3，p1，…，p2)=…该性质说明：熵只与随机变量(信源)的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同），那么这些信源的熵就相同。（1）对称性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续4）例3：三个信源分别为：①

X与Z信源的差别：具体消息其含义不同；②

X与Y信源的差别：同一消息的概率不同；③

但它们的信息熵是相同的。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续5）

H(1,0)=H(1,0,0)=H(1,0,0,0)=…=H(1,0,…,0)=0

在概率空间中，只要有一个事件是必然事件，那么其它事件一定是不可能事件，因此信源没有不确定性，熵必为0。（2）确定性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续6）只有当随机变量是一确知量时，熵H(X)=0。离散信源的熵满足非负性，而连续信源的熵可能为负。（3）非负性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续7）扩展性说明，增加一个概率接近于零的事件，信源熵保持不变。虽然小概率事件出现后，给予收信者较多的信息，但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它对于离散集的熵的贡献可以忽略不计。这也是熵的总体平均性的一种体现。（4）扩展性自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续8）（5）连续性（6）递增性（递推性)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续9）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续10）例4：利用递推性计算熵函数H(1/3，1/3，1/6，1/6)的值。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续11）例4：利用递推性计算熵函数H(1/3，1/3，1/6，1/6)的值。解：bit/符号自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续13）

凸函数的定义及詹森不等式（7）上凸性引理（香农辅助定理）：其中证明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续14）时等号成立。可以被看做是一种新的概率分布。

是概率分布的严格上凸函数，即证明：自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续15）等号成立条件但是所以等号不成立。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续16）上凸性的几何意义：

在上凸函数的任两点之间画一条割线，函数总在割线的上方.上凸函数在定义域内的极值必为最大值，这对求最大熵很有用。f(x)

x1x2

f(x1)

f(x2)自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续17）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续18）（8）极值性（最大离散熵定理）定理：

离散无记忆信源输出n个不同的信息符号，当且仅当各个符号出现概率相等时(即

)，熵最大，即

自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续19）自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续20）

例5：以二进制信源为例，信源的概率空间为二进制信源的信息熵为这时信息熵H(X)是p的函数，熵函数H(p)的曲线如图所示：从图中可以得出熵函数的一些性质：如果二进制信源的输出是确定的(p=0或p=1)，则该信源不提供任何信息；当二进制信源符号0和1等概率发生时，信源的熵达到最大值，等于1比特/符号;在等概率的二进制信源输出的二进制数字序列中，每一个二元数字提供1比特的信息量。如果符号不是等概率分布，则每一个二元数字所提供的平均信息量小于1比特。这也进一步说明了计算机术语中的“比特”与信息量单位“比特”的关系。自信息和互信息平均互信息平均自信息第二章：信息的度量2.熵函数的性质（续21）信息熵具有以下三种物理含义信息熵H(x)是信源输出后，每个消息（或符号）所提供的平均信息量；信息熵H(x)是表示信源输出前，信源的平均不确定性；用信息熵H(x)来表征变量X的随机性注：信息熵是信源的平均不确定性的描述。一般情况下获得的信息量是两熵之差，并不是信息熵本身。

例1.2.2扔一对质地均匀色子，确定其面朝上的点数。当得知点数和为8时，获得信息量为：log36-log53.联合熵和条件熵自信息和互信息平均互信息平均自信息第二章：信息的度量定义2.4随机变量X和Y的联合分布为p(xiyj)，则这两个随机变量的联合熵定义为：

联合熵表示对于二维随机变量的平均不确定性。3.联合熵和条件熵（续1）自信息和互信息平均互信息平均自信息第二章：信息的度量定义2.5随机变量X和Y的条件熵定义为：条件熵表示已知一个随机变量时，对另一个随机变量的平均不确定性。

表示在已知的情况下,Y的平均不确定性。对于不同的，是变化的。因此，是一个随机变量。3.联合熵和条件熵（续2）自信息和互信息平均互信息平均自信息第二章：信息的度量3.联合熵和条件熵（续3）自信息和互信息平均互信息平均自信息第二章：信息的度量例6：已知联合概率分布如下，求：H(XY)，H(X),H(Y),H(Y|X),H(X|Y)。1)解：3.联合熵和条件熵（续4）自信息和互信息平均互信息平均自信息第二章：信息的度量3.联合熵和条件熵（续5）自信息和互信息平均互信息平均自信息第二章：信息的度量H(X)=2.0662)3)H(Y)=1.8564)3.联合熵和条件熵（续6）自信息和互信息平均互信息平均自信息第二章：信息的度量5)3.联合熵和条件熵（续7）自信息和互信息平均互信息平均自信息第二章：信息的度量3.联合熵和条件熵（续8）自信息和互信息平均互信息平均自信息第二章：信息的度量各种熵之间的关系

H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(X|Y)

H(X)，H(Y|X)

H(Y)H(XY)

H(X)+H(Y)

若X与Y统计独立，则H(XY)=H(X)+H(Y)可推广到多个随机变量的情况（熵函数的链规则）：3.联合熵和条件熵（续9）自信息和互信息平均互信息平均自信息第二章：信息的度量

引入事件的重量，度量事件的重要性或主观价值。

加权熵定义为：加权熵3.联合熵和条件熵（续10）自信息和互信息平均互信息平均自信息第二章：信息的度量3.联合熵和条件熵（续11）自信息和互信息平均互信息平均自信息第二章：信息的度量例7：信源X={A,B,C},信源Y={D,E,F,G},已知条件概率分布和X的概率分布，求联合熵和条件熵。P(Y|X)DEFGP(X)A1/41/41/41/41/2B3/101/51/53/101/3C1/61/21/61/61/63.联合熵和条件熵（续12）自信息和互信息平均互信息平均自信息第二章：信息的度量P(XY)DEFGA1/81/81/81/8B1/101/151/151/10C1/361/121/361/36P(Y)91/36033/12079/36