信息论与编码第二章

信息论与编码第二章第1页，共64页，2023年，2月20日，星期日Log(xy)=logx+logyLog(x/y)=logx-logy中学数学知识第2页，共64页，2023年，2月20日，星期日2.1.1自信息和条件自信息量1、自信息量2.1信息量

设甲袋中有100个球，其中50个是红球，50个是白球，现有人从袋子中随机抽出一个球是红色的，对于这次抽取的事件所携带的信息量是多少？又如乙袋中也有100个球，其中有25个红球，25个白球，25个蓝球，25个黑球。现又有人随机抽取一个球，发现时红球，针对这次抽取的事件当中有具有多少信息呢？第3页，共64页，2023年，2月20日，星期日定义2.1任意随机事件的自信息量定义为该事件发生概率的对数的负值。通过上面两个实例可以得知，在甲袋抽出红色球的不确定性要比乙袋抽红色球的不确定性小。不确定性越大，就越难猜到，对于狭义信息论而言，此事件的信息量就越大。设事件的概率为

那么，它的自信息量定义为第4页，共64页，2023年，2月20日，星期日1、自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”;底为10，单位为“哈特（hat）”；说明：第5页，共64页，2023年，2月20日，星期日2、三个自信息量单位之间的转换I(ai)是非负值；当P(ai)=1时，I(ai)=0；当P(ai)=0时，I(ai)=∞；I(ai)是P(ai)

的单调递减函数3、自信息量的性质第6页，共64页，2023年，2月20日，星期日注：I－－自信息解释：小概率事件，一当出现必然使人感到意外，因此产生的信息量就大；几乎不可能事件一旦出现，将是一条爆炸性的新闻，一鸣惊人。大概率事件，是预料之中的，即使发生，也没什么信息量，特别是当必然事件发生了，它不会给人以任何信息量。第7页，共64页，2023年，2月20日，星期日【例2.1】某地二月份天气的概率分布统计如下：问发生晴天的自信息量是多少？解：发生晴天的概率为，则晴天的自信息量为第8页，共64页，2023年，2月20日，星期日【例2.2】设在甲袋中放入n个不同阻值的电阻，如果随机地取出一个，并对取出的电阻值进行事先猜测，其猜测的困难程度相当于概率空间的不确定性，概率空间为式中表示取出电阻值为i的电阻的概率，那么被告知“取出的阻值为i的电阻”所获得的信息量为多少？解：由于甲袋里的各阻值的电阻为等概分布，则第9页，共64页，2023年，2月20日，星期日【例2.3】若盒中有6个电阻，阻值为1Ω、2Ω、3Ω的分别为2个、1个、3个，将从盒子中取出阻值为iΩ的电阻记为事件组成事件集，其概率分布计算出各种事件的自信息量。计算如下：解：自信息量第10页，共64页，2023年，2月20日，星期日自信息量I(xi)的含义第11页，共64页，2023年，2月20日，星期日2、联合自信息量某住宅区的某栋商品房，有5个单元，每个单元住有12户，甲要到该住宅区找他的宅区找他的朋友乙，因为每一住户的地址需要单元号和住户号，因此，每一住户的地址同时由单元号和住户号唯一确定，甲找到乙这一事件是二维联合集上的等概分布，他找到乙得到的信息可以用联合自信息量表示。定义2.2在二维联合集上元素的联合自信息量定义为联合概率的对数的负数，即第12页，共64页，2023年，2月20日，星期日当X和Y相互独立时，联合信息量应等于它们各自信息量之和。二维联合集，

当和相互独立时，有则联合自信息量为第13页，共64页，2023年，2月20日，星期日3、条件自信息量乙住的楼房有5个单元，每个单元住有12户，甲要到该住宅区找他的朋友乙，若甲知道乙住在第5单元，即看做为已知条件，他要找到乙，记为事件那么甲找到乙得到多少信息可以用条件自信息量度量。定义2.3联合集XY中，在事件yj出现的条件下，随机事件事件xi

发生的条件下概率为则它的条件自信息量定义为条件概率对数的负值：，第14页，共64页，2023年，2月20日，星期日例:设在一正方形棋盘上共有64个方格，行、列各8个。如甲将一粒棋子随意放在棋盘某个方格内让乙猜测棋子所在的位置，则（1）在乙看来，棋子落入某方格的不确定性为多少？（2）若甲告知乙棋子落入方格的行号，这时，在乙看来棋子落入某方格的不确定性为多少？解：由于甲是将一粒棋子随意地放在棋盘中某一方格内，因此棋子在棋盘中所处位置为二维等概率分布，二维概率分布函数为第15页，共64页，2023年，2月20日，星期日（1）在二维联合集上的元素为的自信息为：（2）在二维联合集上，元素

相对的条件自信息为：第16页，共64页，2023年，2月20日，星期日

容易证明，自信息量、条件自信息量和联合自信息量之间的关系如下：或第17页，共64页，2023年，2月20日，星期日2.1.2互信息量和条件互信息量1、互信息量

众所周知，在教学过程中，老师在上课前准备教授的知识为一个集合，课后学生掌握老师所教的内容为一个集合老师在课堂中采用不同的教学方法，会使学生掌握的内容不同。这一过程可以从一次通信过程模型表示。如下图所示，第18页，共64页，2023年，2月20日，星期日定义2.4对两个离散随机事件集X和Y，事件yj的出现能提供出关于事件xi的信息量，定义为互信息量，即互信息有多重表达式第19页，共64页，2023年，2月20日，星期日【例2.5】某地二月份天气的概率分布统计如下：某一天有人告诉你：“今天不是晴天。”把这句话作为收到的消息。当收到后，各种天气发生的概率变成后验概率了。其中

试计算与各种天气之间的互信息量。第20页，共64页，2023年，2月20日，星期日解：

第21页，共64页，2023年，2月20日，星期日互信息量与条件自信息区别：=将事件互信息的概念推广至多维空间。在三维第22页，共64页，2023年，2月20日，星期日2、互信息量的性质（1）互信息量的互易性，即I(xi;yj)=I(yj;xi)（2）当X和Y相互独立时，互信息为0（3）互信息量可为正值或负值（4）任何两个事件之间的互信息量不可能大于之中任一事件的自信息量第23页，共64页，2023年，2月20日，星期日自信息、条件自信息和互信息I(xk)I(yj)I(xk;yj)第24页，共64页，2023年，2月20日，星期日3、条件互信息量定义2.5三维XYZ联合集中，在给定条件zk的情况下，xi与yj之间的互信息量的定义为另外，联合集合XYZ中还存在xi与yjzk之间的互信息量，其定义式第25页，共64页，2023年，2月20日，星期日或将上式进一步表示为思考下式的证明上式表明一对事件yjzk出现后提供有关xi的信息量I（xi;yjzk),等于事件yj出现后所提供的有关xi的信息量I（xi;yj)加上在给定时间yj的条件下再出现事件zk所提供的有关xi的信息量。第26页，共64页，2023年，2月20日，星期日学校统计某个年级某个班级的数学期末成绩，那这个班级可以作为整体信源，而班级里的每个学生的数学成绩就是一个随机事件，学生个人的成绩好坏只代表自己，不能说明他的班级数学成绩。2.2信息熵2.2.1离散集的平均自信息量（熵）信息函数只能表示信源发某一特定的具体符号所提供的信息量，不同的符号，有不同的自信息量，所以它不足以作为整个信源的总体信息测度。第27页，共64页，2023年，2月20日，星期日定义2.6在集上，随机变量的数学期望定义为平均自信息量集的平均自信息又称为集的信息熵，简称为熵。的平均自信息量表示集即为了在观测之前，确定集件平均所需的信息量；或者说，在观测之后，集中每出现一个事件平均给出的信息量。集中事件出现的平均不确定性，中出现一个事平均自信息量的单位：对数底是2，信息量的单位为比特（bit）；若取自然对数底，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为哈特（hat）。第28页，共64页，2023年，2月20日，星期日【例2.6】一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。分析：这一随机事件的概率空间为式中，表示摸出的球为红球事件，表示摸出的球是白球事件。这是一个随机事件试验。试验结果是，当被告知摸出的是红球，则获得的信息量是第29页，共64页，2023年，2月20日，星期日当被告知摸出的是白球，则获得的信息量是如果每次摸出一个球后又放回袋中，再进行下一次摸取，那么如此摸取

次，红球出现的次数为

次，白球出现的次数为

次。随机摸取次后总共所获得的信息量为而平均随机摸取一次所获得的信息量则为第30页，共64页，2023年，2月20日，星期日熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；【例2.7】（1）信源一：

H(X1)=-0.99log0.99－0.01log0.01=0.08（比特/符号）（2）信源二：

H(X2)=-0.5log0.5-0.5log0.5=1（比特/符号）第31页，共64页，2023年，2月20日，星期日（3）信源三:

H(X3)=-4×0.25log0.25=log4=2（比特/符号）（4）信源四：H(X4)=-0log0–1log1=0计算结果说明确定事件的熵为零以上四个信源熵的大小关系正好是：第32页，共64页，2023年，2月20日，星期日总括起来，信源熵有三种物理意义：第33页，共64页，2023年，2月20日，星期日信息熵的性质：1、非负性:信息熵的非负性即为2、对称性:

当信源含有个离散消息时，信源熵，其中，熵的对称性是指的顺序任意互换时，只是求和顺序不同，熵的值不变。第34页，共64页，2023年，2月20日，星期日例如，有三个不同信源的信源空间分别为：由于这三个信源的概率空间的总体结构相同，他们的信息熵相等，即有=

=比特/信源符号3、确定性若信源的概率空间中只要有一个等于1时，其它所有概率分量均等于零，则信源的信息熵一定等于0。第35页，共64页，2023年，2月20日，星期日即

4、扩展性：若信源中有个事件，而另一个信源中有个事件，信源

和的差别知识多了一个概率接近于零的事件，其他的概率分布相同，则这两个信源的熵值相同。即第36页，共64页，2023年，2月20日，星期日，它对其他概率分布6、极值性：5、可加性：设有两个信源X和Y,它们不是相互独立的，则二维随机变量（X,Y)的熵等于X的无条件熵加上当X已给定时Y的条件概率定义的熵统计平均值，即对任意两个消息数相同的信源X、Y，有其中。任一概率分布的自信息取数学期望时，必大于本身的熵。第37页，共64页，2023年，2月20日，星期日7、最大熵定理：8、上凸性：在离散的情况下，集合X中的各事件等概率发生时，熵达到最大值，即是概率分布的严格上凸函数，即第38页，共64页，2023年，2月20日，星期日条件熵2.2.2从通信角度来看，若将视为信源视为信宿接收符号，可看作信宿收到后，关于发送的符号是否为仍然存在的疑义度（不确定性），那信宿收到Y后，信源X仍然存在不确定度，就用条件熵度量。输出符号，定义2.7联合集XY上，条件自信息量I(y|x)的概率加权平均值定义为条件熵。即第39页，共64页，2023年，2月20日，星期日说明：1、当X,Y

统计独立时，有则2、当

，信源事件和信宿是一一对应的关系，中的某个元素后，关于发送的符中的某个元素不再存在疑义度（不信宿收到Y号是否为X确定性）。第40页，共64页，2023年，2月20日，星期日3、当，信源事件和信宿是一一对应的关系，中的某个元素后，关于发送的符中的某个元素不再存在疑义度（不信宿收到X号是否为Y确定性）。4、下面的推导可以说明条件熵时要用联合概率加权的理由。条件概率并且当已知特定事件yj

出现时，下一个出现的是xi

的不确定性为：第41页，共64页，2023年，2月20日，星期日对集合

X中所有元素统计平均，其熵为：上述熵值再对集合Y中的元素做统计平均，得条件熵：同理可得：第42页，共64页，2023年，2月20日，星期日5、条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。第43页，共64页，2023年，2月20日，星期日定义2.8在二维空间XY上，对元素xiyj的自信息量进行统计平均所得的值称为联合熵。2.2.3联合熵联合熵也叫共熵。第44页，共64页，2023年，2月20日，星期日2.2.4加权熵1、加权熵的定义香浓定义信息量和熵并没有考虑人的主观因素，只是信息系统概率的函数，是“客观信息”。在实际中，各种事件虽然已一定的概率发生，但各种事件的发生对不同的人有不同的意义。其重要性也因人而异。在许多场合，通常很难忽略与个人目的有关的主观因素。例如，在两个人博弈的场合，双方不仅要考虑各种不同博弈方案出现的概率，更要注意这些方案给自己带来的厉害得失。在信息论发展到基本成熟的今天，出于实际的需要，与信源符号的概率因素统筹考虑，构建一个兼顾主观和客观两大因素的综合度量函数，“加权熵”就是在这种背景下的一种探索。第45页，共64页，2023年，2月20日，星期日设信源X的信源空间为式中对于每一个信源符号根据对收信者的重要性程度，有收信者确定一个非负作为符号的权重系数。数定义2.9离散无记忆信源的加权熵定义为第46页，共64页，2023年，2月20日，星期日2、加权熵的基本性质（1）非负性：因为

0所以则有（2）对称性：有加法交换律率=

==第47页，共64页，2023年，2月20日，星期日则有而即有（3）均匀性===第48页，共64页，2023年，2月20日，星期日（4）等重性：若信源中每个符号的权重系数相等，即则（5）确定性==0加权熵的确定性表明，不论信源符号对收信者有多么重要，只要是确定信源，不含任何不确定性，他就不可能给收信者提供任何信息量。第49页，共64页，2023年，2月20日，星期日（6）非容性====0这一性质说明可能的事件是无意义或者是无效用的，而有意义或者有效用的时间是不可能的，这时的香浓熵为0，但其提供的加权熵等于0。第50页，共64页，2023年，2月20日，星期日2.2.5各种熵之间的关系1、由熵、条件熵、联合熵的定义式可导出三者的关系式当，统计独立时，有还可以推出第51页，共64页，2023年，2月20日，星期日2、共熵与信息熵的关系3、条件熵与信息熵之间的关系或第52页，共64页，2023年，2月20日，星期日2.3离散集的平均互信息量

在前面的章节中，主要讨论的是单符号信源的情况，这是最简单的离散信源。实际信源输出的消息往往是时间或空间上的一系列符号，如电报系统发出的是一串有无脉冲的信号，可分别用“0”和“1”两个数字来表示。

通常，在信源输出的序列中，每一位到底出现“0”还是“1”是随机的，而且一般情况下，前后符号之间都有统计依赖关系。以下将研究多个符号情况下的平均符号熵的问题。第53页，共64页，2023年，2月20日，星期日2.3.1平均互信息量

前面我们给出了互信息的定义，并已清楚互信息量是定量地研究信息流通问题的重要基础。是随和的变化而变化的随机量，可见，互信息量还不能从整体上作为信道中信息流通的测度。

这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。同时，作为一个测度，他不能是随机量，而是一个确定的量。为了客观的测量信道中的流通的信息，我们定义互信息量

在联合概率空间中的统计平均值。第54页，共64页，2023年，2月20日，星期日1、平均互信息量定义定义2.10称是

对的平均互信息量，简称平均互信，也称交互熵。

统计独立时，从而说明：（1）在通信系统中，若发端的符号是，而收端的符就是在接收端收到后所能获得的关于

的信息。号是

，第55页，共64页，2023年，2月20日，星期日（2）若干扰很大，Y基本上与X无关，或说X与Y相互独立，那时就收不到任何关于X的信息。（3）若没有干扰，Y是X的确知一一对应函数，那就能完全收到X的信息H(X)。2、平均互信息量的物理意义从一个事件获得另一个事件的平均互信息需要消除不确定度，一旦消除了不确定度，就获得了信息。下面从三种不同角度具体阐述平均互信息量的含义。第56页，共64页，2023年，2月20日，星期日（1）说明：信道上的干扰和噪声所造成的情况为——收到随机变量Y后，对随机变量X仍然存在的平均不确定度H(X|Y)。这是Y关于X的后验不确定度，通常称它为信道疑义度，或简称疑义度。由于又代表了在信道中的损失的信息，也称它为损失熵。第57页，共64页，2023年，2月20日，星期日(2)上式表示收到随机变量X后，对随机变量Y仍然存在的不确定度，等于Y的先验不确