信息理论基础 第二章 信息的度量

1、信息理论基础 第二章 信息的度量第1页，共99页，2022年，5月20日，0点57分，星期一第一节 离散熵一. 单符号离散信源 1.定义 如果信源发出的消息是离散的符号或数字，并且一个符号代表一条完整的消息，则称这种信源为单符号信源。2.数学模型第2页，共99页，2022年，5月20日，0点57分，星期一信源发送符号ai的自信息量I(ai) ,(i=1,2,r)I(ai) =收到ai 前,信宿对信源发送符号ai 的不确定性-信源发送单个符号所携带的的信息量信息量的度量转化为对不确定性的度量二.自信息量 第3页，共99页，2022年，5月20日，0点57分，星期一I(ai) 必须满足以下四个公理

2、性条件:1.信源发送符号ai和aj的先验概率分别为p(ai)和p(aj),如果0p(ai) p(aj)1,则2.信源发送符号ai的先验概率p(ai) = 0,则3.信源发送符号ai的先验概率p(ai) = 1,则4.设有两个独立信源X和Y,信源X发送符号ai的先验概率为p(ai),信源Y发送符号aj的先验概率为p(aj),符号ai 和aj的联合消息(aiaj)的先验概率为p (aiaj),则第4页，共99页，2022年，5月20日，0点57分，星期一I(ai) 的具体表达式:又名概率信息单位:以2为底,单位为比特以e为底,单位为奈特以10为底,单位为哈特莱自信息量在历史上第一次使信息的度量成为

3、可能，成为推动信息论发展的基石。第5页，共99页，2022年，5月20日，0点57分，星期一例2-1：有12个球，只有一个是非标重球，问是否存在用天平称3次必然找到该球的方法？(从信息的角度解决)解：天平的状态有三种：平衡、左轻、左重 每称一次消除一种状态，则带来的信息量为log3 则称3次后，带来的信息量为3log3 = log27 结论:而一个非标球的携带的信息量为可见：信息的度量是为了找到解决问题的方法，而不是纯粹度量信息的大小第6页，共99页，2022年，5月20日，0点57分，星期一三. 离散熵 请问: 能否用自信息量作为信源的总体信息测度呢?从定性的角度可知：三个信源不确定性大小为

4、XYH(Y)H(X) 结论：X、Y、Z熵的大小关系与X、Y、Z 不确定性的大小关系符合，说明熵的确可以作为信源的总体信息侧度第9页，共99页，2022年，5月20日，0点57分，星期一信息熵的物理意义请问： 由熵的推导过程看，熵具有什么样的物理意义呢？3.反映随机变量X的随机性2.表示信源输出前，信源的平均不确定度1.表示信源输出后，每个离散消息所提供的平均信息量熵还可记为H(P)或H(p1,p2,pr)第10页，共99页，2022年，5月20日，0点57分，星期一设离散无记忆信源 其发生的消息为：）求（1）此消息的自信息量。 （2）在此消息中平均每个符号携带的信息量。例2-2第11页，共99

5、页，2022年，5月20日，0点57分，星期一解：（1）消息的自信息量就是等于消息中各个符号的自信息量之和。根据题意可得：此消息中共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”符号，则得到的自信息量是：第12页，共99页，2022年，5月20日，0点57分，星期一（2）此消息中平均每个符号携带的信息量为：原因：(2)问的值是该特定消息中平均每个符号携带的信息量，而信息熵是离散无记忆信源平均每个符号携带的信息量，是统计平均值。信源的信息熵:结论: (2)问的值与信源的信息熵不完全相等第13页，共99页，2022年，5月20日，0点57分，星期一例 熵在语音端点检测中的应用(

6、本人的实际工作）纯净语音波形带噪语音波形谱熵加能量参数分带谱熵加能量参数第14页，共99页，2022年，5月20日，0点57分，星期一四. 熵的性质 1.对称性 ,各pn的顺序变化,不影响熵值各自的熵为: H(X) = H(Y) =H(Z)=1.4592 bit/symbol对称性说明:-信源的信息熵只与信源的概率空间的总体结构有关,与具体内容无关例：第15页，共99页，2022年，5月20日，0点57分，星期一2.非负性证明：提问:何时等式成立?非负性表明： 从总体看，信源在发送符号以前，总存在一定的不确定性；在发符号后，总可提供一定的信息量第16页，共99页，2022年，5月20日，0点5

7、7分，星期一则或又只有某一个，而其他当且仅当在 中各项为零时等号成立，即 第17页，共99页，2022年，5月20日，0点57分，星期一若信源符号集中，有一个符号几乎必然出现，其他符号几乎不可能出现，则该信源为一个确知信源，则信息熵等于零,即： 3.确定性熵函数的确定性表明： 只有信源的任一个概率分量等于1时，才能使信源信息熵等于零，除此以外的任何情况的信息熵都大于零。 对于确知信源，发符号前，不存在不确定性；发符号后，不提供任何信息量。第18页，共99页，2022年，5月20日，0点57分，星期一4.上凸性YX X 0 H X+(1-)Y设有一个多元函数或矢量函数 第19页，共99页，202

8、2年，5月20日，0点57分，星期一证明:由于后面两项的数值均大于零，故有：上凸性说明： 熵函数具有极大值取则:第20页，共99页，2022年，5月20日，0点57分，星期一5.极值性（最大离散熵定理）H(P) logr,当且仅当等概分布时等号成立, r为X的取值个数证明：按条件极大值的数学求解方法，作辅助函数：其中，为待定常数，对辅助函数中的r个变量pi(i=1,2,r)分别求偏导，并令为零，得r个稳定方程将上式代入约束条件得：熵函数的最大值为则有： H(P) logr ,当且仅当等概分布时等号成立第21页，共99页，2022年，5月20日，0点57分，星期一熵的极值性说明： 在所有符号个数

9、相同，而符号的概率分布不同的离散信源中，以先验等概的信源的信息熵最大，其最大值等于信源符号个数r的对数；同时说明： 离散信源信息熵的最大值，只取决于信源符号的个数r，r越大，其信息熵也越大第22页，共99页，2022年，5月20日，0点57分，星期一6.扩展性含义：若信源X有q个符号，信源Y有q+1个符号，两者的差异只多了一个概率接近零的符号，则两信源的熵值是一样的；证明：扩展性说明：若信源空间中增加某些概率接近于零的信源符号，对信源的熵值的贡献可以忽略不计第23页，共99页，2022年，5月20日，0点57分，星期一提问：在通信的接收端，当接收到符号y后，对信源发送符号x到底还存在多大的不确

10、定度呢？或者说在y已知的条件下，x发生会带来多大的信息量呢？ 五.条件自信息量 事件x在事件y给定的条件下的自信息量定义为条件自信息量： 含义：已知y后对x 则有一定的了解，不了解的那部分携带的信息量既是条件自信息量，也可表示已知y后对x还残留的不确定度。 引入条件自信息量的目的： 衡量符号之间相关性导致携带信息的变化 在通信系统中可以描述信道的作用第24页，共99页，2022年，5月20日，0点57分，星期一 设在一正方形棋盘上共有64个方格，如果甲将一粒棋子随意放在棋盘中的某方格且让乙猜测棋子所在的位置所携带的信息量：（1）将方格按顺序编号，令乙猜测棋子所在方格的顺序号；（2）将方格分别按

11、行和列编号，甲将棋子所在方格的行或列编号告诉乙之后，再令乙猜测棋子所在列或行的位置。 例2-3：第25页，共99页，2022年，5月20日，0点57分，星期一解：（1）令把棋子任意放在棋盘的某一格为事件xi，则该事件发生的概率为：则该事件携带的信息量为： （2）设行为随机变量X，列为随机变量Y，则在事件yj发生后事件xi发生的概率为：则该事件携带的信息量为：由结果可知: 事件yj的出现降低了事件xi发生所携带的信息量原因: 事件yj的出现带来了事件xi的部分的信息，导致对事件xi的不确定性减小第26页，共99页，2022年，5月20日，0点57分，星期一请问:当在接收端接收到符号y后, 信源的

12、整体特性会发生变化吗?如果发生变化,则在该条件下,信源每发送一个符号平均可提供的信息是多少?当接收端收到的所有的符号后, 发送端的信源每发送一个符号平均可提供多少信息?第27页，共99页，2022年，5月20日，0点57分，星期一六.条件熵给定yj条件下集合X的总体信息度量有：再考虑整个Y集合，有：同理：第28页，共99页，2022年，5月20日，0点57分，星期一 H(Y|X)表示已知X后Y “残留”的不确定度条件熵的含义：表示在已知一随机变量的情况下，对另一随机变量的不确定性的度量。H(X|Y)表示已知Y后X“残留”的不确定度信道XY请问：H(X|Y)表示什么意义？ 表示接收端接收到Y后对

13、X还残留的不确定度，即对X还有未知的部分，这部分通过信道传输时由于信道中的干扰被损失了第29页，共99页，2022年，5月20日，0点57分，星期一七.联合熵联合熵H(XY)含义:表示联合随机变量XY携带的信息量，即两者携带的信息之和.第30页，共99页，2022年，5月20日，0点57分，星期一八. 各种熵之间的关系联合熵与离散熵、条件熵的关系同理：第31页，共99页，2022年，5月20日，0点57分，星期一当X、Y相互独立有： 第32页，共99页，2022年，5月20日，0点57分，星期一2. 联合熵与离散熵的关系当X和Y相互独立时,等式成立证明：利用对于任意实数x0,有则：第33页，共

14、99页，2022年，5月20日，0点57分，星期一3. 条件熵与离散熵的关系证明： 当X和Y有确定的函数关系，且X可完全确定Y，或Y完全确定X，则 则有 第34页，共99页，2022年，5月20日，0点57分，星期一总结：各种熵之间的关系(利用集合概念)X YH(X)X YH(XY)X YH(X|Y)X YH(Y|X)第35页，共99页，2022年，5月20日，0点57分，星期一设一系统的输入符号集X=(x1,x2,x3,x4,x5)，输出符号集Y=(y1,y2,y3,y4) 输入符号与输出符号间的联合分布为试求: H(XY)、H(X)、H(Y)、H(Y|X)和H(X|Y)例2-4第36页，共

15、99页，2022年，5月20日，0点57分，星期一解：由全概率公式可知：则从已知可求：第37页，共99页，2022年，5月20日，0点57分，星期一H(Y|X) = H(XY)-H(X) = 2.665-2.066 = 0.599bit/symbolH(X|Y) = H(XY)-H(Y) = 2.665-1.856 = 0.809bit/symbol第38页，共99页，2022年，5月20日，0点57分，星期一例2-5：设A、B两地的天气情况分别如表所示：晴多云雨冰雹A1/21/41/81/8B1/21/81/81/4求各地天气情况携带的信息量解： 提问：熵能描述主观价值吗？信息熵无法描述主观

16、意义上事件的重要性,为此引入 加权熵第39页，共99页，2022年，5月20日，0点57分，星期一则加权熵定义为： 设有随机变量X，引入事件的重要性，其概率空间为Wi表示事件的重要性实际工程中常采用加权熵九. 加权熵第40页，共99页，2022年，5月20日，0点57分，星期一第二节 平均互信息一.单符号离散信道 1.定义: 输入和输出都是离散的单符号的信道。2.数学模型 干扰信道信源X输出Y第41页，共99页，2022年，5月20日，0点57分，星期一二.互信息-从一个符号获得关于另一个符号的信息量 信宿接收到符号yj后,从yj中获得关于符号xi的信息量I(xi ;yj) (i=1,2,r;

17、 j=1,2,s)1. 定义 = 信宿收到yj前，对信源发送xi的不确定性- 信宿收到yj后，对信源发送xi仍然还存在的不确定性提问：xi通过信道传输后，有多少信息传给了接收端？第42页，共99页，2022年，5月20日，0点57分，星期一表示：信道在把符号xi通过信道传递给信宿变成yj的过程中信道传递的信息量单位与自信息量的一致互信息函数的导出,为定量描述信息的传输问题, 奠定了坚实的基础.提问：互信息与条件自信息有什么关系？第43页，共99页，2022年，5月20日，0点57分，星期一2.互信息的性质(1)对称性I( xi ; yj )=I( yj ; xi )证明: 对称性说明：互信息是

18、两个事件之间的共性。无论从哪个事件获得关于另一个事件的信息都是相等的。第44页，共99页，2022年，5月20日，0点57分，星期一(2)互信息量可为零当事件xi，yj统计独立时，两者的互信息量I(xi;yj)=0证明： xi，yj统计独立则当互信息量为零，意味着不能从观测其中一个事件获得关于另一个事件的任何信息第45页，共99页，2022年，5月20日，0点57分，星期一(3)互信息量可正可负互信息量为负互信息量为正含义: 互信息量为正,意味着事件yj的出现有助于肯定事件xi的出现 互信息量为负,意味着事件yj的出现不利于肯定事件xi的出现请问:在通信中什么原因造成互信息量为负?信道中存在的

19、干扰,导致发生传输错误所致第46页，共99页，2022年，5月20日，0点57分，星期一(4)极值性证明：且 p(xi|yj)1同理极值性说明：自信息量是为了确定事件出现所必需提供的信息量，也是其他事件所能提供的关于该事件的最大信息量第47页，共99页，2022年，5月20日，0点57分，星期一例2-6 用传送带测定生产的每袋化肥重量是否符合规定，而在传送带终端装有测定显示装置，显示符号A、B和C分别表示超重H、正常N和过轻L三种情况。一袋化肥放在传送带上的位置偏了就会产生错误显示，使得超重的却显示B信号，正常的显示C信号。而且总有15%超重和10%正常的的化肥袋子放偏位置。今有一批生产的化肥

20、，超重的占15%，正常的75%，过轻的占10%。请问：当显示装置显示符号为A、B和C时所获得的关于化肥袋超重、正常和过轻的信息量各是多少？ 第48页，共99页，2022年，5月20日，0点57分，星期一解：由已知可知 并有下列的条件概率： 利用贝叶斯公式，即 可以计算出后验概率:第49页，共99页，2022年，5月20日，0点57分，星期一则当显示装置显示符号为A、B和C时所获得的关于化肥袋超重、正常和过轻的信息量各自为： 第50页，共99页，2022年，5月20日，0点57分，星期一信道XYp(yj|xi)干扰信道Zp(zk|xi yj)提问：当随机变量Z出现zk，请问在此条件下，随机变量Y

21、出现yj后，获得关于信源发送符号xi多大的信息量？第51页，共99页，2022年，5月20日，0点57分，星期一定义：联合集中，在给定zk的条件下，xi与yj之间的互信息量定义为条件互信息量，即表明：在随机变量Z出现符号zk的前提条件下，从随机变量Y的符号yj中获取关于信源X的符号xi的信息量等于随机变量Y出现符号yj前、后，对信源发送符号xi的条件不确定性的减少。 二.条件互信息第52页，共99页，2022年，5月20日，0点57分，星期一 利用互信息和条件互信息可解决符号序列的信息测量问题第53页，共99页，2022年，5月20日，0点57分，星期一例2-7 下表中列出了无失真信源编码消息

22、、消息的先验概率以及每个消息所对应的码字。信源消息a1a2a3a4a5a6a7a8码字000001010011100101110111消息概率1/41/41/81/81/161/161/161/16当接收端接收到码符号序列011时，请问从接收到的这些码符号序列中获得了关于码字a4所代表的消息的信息量是多少？第54页，共99页，2022年，5月20日，0点57分，星期一解： 令b,c,d分别表示码字011中的第一个码符号0，第二个码符号1，第三个码符号1，则有： 第55页，共99页，2022年，5月20日，0点57分，星期一表明：第一个码符号0提供关于码字a4的信息量为 (2-log3)bit第

23、56页，共99页，2022年，5月20日，0点57分，星期一表明：在接收到第一个码符号0的前提下，第二个码符号1提供关于码字a4的信息量为log3bit第57页，共99页，2022年，5月20日，0点57分，星期一表明：在接收到序列01的前提下，第三个码符号1提供关于码字a4的信息量为1bit表明：在接收到序列011后提供关于码字a4的信息量为3bit说明：消息a4与相应码字是一一对应的确定关系第58页，共99页，2022年，5月20日，0点57分，星期一请问:当在接收端接收到符号y后,从该符号能否获得发送端信源的平均每个符号携带的信息量?从接收到的信源Y,能否知道发送端的信源平均每个符号携带

24、的信息呢?第59页，共99页，2022年，5月20日，0点57分，星期一三.平均条件互信息 当信宿Y收到某一具体的符号bj后，从bj中获取的关于输入符号的平均信息量： -从信源的某一个符号获取的关于另一个信源的平均信息量 当信源X发送符号ai后，从ai 中获取的关于输出符号的平均信息量:第60页，共99页，2022年，5月20日，0点57分，星期一 (a)在联合集上，I(X;bj)=0,当且仅当集合中的各个ai都与事件bj相互独立时,等号成立证明：平均条件互信息的性质：第61页，共99页，2022年，5月20日，0点57分，星期一表明：从平均意义上讲，从信宿Y中的任一个具体符号bj中总可以获取

25、一点关于信源X的信息量。只有当信宿Y的具体符号bj与信源X统计独立时，从bj中才获取不到关于信源X的任何信息量证明：第62页，共99页，2022年，5月20日，0点57分，星期一 (b)在联合集上，I(Y; ai)=0,当且仅当Y集合中的各个bj 都与事件ai相互独立时，等号成立证明：表明：从平均意义上讲，从信源X中的任一个具体符号ai中总可以获取一点关于信宿Y的信息量。只有当信源X的具体符号ai与信宿Y统计独立时，从ai中才获取不到关于信宿Y的任何信息量第63页，共99页，2022年，5月20日，0点57分，星期一 -表示已知一随机变量的取值后所提供的有关另一随机变量的信息量四.平均互信息1

26、. 定义从信宿Y获取的关于信源X的平均信息量： 第64页，共99页，2022年，5月20日，0点57分，星期一从信源X获取的关于信宿Y的平均信息量： 平均互信息从总体上表示信道每传递一个符号所传递的平均信息量。 第65页，共99页，2022年，5月20日，0点57分，星期一思考:H(X|Y)与I(X;Y)有什么不同?条件熵:从一个随机变量可得另一个随机变量发生带来的信息问: 利用条件熵能否得到两个随机变量间的共同信息？问:Y提供给X的信息量是多少？已知Y，X的不确定度为H(X|Y)未知Y，X的不确定度为H(X)H(X)-H(X|Y)问：H(X)-H(X|Y)与I(X;Y)是否相等呢？思考: I

27、(X;Y)与I(Y;X)是否相等?第66页，共99页，2022年，5月20日，0点57分，星期一2. 性质(1)对称性I(X;Y)=I(Y;X)证明:结论: I(X;Y)和I(Y;X)是随机变量X和Y之间相互提供的平均信息量，把它们称为平均互信息是完全正确的第67页，共99页，2022年，5月20日，0点57分，星期一证明：(2)非负性I(X;Y)0非负性说明：虽然对于信源X和信宿Y的两个特定具体的符号之间的互信息来说，有可能出现负值，但从平均的意义来说，信道每传递一个符号，总能传递一定的信息量，至少为零，决不会出现负值。第68页，共99页，2022年，5月20日，0点57分，星期一(3)平均

28、互信息与各种熵的关系证明: I(X;Y)=H(X)-H(X|Y)第69页，共99页，2022年，5月20日，0点57分，星期一证明: I(X;Y)=H(Y)-H(Y|X)证明: I(X;Y)=H(X)+H(Y)-H(XY)第70页，共99页，2022年，5月20日，0点57分，星期一H（X）H（Y）H（X|Y）H（Y|X）I（X；Y）H（XY）第71页，共99页，2022年，5月20日，0点57分，星期一(4)极值性I(X;Y) H(X) I(X;Y) H(Y)证明： I(X;Y)=H(X)-H(X|Y) =H(Y)-H(Y|X)且有:H(X|Y) 0 H(Y|X) 0 I(X;Y) H(X)

29、 I(X;Y) H(Y)极值性说明：两个信源之间含有的相同信息不可能大于任何一个信源自己携带的信息第72页，共99页，2022年，5月20日，0点57分，星期一当X和Y互相独立时:I(X;Y)=0当X和Y之间有确定的函数关系时：X唯一确定Y: H(Y|X)=0，I(X;Y)=H(Y)Y唯一确定X: H(X|Y)=0，I(X;Y)=H(X)结论: 当X和Y有确定的函数关系时平均互信息退化成为熵第73页，共99页，2022年，5月20日，0点57分，星期一发送的信息:H(X)损失的信息:H(X|Y)通过信道传递到接收端的关于X的信息:I(X;Y) 信源X有扰信道信宿Y例2-8问:通信中发送的信息是

30、多少? 信道中损失的信息是多少? X通过信道传递了多少信息给信宿？如果X=Y，说明信道无干扰,则I(X;Y)=H(X)如果X与Y相互独立，说明干扰很大,I(X;Y)=0第74页，共99页，2022年，5月20日，0点57分，星期一例2-9：把已知信源信道上，求在该信道上传输的平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)和联合熵H(XY).接到下图所示的0.980.80.020.2第75页，共99页，2022年，5月20日，0点57分，星期一解：由题意可知第76页，共99页，2022年，5月20日，0点57分，星期一第77页，共99页，2022年，5月20日，0点57分，星期

31、一第78页，共99页，2022年，5月20日，0点57分，星期一平均互信息 ：噪声熵：疑义度 ：第79页，共99页，2022年，5月20日，0点57分，星期一一、微分熵假设：一个连续随机变量X X ( ,) 概率密度函数 p(x) X值域分成间隔为x的小区间，则在内的概率近似为p(xi) x则：熵的近似式第三节 连续随机变量下的熵与平均互信息第80页，共99页，2022年，5月20日，0点57分，星期一结论:连续随机变量的熵为无穷大,失去意义.但是第一项为有限值,可作为相对熵描述.第81页，共99页，2022年，5月20日，0点57分，星期一同年，香农在他的论文中直接定义连续分布随机变量的信息

32、熵为： 离散熵与微分熵的区别：在概念上不同，微分熵去掉了无穷大项，保留了有限值那一项，可作为不确定度的相对量度。著名的微分熵1948年，维纳定义连续变量的信息熵为：为概率密度函数。第82页，共99页，2022年，5月20日，0点57分，星期一 假设：两个连续分布的随机变量X和Y，其联合概率密度函数p(xy)，边缘分布密度函数分别为p(x)和p(y)，则：可见：与离散状态下的平均互信息是一致的。二、连续随机变量下的平均互信息第83页，共99页，2022年，5月20日，0点57分，星期一例2-10：第84页，共99页，2022年，5月20日，0点57分，星期一第85页，共99页，2022年，5月2

33、0日，0点57分，星期一第四节 数据处理定理定义1：表示随机变量Z定后，从随机变量Y获得的关于X的信息量定义2：表示从随机变量YZ获得的关于X的信息量有如下关系:第86页，共99页，2022年，5月20日，0点57分，星期一数据处理定理如果随机变量X,Y,Z构成一个马尔可夫链，则有以下关系成立等式成立的条件是对于任意的x，y，z都有。第87页，共99页，2022年，5月20日，0点57分，星期一并且所以有同理可以证明当且仅当时等式成立 因此有证明：当X，Y，Z构成一个马尔可夫链时，Y值给定后，X，Z可以认为是独立的，则有又因为有当时，说明Z值给定后，X和Y相互独立，所以有第88页，共99页，2

34、022年，5月20日，0点57分，星期一在任何信息传输处理系统中，最后获得的信息至多是信源所提供的信息量，一旦在某一个过程丢失了一些信息，以后的系统不管如何处理，只要不触及丢失信息的输入端，就不能再恢复已经丢失的信息。这就是信息的不增性原理.数据处理定理说明：第89页，共99页，2022年，5月20日，0点57分，星期一第五节 熵的应用及香农信息论存在的问题 A B C D E F G H 0.1 0.18 0.4 0.05 0.06 0.1 0.07 0.04等长码 000 001 011 010 110 111 101 100Huffman 011 000 1 00110 0101 0000 0100 00011 由此可见Huffman码不是最好的码一.编码问题平均码长分别为:第90页，共99页，2022年，5月20日，0点57分，星期一二.如何理解信道及信道容量问题 XYP(y|x)信源编码信道信宿译码噪声信道噪声信源信宿简化为：则可表示为： 不同信道具有不同P(y|x)，可用P(y|x)表示信道第91页，共99页，2022年，5月20日，0点57分，星期一 反映信源通过信道以后信宿收到的信息 I(X;Y)=H(X)-H(X|Y)信道的容量：给定信