信息论与编码,曹雪虹,课件第2章-3.ppt

1、信源与信息熵,第二章,2,2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度,内容,3,2.2 离散信源熵和互信息,4,离散信源熵和互信息,问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？,5,离散信源熵和互信息,问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？,6,自信息量,设离散信源X，其概率空间

2、为,I (xi) 含义: 当事件xi发生以前,表示事件xi 发生的不确定性 当事件xi发生以后,表示事件xi所含有的信息量,7,自信息量,自信息量,条件自信息量,联合自信息量,8,离散信源熵,离散信源熵H(X),信源熵具有以下三种物理含意： 信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。 信息熵H(X)表示信源输出前,信源的平均不确定性。 信息熵H(X)反映了变量X的随机性 。,9,信源熵,无条件熵,条件熵,联合熵,10,2.2.3 互信息,设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合,有扰信道,干扰源,信源X,信宿Y,11,互信息

3、,如果信道是无噪的,当信源发出消息xi后,信宿必能准确无误地收到该消息,彻底消除对xi的不确定度,所获得的信息量就是xi的不确定度I(xi),即xi本身含有的全部信息。 一般而言,信道中总是存在着噪声和干扰,信源发出消息xi,通过信道后信宿只可能收到由于干扰作用引起的某种变型yj 。 信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为后验概率。 信源发出消息xi的概率p(xi) 称为先验概率。,12,互信息,互信息 定义为 xi的后验概率与先验概率比值的对数,互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。,13,例某地二月份天气 构成的信源为：,若得知“今天不

4、是晴天”,把这句话作为收到的消息y1 当收到y1后,各种天气发生的概率变成后验概率了 p(x1|y1) = 0, p(x2|y1) = 1/2 , p(x3|y1) = 1/4 , p(x4|y1) = 1/4,求得自信息量分别为,14,表明从y1分别得到了x2 x3 x4各 1比特的信息量。 消息y1使x2 x3 x4的不确定度各减少1bit 。,15,例2-8:一个二进信源X发出符号集0,1,经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y

5、0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2，,X,Y,0,1,0,1,2,3/4,1/2,1/2,1/4,信源熵,16,得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/33/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/31/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/31/2=1/6 p(x1y2) = p(x1) p(y2 |x

6、1) = 1/31/2=1/6 条件熵,由,17,联合熵 H(X,Y)H(X)H(Y|X)=1.8bit/符号,得 p(y0) = p(xiy0) = p(x0y0) +p(x1y0) =1/2+0 = 1/2 p(y1) = p(xiy1) = p(x0y1) +p(x1y1) = 0+1/6 =1/6 p(y2) = p(xiy2) = p(x0y2) +p(x1y2) = 1/6+1/6=1/3,由,18,由,得,同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2,19,H(X)： 表示接收到输出符号Y前关于输入变量X的平均

7、不确定度。 H(X|Y)： 表示接收到输出符号Y 后关于输入变量X的平均不确定度。,这个对X尚存在的平均不确定度是由于干扰(噪声)引起的,20,平均互信息,平均互信息定义,信息= 先验不确定性后验不确定性 = 不确定性减少的量,Y未知,X 的不确定度为H(X) Y已知,X 的不确定度变为H(X |Y),21,平均互信息,有扰信道,干扰源,信源X,信宿Y,通信系统中,若发端的符号为X ,收端的符号为Y 如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y) = 0 一般情况： H(X |Y) H(X),即了解Y后对X的不确定度的将减少 通过信道传输消除了一些不确定性,获得了一定的

8、信息。,22,平均互信息,平均互信息的另一种定义方法：,23,例假设一条电线上串联了8个灯泡x1, x2，x8如图，这8个灯泡损坏的概率相等p(xi) = 1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。,未测量前,8个灯泡都有可能损坏,它们损坏的先验概率: p(xi)=1/8,这时存在的不确定性：,24,第1次测量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4 尚存在的不确定性,所获得的信息量就是测量前后不确定性减少的量, 第1次测量获得的信息量：,25,第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1

9、/2 尚存在的不确定性：,第2次测量获得的信息量：,第3次测量完全消除了不确定性，能获知哪个灯泡是坏了的。尚存在的不确定性等于零。 第3次测量获得的信息量：,26,要从8个等可能损坏的串联灯泡中确定哪个灯泡是坏的,至少要获得3个bit的信息量,27,方法2：逐个检查 第1次: x1坏,获得信息量=3bit,可能性较小1/8； x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit 获得信息量=3-2.8073=0.1927bit,可能性较大7/8 第1次所获得的平均信息量:,“对半开” 第1次所获得的平均信息量:,28,互信息量,在有3个变量的情况下,符号xi与符号yj ,

10、 zk之间的互信息量定义为,同理,29,条件互信息,我们定义在已知事件zk的条件下,接收到yj后获得关于某事件xi的条件互信息,30,平均互信息与各类熵的关系,熵只是平均不确定性的描述; 不确定性的消除(两熵之差)才等于接收端所获得的信息量。 获得的信息量不应该和不确定性混为一谈,31,维拉图,H(X|Y),H(X),H(Y),H(XY),H(Y|X),I(X;Y),32,条件熵,H(X|Y)：信道疑义度，损失熵 信源符号通过有噪信道传输后所引起的信息量的损失。 信源X的熵等于接收到的信息量加上损失掉的信息量。 H(Y|X)：噪声熵，散布熵 它反映了信道中噪声源的不确定性。 输出端信源Y 的熵

11、H(Y)等于接收到关于X的信息量I(X;Y)加上H(Y|X),这完全是由于信道中噪声引起的。,33,收发两端的熵关系,34,若信道是无噪一一对应信道,信道传递概率：,计算得:,35,若信道输入端X与输出端Y完全统计独立,则:,36,2.2.4 数据处理中信息的变化,数据处理定理 : 当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小 假设Y条件下X和Z相互独立,37,数据处理定理,数据处理定理说明： 当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。,38,三维联合集XYZ上的平均互信息量,39,2.2.5 熵的性质,1.非负性 H(X)H(p1，p2，pn)0 式中等号只有在pi =1时成立。 2.对称性 H(p1，p2，pn) = H(p2，p1，pn) 例如下列信源的熵都是相等的：