《信息论与编码(第二版)》第2章-4

信源与信息熵第二章12.1

信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5冗余度内容22.2离散信源熵和互信息3第一级处理器第二级处理器XYZ输入

级联处理器2.2.4

数据处理中信息的变化数据处理定理:当消息通过多级处理器时,随着处理器数目增多,输入消息与输出消息间的平均互信息量趋于变小假设Y条件下X和Z相互独立4数据处理定理

数据处理定理说明：当对信号、数据或消息进行多级处理时,每处理一次,就有可能损失一部分信息,也就是说数据处理会把信号、数据或消息变成更有用的形式，但是绝不会创造出新的信息,这就是所谓的信息不增原理。5三维联合集XYZ上的平均互信息量62.2.5熵的性质1.非负性

H(X)＝H(p1，p2，…，pn)≥0式中等号只有在pi=1时成立。2.对称性

H(p1，p2，…，pn)=H(p2，p1，…，pn)例如下列信源的熵都是相等的：7熵的性质3.确定性

H(X)＝H(p1，p2，…，pn)≥0只要信源符号中有一个符号出现概率为1,信源熵就等于零。4.极值性(香农辅助定理)对任意两个消息数相同的信源8熵的性质5.最大熵定理

离散无记忆信源输出M个不同的信息符号,当且仅当各个符号出现概率相等时即(pi＝1/M)熵最大。6.条件熵小于无条件熵

92.3离散序列信源的熵10离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源2.3.1离散无记忆信源的序列熵发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息。11发出符号序列的信源发出单个符号的信源12离散无记忆信源的序列熵

随机序列的概率为

设信源输出的随机序列为

X

=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…

xn}

X称为离散无记忆信源X的L次扩展信源

13离散无记忆信源的序列熵

当信源无记忆时信源的序列熵

14离散无记忆信源的序列熵若又满足平稳特性,即与序号l无关时：信源的序列熵

平均每个符号(消息)熵为

15例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:即用1比特就可表示该事件。如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,01,10,11)，信源的序列熵即用2比特才能表示该事件。信源的符号熵16例:有一离散平稳无记忆信源求：二次扩展信源的熵X2信源的元素

a1

a2a3a4a5a6a7a8a9对应的消息序列

x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)

1/41/81/81/81/161/161/81/161/1617平均每个符号(消息)熵为

信源的序列熵18离散有记忆信源的序列熵对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:当前后符号无依存关系时,有下列推论：19若信源输出一个L长序列,则信源的序列熵为平均每个符号的熵为：若当信源退化为无记忆时:若进一步又满足平稳性时20a0a1a2a09/112/110a11/83/41/8a202/97/9例已知离散有记忆信源中各符号的概率空间为:设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表p(aj|ai)求离散信源的序列熵和平均每个符号的熵?21由p(ai,aj)=p(ai)p(aj|

ai)计算得联合概率p(ai

aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36当信源符号之间无依赖性时,信源X的信息熵为当考虑符号之间有依赖性时,计算得条件熵

H(X2|X1)＜H(X)信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。22联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为:

符号之间存在关联性发二重符号序列的熵比较23离散平稳信源对于离散平稳信源,有下列结论：⑴条件熵H(XL|XL-1)随L的增加是非递增的条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。24⑶HL(X)是L的单调非增函数

HL(X)≤HL-1(X)⑷H∞称为平稳信源的极限熵或极限信息量

H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)⑵L给定时,平均符号熵≥条件熵：

H

L(X)≥H(XL|XL-1)25马尔可夫信源的信息熵马尔可夫信源齐次、遍历的马尔可夫信源的熵26s2s31/0.61/0.20/0.5s11/0.51/0.10/0.9例三状态马尔可夫信源0/0.827282.5冗余度29冗余度冗余度(多余度、剩余度)表示信源在实际发出消息时所包含的多余信息。冗余度：信源符号间的相关性。相关程度越大,信源的实际熵越小信源符号分布的不均匀性。等概率分布时信源熵最大。30冗余度对于有记忆信源,极限熵为H∞(X)。这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。为了定量地描述信源的有效性,定义:信息效率冗余度31冗余度由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。例：英文字母：等概率H0=log27=4.76比特/符号不等概率H1=4.03比特/符号考虑相关性H2

=3.32比特/符号极限熵H∞=1.4比特/符号冗余度英语文章有71%是由语言结构定好的,只有29%是自由选择32习题2-132-162-262-3033本章小结34信源的描述一个离散信源发出的各个符号消息的集合为：它们的概率分别为p(xi):xi的先验概率单符号离散信源的数学模型—概率空间a,b,c,…z3500011110状态转移概率矩阵符号条件概率矩阵(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s1s4s3马尔可夫信源36稳态分布概率稳态后的符号概率分布37离散信源熵和互信息问题：

什么叫不确定度？什么叫自信息量？什么叫平均不确定度？什么叫信源熵？什么叫平均自信息量？什么叫条件熵？什么叫联合熵？联合熵、条件熵和熵的关系是什么？38离散信源熵和互信息问题：什么叫后验概率？什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？39自信息量设离散信源X，其概率空间为I

(xi)含义:当事件xi发生以前,表示事件xi发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量40自信息量自信息量条件自信息量联合自信息量41离散信源熵离散信源熵H(X)信源熵具有以下三种物理含意：信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信息熵H(X)表示信源输出前,信源的平均不确定性。信息熵H(X)反映了变量X的随机性。42信源熵无条件熵条件熵联合熵43互信息互信息定义为

xi的后验概率与先验概率比值的对数互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。44平均互信息平均互信息定义

信息=先验不确定性－后验不确定性=不确定性减少的量Y未知,X的不确定度为H(X)Y已知,X的不确定度变为H(X|Y)45维拉图H(X|Y)H(X)H(Y)H(XY)H(Y|X)I(X;Y)46收发两端的熵关系I(X;Y)

H(X)

H(Y)

H(X/Y)疑义度

H(Y/X)噪声熵47马尔可夫信源的信息熵齐次、遍历的马尔可夫信源的熵48概率论基础无条件概率、条件概率、联合概率的性质和关系⑴⑵⑶49概率论基础无条件概率、条件概率、联合概率的性质和关系⑷⑸⑹50例

一个二元二阶马尔可夫信源,其信源符号集为{0,1}信源开始时：p(0)=p(1)=0.5发出随机变量X1。

下一单位时间：输出随机变量X2与X1有依赖关系x2x10100.30.410.70.6p(x2|x1)再下一单位时间：输出随机变量X3与X2X1有依赖关系x3x1x20001101100.40.20.30.410.60.80.70.6p(x3|x1x2)51从第四单位时间开始，随机变量Xi只与前面二个单位时间的随机变量Xi-2Xi-1有依赖关系:

p(xi|xi-1

xi-2…x2

x1)=p(xi|xi-1

xi-2)(i＞3)且

p(xi|xi-1

xi-2)=p(x3|x2x1)(i＞3)解:设信源开始处于s0状态,并以等概率发出符号0和1,分别到达状态s1和s2

:若处于s1,以0.3和0.7的概率发出0和1到达s3和s4若处于s2,以0.4和0.6的概率发出0和1到达s5和s600011011(0)0.5(1)0.5(0)0.3(0)0.4(1)0.7(1)0.6s1s2s0s6s5s4s352信源发完第2个符号后再发第3个及以后的符号。从第3单位时间以后信源必处在s3

s4s5

s6四种状态之一。在i≥3后,信源的状态转移可用下图表示:10110100(0)0.3(0)0.4(1)0.7(0)0.2(1)0.8(1)0.6(0)0.4(1)0.6状态s1和s5功能是完全相同状态s2和s6功能是完