信息论与编码课件第二章4教材

信源与信息熵第二章12.1

信源的描述和分类2.2离散信源熵和互信息2.3离散序列信源的熵2.4连续信源的熵和互信息2.5冗余度内容22.3离散序列信源的熵3离散信源{离散无记忆信源离散有记忆信源{{发出单个符号的无记忆信源发出符号序列的无记忆信源发出符号序列的有记忆信源发出符号序列的马尔可夫信源发出单个符号的信源指信源每次只发出一个符号代表一个消息；发出符号序列的信源指信源每次发出一组含二个以上符号的符号序列代表一个消息。离散信源的分类4发出符号序列的信源发出单个符号的信源52.3.1离散无记忆信源的序列熵

随机序列的概率为

设信源输出的随机序列为

X

=(X1X2…Xl…XL)序列中的变量Xl∈{x1,x2,…

xn}

此时X也叫做L次扩展信源。6离散无记忆信源的序列熵

当信源无记忆时,序列概率变为：信源的序列熵（即平均每个序列共同包含的信息）

7离散无记忆信源的序列熵若又满足平稳特性,即与序号l无关时，概率变为：信源的序列熵

平均每个符号(消息)熵为

8例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:即用1比特就可表示该事件。如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,01,10,11)，信源的序列熵即用2比特才能表示该事件。信源的符号熵9例:有一离散平稳无记忆信源求：二次扩展信源的熵X2信源的元素

a1

a2a3a4a5a6a7a8a9对应的消息序列

x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)

1/41/81/81/81/161/161/81/161/1610平均每个符号(消息)熵为

信源的序列熵112.3.2离散有记忆信源的序列熵对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:当前后符号无依存关系时,有下列推论：12若信源输出一个L长序列,则信源的序列熵为平均每个符号的熵为：若当信源退化为无记忆时:若进一步又满足平稳性时13a0a1a2a09/112/110a11/83/41/8a202/97/9例已知离散有记忆信源中各符号的概率空间为:设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表p(aj|ai)求离散信源的序列熵和平均每个符号的熵?14由p(ai,aj)=p(ai)p(aj|

ai)计算得联合概率p(ai

aj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36当信源符号之间无依赖性时,信源X的信息熵为当考虑符号之间有依赖性时,计算得条件熵

H(X2|X1)＜H(X)信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。15联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。恰为本题中的序列熵(因为为二元序列）我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信息量近似为:

符号之间存在关联性发二重符号序列的联合熵比较16离散平稳信源对于离散平稳信源,有下列结论：⑴条件熵H(XL|XL-1)随L的增加是非递增的条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。17⑶HL(X)是L的单调非增函数

HL(X)≤HL-1(X)⑷H∞称为平稳信源的极限熵或极限信息量

H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)⑵L给定时,平均符号熵≥条件熵：(P32证明)

H

L(X)≥H(XL|XL-1)18马尔可夫信源的信息熵马尔可夫信源的极限熵齐次、遍历的马尔可夫信源的平均符号熵就为极限熵19s2s31/0.61/0.20/0.5s11/0.51/0.10/0.9例三状态马尔可夫信源0/0.820212.5冗余度22冗余度冗余度(多余度、剩余度)表示信源在实际发出消息时所包含的多余信息。冗余度：信源符号间的相关性。相关程度越大,信源的熵越小信源符号分布的不均匀性。等概率分布时即均匀分布时信源熵最大。23冗余度对于有记忆信源，平均符号熵（信息熵）为极限熵H∞(X)。这就是说我们需要传送这一信源的信息,理论上只需要传送H∞(X)即可。但必须掌握信源全部概率统计特性,这显然是不现实的。实际上,只能算出Hm(X)。那么与理论极限值相比,就要多传送Hm(X)－H∞(X)。为了定量地描述信源的有效性,定义:信息效率冗余度24冗余度由于信源存在冗余度,即存在一些不必要传送的信息,因此信源也就存在进一步压缩其信息率的可能性。信源冗余度越大,其进一步压缩的潜力越大。这是信源编码与数据压缩的前提与理论基础。例：英文字母：等概率H0=log27=4.76比特/符号不等概率H1=4.03比特/符号考虑相关性H2

=3.32比特/符号极限熵H∞=1.4比特/符号（1）以等概率传输，则冗余度为：（1）以不等概率传输，则冗余度为：

英语文章有71%是由语言结构定好的,只有29%是自由选择25习题2-132-162-262-3026本章小结27信源的描述一个离散信源发出的各个符号消息的集合为：它们的概率分别为单符号离散信源的数学模型—概率空间2800011110状态转移概率矩阵符号条件概率矩阵(1)1/2(1)3/4(0)1/3(0)1/4(0)1/2(0)1/5(1)2/3(1)4/5s2s1s4s3马尔可夫信源29稳态状态概率分布稳态符号概率分布30离散信源熵和互信息问题：

什么叫不确定度？什么叫自信息量？什么叫条件信息量什么叫联合信息量什么叫平均不确定度？什么叫平均自信息量？什么叫信源熵？什么叫条件熵？什么叫联合熵？联合熵、条件熵和信源熵的关系是什么？31离散信源熵和互信息问题：什么叫互信息量？什么叫平均互信息量？什么叫疑义度？什么叫噪声熵（或散布度）？数据处理定理是如何描述的？熵的性质有哪些？序列熵，平均符号熵极限熵，马尔可夫信源平均符号熵32自信息量设离散信源X，其概率空间为I

(xi)含义:当事件xi发生以前,表示事件xi发生的不确定性当事件xi发生以后,表示事件xi所含有的信息量33自信息量自信息量条件自信息量联合自信息量34离散信源熵离散信源熵H(X)信源熵具有以下三种物理含意：信息熵H(X)表示信源输出后,每个离散消息所提供的平均信息量。信息熵H(X)表示信源输出前,信源的平均不确定性。信源包含的信息量。35信源熵信源熵条件熵联合熵36互信息互信息定义为

xi的后验概率与先验概率比值的对数互信息I(xi;yj)表示接收到某消息yj后获得的关于事件xi的信息量。37平均互信息平均互信息定义信宿获得的信源信息=先验不确定性－后验不确定性=不确定性减少的量Y