条件熵联合熵及熵的性质

条件熵联合熵及熵的性质第一页，共三十五页，编辑于2023年，星期六2.1.3条件熵及联合熵第二页，共三十五页，编辑于2023年，星期六条件熵是在联合符号集合XY上的条件自信息量的数学期望。在已知随机变量Y的条件下，随机变量X的条件熵定义为：要用联合概率加权条件熵是一个确定值，表示信宿在收到Y后，信源X仍然存在的不确定度。这是传输失真所造成的。有时称H(X/Y)为信道疑义度，也称损失熵。称条件熵H(Y/X)为噪声熵。条件熵第三页，共三十五页，编辑于2023年，星期六联合离散符号集合XY上的每个元素对的联合自信息量的数学期望。联合熵第四页，共三十五页，编辑于2023年，星期六熵、条件熵、联合熵关系第五页，共三十五页，编辑于2023年，星期六一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示.由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2”已知X的先验概率:p(x0)=2/3,p(x1)=1/3,符号转移概率：

p(y0|x0)=3/4,p(y2|x0)=1/4

p(y1|x1)=1/2,p(y2|x1)=1/2，XY0101

23/41/21/21/4信源熵H(X)例题第六页，共三十五页，编辑于2023年，星期六得联合概率：

p(x0y0)=p(x0)p(y0|x0)=2/3×3/4=1/2p(x0y1)=p(x0)p(y1|x0)=0p(x0y2)=p(x0)p(y2|x0)=2/3×1/4=1/6p(x1y0)=p(x1)p(y0|x1)=0p(x1y1)=p(x1)p(y1|x1)=1/3×1/2=1/6p(x1y2)=p(x1)p(y2|x1)=1/3×1/2=1/6由例题条件熵H(Y|X)第七页，共三十五页，编辑于2023年，星期六联合熵H(XY)

H(XY)＝H(X)＋H(Y|X)=1.8bit/符号得

p(y0)=∑p(xiy0)=p(x0y0)+p(x1y0)=1/2+0=1/2p(y1)=∑p(xiy1)=p(x0y1)+p(x1y1)=0+1/6=1/6

p(y2)=∑p(xiy2)=p(x0y2)+p(x1y2)=1/6+1/6=1/3由例题信源输出熵H(Y)第八页，共三十五页，编辑于2023年，星期六由得同理p(x0|y1)=0；p(x1|y1)=1p(x0|y2)=1/2；p(x1|y2)=1/2条件熵H(X|Y)例题或H(X|Y)=

H(XY)-H(Y)=1.8-1047=0.33bit/符号第九页，共三十五页，编辑于2023年，星期六2.1.4熵的基本性质第十页，共三十五页，编辑于2023年，星期六熵的基本性质概率矢量第十一页，共三十五页，编辑于2023年，星期六非负性非负性

H(X)≥0

由于0≤pk≤1,所以logpk≤0，-logpk≥0，则总有H(X)≥0。第十二页，共三十五页，编辑于2023年，星期六

对称性根据加法交换律可以证明，当变量交换顺序时熵函数的值不变,即信源的熵只与概率空间的总体结构有关，而与各概率分量对应的状态顺序无关。对称性第十三页，共三十五页，编辑于2023年，星期六确定性当信源X的信源空间[X，P]中，任一概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。

确定性第十四页，共三十五页，编辑于2023年，星期六这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，，使信源熵保持不变。

扩展性扩展性第十五页，共三十五页，编辑于2023年，星期六可加性证明:可加性第十六页，共三十五页，编辑于2023年，星期六极值性——最大离散熵定理

信源X中包含K个不同离散消息时，信源熵，当且仅当X中各个消息出现的概率全相等时，上式取等号。

表明等概信源的不确定性最大，具有最大熵，为

极值性第十七页，共三十五页，编辑于2023年，星期六定理：1.H(X/Y)≤H(X)（条件熵不大于无条件熵）2.H(XY)≤H(X)+H(Y)证明：基本定理第十八页，共三十五页，编辑于2023年，星期六基本定理推广H(X/Y)≤H(X)H(XY)≤H(X)+H(Y)第十九页，共三十五页，编辑于2023年，星期六2.1.5离散序列信源的熵第二十页，共三十五页，编辑于2023年，星期六设信源输出的随机序列为

X=(X1X2…Xl…XL)

序列中的变量Xl∈{x1,x2,…

xn}离散无记忆信源离散无记忆:第二十一页，共三十五页，编辑于2023年，星期六离散无记忆信源的序列熵信源的序列熵进一步化简平均符号熵?第二十二页，共三十五页，编辑于2023年，星期六离散无记忆信源的序列熵信源的序列熵进一步化简平均符号熵?第二十三页，共三十五页，编辑于2023年，星期六离散无记忆信源的序列熵第二十四页，共三十五页，编辑于2023年，星期六例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵:即用1比特就可表示该事件。如果以两个符号出现(L=2的序列)为一事件，则随机序列X∈(00,01,10,11)，信源的序列熵即用2比特才能表示该事件。信源的符号熵离散无记忆信源实例第二十五页，共三十五页，编辑于2023年，星期六例:有一离散平稳无记忆信源求：二次扩展信源的熵X2信源的元素a1

a2a3a4a5a6a7a8a9对应的消息序列x1x1x1x2x1x3x2x1x2x2x2x3x3x1x3x2x3x3概率p(ai)

1/41/81/81/81/161/161/81/161/16离散无记忆信源实例第二十六页，共三十五页，编辑于2023年，星期六信源熵为信源的序列熵离散无记忆信源实例平均符号熵为第二十七页，共三十五页，编辑于2023年，星期六a0a1a2a09/112/110a11/83/41/8a202/97/9例:已知离散有记忆信源中各符号的概率为:设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表p(aj|ai)求离散信源的序列熵和平均每个符号的熵?离散有记忆信源实例第二十八页，共三十五页，编辑于2023年，星期六由p(ai,aj)=p(ai)p(aj|ai)

计算得联合概率p(aiaj)如表a0a1a2a01/41/180a11/181/31/18a201/187/36当考虑符号之间有依赖性时,计算得条件熵离散有记忆信源实例发二重符号序列的熵第二十九页，共三十五页，编辑于2023年，星期六

H(X1,X2)表示平均每二个信源符号所携带的信息量,那么平均每一个信源符号携带的信息量近似为:

符号之间存在关联性比较有记忆信源实例而信源X的信息熵为

H(X2|X1)＜H(X)，信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。第三十页，共三十五页，编辑于2023年，星期六对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念，而且只能在某些特殊情况下才能得到一些有价值的结论。对于由两个符号组成的联合信源,有下列结论:当前后符号无依存关系时,有下列推论：离散有记忆信源的序列熵第三十一页，共三十五页，编辑于2023年，星期六若信源输出一个L长序列,则信源的序列熵为平均符号熵为：极限熵:离散有记忆信源的序列熵第三十二页，共三十五页，编辑于2023年，星期六（1）条件熵H(XL|XL-1)随L的增加非递增离散有记忆信源特点（3）平均符号熵HL(X)随L的增加非递增

H0(X)≥H1(X)≥H2(X)≥…≥H∞(X)（2）L给定时,H

L(X)≥H(XL|X