讲稿信息论课件-chap

华侨大学通信工程 ： : 上次自信I信息

)f[

)]log

1p(aiHr(X)

log

p(ai)log

p(aiq1 p(ai) iq12熵函1、对称性2、确定性3、非负性4、扩展5、可加6、极值3离散 的扩展信离散信离散 信离散 信平稳序列4 时，则得到原信源的扩展信源。的二元数，，无 源二扩。5 空间为{a1,a2,…,aq}，对它的输出消息序列，这时，它等效成一个新信源X2,……,XN)，其中每个分量Xi(i＝1,2,…,N)都 为XN。6单符号离散信源X p(x)

aqq ... pq

pi

q iXN

q

p( p(

i(ai1,ai2,...,aiNp(i

q 因为是 的(彼此统计独立)则

)p(a1...a

p(a

p()

k k

7 H(X)=H(XN)=N·H(X)

离散无信源X证明：H(X)H

N)p(X)logp(X)

p(i)logp(iX Xp(i)log p(i

)(log log

...log X

pi2...piN X

pi2

piNp(i)log pi ...pi

logp其中pq

X X1

p1

ip1i2i

pi2...piiNi

H(X

1)H(X同理计算式中其余各项，得到H(XN)=H(X)+H(X)+……+H(X)=N8[例2.3.1]求如下离散 信源X的二次扩展信源及其熵

a3 p(x)

1

,pi 4

解：二次扩展信源的概率空对应的符号序a1a1a1a2a2a2a3a3a3概率H(X)1log11log11log11.5(Bit/ 9

指H(

2)

i)logp(i)

3(Bit/Symbol)2H(X指 离散平稳信一、平稳信 在一般情况下，信源ti时刻将要发出什么样的符号信源在t=i时刻 [p(xip(xj)ti时刻以前信源发出的符tj时刻将发出的符号若当ti或tj时(i,j是大于1的任意整数，且p(xi)=p(xj)=p(x)，则序列是一维平稳的，称为一维平稳信源xxiijj)(i,jp(xi)=p(xixi+1)=p(xjp(xixi+1…xi+N)=p(xjxj+1…xi+N 由于联合概率与条件概率p(xixi1)p(xi)p(xi1|xip(xixi1xi2)p(xi)p(xi1|xi)p(xi2|xip(xixi1xi2...xiN)p(xi)p(xi1|xi)p(xiN|xixi1xiN从平稳性可得p(xi1|xi)p(xj1|xjp(xi2|xixi1)p(xj2|xjxj1)p(xiN|xixi1xiN1)p(xjN|xjxj1xjN1起点无关 p(xiN/xixi1...xiN1p(xjN/xjxj1...xjN1p(xN/x0x1...xN【注意平稳信源并非都是 信源（N次扩展）只要满足完全平稳性的信源都是平稳信散有平稳信源；如果没有，就是离散无记【注意】本节重点讨论的为离散平稳有信二、二维平稳二维平稳信源满足一维和二维概率分布与时间起点无 相关结论还能 系统推广设有一个离散二维平稳信源，其概率空

p(x)

p(a p(a p(a

p(a

p(ai)

同时已知：连续两个信源符号出现的联合概率分布为p(ai(ij1,…,q)，且

p(aiaj) j |a)p(aiaj (i,j1,2,..., p(aiqp(aj|ai)j由于只可能有两个符号有关联，且其关联与时间无关，则我们可把这个信源输出的随机序列分成每二个符号一组(因为相邻的两个符号才有关联)，每组构成新信源的一个符号，并假设组与组之间不相关(实际上，组尾的符号与下。这时，等效成一个新的信源1X2，它们的联合概率空间X

a a a a 2

1 1

p(aiaj)p(x1x2) p(a1a1 p(a1a2 p(a1a3

p(aqaq)

jqqqH(X1X2)p(aiaj)logp(aiaj j

p(aiaj)p(ai)p(ajH(XH(X1X2)称为X1X2的联合熵关于离散二维平稳H(X1X2)表示原来信源X输出任意一对消息的共熵，即X输出长度为2的序列的平均不可用H(X1X2)/2作为信源X的信息熵的近似值H(X)1H(X 这里下2”表示是通过二维平稳信源的符•从另一角•从另一角度（来研究信源X的信息熵的近似值赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输下一个符号H(X2|X1ai)p(aj|ai)logp(aj|aiqq（2）而前面一个符号X又可取aia1，a2，…，aq中任一个，对某一个ai存在一个平均不确定性H(1＝ai所有aiH(X2/1：qH(X2|X1)p(ai)H(X2|X1 i1 i1 H(X1X2)p(aiaj)logp(aiaj

p(aiaj)p(ai)p(aj/乘法公 p(aiaj)log(p(ai)p(aj|乘法公 j p(ai)p(aj|ai)logp(ai)p(aiaj)logp(aj|ai j j p(ai)logp(ai)p(aj|ai)H(X2| jH(X1)H(X2| 即而H(X2/X1

称为熵（强）可加H(X1X2)＝H(X1)+H(X2/X1)H(X1)+H(X2)=所以，一般情况下，输出二个符号的联合熵总是小于单符号信源的H(X)H2(X)

2H(X1X2

因为X1X2取自，且平H(X2/X1)H2(X)H(X

2 [例]某一离散二维平稳[例]某一离散二维平稳

1

,pi其发出的符号只与前一其发出的符号只与前一个符号有关，即可用p(aiaj)给出它们的关联程度，如下表所示

01200120 p(a/a)p(aiajjip(ai0120012001201200120

11 1p(x) 43H(X)p(ai)logp(ai)1.54(Bit/3 H(X2/X1)p(aiaj)logp(aj/ai)0.87(Bit/ H(X)1H(XX)1.205(Bit/ 满满足H(XX)H(X 2？三、一般离散平稳对于一般平稳 信源，设其原概率空间为

) p(ai)p(x) p(a1

q p(xx)p(xa a

简记

p(aa

p(x1x2x3)p(x1aix2

x3ai

p(aa

p(x1x2...xN)p(x1aix2ai...xN

p(aa (i1,i2...,iN1,2,...,

(i,i..., 1,2,..., p(aiai p(aiaiai

ip(aai

(i1,i2...,iN1,2,..., qq

)1i11i21 p(ai1ai2ai3)i11i21i3 ...p(ai1ai2...aiN) iN

(i1,i2...,

已知联合概率分布可求得离散平稳信源的一系列联合熵 H(X1X2...XN)...p(ai1ai2...aiN)logp(ai1ai2...aiN (N2,3...,N iN定义N长的信源符号序列中平均每个信源符号所携带的信(平均符号熵定义N长的信源符号序列中平均每个信源符号所携带的信(平均符号熵)，N11H(XN|X1X2...XN1)...p(ai1ai2...aiN)logp(aiN|ai1ai2...aiN1 iN(N2,3...,N对离散平稳信源，若H1(X)＜，存在以下)(2)HN(X)H(XN/X1X2…XN-)(4)极限熵H存在，并且

HlimHN(X)limH(XN|X1X2...XNN N。对于一般平稳信源，求H相 。通常近似HHN(XHH(XN|X1X2…XN-1)特别地，针对离散二维平稳信源 /aiai ) / )p(ai/ai)p(aj/ai N N q结论p(ai1ai2)p(ai1结论i2qHlimH(XN/X1...XNNHlimH(XN/X1...XNNlimH(X2/X1)H(X2/X1N

...p(ai1ai2...aiN)p(ai1ai2 iN H(XN/X1...XN1)...p(ai1ai2...aiN)log iN

/ai Np(ai1ai2)logp(ai2/ai1)H(X2/X1) 等于:H(X2/X1)=0.87比特/符号。 HlimH(XN/X1...XNNH(Xm/X1X2...Xm1对于有限长度的平稳信源一般用有限长度

前例H(X2/X1)0.87(Bit/Symbol)H2(X)1.205(Bit/Symbol)熵之间的相互关系小结H(XY)=H(X)+H(XY)=H(Y)+H(X|Y)H(X)>=H(X|Y)H(Y)>=H(Y|X)H(XY)<=H(X)+H(Y)H(X)：表示信源中每个符号的平均信息量（信源熵）H(Y)：表示信宿中每个符号的平均信息量（信宿熵）X()（。 通信通信[例2.4.1]有两个同时输出的信源X和Y，其中X{A,B,C}，Y的信源{D,E,F,G}。已p(x)和p(y/x，XABCDEFG解：信源X的熵H(X)p(x)logp(x)X(1log11log11log1) 1.461(Bit/信源XY输出每一对消息的联合概率为：p(xyp(y/x)p(x， XB YDEF XB YDEFG (4 6X信源Y的条件熵：H(YX则信道散布度，(4 或噪声熵

1.956(Bit/ 信源XY输出每一对消息的联合概率为：p(xy)=p(y/x)p(x) XB YDEFGH(XY)p(xy (4 8XX或信道散(或噪声熵

(4 1.956(Bit/ 当两个信源统计独立时，H(XY)=H(X)+H(Y)，为最大对第二个信源Y，其熵H(Y)p(D)p(x)p(D/x)p(A)p(D/A)p(B)p(D/B)p(C)p(D/X