信息理论基础 周荫清

2.4居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？解：设随机变量X代表女孩子学历X x1(是大学生) x2(不是大学生)P(X)0.250.75设随机变量Y代表女孩子身高Yyl(身高＞160cm) y2(身高vl60cm)TOC\o"1-5"\h\zP(Y) 0.5 0.5已知：在女大学生中有75%是身高160厘米以上的即：p(y/X])=0.75求：身高160厘米以上的某女孩是大学生的信息量即：〃 /、i i 「P(x)p(y/x)] [ (0.25x0.75). 7I(x/y)=-logp(x/y)=-log——一i=-logI———-——=1.415b1 1 1 1 2 p(y) 21 0.5丿12・8：英文字母中e出现的概率为0.105,c出现的概率为0.023,o出现的概率是0.001,分别计算它们的自信息量。解：I(e)=log10.105=I(e)=log10.105=3.25bit,I(c)=log10.023=5.44bit,I(o)=log10.001=9.97bit2.18有两个二元随机变量X和Y,它们的联合概率为Yx=0ix=12y=011/83/8y=123/81/8并定义另一随机变量Z=XY(一般乘积)，试计算：⑴H(X),H(Y),H(Z),H(XZ),H(YZ和H(XYZ)；H(X/Y),H(Y/X),H(X/Z),H(Z/X),H(Y/Z),H(Z/Y),H(X/YZ),H(Y/XZ)和H(Z/XY)；I(X;Y),I(X;Z),I(Y;Z),l(X;Y/Z),l(Y;Z/和l(X;Z/Y)。解：(1)

p(x)二p(xy)+p(xy)二1111213+—=88p(x)二p(p(x)二p(xy)+p(xy)二1111213+—=88p(x)二p(xy)+p(xy)二2212231+—=88H(X)二一工p(x)logp(x)=1bit/symboli2iip(y)二P(xy)+p(xy)二1112113+—=88P(叮二P(x1y2)+P(x2叮二31+—=

88H(Y)=一工p(y)logp(y)=1bit/symbolj2j■Z_=Vz=0z=117 21 >_P(Z)_、88一jZ=XY的概率分布如下：H(Z)=-fkp(z)=

k7 1] 1)_+—log—28828丿=0.544bit/symbolp(x)=p(xz)+p(xz)11112p(xz)=012p(xz)=p(x)=0.5111p(z)=p(xz)+p(xz)1112173p(xz)=p(z)-p(xz)= -0.5=-2111188p(z)=p(xz)+p(xz)2 1222p(xz)=p(z)=222 8ik11331p(xz)log2p(x"=-(2log22+8log28+8ik)=1.406bit/symbol28p(y)=p(yz)+p(yz)1112p(yz)=012p(yz)=p(y)=0.5111p(z)=p(yz)+p(yz)111 217 3p(yz)=p(z)-p(yz)= -0.5=111188p(z)=p(yz)+p(yz)21222p(yz)=p(z)=2228H(YZ)=-WH(YZ)=-W=1.406bit/symbolp(yjz丿log2p(yA)=-(2log石+8log28+8log2

p(Xyz)二0112p(xyz)二0122p(xyz)二0212P(xyz)+p(xyz)二p(xy)11111211p(xyz)二p(xy)二1/811111p(xyz)+p(xyz)二p(xz)121111111p(xiy2zi)二p(xizi)-p(xiyizi)二2p(xyz)+p(xyz)+p(xyz)=p(xy)211212213p(xyz)=p(xy)=211218p(xyz)=0221p(xyz)+p(xyz)=p(xy)22122222=1=8p(xyz)logijkp(xyz)=p(xy)22222H(XYZ)=ij k(1 1 3=-—log —+ <log18 28 8 2p(xyz)2ijk33]31]1)_+—log—+—log-8828828丿=1.811bit/symbol(2)(1 13 33 31 1AH(XY)=-H p(xy )logp(xy)==--log 石+石log 石+石log 石+石log 石=1.811bit/symbol■-(8288288288 28丿ijH(X/Y)=H(XY)-H(Y)=1.811-1=0.811bit/symbolH(Y/X)=H(XY)-H(X)=1.811-1=0.811bit/symbolH(X/Z)=H(XZ)-H(Z)=1.406-0.544=0.862bit/symbolH(Z/X)=H(XZ)-H(X)=1.406-1=0.406bit/symbolH(Y/Z)=H(YZ)-H(Z)=1.406-0.544=0.862bit/symbolH(Z/Y)=H(YZ)-H(Y)=1.406-1=0.406bit/symbolH(X/YZ)=H(XYZ)-H(YZ)=1.811-1.406=0.405bit/symbolH(Y/XZ)=H(XYZ)-H(XZ)=1.811-1.406=0.405bit/symbolH(Z/XY)=H(XYZ)-H(XY)=1.811-1.811=0bit/symbol(3)I(X;Y)=H(X)-H(X/Y)=1-0.811=0.189bit/symbolI(X;Z)=H(X)-H(X/Z)=1-0.862=0.138bit/symbolI(Y;Z)=H(Y)-H(Y/Z)=1-0.862=0.138bit/symbolI(X;Y/Z)=H(X/Z)-H(X/YZ)=0.862-0.405=0.457bit/symbolI(Y;Z/X)=H(Y/X)-H(Y/XZ)=0.862-0.405=0.457bit/symbolI(X;Z/Y)=H(X/Y)-H(X/YZ)=0.811-0.405=0.406bit/symbol

5.一•=.i.，亠、<— XIx=0x=1x=2x=31 ……■3.1设离散无记忆信源 1 2 3 4 \，其发出的信息_P(X)」［3/8 1/4 1/4 1/8J为(202120130213001203210110321010021032011223210)，求此消息的自信息量是多少？此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、12个2、6个3，因此此消息发出的概率是：此消息的信息量是：I二一log2p二87.811bit⑵此消息中平均每符号携带的信息量是：//n=87«811/45—1«951bit3.3设信源XP(X)3.3设信源XP(X)0.20.190.18器看6爲］，求这个信源的熵，并解释为什么H(X)>log6不满足信源熵的极值性。解：H(X)=一fp(x)logp(x)i 2i1=-(0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17)22222=2.657bit/symbolH(X)>log6—2.5852不满足极值性的原因是fp(x)—1.07>1ii3.7设有一个信源，它产生0，1序列的信息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4,P(1)=0.6的概率发出符号。试问这个信源是否是平稳的？试计算H(X2),H(X/XX)及H；12 co⑶试计算H(X4)并写出X4信源中可能有的所有符号。解：(1)这个信源是平稳无记忆信源。因为有这些词语：“它在任．意．时．间．而且不．论．以．前．发．生．过．什．么．符．号……”(2)

H(X2)=2H(X)=一2x(0.4log0.4+0.6log0.6)=1.942bit/symbol22H(X/XX)=H(X)=-Yp(x)logp(x)=一(0・4log0.4+0.6log0.6)=0.971bit/symbol3 1 2 3 i 2i 2 2iH=H(X)=0.971bit/symbol(3)H(X4)=4H(X)=-4x(0.4log0.4+0.6log0.6)=3.884bit/symbol22X4的所有符号：00000001001000110100010101100111100010011010110011011110111110113.11有一马尔可夫信源，已知转移概率为p(S/S)=2/3，p(S/S)=1/3，1121p(S/S)=1，p(S/S)=0。试画出状态转移图，并求出信源熵。1222解：[p(S)=p(S)p(S/S)+p(S)p(S/S)12/3TOC\o"1-5"\h\zJ1 1 1 1 2 1 212/3[p(S)=p(S)p(S/S)+p(S)p(S/S)2222121p(S)=2p(S)+p(S)3 1 2Jp(S)=1p(S)、2 3 1f1p(S)匕p(S)J2 3 1p(S)+p(S)=112fJp(S1)=3/4tp(S)=1/42H=-Mp(S)p(S/S)logp(S/S)TOC\o"1-5"\h\zg i ji jiij(3 2] 2 3 J 1)—x—log—+—X—log-

(4 3 3 4 3 3丿=0.689bit4.1设信源P(X4.1设信源P(X)0.6冷通过一干扰信道，接收符号为Y=【yW】5 1信道转移矩阵为f6，求：_44_⑴信源X中事件x和事件x分别包含的自信息量；12收到消息yj=1,2)后，获得的关于x(i=1,2)的信息量;ji信源X和信宿Y的信息熵；信道疑义度H(X/Y)和噪声熵H(Y/X)；接收到信息Y后获得的平均互信息量。解：I(x)二一logp(x)二一log0.6=0.737bit1212I(x)二一logp(x)二一log0.4=1.322bit22222)51p(y)=p(x)p(y/x)+p(x)p(y/x)=0.6x—+0.4x=0.611112126413p(y)=p(x)p(y/x)+p(x)p(y/x)=0.6x—+0.4x=0.42121222641(xi；yi1(xi；yi)二log2p(y/x)11p(y)i5/6=log=0.47420.6bitI(x;y)二log2 2I(x;y)二logi 2I(x;y)二log22 2p(y/x)] 1/6 12632i=log =一1・263p(y) 20.42p(y/x)] 1/4 [i2=log =一1・263p(y) 20.61p(呎)二log型二0.90720.4 Z"p(y)2bitbitbit3)3)H(X)二一工p(x)logp(x)=-(0.6log0.6+0.4log0.4)log10=0.971bit/symbolTOC\o"1-5"\h\zi i 2H(Y)=一Yp(y)logp(y)=-(0.6log0.6+0.4log0.4)log10=0.971bit/symbolj j 2j4)H(Y/X)= p(x)p(y/x)logp(y/x)i ji jiij5 1 1 1 1 3 3=-(0.6x—log—+0.6x—log—+0.4x—log—+0.4x—log—)xlog106 6 6 4 4 4 4 2=0.715bit/symbolH(X)+H(Y/X)=H(Y)+H(X/Y)・•・H(X/Y)=H(X)+H(Y/X)-H(Y)=0.971+0.715-0.971=0.715bit/symbol5)I(X;Y)=H(X)—H(X/Y)=0.971—0.715=0.256bit/symbol_21_4.20设二元对称信道的传递矩阵为32_33_⑴若P(0)=3/4,P⑴=1/4,求H(X),H(X/Y),H(Y/X和l(X;Y)；(2)求该信道的信道容量及其达到信道容量时的输入概率分布；解：1)TOC\o"1-5"\h\z3 1 1H(X)=一乙p(x)=一(一xlog +—xlog)=0.811bit/symbol24 4 24H(Y/X)= p(x)p(y/x)logp(y/x)i ji jiij(32l2 3 1l1 1 1l1 1 2l2)l10=一(一xlg+x_lg+x_lg+—xlg)xlog10

43 3 43 3 43 3 43 3 2=0.918bit/symbol3211p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=x—+—x—=0.583311 21 1 1 1 2 1 2 4 3 4 33 1 1 2p(y)=p(xy)+p(xy)=p(x)p(y/x)+p(x)p(y/x)=x=+=x=0.416712 22 1 2 1 2 2 2 4 3 4 3H(Y)=—Ep(y)=—(0.5833xlog0.5833+0.4167xlog0.4167)=0.980bit/symbolj22I(X;Y)=H(X)—H(X/Y)=H(Y)—H(Y/X)H(X/Y)=H(X)—H(Y)+H(Y/X)=0.811—0.980+0.918=0.749bit/symbolI(X;Y)=H(X)—H(X/Y)==0.811—0.749=0.062bit/symbol2)C=maxI(X;Y)=logm—H=log2+(^lg1+2lg2)xlog10=0.082bit/symbol2mi2 3 3 3 3 25.1有一信源，它有六个可能的输出，其概率分布如下表所示，表中给出了对应的码A、B、C、D、E和F(1)求这些码中哪些是唯一可译码；(2)求哪些码是及时码；(3)对所有唯一可译码求出其平均码长r。消息概率ABCDEF1/200000000

S21/400101101010100S31/160100111101101100101S1/160110111111011101101110S51/16100011111111010111110111S61/1610101111111111011011111011解：(1)A、B、C、E编码是唯一可译码(2)A、C、E码是及时码。(3)唯一可译码的平均码长如下：TOC\o"1-5"\h\z61 1 1 11 1ZP(s)l-3XU+ + + + +