信息论与编码理论第二章习习题答案(王育民)

1、部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为，一秒钟点和划出现的次数平均为一秒钟点和划分别出现的次数平均为那么根据两者出现的次数，可以计算一秒钟其信息量平均为 解：(a)骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量-log(1/6)=1+log3 bit(b) 骰子A和B，掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量-log(1/36)=2+log9 bit解：出现各点数的概率和信息量：1点：1/21，lo

2、g21 bit； 2点：2/21，log21-1 bit； 3点：1/7，log7； 4点：4/21，log21-2； 5点：5/21，log（21/5）；6点：2/7，log(7/2)平均信息量：(1/21)×+(2/21)×+(1/7)×+(4/21)×+(5/21)×+(2/7)×解：X=1:考生被录取； X=0:考生未被录取；Y=1:考生来自本市；Y=0:考生来自外地；Z=1: 考生学过英语；Z=0：考生未学过英语P(X=1)=1/4, P(X=0)=3/4; P(Y=1/ X=1)=1/2； P(Y=1/ X=0)=1/10

3、；P(Z=1/ Y=1)=1, P(Z=1 / X=0, Y=0)=, P(Z=1/ X=1, Y=0)=, P(Z=1/Y=0)=(a) P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)=P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)=P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=I(X Y=1)=+=(5/8)log5-1(b) 由于P(Z=1/ Y=1)=1, 所以 P（Y=1，Z=1/X=1）= P（Y=1/X=1）=P（

4、Y=1，Z=1/X=0）= P（Y=1/X=0）=那么P（Z=1/X=1）= P（Z=1,Y=1/X=1）+ P（Z=1,Y=0/X=1）=+ P（Z=1/Y=0，X=1）P（Y=0/X=1）=+*=P(Z=1/X=0)= P（Z=1,Y=1/X=0）+ P（Z=1,Y=0/X=0）=+P(Z=1/Y=0，X=0)P(Y=0/X=0)=+*=P（Z=1,X=1）= P（Z=1/X=1）*P(X=1)=*=P（Z=1,X=0）= P（Z=1/X=0）*P(X=0)= *=P(Z=1) = P(Z=1,X=1)+ P(Z=1,X=0) = P(X=0/Z=1)=69/104P(X=1/Z=1)=3

5、5/104I(X Z=1)=(69/104)log(23/26)+( 35/104)log(35/26) (c)H（X）=*log(1/+*log(1/=2-(3/4)log3= H(Y/X)=-P(X=1,Y=1)logP(Y=1/X=1) -P(X=1,Y=0)logP(Y=0/X=1) -P(X=0,Y=1)logP(Y=1/X=0) -P(X=0,Y=0)logP(Y=0/X=0) =* H(XY)=H(X)+H(Y/X)=9/4+(3/4)log10-(21/10)log3= P(X=0,Y=0,Z=0)= P(Z=0 / X=0, Y=0)* P( X=0, Y=0)=*

6、 P(X=0,Y=0,Z=1)= P(Z=1 / X=0, Y=0)* P( X=0, Y=0)=*= P(X=1,Y=0,Z=1)= P(Z=1/ X=1,Y=0)* P(X=1,Y=0)=* P(X=1,Y=0,Z=0)= P(Z=0/ X=1,Y=0)* P(X=1,Y=0)=*= P(X=1,Y=1,Z=1)=P(X=1,Z=1)- P(X=1,Y=0,Z=1)= P(X=1,Y=1,Z=0)=0P(X=0,Y=1,Z=0)=0P(X=0,Y=1,Z=1)= P(X=0,Z=1)- P(X=0,Y=0,Z=1)= H(XYZ)=* =+= bitH(Z/XY)=H(XYZ)-H(XY)

7、= -28/25+(4/5)log10-12/25log3 = 解： A，B，C分别表示三个筛子掷的点数。X=A, Y=A+B, Z=A+B+C由于P(A+B+C/ A+B)=P(C/A+B)=P(C)所以H(Z/Y)=H(A+B+C/ A+B)=H（C）=log6 =H(X/Y)= H(A/Y)Y组合数目组合情况（A+B）P(A=a/Y=y)1216+611125+6,6+51/21034+6,5+5,6+41/3943+6,4+5,5+4,6+31/485.761+6,2+5,3+4,4+3,5+2,6+11/665.54.43.32.211+11一共36种情况，每种情况的概率为1/36，

8、即P(A=a,Y=y)=1/36H(X/Y)=H(A/Y)=(1/36)(-1*log1-2*log(1/2)-3*log(1/3)-4*log(1/4)-5*log(1/5) )*2-6*log(1/6)=由于P(A+B+C/ A+B,A)=P(C/A+B,A)=P(C)H(Z/XY)=H(C) =log6 =由于P(A=x,A+B+C=z/A+B=y)=P(A=x,C=z-y/ A+B=y)=P(A=x/A+B=y)P(C=z-y/A+B=y)= P(A= x / A+B=y)P(C=z-y)=P(A/Y)P(C)P(A/Y)上面已经给出。Y组合数目组合情况（A+B+C）P(A=x,A+B

9、+C=z/A+B=y)1266+6+1, 6+6+2,., 6+6+61/61112.1/121018.1/18924.1/24830.736.1/36630.524.418.312.26.1/6一共216种情况，每种情况的概率为1/216，即P(XYZ)=1/216H(XZ/Y)= (1/216)(-6*log(1/6)-12*log(1/12)-18*log(1/18)-24*log(1/24)-30*log(1/30)*2-36*log(1/36)=(1/36)*(log6+2log12+3log18+4log24+5log30)*2+6log36= bit由于P(Z/X)=P(B+C/

10、A)=P(B+C)BC的组合共36种:B+C组合数目组合情况（B+C）P(Z/X)1216+61/361125+6,6+52/361034+6,5+5,6+43/36943+6,4+5,5+4,6+34/3685.761+6,2+5,3+4,4+3,5+2,6+15/3665.54.43.32.211+11/36= (1/36)*log36+2log(36/2)+ 3log(36/3)+ 4log(36/4)+ 5log(36/5)*2+6log(36/6)bit解：P(0/0)=P(1/1)=1- p, P(1/0)=P(0/1)= p(a) P(ul)=1/8 P(ul，0)=P(ul)&

11、#215;P(0/ul)=(1/8)×(1-p) 接收的第一个数字为0的概率：P(0)=P(ul)×P(0/ul)+ P(u2)×P(0/u2)+. P(u8)×P(0/u8)=4×(1/8)×(1-p)+ 4×(1/8)×p=1/2 I(ul; 0)=log P(ul，0)/P(0)P(ul)=1+log(1-p)(b) P(ul，00)=P(ul)×P(00/ul)=(1/8)×(1-p)2 P(00)=P(ul)×P(00/ul)+ P(u2)×P(00/u2)+. P

12、(u8)×P(00/u8) =2×(1/8)×(1-p)2 +4×(1/8)×p (1-p)+ 2×(1/8)×p2 =1/4 I(ul; 00)=log P(ul，00)/P(00)P(ul)= 2+2log(1-p)(c) P(ul，000)=P(ul)×P(000/ul)=(1/8)×(1-p)3 P(000)=P(ul)×P(000/ul)+ P(u2)×P(000/u2)+. P(u8)×P(000/u8) = (1/8)×(1-p)3 +3×(

13、1/8)×p (1-p) 2+3×(1/8)×p 2 (1-p) +(1/8)×p3 =1/8 I(ul; 000)=log P(ul，000)/P(000)P(ul)= 3+3log(1-p) (d) P(ul，0000)=P(ul)×P(0000/ul)=(1/8)×(1-p)4 P(0000)=P(ul)×P(0000/ul)+ P(u2)×P(0000/u2)+. P(u8)×P(0000/u8) = (1/8)×(1-p)4 +6×(1/8)×p 2 (1-p) 2+ (1/8)×p4I(ul; 0000)=log P(ul，0000)/P(0000)P(ul)= 解：Z3456789101112131415161718概率1/633/636/6310/6315/6321/6325/6327/6327/6325/6321/6315/6310/636/633/631/63I(Y;Z)=H(Z)-H(Z/Y) I(X;Z)= H(Z)-H(Z/X) I(XY Z)