信息论第三章答案

1、(1)、若 P (0) =-,P(1)=-,# H(X),H(X/Y),H(Y/X)和 I(X;Y); TOC o 1-5 h z 44(2)、求该信道的信道容量及其达到信道容量时的输入概率分布解：(1)、H(X)=-H(Y/X)=-(33311p(Xi)( log log) 0.81bit/symbol44 44p(Xi)p(yj/xjiog p(yj/x)2,231, 111,112,2、log -log log- log)33433433433P(y1) p(x1y1) p(x2y1) p(x)p(y1/x1) p(x2) p(y1/X2)= 32114 3 4 3同理可得：p(y22X

2、 X得：H(X/Y)=I(X；Y)= 1122(2)由题：C=maxI(X;Y)=logm- H mi =log2-( log log - 33 33一 .一 ,，一 1 因为信道容量达到最大值即X等概率出现即：p(xi)=- 23.6、有一个二元对称信道，其信道矩阵为 “%0.02 。设该信源以1500二元 0.02 .098符号/每秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设1P(0)=P(1)=1，问从消息传输的角度来考虑，10秒钟内能否将这些消息序列无失真 2的传递完?解：由题得:C=maxH(Y)- Hni =log2-H即每输入一个信道符号,接收到的信息量是0

3、.859b%已知信源输入1500二元符号/每秒，那么每秒钟的信息量是：11=(1500symbol/s) 乂10 秒钟传输：I2=10I1=12880bit1传送14000个二兀符号，P(0)=P(1)=21贝有：I3 =14000X( - log - X2)=14000bit2得出：I2 I3即10秒内不能将消息序列无失真传递完3.11、已知离散信源XP(X)x1x2x3x4,某信道的信道矩阵为0.1 0.3 0.2 0.40.2 0.30.6 0.20.5 0.20.1 0.30.10.10.10.40.10.2试求:0.4 0.2(1)、“输入x3,输出y2 ”的概率;(2)、”输出yj

4、的概率；(3)、”收到y3的条件下推测输入x2”的概率解：1)、由题得：p(x3 y2)= p(x3) p(y2 /x3) X2)、p(yj= p(x1)p(y4 /x1)+p(x2) p(y4 /x2)+p(x3)p(y/x3)+ P(x4)P(y4/x4) =0.3)、p(y3) p(x1)p(y3/x1) p(x2)p(y3/x2) pgpd%) pdM/x4)P(x2/y3)=p(x2)p(y3/x2) =0.3 0.1p(y3)- 0.223.14、试求下列各信道矩阵代表的信道的容量:0 0 101）、 p10 0 00 0 0 12）、 p0 10 01 0 00 1 00 1 0

5、0 0 10 0 13）、p0.1 0.200000.3 0.40000000.3 0.70000000.4 0.200000.1 0.3解：1）、这个信道是一一对应的无干扰信道:C=logn=log4=2bit/symbol设加性高斯白噪声信道中，信道带宽3KHZ,又设（信号功率+噪声功率） /噪声功率=10dB。试计算该信道的最大信息传输速率 Ct。解：Ct=Wlog 1 良PX-PN=10PnPnCt =Wlog 1 P =3000*3.322=9966bit /s在图片传输中，每帧约有2.25*106个像素。为了能很好地重现图像，能分 16个两段电平，并假设亮度电平等概率分布。试计算每

6、分钟传送一帧图片所需 信道的带宽（信燥功率比为30dB）。解：H=log2 n=log16=4bit/symbolI=NH=2.25*10 6*4=9*10 6 bit=10-I 9*1065Ct=1.5*10 bit/st 60Ct=Wlog 1 艮PnW= C=L5*10 15049HZ】Px10g2（1 1000）log 1 XPn在一个噪声功率谱为设电话信号的信息率为5.6*10 4 bit/s(2)No =5*10 6 mW/Hz、限频F、限输入功率P的高斯信道中传送，若F=4Hz,问无差错传输所需的最小功率P是多少瓦？若，则P是多少瓦?解：Ct=Wlog 1PxwnCtPX WN0

7、 2W 1 =4000*5*10 9*5.6*1042 4000= PLlog2eNoP=CtN。log2e495.6*10 *5*101.94*10 4Wlog2 2.71828通信10-2201020204067何丽5.1设信源P(X)XiX2X3 X4X5X6X70.20.190.180.170.150.10.01求信源嫡H(X)；(2)编二进制香农码；(3)计算平均码长和编码效率。解： 7H (X)p(xj10g2 p(xji 1(0.2 log2 0.2 0.19 log20.19 0.18 log20.18 0.17 log20.170.15 log20.15 0.1 log20.

8、1 0.01 log 2 0.01) 2.609 bit /symbolxiP(xi)Pa(xi)ki码字x103000 x23001x33011x43100 x53101x641110 x771111110K Kp(X) 30.2 3 0.19 3 0.18 30.17 3 0.15 4 0.1 7 0.013.14H(X)RH(X)2.6093.1483.1%5.2对信源XP(X)x10.2x20.19x3x4x50.18 0.17 0.15x6 x7编二进制费诺码，计算编码效率0.1 0.01解:xip(xi)编码码字kix100002x2100103x310113x410102x510

9、1103x61011104x7111114Kkip(x) 2 0.2 3 0.19 3 0.18 2 0.17 3 0.15 4 0.1 4 0.012.74H(X) H(X) 2.609 =- 95.2%R K 2.745.3对信源Xx1 x2x3x4x5x6x7编二进制和三进制哈夫曼码，计算P(X)0.20.190.180.170.150.10.01各自的平均码长和编码效率。解：二进制哈夫曼码：Xp(xi)编码码字kiS61S50S41S30S21x10102X21112X300003X410013X500103Si1X6001104X7101114K kip(x) 2 0.2 2 0.1

10、9 3 0.18 3 0.17 3 0.15 4 0.1 4 0.012.72H(X) H(X)R K2.6092.7295.9%三进制哈夫曼码:XiP(Xi)编码码字kiS31S20S11Xi221X20002X31012X42022X50102X61112X72122K kp(x) 1 0.2 2 (0.19 0.18 0.17 0.15 0.1 0.01)1.8H(X)RH(X)K log2 m2.6091.8 log2 391.4%5.4设信源XP(X)XiX2X3X4X5X6X7X811111111248163264128128求信源嫡H(X)；(2)编二进制香农码和二进制费诺码；(

11、3)计算二进制香农码和二进制费诺码的平均码长和编码效率;(4)编三进制费诺码；(5)计算三进制费诺码的平均码长和编码效率；解：(4)H(X)p(Xi)log2 p(Xi)12皿24 log 2 41 , 八8 log2 8116log 2 16132log 2 32164log 2 641128log 2 1281128log 2 1281.984 bit / symbol=127/64 bit/symbolki P(Xi)1632641287128二进制香农码:XiP(Xi)Pa(Xi)ki码字X1010X2210X33110X441110X5511110X66111110X77111111

12、0X871111111二进制费诺码:xiP(Xi)编码码字kiXi001X210102X3101103X41011104X510111105X6101111106X71011111107X8111111117香农编码效率:1.984 127/64H(X)H(X)1.9841.984100%费诺编码效率:ki P(Xi)165326641712871281.984H(X)RH(X)K1.9841.984100%xP(Xi)编码码字kiX1001X2111X320202X41212X5202203X612213X72022204X8122214Kp(X)1632641281281.328H(X)H

13、(X)1.984设无记忆二进制信源K log 2 m1.328log2 394.3%XP(X)00.9先把信源序列编成数字0, 1, 2,(1)验证码字的可分离性；10.1，8,再替换成二进制变长码字，如下表所示。(2)求对应于一个数字的信源序列的平均长度K1 ;(3)求对应于一个码字的信源序列的平均长度K2 ;(4)计算K2,并计算编码效率;2 4211 ;由码树图可见，没有一个码字是其它码字的前7缀，码字均在树的终结点。所以码字可分离。Ki序列数字二元码字10100001110010013101000013101100001411000000015110100000016111000000

14、001711110000000080(5)若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K ,并计算编码效率。9解：(1)满足Kcraft不等式：2 Ki 8i 1(2)序列长度、序列概率及二元码长如下表所示:序列序列长度Li序列概率p数字二元码长Li二元码字11041000012X1410010013X234101000014X 95.2%341011000015XK4411000000016X 5.6有二元平稳马氏链，已知 p(0/0) = 0.8 , p(1/1) = 0.7 ,求它的符号嫡。用三个符号合成一个来编写二进54110100000017X制哈夫曼码，求新符号的平均码

15、字长度和编码效率。641110000000018X774111100000000888109K1pi Li 5.693信源符号/数字符号i 1_9K2 PiLi2.7086bit /数字符号i 1Ko上 0.4756bit/信源符号,此值表示无记忆二元信源采用游程长度编码后每个二元信源需Ki要的平均码长。H(X) p(Xi)log2 p(Xi) 0.469bit/信源符号，-H (X)98.6%i 1K2/K1(5) 4位信源符号的联合概率、Hufman编码及码长如下表：(码字可以不同，但码长一样)S4P(Si)码字Wi码长LiS4P码字Wi码长Li0000011001111101070001

16、110310101111011700101003110011111107010010130111111111100910001110410111111111019001111111061101111111110901011111000711101111111110100110111100171111111111111110_16_K4P(Si)Lj1.9702bit/4Sym, K K4 / 4 0.4926bit / Symi 1解：平稳时马尔科夫状态的概率:p(So) 0.8P(So) (1 0.7)P(Si)p(So) 3/5斛得：P(So) P(Si) 1P(Si) 2/5一阶马氏信源

17、的嫡：i iHiiP(Si)P(Sj |Si)10g2P(Sj|Si)i 0 j 0 I437一 log 2 5 一log 2 3 一log 2 7 0.786bit/sym 252525p(SiS2s3) p(Si)p(S2|Si)p(S3|S2)p(S 0) 3/5, p(S 1) 2/5,组3 (乌)4 (卫且2)5恪-A)125125 250125 250250250 125327125H 1 1K/32.616bit /3sym90.14%96/25049/25024/25024/25021/25021/2509/2506/25000011194/250154/25000110001

18、111001010115/25036/2501 H 45/25060/250p(S 0|S 0) 0,8, p(S 1| S 0) 0.2,SiS2s3P(Si S2s3)LiWiSiS2s3P(SiS2s3)LiWi00048/1251101121/2504001111149/250300011021/2504010000112/12530110109/25050101010012/125400101013/125501011p(S0|S 1)0.3, p(S 1| S 1) 0.79Kp(si)Li 1i 15.7对题5.6的信源进行游程编码。若“ 0”游程长度的截止值为16, “1”游程

19、长度的截止值为8,求编码效率。解：一阶马氏信源的嫡同上题，H1 1 0.786bit / sym 二元平稳一阶记忆序列“ 0”游程的长度概率:10 1P(10)P050 P1/0Po/o二元平稳一阶记忆序列“10 1,2,3151015P(10) 110 1游程的长度概率:11 1P(1；)P7/1 Po/1Pi/iT游程长度的嫡：111,2,371111P(11)1H11117P11 10g2P111P1110g2P11P：1 10g211 111 1 p1/1P0/1 10g2 3/1p0/1 )P7/1 1og72 p1/111 1711 1 p1/1P0/1 10g2 P0/111 1

20、7(1111 11)P11/11P0/1 10g2p1/177p1/1 10g 2 p1/1(17P1/1)lOg2pO/1p1/1 p0/1(10g 2 P1/1)Pi/iP1/77p1/110g 2 p1/111 1(1P7/1)10g2P0/17 P；/11og2 p1/1P1/1(1p1/1)1P1/110g2P1/1Pi7/i 10g 27P1/1(1P7/1)10g2P0/1P1/1(1P1/1 )1Pi/i10g 2 P1/1(117、邑口 H (P0/11Pl/1) 2.696bit /信源符号Pi/i同理，“0”游程长度的嫡：!5.H1i (一包“ H(P0/0, P1/0)

21、 3.483bit/信源符号1P0/0分别对“ 0”和“ 1”游程序列进行 Huffman编码，并分别计算出它们的编码效率。0”游程序列的长度、对应得概率、Huffman编码的二元码长及码字序列序列长度Li序列概率Pi数字二元码长Li二元码字01P1/00211002P0/0 P 1/0130010003Po/o2 P 1/02301100004Po/o3 P 1/0331010000,05Po/o4 P 1/04400010000,006Po/o5 P 1/05401010000,0007Po/o6 P 1/06410010000,00008Po/o7 P 1/075000000000,00

22、00,09Po/o8 P 1/085010010000,0000,0010Po/o9 P 1/095100010000,0000,00011Po/o10 P 1/0A60000100000,0000,000012Po/o11 P 1/0B61000000000,0000,0000,013Po/o12 P 1/0C61000010000,0000,0000,0014Po/o13 P 1/0D700001100000,0000,0000,00015Po/o14 P 1/0E700001110000,0000,0000,000016Po/o15F501000162、，4 27 215L2 PiLi2

23、pi3piPo(1PoPo)4piPo(1PoPo) 5piPo(1PoPo)5poi 1 TOC o 1-5 h z 6 P1poo(1pop2)7P1po3 (1po)2p1(1 PoP2)(3p1po4p1 p4 5p1p7 6p1p；) 7 P1 po3(1 Po)5p；52P1P1Po(1Po P2)(34po3 5p66p9) 7 plpo3(1 Po)5p；53.511信源符号/数字符号oHlio/L2 3.483/3.511 99.19%序列序列长度Ki序列概率pi数字二元码长Ki二元码字11P0/10201112Po/1 P 1/112101113_2Po/1 P 1/133

24、001111143P0/1 P 115Po/1 P 1/144400011111,116Po/1 P 1/155411101111,1117Po/1 P 1/166411111111,11118P 1/177400001”游程序列的长度、对应得概率、Huffman编码的二元码长及码字:_427P1/1 (1 P1/1P1/1 )4 P1/18 2、/K2pi K ip0/1(1p1/1)(23 p1/1 )4 p0/1i 12.73二元码字/数字符号一 2.696Hl；/K2 98.75%2.7301o13.483 2.6963.511 2.7399%Hli Hl1H

25、1 Hl1可见满足Hli0/ o Hl1/ 1匚2 K21 ,这里的“ 0”游程编码效率高，因为游程长度长，而“1”游程编码效率受游程0”游程编码效率略低一些，因此整体的编码效率介于两者之间。5.8 选择帧长 N = 63对 00100000,00000000,00000000,00000000,0 1000000,00000000,00000000,0000000 编 L-D 码；对 10000100,00101100,00000001,00100001,01001000,00000111,00000100,0000001 编 L-D 码 再译码；对 00000000000000000000

26、00000000000000000000000000000000000000000000 编 L-D 码； 编 L-D 码；(5) 对上述结果进行讨论。解： ( 1)本帧内信息位数Q=2 ；各信息位位置值n1=3， n2=34 ；帧长N=63 。Cnjj 1C 13 1 C 324 12528530T=530本帧内信息位数Q=15 ；各信息位位置值n10=37， n11=46n12=47 ，n13=48n1=1 ，n14=54n2=6， n3=11 ， n4=13， n5=14， n6=24， n7=27， n8=32n15=63 ；帧长N=63 。n9=34，QCnjj 1C11 1C62C

27、131C1431C1541C2641C2771C382 1C394 1C31701C1416 1C1427 1C14381C1544 1C613510 10 120 495 1287 100947 6578007888725 38567100254186856 10150595910 389106176551406768484452403979904200 93052749919920 95646769289470Q 位和T 位需要的二进制自然码位数分别是：log 2(N 1)log 2 64j1Q 位和 T 位需要的二进制自然码位数分别是： TOC o 1-5 h z log2(N 1) log2 646CNQC6 对 10000100,00101100,00000001,00100001,01001000,00000111,00000100,00000010编 L-D3 1953, log2195311N 632所以， L-D 编码结果： 000010,01000010010解码：已知N=63,故前6位为Q的自然码表示，所以 Q=2;后11位为T的自然码表示，得寻找某一值K ，使CKQTCKQ 1,