《信息论与编码理论》(王育民 李晖 梁传甲)课后习题答案 高等教育出版社

1、精选文档 信息论与编码理论习题解其次章-信息量和熵2.1解: 平均每个符号长为:秒 每个符号的熵为比特/符号所以信息速率为比特/秒2.2 解: 同步信号均相同不含信息,其余认为等概,每个码字的信息量为 3*2=6 比特；所以信息速率为比特/秒2.3 解:(a)一对骰子总点数为7的概率是 所以得到的信息量为 比特 (b) 一对骰子总点数为12的概率是 所以得到的信息量为 比特2.4 解: (a)任一特定排列的概率为,所以给出的信息量为 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 所以得到的信息量为 比特.2.5 解:易证每次消灭i点的概率为,所以2.6 解: 可能有的排列总数为

2、没有两棵梧桐树相邻的排列数可如下图求得，Y X Y X Y X Y X Y X Y X Y X Y图中X表示白杨或白桦，它有种排法，Y表示梧桐树可以栽种的位置，它有种排法，所以共有*=1960种排法保证没有两棵梧桐树相邻，因此若告知你没有两棵梧桐树相邻时，得到关于树排列的信息为=3.822 比特2.7 解: X=0表示未录用，X=1表示录用； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得2.8 解:令，则2.9 & 2.12 解:令X=X1,Y=X1+X2,Z=X1+X2+X3, H(X1)=H(X2)=H(X3)= 比特 H(X)= H(X1) = =2

3、.585比特 H(Y)= H(X2+X3)= = 3.2744比特H(Z)= H(X1+X2+X3)= = 3.5993比特所以 H(Z/Y)= H(X3)= 2.585 比特H(Z/X) = H(X2+X3)= 3.2744比特H(X/Y)=H(X)-H(Y)+H(Y/X) = 2.585-3.2744+2.585 =1.8955比特H(Z/XY)=H(Z/Y)= 2.585比特H(XZ/Y)=H(X/Y)+H(Z/XY) =1.8955+2.585 =4.4805比特I(Y;Z)=H(Z)-H(Z/Y) =H(Z)- H(X3)= 3.5993-2.585=1.0143比特I(X;Z)=H

4、(Z)-H(Z/X)=3.5993- 3.2744=0.3249比特I(XY;Z)=H(Z)-H(Z/XY) =H(Z)-H(Z/Y) =1.0143比特I(Y;Z/X)=H(Z/X)-H(Z/XY) = H(X2+X3)-H(X3) =3.2744-2.585 =0.6894比特I(X;Z/Y)=H(Z/Y)-H(Z/XY) =H(Z/Y)-H(Z/Y) =02.10 解:设系统输出10个数字X等概,接收数字为Y,明显H(Y)=log10所以I(X;Y)= 比特2.11 解:（a）接收前一个数字为0的概率 （b）同理 （c）同理 （d）同理 2.12 解:见2.92.13 解: (b)(c)

5、（由其次基本不等式）或（由第一基本不等式）所以(a) 等号成立的条件为,对全部,即在给定X条件下Y与Z相互独立。2.14 解: (a) (b) 注：2.15 解: (a) (b) (c)2.16 解:(a) 又由互信息的非负性，即有，所以(b) (c) 当且仅当X和Y独立时，I（X；Y）=0，所以当且仅当X和Y独立时，。2.23 解:(a) (b) 令(c)令2.28 解:(a) 由已知，（b）(c)由可求得V的分布为再由及可求得V的条件分布为第三章 离散信源无失真编码3.1解:长为n码字的数目为Dn ,因此长为N的D元不等长码至多有： 3.2 解: 3.3 解:3.4 解:3.5解:（a）二

6、元Huffman编码（b）三元Huffman编码留意：K=10为偶数，需要添一个概率为零的虚假符号3.6解:二元Huffman编码（a）二元Huffman编码（b）（c）3.10 傅P186【5.11】3.11 解:3.12 解:对3.13 解: (a)依据唯一可译码的推断方法可知,输出二元码字为异字头码,所以它是唯一可译码。 比特(b)由于信源是二元无记忆信源，所以有 其中可计算每个中间数字相应的信源数字的平均长度 信源符号/中间数字(c) 依据表有可计算每个中间数字所对应的平均长度二元码/中间数字由 二元码/信源符号编码效率为0.4756/0.469=98.6%精选题1.傅P191【5.1

7、5】2.傅P192【5.16】信道及其容量作业：4.1 4.3 4.5 4.8 4.9 4.10 4.12 4.144.1解：(a) 对称信道(b) 对称信道(c) 和信道(课堂教学例题)!4.3解： (a): 可先假设一种分布,利用信道其容量的充要条件来计算(课堂教学例题) (b): 准对称信道！4.5解：课堂教学例题4.8解：该题概率有误，应把1/32改为1/64。每个符号的熵为采样频率Fs为Fs=2W=8000 Hz所以信息速率R为4.9解：每象点8电平量化认为各级消灭的概率相等，即H(U)=3 bits所以信息速率R为4.10解：4.12解：高斯信道的信道容量为4.14解：第五章 离散

8、信道编码定理习题5.1解：DMC信道有由于所以最大后验概率译码为： 。译码错误概率为：若按最大似然译码准则译码为：译码错误概率为：可见,最大似然译码的译码错误概率大于最大后验概率译码的译码错误概率。第七章 信道编码1. 设(7,3)码的生成矩阵为(1) 写出该码的全都校验矩阵H；(2) 写出该码的全部许用码字；(3) .写出该码的“译码表”-标准译码表或简化(伴随式)译码表；(4) 写出接收矢量R=1000001的错误图样,并译相应的许用码字；(5) 写出该码在BSC(错误转移概率为p)中传输的(平均)正确译码概率pc的表达式；(6) 写出该码在BSC(错误转移概率为p)中传输的漏检概率Pud

9、(也称不行检测错误概率)的表达式.解: (1) G不为系统码形式,我们通过初等行变换变为系统码形式 因此(2) 由C=MG得该码的许用码字为0000000,0111001,1101010,1010011,1011100,1100101,0110110,0001111该码的最小汉明距离为4。(3) 该码的标准阵由16个陪集构成, 在BSC(错误转移概率为p1/2)应将重量最小的错误图样选作陪集首, 故该码的标准译码表为许用码字0000000(陪集首)0111001110101010100111011100110010101101100001111禁用码字000000101110001101011

10、101001010111011100100011011100011100000010011101111010001010001101111011001110110100000110100001000111101110111010101111011000110000101100100001011000100001100011100010101101110101001101101011111000001110010000010100111110101000011100110011101010100110001111101000000011001100101011100111111100100010

11、100101100101111100000011110010101010001001100111000100101111011010011110000011011101011010011010000101111111001100110101000110000001010111100110111110101101011001110000001100110001010000100101100001100011101101010101011101100011111100001100010001010100011110111000010100110111101000100111001111001000

12、010011000100101111100101111101100010000101110101110100000111110000101011001001000111010100100111011110011101001000111000101000100011011001010001011011111110100011111100001001001001101001000110101100001010110001101111111译码规章为若接收矢量在第i列消灭,则译码输出为对应列中的码字,也就是陪集首为可订正错误图样.伴随式译码表为伴随式陪集首00000000000011100000011101000001010110000100000100010000010001000001000100000100010000001010000001111000000101011000010010101001000100110100001111110000011001100100011101110000(4