信息论副本

1、一、 填空1. 11948年美国数学家香农发表了题为“通信的数学理论”的长篇论文，创立了信息论。2. 必然事件的自信息是 0 。 3. 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。 4. 对于离散无记忆信源，当信源熵有最大值时，满足条件为_信源符号等概分布 _。5. 若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。6. 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 香农编码。7. 已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_个码元错误，最多能纠正_1_个码元错误。8. 设有一离散无记忆平

2、稳信道，其信道容量为C，只要待传送的信息传输率R_ 小于_C则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。9. 概率大的事件自信息量大。 （ ´ ）10. 互信息量可正、可负亦可为零。 （ Ö ）11.对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （Ö ）12.可以用克劳夫特不等式作为唯一可译码存在的判据。 （Ö ）13.线性码一定包含全零码。 （Ö ）14.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。 （×） 15.限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X，当它是正态分

3、布时具 有最大熵。 （Ö ） 16.循环码的码集中的任何一个码字的循环移位仍是码字。 （Ö ）17.信道容量是信道中能够传输的最小信息量。 （×）18相互独立的事件所包含的信息量分别为,则联合消息所包含的信息量为（）。19、比较大小：H(X)(小于 )H(Y/X)(小于 )H(XY).20、扔一枚硬币所获得的平均信息量是（小于等于1bit）。21、香农公式为（）。22、有一离散无记忆信源的熵为H(X)，则其五维延长信源的熵=（）。23、线性分组码（n，k），若要求它能纠正2个随机错误，则其最小码距为（5）；若要求它能纠正2个随机错误且能检测到2个随机错误，则其最小

4、码距为（7）。24、若某无记忆信源X为，压缩信源后变为符号Y,且，其失真矩阵为，则相应的率失真函数自变量的最大值max=( 1 ), 最小值min=( )。二、 计算1. 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P(A)=0.25 p(B)=0.5 p(B|A)=0.75 ，故：p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=

5、0.375 I(A|B)=-log0.375=1.42bit 2.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；2） 假设黑白消息出现前后有关联，其依赖关系为 ，求其熵。3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。解：1）信源模型为 2）由题意可知该信源为一阶马尔科夫信源。得极限状态概率 3） 说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。3、信源空间为，试分

6、别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。解：4（10¢）.二元对称信道如图。1）若，求、和；2）求该信道的信道容量。解：1）2） 此时输入概率分布为等概率分布。5、设一线性分组码具有一致监督矩阵1）求此分组码n=?,k=?共有多少码字？2）求此分组码的生成矩阵G。3）写出此分组码的所有码字。4）若接收到码字（101001），求出伴随式并给出翻译结果。解：1）n=6,k=3,共有8个码字。2）设码字 由得 令监督位为，则有 生成矩阵为 3） 所有码字为000000，001101，010011，011110，100110，101011，110101，1

7、11000。4）由得，该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）6.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则。7. 信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长，编码效率。8.某系统（7，4）

8、码其三位校验位与信息位的关系为：（1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式；（4）若接收码字R=1110011，求发码。解：1. 2. dmin=3; 3. 4. RHT=001接收出错E=0000001 R+E=C= 1110010(发码) 9.一阶齐次马尔可夫信源消息集,状态集，且令，条件转移概率为，(1)画出该马氏链的状态转移图；计算信源的极限熵。解：(1)（2）H(X|S1) =H(1/4,1/4,1/2)=1.5比特/符号H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号H(X|S3)=H(2/3,1/3)= 0.

9、918比特/符号 比特/符号10.若有一信源，每秒钟发出2.55个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的，容量为1bit/二元符号），而信道每秒钟只传递2个二元符号。（1） 试问信源不通过编码（即x1®0,x2®1在信道中传输）（2） 能否直接与信道连接？（3） 若通过适当编码能否在此信道中进行无失真传输？（4） 试构造一种哈夫曼编码(两个符号一起编码)，（5） 使该信源可以在此信道中无失真传输。解：1.不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s>2二元符号/s 2. 从信息率进行比较，2.55*= 1.84

10、 < 1*2。3.可以进行无失真传输 1.56 二元符号/2个信源符号此时 1.56/2*2.55=1.989二元符号/s < 2二元符号/s11.设信源为，试求（1）信源的熵、信息含量效率以及冗余度；（2） 求二次扩展信源的概率空间和熵。解：（1）（2）二次扩展信源的概率空间为：12. 假定一个电视每秒钟显示30个画面，每个画面大约有个像素，每个像素需要16比特的彩色显示。假定SNR为25dB， 计算支持电视信号传输所需要的带宽（利用信息容量定理）解：根据题意该电视信号所需的信息容量根据信息容量定理：，其中为信噪比，据题意据上式解得带宽13. 明是一个线性码。它的最小距离是什么？

11、证明：由书中的定义3.8可知，线性码应该满足一下条件：（1） 两个属于该码的码字的和仍然是一个属于该码的码字，（2） 全零字总是一个码字，（3） 两个码字之间的最小距离等于任何非零码字的最小重量，即解：设，即，首先证明条件（1）：，很明显，条件（1）是满足的。条件（2）也是显然成立的。最后证明条件（3）：不难看出最小距离，并且最小重量，即综上可知就是一个线性码，它的最小距离是2。I.线性码的性质：两个属于该码的码字的和仍是属于该码的码字；全零码字总是一个码字；一个线性码的两个码字之间的最小距离等于任何非零码字的最小重量，即d*=w*满足三条性质所以，这个码是线性码。14 考虑GF（2）上的下列

12、生成矩阵a.用此矩阵生成所有可能的码字。b.求奇偶校验矩阵H。c.求与其等价的一个系统码的生成矩阵。d.构造该码的标准阵列。e.这个码的最小距离是多少。f.这个码能检测多少错误。g.写出这个码能检测的所有错误模式。h.这个码能纠多少个错误。i.如果我们用此编码方案，那么符号错误概率是多少？将它与末尾的错误概率进行比较。这是一个线性码？解：a.=,=,=,= =,=此矩阵生成的码为：00000，01010，10011，11001，10100，11110，00111，01101 。 b.二元情况下，, 奇偶校验矩阵可写为：。 d.该码的标准阵列 e.奇偶校验矩阵H的第1、3列的和为零向量，因此，这

13、个码的最小距离为：d*=2。f.一个码至少可以检测所有重量小于或等于（d*-1）的非零错误模式。g.这个码能检测的所有错误模式00001，00010，00100，01000，10000h.能纠正不多于t个错误应满足又d*=2 所以即这个码能纠0个错误。15. 构造C=00000，10101，01010，11111的生成矩阵。因为这个G不是唯一的，给出另一个能生成这个码字集合的生成矩阵。解：设生成矩阵是G=，由题知，m=2,n=5, c=iG，i=(0,0) (0,1),(1,0),(1,1)，生成矩阵G=。16.设多项式为GF(2)上分组长度为15的一个循环码的生成多项式。(1)求生成矩阵G.

14、。(2)求奇偶校验矩阵H。(3)这个码能检测多少个错误？(4)这个码能纠多少个错误？(5)将生成矩阵写成系统型。解：(1)由生成多项式可知，生成矩阵为：(2)由于已知分组长度为15，设奇偶校验多项式为h(x),则有即：其中，上式为取模运算。故，对应的奇偶校验矩阵为：(3)建立如下表格：ii(x)c(x)=i(x)g(x)c00o0000000000000000011g(x)10xx g(x)11x+1(x+1) g(x)由该表格可以看出，该码的最小距离为7。即：故可知，该码可以检测个错误。(4)由于，则有：即：故该码可以纠3个错误。(5)该生成矩阵的系统型为：17. 二元对称信道的信道矩阵为，

15、信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：（1）试计算能否在10秒内将信源消息序列无失真传送完？（2）若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？答：1）信道容量为信源序列信息量为而10秒内信道能传递的信息量为故不能无失真地传送完。2）此时信源序列信息量为信息传输率为则18.某码长n=15循环码的生成多项式试（1）画出其编码器原理图（2）分析当信息位为01010101011时，编码器的工作原理；并指出相应的输出码字。编码器如下所示19.、某二进制卷积码的编码电路如下所示:试：（1）该卷积码的n=?k=?N=?（2）设输

16、入信息序列20试写出（1）离散信源最大熵定理（2）比较每组事件中谁的信息量大。1）A：电视广告：“送礼只送脑白金”。B：用户的话：“送礼只送脑白金”。2）A：八月份的天气预报：“明天有雨”。B：十二月份的天气预报：“明天有雨”。21试计算下列信道的信道容量，并指出此时信源的概率分布。22、（15分）设信源有8个独立的消息，它们出现的概率如下：A：0.1 B：0.18 C：0.4 D：0.05E：0.06 F：0.1 G：0.07 H：0.04试按哈夫曼编码法进行编码，并计算出平均码长和编码效率。 解：=2.552bit/符号,平均码长=2.61码元/符号，信源编码的编码效率=97.79%霍夫曼编码 符号 代码组 biC 0.4 0 0 1B 0.18 0 110 3A 0.1 0 (1,0) 100 3 0 (0.23) 1F 0.1 0 1 1 (0.6) 1111 4G 0.07 1 1011 4 1E 0.06 0 (0.13) 1 1010 4