《信息论编码》模拟试题二及参考答案 doc

本文格式为Word版，下载可任意编辑——《信息论编码》模拟试题二及参考答案doc模拟试题一

一、概念简答题（共10题，每题5分）1.简述离散信源和连续信源的最大熵定理。答：离散无记忆信源，等概率分布时熵最大。

连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。

2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。

3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最正确码的每符号平均码长最小为多少？编码效率最高可达多少？

.答：等长信源编码定理：对于任意使译码过错

。

，只要，则当L足够长时必可

变长信源编码定理：只要，一定存在一种无失真编码。

等长码和变长码的最小平均码长均为，编码效率最高可达100%。

4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。5.设某二元码字C={111000，001011，010110，101110}，①假设码字等概率分布，计算此码的编码效率？

②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？

.答：1）2）令接收序列为

，则有

，

，

，

，故接收序列应译为010110。

1

6.一平稳二元信源，它在任意时间，不管以前发出过什么符号，都按发出符

号，求和平均符号熵

答：

7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。

8.二元无记忆信源，有求：

（1）某一信源序列由100个二元符号组成，其中有m个“1〞，求其自信息量？（2）求100个符号构成的信源序列的熵。

答：1）

2）

9.求以下三个信道的信道容量：

，，

2

答：P1为一一对应确定信道，因此有。

P2为具有归并性能的信道，因此有。P3为具有发散性能的信道，因此有

。

10.已知一（3，1，3）卷积码编码器，输入输出关系为：

试给出其编码原理框图。答：

二、综合题（共5题，每题10分）

1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。

（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。

答：1）由得极限概率：

则符号熵为

2）新信源共8个序列，各序列的概率为

信源模型为

3

一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011，10000，100010，100011

3）

2.设有一离散信道，其信道矩阵为，求：

（1）最正确概率分布？（2）当

，

时，求平均互信息

信道疑义度

（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此

.答：1）是准对称信道，因此其最正确输入概率分布为。

2）当，

时，有

则

3）此时可用最大似然译码准则，译码规则为

且有

3.设线性分组码的生成矩阵为，求：

（1）此（n，k）码的n=？k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵H。

（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110，用伴随式法求译码结果。

4

答：1）n=6，k=3，由C=mG可得所有码字为：

000000，001011，010110，011101，100101，101110，110011，111000

2）此码是系统码，由G知，，则

，能纠一位错。

3）由H可知，其任意2列线性无关，而有3列线性相关，故有错误图样E伴随式100000101010000110001000011000100100000010010000001001

4）由知E＝010000，则

4.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，

信源消息序列共有13000个二元符号，问：

（1）试计算能否在10秒内将信源消息序列无失真传送完？（2）若信源概率分布为间？

，求无失真传送以上信源消息序列至少需要多长时

.答：1）信道容量为信源序列信息量为

而10秒内信道能传递的信息量为故不能无失真地传送完。2）此时信源序列信息量为

信息传输率为

则

5

5.已知（7，4）循环码的生成多项式，求：