信息论考试简答题

1、简答题:1根据信息论的各种编码定理和通信系统指标，编码问题可分解为几类，分别是什么？答：3类，分别是：信源编码，信道编码，和加密编码。2对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。3什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为：表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息：表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统

2、不确定性减少的量。4简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。5.熵的性质什么？答：非负性，对称性，确定性，香农辅助定理，最大熵定理。6解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的。型凸函数，是信道传递概率的U型凸函数。7信道疑义度的概念和物理含义？

3、答：概念：H(XIY)，-p(ab)logp(alb)ijijij物理含义：输出端收到全部输出符号Y以后，对输入X尚存在的平均不确定程度。8写出香农公式，并说明其物理意义。当信道带宽为5000Hz,信噪比为30dB时求信道容量。答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。101g=30dB由得，贝y9.解释无失真变长信源编码定理？答：只要，当n足够长时，一定存在一种无失真编码。io解释有噪信道编码定理？答：当RVC时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。11最佳变长编码有哪些？答：香农编码方法，费诺编码方法和哈夫曼编

4、码方法。解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？答：等长信源编码定理：对于任意，只要，则当L足够长时必可使译码差错变长信源编码定理：只要，一定存在一种无失真编码。等长码和变长码的最小平均码长均为，编码效率最高可达100%。解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率

5、分布时，最大似然译码准则等效于最小错误概率译码准则。在元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。肚_01什么是保真度准则？对二元信源卜仙）宙1.列，其失真矩阵求a0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个0,所以有，而。15差错控制系统分类有哪些？答：前向纠错，反馈重发，混合纠错。16.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。17.香农第二定理的内容和含义？答：内容：设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率RVC,则存在一种编码，当输入序列长度n足够大，使