信息论与编码复习题目

1、信息论复习提纲第一章 绪论 1 通信系统模型；2 香浓信息的概念；3 信源、信道、信源编码和信道编码研究的核心问题。第二章 离散信源及信源熵1 离散信息量、联合信息量、条件信息量、互信息量定义；2 信源熵、条件熵、联合熵定义；3 平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）；4 最大信源熵定理及证明；5 本章所有讲过的例题；第三章 离散信源的信源编码1 信息传输速率、编码效率定义；2 最佳编码定理（即3.2节定理：概率越大，码长越小；概率越小，码长越大）及证明；3 码组为即时码的充要条件；4 单义可译定理（Kraft不等式）及应用；5 费诺编码方法、霍夫曼编码方法应用

2、（二进制，三进制，四进制）；6 本章所有讲过的例题；第四章 离散信道容量1 利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离散信道、准对称离散信道）；2 本章讲过的例题；第五章 连续消息和连续信道1 相对熵的定义；2 均匀分布、高斯分布、指数分布的相对熵及证明；3 峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明；4 香农公式及意义；5 本章所有讲过的例题；第六章 差错控制1 重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2 最小距离与检错、纠错的关系（即6.3节定理）；3 本章所有讲过的例题；第七章 线性分组

3、码1 线性分组码定义；2 线性分组码的最小距离与最小重量的关系及证明；3 生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系；4 制作标准阵列并利用标准阵列译码；5 本章所有讲过的例题；第八章 循环码1 生成多项式的特点，有关定理（8.2三定理1，定理2，定理3）及证明；2 生成矩阵、一致校验矩阵定义，如何获得生成矩阵、一致校验矩阵的典型形式；3本章所有讲过的例题；习题：1. 已知随机变量X和Y的联合分布如下：YX0101/83/813/81/8计算：H(X)、H(Y)、H(XY)、H(X/Y)、H(Y/X)、I(X;Y)。2. 具有归

4、并性能的无噪信道的信道矩阵P=，求其信道容量及达到信道容量时信源的概率分布。3. 信道矩阵P=，计算P代表的信道的信道容量。4. 设二元对称信道的传递矩阵为(1) 若；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布。5. 设有信源（1） 对该信源编二进制费诺；（2） 计算其平均码长。6. 设有信源（1） 对该信源编二进制霍夫曼码，计算其平均码长；（2） 对该信源编三进制霍夫曼码，计算其平均码长；（3） 对该信源编四进制霍夫曼码，计算其平均码长；7. 设有一个无记忆信源发出符号A和B，已知p(A) = 1/4, p(B) = 3/4。（1）计算该信源熵；（2）该信源改为发出二重符号序

5、列消息的信源，采用费诺编码，求其平均信息传输速率；（3）该信源改为发三重序列消息的信源，采用霍夫曼编码，求其平均信息传输速率。8. 设一个7, 4码的生成矩阵为（1） 求出该码的全部码字；（2） 求出该码的一致校验矩阵；(3) 作出该码的标准译码码表。9. 设二元线性码L的生成矩阵为，建立码L的标准阵并且对字11111和10000分别进行译码。10. 令是 (15, 5)循环码的生成多项式，写出该码的系统码形式的G和H矩阵标准形式；11. 给定X的概率密度函数为拉普拉斯分布，求相对熵Hc(X)。2014年信息论与编码研究生考试试题注：满分100分，所有答案写在答题纸上，该试卷写上名字后交回 姓名： 一 叙述题（5分×420分）1写出香农公式，并解释其意义2叙述平均码长界定定理3叙述香农第一定理4分别叙述峰值功率受限和平均功率受限条件下的最大熵定理二 计算题（共70分）（10分）设信源，求这个信源的熵，并解释为什么H(X) > log6，不满足最大熵定理2. （10分）利用最大后验概率译码准则，给出译码方案，并计算错误传输概率.信源的概率空间为，信道矩阵为 3（15分）信源概率空间为，分别进行二进制费诺编码，二进制霍夫曼编码和三进制霍夫曼编码4（20分） 线性分组码的生成矩阵 （1）写出一致校验矩阵（2）给出所有码字（3）给出标准阵