信息论复习题2

1、复习题纲第一章 概述题纲：I. 什么是信息？ II. 什么是信息论？ III. 什么是编码？ 需掌握的问题：1. 信息的定义是什么？（有本体论定义、认识论定义、Shannon信息论定义） 2. 认识论信息定义和本体论信息定义的区别？认识论信息定义包括那三个要素？ 3. 信息的性质是什么？并给与说明。（参考能量的性质来理解记忆） 4. 信息论中信息的分类是把信息分成哪三类？这三种信息与认识论信息定义中的三个要素的一一对应关系是什么？ 5. 人类利用信息历史上的五个变革？ 6. 信息论产生的标志？（年代、作者、论文名称） 7. 现代科学的三大论，分别是什么？作者分别是谁？ 8. 信息论研究范围的是

2、什么？ 9. 狭义信息论的研究内容？ 10. 画出通信系统模型图，并说明每一部分的作用。 11. 通信系统性能的三个衡量指标？Shannon信息论中是如何提高这三个性能指标的？ 12. 什么是码？什么是编码？举例说明。 第二章 信源熵题纲：I. 信源的数学模型及分类 II. 自信息量 III. 互信息量 IV. 熵 1. 定义 2. 含义 3. 联合熵、条件熵 4. 性质（9个） V. 平均互信息 1. 定义 2. 含义 3. 联合平均互信息、条件平均互信息 4. 性质（6个） VI. 多符号离散信源的数学模型及分类 1. 随机过程介绍 2. 数学模型 3. 分类 VII. 无记忆多符号离散平

3、稳信源 VIII. 有记忆多符号离散平稳信源 1. 熵 2. 平均符号熵 3. 极限熵 4. 性质（4个） IX. 马尔可夫信源 1. 马尔可夫过程 2. 马尔可夫信源 3. m阶马尔可夫信源 4. 含义 X. 信源冗余度和自然语言的熵 1. 结论：记忆长度越长，信源信息量越小 2. 信源冗余度 3. 通信的原理 XI. 连续信源的熵 1. 数学模型及分类 2. 相对熵的定义 3. 含义 4. 联合相对熵、条件相对熵 5. 几种特殊连续信源的熵 6. 性质（4个） 需掌握的问题：1. 信源的数学模型是什么？ 2. 信源如何分类，不同信源类别的区别是什么？ 3. 不同类别信源的数学描述是什么？

4、4. 自信息量的大小如何计算？（公式） 5. 自信息量公式中对数的底数不同单位分别是什么？（单位的中英文名称） 6. 自信息量的含义是什么？（它对什么量的度量） 7. 联合自信息量、条件自信息量、自信息量之间的关系是什么？ 8. 自信息的性质是什么？（能够证明）说明各个性质的含义。 9. 互信息量的大小如何计算？（公式） 10. 互信息量的含义是什么？互信息量在通信系统模型中描述哪部分的信息量？ 11. 联合互信息量、条件互信息量、互信息量之间的关系是什么？ 12. 互信息的性质是什么？（能够证明）说明各个性质的含义。 13. 熵的表达式是什么？怎么推导的？ 14. 熵的单位是什么？ 15.

5、熵的含义是什么？ 16. 单符号离散信源最大熵是多少？信源概率如何分布时能达到？ 17. 熵的性质是什么？（能够证明，并说明每个性质的含义） 18. 联合熵、条件熵和熵的关系。 19. 平均互信息的定义是什么？平均互信息的表达式怎么推导？ 20. 平均互信息的含义？ 21. 信道疑义度、损失熵和噪声熵的含义？ 22. 平均互信息的性质？（能够证明，并说明每个性质的含义） 23. 联合平均互信息、条件平均互信息和平均互信息的关系？ 24. 数据处理定理描述的问题？如何解决这个问题？ 25. 数据处理定理中不等式的证明？ 26. 自信息量、熵、互信息、平均互信息之间的关系？ 27. 什么是随机过程

6、，随机过程的特点，随机过程和随机变量的区别。 28. 什么是严平稳随机过程，什么是宽平稳随机过程？ 29. 随机过程如何分类？描述各个类别的名称及特点。 30. 什么是随机序列？它和随机过程的关系是什么？ 31. 多符号离散信源的数学模型如何描述？ 32. 多符号离散信源如何分类？ 33. 无记忆多符号离散平稳信源的熵如何计算？ 34. 用联合概率表征记忆特征的有记忆多符号离散平稳信源的熵如何计算？ 35. 平均符号熵的定义和公式。 36. 极限熵的定义和公式。 37. 有记忆多符号离散平稳信源的平均符号熵、极限熵、条件熵的关系和性质（4个）能够证明，并说明它们的含义。 38. 什么是马尔可夫

7、过程？ 39. 什么是马尔可夫链？它和马尔可夫过程的关系是什么？ 40. 什么是一步状态转移概率？如何计算n步转移概率？ 41. 什么是马尔可夫信源？ 42. 如何计算m阶马尔可夫信源的极限熵？ 43. 马尔可夫信源描述的记忆特征与联合概率描述的记忆特征有什么区别？ 44. 信源冗余度如何计算？ 45. 提高通信效率的手段？ 46. 信源信息量的大小随信源记忆长度变化的规律是什么？ 47. 连续信源分几类？ 48. 描述连续信源的数学工具是什么？ 49. 相对熵的表达式是什么？如何推导的？ 50. 相对熵和绝对熵的区别是什么？ 51. 能够计算均匀分布、正态分布、指数分布连续信源的熵。 52.

8、 能够证明相对熵的可加性。 53. 能够证明相对熵的极值性。 54. 能够证明连续信源平均互信息量的非负性。 55. 能够证明连续信源相对熵的极值性。 第三章 信道容量题纲：I. 信道的数学模型及分类 1. 信道的定义 2. 分类 3. 数学模型 II. 单符号离散信道的信道容量 1. 信道容量的定义 2. 几种特殊离散信道的信道容量 a. 无干扰信道 a1. 无噪无损信道a2. 有噪无损信道a3. 无噪有损信道b. 有干扰信道 b1. 强对称信道b2. 对称信道b3. 准对称信道3. 一般信道的信道容量 III. 多符号离散信道的信道容量 1. 数学模型 2. 信道容量 IV. 独立并联信道

9、的信道容量 1. 数学模型 2. 信道容量 II. 串联信道的互信息和数据处理定理 1. 数学模型 2. 信道容量 VI. 连续信道和波形信道的信道容量 1. 分类 2. 信道容量 a. 单符号高斯加性信道 b. 多维无记忆高斯加性信道 c. 高斯白噪声加性信道 II. 多用户信道容量 需掌握的问题：1. 信道的定义是什么？ 2. 信道如何分类，各种类别的名称以及它们之间的区别？ 3. 信道的数学模型是什么？ 4. 二元对称信道和二元删除信道的信道转移矩阵是什么？ 5. 信道容量的定义是什么？信道容量的含义如何理解？ 6. 能够计算无噪无损信道、有噪无损信道、无噪有损信道的信道容量。 7. 对

10、称信道的定义是什么？ 8. 强对称信道、对称信道、准对称信道的信道转移矩阵有什么特点？ 9. 能够计算强对称信道、对称信道、准对称信道的信道容量。 10. 一般信道容量求解的本质是什么? 11. 定理描述的内容，会利用定理求解一般信道容量。 12. 能利用待定系数求解信道容量。 13. 一般信道容量算法的限制是什么？ 14. 描述离散无记忆扩展信道的数学模型。 15. 分三种情况计算多符号离散信道的信道容量：a.信源无记忆 b.信道无记忆 c.信源、信道都无记忆 16. 描述独立并联信道的数学模型，说明它和离散无记忆扩展信道的关系。 17. 计算独立并联信道的信道容量。 18. 描述串联信道的

11、数学模型。 19. 串联信道两个定理和一个推论的证明，并能够说明他们的物理含义。 20. 连续信道与波形信道的区别是什么？ 21. 波形信道的分类是按照什么进行分类的？ 22. 按照噪声统计特性分类波形信道分哪几类？ 23. 按照噪声对信道的作用分类波形信道分哪几类？ 24. 连续信道分几类？ 25. 单符号高斯加性信道的信道模型是什么? 26. 单符号高斯加性信道的信道容量是什么？说明其中的物理含义。 27. 多符号无记忆高斯加性信道的信道模型是什么? 28. 多符号无记忆高斯加性信道的信道容量是什么?说明其中的物理含义。 29. 高斯白噪声加性信道的信道模型是什么? 30. 高斯白噪声加性

12、信道的信道容量是什么?说明其中的物理含义。 31. 多址接入信道MAC、广播信道BC、相关信源多用户信道的信道容量区间分别是什么？并能够证明。 第四章 信息率失真函数题纲：I. 失真度 II. 平均失真度 III. 信息率失真函数 IV. 信息率失真函数的性质 1. 定义域Dmin, Dmax 2. R(D)是D的下凹函数 3. R(D)是D的单调连续递减函数 V. 离散信源的信息率失真函数 1. 参量表达式 2. 二元及等概离散信源 VI. 保真度准则下的信源编码定理 需掌握的问题：1. 香农在什么论文中提出信息率失真函数的概念？ 2. 失真度如何表示？ 3. 平均失真度如何计算？ 4. 汉

13、明失真度和平方误差失真度的形式分别是什么？ 5. 信息率失真函数的定义是什么？ 6. 什么是保真度准则？ 7. 什么是实验信道？ 8. 信息率失真函数和信道容量的区别和联系是什么？ 9. 定义域Dmin, Dmax如何计算？ 10. 能够绘制率失真函数曲线。 11. 求解信息率失真函数的本质是什么？能够描述求解过程。 12. 失真度和信息率失真函数的参量表达式是什么？参量S的含义是什么？ 13. 二元离散信源信息率失真函数的表达式是什么？说明各部分的含义。 14. 多元等概离散信源信息率失真函数的表达式是什么？ 15. 描述保真度准则下的信源编码定理。 第五章 信源编码题纲：I. 基本概念 1

14、. 编码器 2. 二元码 3. 等长码 4. 变长码 5. 奇异码 6. 非奇异码 7. 同价码 8. 码的N次扩展码 9. 唯一可译码 II. 无失真信源编码定理 III. 编码方法 1. Shannon码 2. Fano码 3. Huffman码 4. Shannon-Fano-Alias码 5. 算术码 6. LZW码 需掌握的问题：1. 通信系统的三个性能指标是什么？为了提高这三个性能指标的三种编码分别是什么？ 2. 香农信息论中的三个编码定理分别是什么？三个编码定理分别适用于何种场合？ 3. 描述编码器的概念。 4. 解释二元码、等长码、变长码、奇异码、非奇异码、同价码、码的N次扩展

15、码、唯一可译码。 5. 变长码和定长码的区别是什么？用码树描述二者的差异，能够说明变长码和定长码各自的优劣。 6. 什么是渐进等分割性AEP？ 7. 典型序列集（或非典型序列集的）的三个性质，并证明。 8. 利用典型序列集的性质证明等长信源编码定理。 9. 什么是即时码? 10. Kraft不等式是什么？能够证明。 11. McMillan不等式是什么？能够证明。 12. 如何判断唯一可译码？ 13. 利用Kraft不等式证明变长信源编码定理。 14. 描述无失真信源编码定理。 15. 如何从无失真信源编码定理推出无噪信道编码定理？ 16. 掌握Shannon码、Fano码、Huffman码、

16、Shannon-Fano-Alias码、算术码、LZW码的编码方法，并会计算编码效率。 17. Shannon码、Fano码、Huffman码的编码效率达到100%的条件是什么？ 第六章 信道编码题纲：I. 基本概念 1. 编码器 2. 二元码 3. 等长码 4. 变长码 5. 奇异码 6. 非奇异码 7. 同价码 8. 码的N次扩展码 9. 唯一可译码 II. 有噪信道编码定理 III. 线性分组码 IV. 循环码 需掌握的问题：1. 什么是错误概率？什么是平均错误概率？错误概率受哪三个方面影响？ 2. 什么是译码规则？什么是最大后验译码规则？什么是最大似然译码规则？最大似然译码规则在什么情况下等价于最大后验译码规则？ 3. 费诺不等式是什么？分别描述不等式的各个组成部分，以及含义。 4. 描述有噪信道编码定理。 5. 什么是二元分组码？什么是线性分组码和非线性分组码？什么是分组码和卷积码？什么是系统码和非系统码？ 6. 什么是汉明距离、最小汉明距离、汉明重量、最小汉明重