《信息论基础》教学大纲

1、信息论基础 Information Theory一、课程基本情况课程类别：专业主干课课程学分： 3 学分课程总学时：48学时，其中讲课：48学时，实验：0学时，上机：0学时，实习0学时，课外0 学时课程性质：必修开课学期：第5学期先修课程：概率论（最好学过平稳过程和马尔科夫链） 适用专业：信息与计算科学专业 教 材：信息论与编码第二版，傅祖芸，赵建中编著，电子工业出版社。注：教学以讲义为主，教材仅供参考。国内几乎所有信息论教材都存在多处解释不明确或者错误，使用和参考这些教材时要注意辨别。开课单位：数学与统计学院 信息与计算科学系二、课程性质、教学目标和任务香农信息论研究信息的统计特性以及通信编

2、码理论，是数据压缩、纠错编码和密码学的理论基础。本课的教学目标和任务是学习香农信息论的基础与核心知识，主要内容包括，（1）信息熵，（2）离散信源及其熵率，（3）离散信道及其信息容量，（4）信源编码理论，（5）信道编码理论。三、教学内容和要求1. 课程介绍（1学时）（1）了解本课程的性质、主要内容和考核方法；国内外信息论发展现状。（2）理解信息的形式、性质与含义；消息与信息的关系。（3）掌握通信系统的三个核心技术问题。重点：通信系统的三个核心技术问题。难点：信息的含义。2. 预备知识（3学时）（1）了解关于字符串的基本知识，随机变量的概念及其统计特性刻画，对数定义延拓，了解对数和不等式、信息不等

3、式和延森不等式在信息论中的重要性。（2）理解基本对数不等式的证明，对数和不等式，信息不等式的证明和意义，对数和不等式与信息不等式的等价关系，凸函数与延森不等式的证明。（3）掌握上述四个不等式及其证明。重点：信息不等式及其证明，延森不等式及其证明。难点：凸函数概念及其延森不等式的证明。2随机事件的自信息（2学时）（1）了解，在香农信息论中，消息是信源产生的随机事件；消息的信息量称为自信息；事件发生概率越小，事件所含的信息量越大。 （2）理解自信息作为概率函数的三个公理，以及由此公理如何推出自信息的表达式。 （3）掌握自信息的计算公式和单位；掌握条件自信息、联合自信息和互信息的计算公式，以及相互关

4、系。重点：自信息、条件自信息、联合自信息和互信息的含义、计算公式和相互关系。难点：自信息表达式的推导过程。3. 随机变量的信息熵（4学时）（1）了解随机变量的常用定义，补充定义：只要离散型变量的取值服从一定的分布律，则可称该变量为随机变量。了解信息上的非负性、确定性、对称性、连续性。了解离散型随机变量的信息熵的三种物理意义（例题说明）。（2）理解信息熵的3种性质，即严格上凸性、可加性和递增性。理解离散型随机变量的最大熵原理及其意义。 （3）掌握离散型随机变量信息熵的3个性质，严格上凸性、可加性和递增性。掌握离散型随机变量的最大熵原理及其意义。重点：信息熵的严格上凸性、可加性、递增性和离散最大熵

5、原理及其证明。难点：严格上凸性的证明。在课时不足情况下，一些证明可以留给学生自己课后看。研究课题一：（1）搜集整理离散最大熵原理的应用。（2）研究有条件限制的离散最大熵原理。4. 随机变量的条件熵、联合熵、平均互相信息（4课时）（1）了解研究多个随机变量之间信息关系的动机。 （2）理解两个随机变量之间的统计关系和信息量关系。 （3）掌握联合熵的链法则，两个随机变量之间条件熵、联合熵和平均互信息等的计算公式和相互之间的关系图。重点：联合熵的链法则，两个随机变量之间条件熵、联合熵和平均互信息等的计算公式和相互之间的关系图。难点：在解应用题中设定合适的随机变量；根据关系图，选用合适的计算公式。应选择

6、合适的例题进行讲解，并布置足够的习题作为课后作业。注：平均互信息的上凸性与下凸性放到后面信道容量处再介绍。习题课一：讲解作业题、做补充练习并答疑。课堂测试一：（1）计算随机事件的自信息。（2）计算随机变量的熵、条件熵和平均互信息。5连续型随机变量的信息熵（2学时）（1）了解连续型随机变量的定义。 （2）理解连续型随机变量的微分熵的物理意义、与离散熵的关系、振幅受限时的最大熵和平均功率受限时的最大熵。 （3）掌握连续型随机变量的微分熵的计算公式。重点：微分熵的计算公式与物理意义。难点：微分熵的物理意义；两种条件下的最大熵。 注：这一讲属于选修内容，课时不足时讲义发给学生自学。6.离散信源及其熵率

7、（8学时）（1）了解在通信系统中，信源与消息的关系，消息中前后符号的统计关系，这种统计关系对于信源的信息传输率的影响；了解英语熵率的估计方法。（2）理解离散平稳信源的数学模型、性质及其熵率的定义和物理意义；理解依概率收敛；理解离散无记忆信源的渐近等分割性。（3）掌握一阶和二阶马尔科夫信源的数学模型、性质及其熵率的计算方法；掌握离散无记忆信源的渐近等分割性。重点：一阶和二阶马尔科夫信源的数学模型、性质及其熵率的计算方法，离散无记忆信源的渐近等分割性。难点：二阶马尔科夫信源的数学模型及其熵率的计算方法，离散无记忆信源的渐近等分割性。习题课二：讲解作业题、做补充练习并答疑。课堂测试二：（1）DMS的

8、渐近等分割性，（2）计算二阶马尔科夫信源的熵率。7. 无失真信源编码理论（4学时）（1）了解关于编码和译码的基本概念、信源编码的数据压缩功能。 （2）理解编码前信息传输率、编码后信息传输率的含义，及其与数据压缩的关系；理解无失真信源编码的数据压缩原理；理解香农第一定理。 （3）掌握平均码长、码率、编码效率等概念的数学定义和物理意义；掌握克莱夫特不等式定理和香农第一定理的数学内容、物理意义及其证明。 重点：码率的计算公式，香农第一定理的数学内容及其物理意义。难点：应用信源的渐近等分割性，解释数据压缩原理；应用香农第一定理，解释数据压缩的极限。研究课题二：无失真信源编码原理。根据讲义及其它资料，整

9、理出一篇论文，用所学的信息论知识进行解释。8. 无失真信源编码方法（6学时）（1）了解香农码、费诺码的编码方法及其次优性；了解几种字典码的编码和译码方法。 （2）理解霍夫曼码的最优性、算术码的渐近最优性。 （3）掌握霍夫曼码的编码方法、算术码的编码和译码方法。重点：霍夫曼码的编码方法、算术码的编码和译码方法。难点：理解霍夫曼码的最优性、算术码的渐近最优性。研究课题三：改进香农编码，或者发明新的无损压缩方法。9. 限失真信源编码（4学时）（1）了解连续型信源的数据处理和压缩方法：取样、量化、编码。（2）理解失真度、信息率失真函数等概念。（3）掌握限失真信源编码模型及其性能指标；掌握限失真信源编码

10、定理的内容与意义。重点：限失真信源编码定理的内容与意义。难点：理解失真度、信息率失真函数等概念。注：这一讲属于选修内容，课时不足时讲义发给学生自学。10离散信道及其信息容量（4学时）（1）了解信道的数学模型及分类、离散无记忆扩展信道及其信道容量。（2）理解平均互信息的上凸性与下凸性；理解信道容量的数学定义和物理意义；理解信道疑异度、噪声熵、信息传输率等概念。（3）掌握对称信道的信息容量的计算方法。重点：信道的信息传输率与信道容量的关系；对称信道的信息容量的计算方法。难点：理解平均互信息的上凸性与下凸性；理解信道容量的数学定义和物理意义。11有噪信道编码（4学时）（1）了解信道编码和译码的直观与

11、数学模型、目的；了解香农第二定理的证明思路。（2） 理解联合典型序列的定义和意义；理解几个译码准则的含义与意义：最小错误概率、最大似然、最小距离；理解信道编码的纠错原理。（3）掌握香农第二定理的数学内容和物理含义。重点：最大似然译码准则，平均译码错误概率，香农第二定理的数学内容和物理含义。难点：理解信道编码的纠错原理。研究课题四：信道编码的纠错原理。根据讲义及其它资料，整理出一篇论文，用所学的信息论知识进行解释。12. 习题课（2学时）讲解全课主要题型及其解法，做练习并答疑。四、课程考核（1）作业：15 次，课程论文： 2篇；（2）考核方式：一页开卷考试（3）总评成绩计算方式：课堂纪律10%，平时测试成绩20%，期末考试成绩70%五、参考书目1. 信息论论基础理论与应用，电子工