信息论与编码教学大纲

信息论与编码教学大纲课程名称：信息论与编码课程编号：176405英文名称：InformationTheoryandCoding课程性质：独立设课课程属性：专业限选课应开学期：第6学期学时学分：课程总学时---48，其中实验学时---0。课程总学分---3学生类别：本科生适用专业：自动化、电气工程及其自动化、电子信息工程、电子信息科学与技术、电子科学与技术、通信工程、计算机等专业的学生。先修课程：大学物理，电路，通信原理等课程。一、教学目的和要求《信息论基础》是信息与计算科学专业的一门专业必修课。香农信息论是本课程的核心。通过对本课程的学习，要求学生掌握信息论的基本理论和概念，如熵，互信息熵，自信息量等。掌握信息的在信息论角度的定义，统计度量，以及离散信源；掌握离散信道有关信息论理论，掌握信源编码方法，如香农编码方法，费诺编码方法，Huffman编码等基本原理和具体实现方法。为进一步学习打下坚实基础。这些内容不仅是近代信息处理的基础，具有深刻而有严格的数学描述和证明，而且可以看到数学理论在通信技术和通信工程专业中的重要作用，也可以看到数学理论与这些技术与工程问题的结合过程。二、教学中应注意的问题在课堂教学中，教师应精心组织教学内容。在宏观上，应引导学生对课程内容的总体把握，使学生能够触类旁通；在微观上，应启发学生能够从教学概念、物理概念及工程概念去分析问题，解决问题。三、教学内容与课时分配(48课时)概论（2课时）课程的教学内容1.1信息的一般概念1.2信息的分类1.3信息论的起源、发展及研究内容重点和难点深刻理解与熟练掌握的重点内容有：信息论的形成和发展，信息的概念，信息、信号、消息、数据的关系与联系；通信系统的模型。

要求一般理解与熟练掌握的内容有：信息论综观，信息的定义。难点：对信息的理解。第二章信源熵（12课时）课程的教学内容2.1单符号离散信源2.1.1单符号离散信源的数学模型2.1.2自信息和信源熵2.1.3信源熵的基本性质和定理2.1.5平均互信息量2.1.6各种熵之间的关系2.2多符号离散平稳信源2.2.1序列信息的熵2.2.2离散平稳信源的数学模型2.2.3离散平稳信源的信源熵和极限熵2.2.4马尔可夫信源2.2.5信源冗余度及信息变差2.3连续信源2.3.1连续信源的熵2.3.2几种特殊连续信源的熵2.3.3连续熵的性质及最大连续熵定理2.4离散无失真信源编码定理重点和难点深刻理解与熟练掌握的重点内容有：信源的描述和分类，离散信源熵和互信息，连续信源熵和互信息，离散序列信源的熵。

要求一般理解与熟练掌握的内容有：联合熵和最大熵定理。定长编码定理，变长编码定理。

难点：对各种信源的熵的计算。定长编码定理，变长编码定理的证明。

第三章信道容量（6课时）课程的教学内容3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.2.1信道容量的定义3.2.2几种特殊离散信道的信道容量3.2.3离散信道容量的一般计算方法3.3多符号离散信道3..3.1多符号离散信道的数学模型3.3.2离散无记忆信道和独立并联信道的信道容量3.4多用户信道【选讲】3.4.1多址接入信道3.4.2广播信道3.4.3相关信源的多用户信道问题3.5连续信道3.6信道编码定理重点和难点

深刻理解与熟练掌握的重点内容有：信道的数学模型，各种离散信道的信道容量的计算。

要求一般理解与熟练掌握的内容有：信道编码定理。难点：各种离散信道的信道容量的计算。第四章信息率失真函数（6课时）课程的教学内容4.1基本概念4.1.1失真函数与平均失真度4.1.2信息率失真函数的定义4.1.3信息率失真函数的性质4.2离散信源的信息率失真函数【选讲】4.2.1离散信源信息率失真函数的参量表达式4.2.2二元及等概率离散信源的信息率失真函数4.3连续信源的信息率失真函数【选讲】4.3.1连续信源信息率失真函数的参量表达式4.3.2高斯信源的信息率失真函数4.3.3信息率失真函数与信息价值4.3.4信道容量与信息率失真函数的比较4.4保真度准则下的信源编码定理重点和难点深刻理解与熟练掌握的重点内容有：平均失真和信息率失真函数R(D)的定义域和单调性等性质。要求一般理解与熟练掌握的内容有：限失真信源编码定理

难点：信息率失真函数R(D)的计算第五章信源编码（8课时）课程的教学内容5.1离散信源编码 5.1.1码字唯一可译的条件 5.1.2香农编码 5.1.3费诺编码 5.1.4赫夫曼编码 5.1.5游程编码 5.1.6冗余位编码5.2连续信源编码【选讲】 5.2.1最佳标量量化 5.2.2矢量量化5.3相关信源编码【选讲】 5.3.1预测编码 5.3.2差值编码5.4变换编码【选讲】 5.4.1子带编码 5.4.2小波变换重点和难点理解等长编码定理、变长编码定理、码树图、平均码长、编码效率、均匀量化和非均匀量化的基本思路，掌握香农编码、费诺编码和哈夫曼编码方法。难点：定长编码定理和变长编码定理的含义。第六章信道编码（14课时）课程的教学内容6.1信道编码的概念 6.1.1信道编码的作用与分类 6.1.2编码信道 6.1.3检错与纠错原理 6.1.4检错与纠错方式和能力6.2线性分组码 6.2.1线性分组码的矩阵描述 6.2.2线性分组码的译码 6.2.3码例与码的重构6.3循环码 6.3.1循环码的定义与描述 6.3.2循环码的生成矩阵 6.3.3系统循环码 6.3.4多项式运算电路 6.3.5循环码编码电路 6.3.6循环码的伴随多项式与检错 6.3.7BCH码与RS码【选讲】6.4卷积码 6.4.1卷积码的矩阵描述 6.4.2卷积码的多项式描述 6.4.3卷积码的状态转移图与栅格描述 6.4.4维特比(Viterbi)译码算法重点和难点三种典型的译码规则、线性分组码、循环码的生成矩阵和编码电路、卷积码的四种描述方法和维特比译码算法。要求一般理解与熟练掌握的内容有：掌握信道编码的作用和分类、突发错误和随机错误、奇偶校验码，重复消息位编码，汉明距离及纠检错能力，掌握最小错误概率译码准则、极大似然译码准则、最小距离译码准则、信道编码的原则以及抗干扰信道编码定理、纠错码及纠错能力、线性分组码、汉明码、循环码的定义和描述、循环码的生成矩阵和编码电路、系统循环码、、卷积码的四种描述方法和维特比译码算法。难点：线性分组码的生成矩阵、循环码和卷积码。四、课程考核办法1.考核方式：闭卷考试2.成绩构成：卷面分数占80％，平时考核占20