《信息论与编码》课程教学大纲

1、信息论与编码教学大纲一、课程基本信息中文名称信息论与编码英文名称Information & Coding Theory适用专业信息工程先修课程高等数学、概率论课程类别专业基础课修读性质必修学分/学时3学分/51学时考核方式考试二、教学目标本课程是为信息工程专业本科生开设的学科专业课程之一，本课程的任务是使学生获得有关信息的基本知识及信道传输信息的基本理论，为学生今后可能从事广义的信息系统的设计提供一定的理论基础及原则的方向性指导，并通过从统计学的观点研究信息系统来提高学生的抽象思维及用系统优化的方法分析问题的能力，对通信体制和通信系统的研究具有指导意义。因此，信息论与编码是从事通信电子、信息工

2、程的有关技术人员必须掌握的基本理论知识。 三、教学内容及基本要求第一章 绪论（2学时）（一）教学目标1. 了解信息的概念及通信系统模型2. 理解信息论研究的主要目的（二）重点、难点信息、消息概念的关系，香农信息的度量（三）教学内容1.信息的概念（1）信息、消息的区别和联系（2）香农信息的定义（3）香农信息的度量2.信息论研究的对象、目的和内容（1）信息论研究的对象（2）信息论研究的内容第二章 离散信源及其信息测度（10学时）（一）教学目标1.了解离散信源的分类及数学模型2.理解离散无记忆扩展信源、离散平稳信源和马尔可夫信源3.掌握离散无记忆信源的自信息、熵和剩余度（二）重点、难点离散信源的信息

3、熵，离散平稳信源和马尔可夫信源（三）教学内容1.信源的数学模型及分类（1）信源输出的消息用随机变量描述（2）信源输出的消息用随机矢量描述（3）信源输出的消息用随机过程描述2.离散信源的信息熵（1）自信息（2）信息熵3.信息熵的基本性质4.离散平稳信源（1）离散平稳信源的数学定义（2）二维离散平稳信源及其信息熵（3）离散平稳信源的极限熵5.马尔可夫信源（1）马尔可夫信源和m马尔可夫信源的定义（2）马尔可夫信源和m马尔可夫信源的信息熵6.信源剩余度与自然语言的熵第三章 离散信道及其信息容量（9学时）（一）教学目标1.理解离散信道的数学模型2.掌握信道疑义度和平均互信息的概念和计算方法3.掌握信道容

4、量的计算方法（二）重点、难点信道疑义度，平均互信息（三）教学内容1.信道的数学模型及分类（1）信道的分类（2）离散信道的数学模型（3）单符号离散信道的数学模型2.平均互信息（1）信道疑义度（2）平均互信息3.平均互信息的特性4.信道容量及其一般计算方法（1）离散无噪信道的信道容量（2）对称离散信道的信道容量（3）准对称信道的信道容量5.离散无记忆扩展信道及其信道容量第四章 波形信源和波形信道（6学时）（一）教学目标1.掌握连续信源和波形信源的信息测度2.了解连续信源和波形信源的分类3.理解连续信道和波形信道的信道容量的计算方法（二）重点、难点连续信源和波形信源的信息测度 （三）教学内容1. 波

5、形信源的统计特性和离散化2. 连续信源和波形需要的信息测度（1）连续信源的差熵（2）连续平稳信源和波形信源的差熵（3）两种特殊连续信源的差熵3. 连续信道和波形信道的分类（1）按信道输入和输出的统计特性分类（2）按噪声的统计特性分类（3）按噪声对信号的作用功能分类4. 连续信道和波形信道的信道容量（1）单符号高斯加性信道（2）香农公式的重要实际指导意义第五章 无失真信源编码定理 （6学时）（一）教学目标1.理解码的分类和等长编码定理2.掌握唯一可译码和即时码的区别和联系3.掌握唯一可译码的判断法（二）重点、难点克拉夫特不等式，唯一可译码的判断法（三）教学内容1. 编码器2. 等长信源编码定理3

6、. 变长码（1）唯一可译码与即时码（2）即时码的树图构造法（3）克拉夫特不等式（4）唯一可译码的判断法4. 变长编码定理第六章 有噪信道编码定理（6学时）（一）教学目标1.掌握最大后验概率准则和最小距离译码规则2.理解有噪信道编码定理（二）重点、难点最大后验概率准则，错误概率的计算（三）教学内容1. 错误概率和译码规则2. 错误概率和编码方法3. 有噪信道编码定理第七章 保真度准则下的信源编码（6学时）（一）教学目标1.掌握失真度和平均失真度的概念2.了解信息率失真函数的性质3.掌握二元信源和离散对称信源的R(D)函数的计算（二）重点、难点信息率失真函数（三）教学内容1. 失真度和平均失真度（

7、1）失真度（2）平均失真度2. 信息率失真函数及其性质（1）信息率失真函数（2）信息率失真函数的性质3. 二元信源和离散对称信源的R(D)函数（1）二元对称信源的R(D)函数 （2）离散对称信源的R(D)函数4. 连续信源的信息率失真函数（1）连续信源的信息率失真函数（2）高斯信源的信息率失真函数第八章 无失真的信源编码（6学时）（一）教学目标1.掌握霍夫曼编码方法2.理解霍夫曼编码的最佳性3.理解费诺码、香农-费诺-埃利斯码、游程编码和MH编码（二）重点、难点霍夫曼编码及其最佳性（三）教学内容1. 霍夫曼编码（1）二元霍夫曼码（2）r元霍夫曼码（3）霍夫曼码的最佳性2. 费诺码3. 香农-费

8、诺-埃利斯码4. 游程编码和MH编码四、考核形式及成绩评定（一）考核形式：应阐明主要考核形式）期末考试为闭卷考试，考试范围和要求应符合本教学大纲对各章教学内容的基本要求。（二）成绩评定：课程考核由平时作业及听课情况和期末考试成绩两部分组成，分别占课程总成绩的30%和70%。五、教材与参考书教 材：傅祖芸.信息论基础理论与应用.（第三版）.北京：电子工业出版社，2011（宋体五号，行距16磅，下同）参考书：1陈运.信息论与编码.（第二版）. 北京：电子工业出版社，2010 2李梅.信息论基础教程.（第二版）. 北京：北京邮电大学出版社，2008七、课程学时分配表序号教学内容（章、节或篇名）学时分配作业、考查理论实践1绪论22离散信源的信息熵42,4,53离散平稳信源315,17,4马尔可夫信源320,21,245信道的数学模型及分类36平均互信息31,37信道容量39,128连续信源的统计特性和离散化32,39