《信息论与编码》教学大纲

1、信息论与编码Information Theory and Coding一、课程基本情况课程类别：专业方向课课程学分： 2学分课程总学时：32学时，其中讲课：32学时课程性质：选修开课学期：第4学期先修课程：高等数学，数理统计与概率论，信号与系统，通信原理适用专业：信息工程教 材：信息论基础理论与应用（面向21世纪高校电子信息类教材），傅祖芸编著，北京：电子工业出版社，2003年6月。开课单位：电子与信息工程学院信息工程系二、课程性质、教学目标和任务本课程是电子信息类专业的技术主干课。本课程注重基本概念、基本理论和基本分析方法的论述，并结合实例建立数学模型，给出推演过程，力求物理概念清晰、数学结

2、构严谨和完整、逐步深入展开。通过该课程的学习，使学生掌握香农信息论的三个基本概念，与之相应的三个编码定理，以及信源编码、信道编码和信息保密编码的基本理论和主要方法，培养学生能够适应数字通信、信息处理、信息安全、计算机信息管理等编码工作的要求。使学生掌握信息理论的基本概念和信息分析方法及主要结论，为今后从事信息领域的科研和工程工作进一步研究打下坚实的理论基础。该课程是电子信息工程、信息安全工程专业的专业课。是为了适应数字通信、信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提高信息系统的有效性和可靠性，实现信

3、息系统的最优化。信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量；数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无失真和限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。教学基本要求：了解通信系统各部分的主要组成以及作用、香农的三大编码定理；掌握各类离散信源和信息熵、信道及其信道容量、信息率失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常用的纠错编码方法。教学重点：信息以及失真的测度、信道及信道容量、无失真信源编码方法以及有噪信道编码方法。教学难点：典型序列以

4、及由此推导出的香农三大编码定理及其逆定理。三、教学内容和要求1、第一章：绪论（2学时）（1）了解信息论研究对象、目的、发展简史与现状；（2）了解通信系统的模型以及通信系统各部分的主要组成以及作用重点：研究对象和内容2、第二章：离散信源及其测度（4学时）（1）了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息，数据的关系与联系。（2）掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源基本理论。重点：熵的基本性质及最大离散熵定理；难点：马尔可夫信源熵。3、第三章：离散信道及其信道容量（4学时）（1）了解一般信道容量计算。（2）掌握信道的数学模型，离散无记忆信道以及一些特殊信道

5、容量的计算方法。重点：离散无噪信道及信道容量，信道的容量计算。难点：信源与信道的匹配。4、第四章：无失真信源编码（4学时）（1）了解其它一些无失真信源编码方法。（2）理解渐近等分割性及典型序列，算术编码方法及具体实现方案；（3）掌握编码的定义，码的分类，定长编码定理，变长编码定理，最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。重点：定长编码定理，变长编码定理；难点：编码方法。5、第五章：有噪信道编码（6学时）（1）了解检错码与纠错码的方法。（2）理解渐近等分割性及典型序列。重点：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码，卷积码，网格编码调制与级联码简介。错

6、误概率与译码规则和编码方法；难点：有噪信道编码定理及其逆定理，信源信道编码定理。6、第六章：波形信源和波形信道（6学时）（1）了解连续信源和波形信源的信息测度，连续信道和波形信道的分类，连续信源熵的变换，连续信道和波形信道的信道容量的计算方法。（2）掌握连续信源和波形信源的信息测度。 重点：连续信道和波形信道的信道容量的计算方法。难点：连续信源和波形信源的信息测度。7、第七章：限失真信源编码（6学时）（1）了解保真度准则下的信源编码定理（2）掌握失真度与平均失真度，信息率失真函数与特性，R(D)函数的参数表述及其计算。重点：失真度与平均失真度；难点：R(D)函数的参数表述及其计算。四、课程考核1、作业等：作业：4次，课程论文：1篇；2、考核方式：闭卷考试3、总评成绩计算方式：平时成绩20%、期末考试成绩80% 五、参考书目1、信息论与编码 清华大学出版社，曹雪虹，2009年