《信息论与编码》教学大纲

1、信息论与编码Information Theory and Coding一、课程基本情况课程类别：专业基础课课程学分： 2 学分课程总学时： 32 学时，其中讲课：22 学时；实验：10学时课程性质：必修开课学期：第7学期先修课程： 概率论与数理统计、通信原理等适用专业：电子信息工程、通信工程、信息工程、电子科学与技术等相关专业本科生教 材：信息论与编码技术，清华大学出版社，冯桂，2007。开课单位：电子与信息工程学院电子信息工程系二、课程性质、教学目标和任务信息论与编码是信息类专业一门重要的专业理论基础课，通过对本课程的学习，使学生能掌握有关信息论的基本理论、编码的理论和实现原理；理解信源的熵

2、、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法，为以后开设的专业课程打下了坚实的基础。重点是编码的理论和实现原理、信息熵、三大编码定理及其编码理论、几种常用的编码方法。课程内容的深度中等偏难，符号培养高质量本科生要求。三、教学内容和要求1绪论（2学时）（1）了解信息论的形成与发展以及信息论研究的主要内容；（2）掌握信息的一般概念，香农信息定义；掌握数字通信系统的模型；（3）理解信息的真正含义，香农信息论对信源编码和信道编码的意义；重点：信息概念、香农信息的定义和含义、香农信息对信源和信道编码的指导意义；难点：信息与信号、消息、情报等概念的区别；香农信息对信源和信道

3、编码的指导意义。课时分配：信息论绪论 2学时2信源及其熵（6 学时）（1）了解信源的数学模型和分类；（2）掌握自信息量、互信息量、信源熵的计算方法，离散信源的N次扩展信源熵的计算；（3）理解香农第一定理：离散无失真信源编码定理；理解并掌握自信息量、互信息量、信源熵的概念及其性质，信源效率与冗余度的关系；重点：自信息量、互信息量、信源熵的计算方法，香农第一定理，自信息量、互信息量、信源熵的概念及其性质，信源效率和冗余度的关系；难点：香农第一定理，离散信源的N次扩展信源熵的计算。可是分配：信源的数学模型和分类，自信息量、互信息量、信源熵的计算 2学时 离散信源的N次扩展信源熵的计算 1学时 香农第

4、一定理 1学时 自信息量、互信息量、信源熵的概念及其性质等 2学时3信道及其容量（6 学时）（1）了解信道的分类与模型，多符号离散信道、用户信道的概念；（2）掌握几种特殊离散信道容量、信道疑义度和平均互信息量的计算；（3）理解信道容量的定义，信源与信道匹配的含义，香农第二定理：信道编码定理；重点：离散信道容量、信道疑义度和平均互信息量的计算，信源与信道匹配，香农第二定理；难点：信道疑义度和平均互信息量的计算，香农第二定理；课时分配：信道的分类与模型，多符号离散信道、用户信道 2学时 特殊离散信道容量、信道疑义度和平均互信息量的计算 2学时 信源与信道匹配、信源与信道匹配，香农第二定理 2学时4

5、信息率失真函数（6 学时）（1）二元及等概率离散信源的信息率失真函数、高斯信息率失真函数；（2）掌握失真函数与平均失真度，离散信源信息率失真函数的定义、性质和参量表达；（3）理解信息率失真函数与信息价值，香农第三定理：保真度准则下的信源编码定理；重点：失真函数与平均失真度，离散信源信息率失真函数的定义、性质和参量表达，香农第三定理；难点：离散信源率失真函数的参量表达、香农第三定理；课时分配：率离散信源的信息率失真函数、高斯信息率失真函数 2学时 失真函数与平均失真度，离散信源信息率失真函数 2学时 信息率失真函数与信息价值，香农第三定理 2学时5信源编码（6 学时）（1）了解编码器、码的分类及

6、码树等相关概念； （2）掌握预测编码和变换编码，香农编码和费诺编码的方法；（3）理解并掌握哈夫曼编码、游程编码和冗余位编码；重点：码树的概念、香农编码、费诺编码、哈夫曼编码、游程编码和冗余位编码；难点：游程编码和冗余位编码；课时分配：编码器、码的分类及码树等相关概念 1学时 预测编码、变换编码 1学时 香农编码和费诺编码 2学时哈夫曼编码、游程编码和冗余位编码 2学时6信道编码（6 学时）（1）了解信道编码有关基本概念、分类，码的重构；了解卷积码的矩阵描述和多项式描述；（2）掌握检错与纠错定理，线性分组码的译码，循环码的生成矩阵、编码电路及伴随多项式与检错；掌握信道编码的多项式运算电路；（3）

7、理解检错与纠错方式和能力，系统循环码；重点：卷积码的矩阵描述和多项式描述，检错与纠错定理，线性分组码的译码，循环码的生成矩阵、编码电路及伴随多项式与检错，信道编码的多项式运算电路；难点：循环码的生成矩阵、编码电路及伴随多项式与检错，信道编码的多项式运算电路，系统循环编码；课时分配：信道编码有关基本概念，卷积码的矩阵描述和多项式描述 1学时 检错与纠错定理，线性分组码的译码 1学时 循环码，信道编码的多项式运算电路 2学时 检错与纠错方式和能力，系统循环码 2学时四、课程考核（1）作业等：作业：5 次；（2）考核方式：闭卷考试（3）总评成绩计算方式：（平时成绩30%、期末考试成绩70%）五、参考书目1、信息理论基础，北京航空航天大学出版社；周荫清，2002；2、信息论与编码，吴伯修，东南大学出版社，1991；3、信息论与编码