信息论与编码教学大纲v2-王启军

1、信息论与编码 教学大纲安 徽 大 学 计 算 机 科 学 与 技 术 学 院20 17 年4 月1 / 9课程性质与设置目的要求 （前言）信息论与编码课程是信息安全专业的专业基础课，是为了适应数字通信、 信息处理和信息安全等方面的专业需要开设。该课程着重介绍信息论应用概率 论、随机过程和现代数理统计方法，研究信息提取、传输和处理的一般规律，提 高信息系统的有效性和可靠性，实现信息系统的最优化。信息论是现代通信与信息工程的理论基础，主要内容包括：信息的定义和测 度；各类离散信源和信息熵；剩余度；信道和互信息；平均互信息和信道容量； 数据处理和信息测量理论；信息率失真函数和数据压缩原理；离散信源无

2、失真和 限失真信源编码理论和编码方法；离散有噪信道编码理论和编码原则。学习本课程的要求是：学习者应了解通信系统各部分的主要组成以及作用、 香农的三大编码定理；掌握各类离散信源和信息熵、信道及其信道容量、信息率 失真函数和数据压缩原理、离常用的无失真信源编码方法、纠错码基本思想及常 用的纠错编码方法。先修课程要求：数学分析概率论本课程计划 34 学时，2 学分。选用教材：信息论与编码第 3 版 陈运等著 考核方法：考试+平时成绩教学进程安排表：电子工业出版社周学教学备时教学主要内容次数环节注2 / 91 22 23 24 25 2第一章 概述信源与信息熵2.1 基本概念：信源的描述与分类信源与信

3、息熵2.2 离散信源熵的基本概念和性质第二章 信源与信息熵2.3 多符号离散平稳信源熵（序列熵）第三章 无失真离散信源编码 3.13.2 小节讲授讲授讲授讲授讲授6 2第三章 无失真离散信源编码 3.33.5 小节讲授7 2第 8 章 限失真信源编码讲授8 29 210 211 2第四章 离散信道容量第四章 离散信道容量多符号离散信道的信道容量第五章 纠错编码第五章 纠错编码纠错编译码的基本原理与分析方 法（补充）3 / 9讲授讲授讲授讲授12 2第五章 纠错编码第 5.2 节线性分组码讲授13 2第五章 纠错编码第 5.4 小节卷积码讲授14 2第五章 纠错编码第 5.3 小节循环码讲授15

4、 216 217 2第九章 密码安全性的信息论测度方法第九章 密码安全性的信息论测度方法 IDEA、PKC 等加密编码方法（补充）复习讲授讲授讲授4 / 9第一章：绪论一、学习目的要求学生明确本课程的学习目的及要求，初步了解本课程的特点及学习方法，掌握信息 的基本概念和特点，了解信息论研究的对象、目的和内容，了解信息论的形成和发展趋势， 以及目前信息论与编码的主要研究成果，激发学习信息论与编码的兴趣与热情。本章计划2 学时。二、课程内容第一节 信息的概念知识要点：信息的概念及自信息的定义，通信系统模型第二节 信息论研究的对象、目的和内容知识要点：信息论研究的对象、目的和内容第三节：信息论发展简

5、史知识要点：信息论发展简史三、重点、难点提示重点：本课程的特点及学习方法、信息的基本概念与特点，信息论的主要研究对象、目的和 内容难点：如何理解信息的概念、信息论及编码技术四、思考与练习1、 信息、信号、消息的定义是什么？三者的关系如何？第二章：离散信源及其测度一、学习目的通过本章的学习，了解信源的相关性和剩余度的概念，信息的概念，信息，信号，消息， 数据的关系与联系；掌握信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源5 / 9基本理论。本章计划 8 学时。二、课程内容第一节 信源的数学模型及分类知识要点：信源的数学模型，离散无记忆信源及其扩展信源。第二节 信息熵及其基本性质知识要

6、点：自信息及信息熵离散无记忆扩展信源熵，熵的基本性质及最大离散熵定理。 第三节 离散平稳信源知识要点：离散平稳信源定义，联合熵，条件熵以及极限熵。第四节 马尔可夫信源知识要点：马尔可夫信源定义，马尔可夫信源熵第四节 信息剩余度知识要点：信息剩余度以及自然语言熵三、重点、难点提示重点：自信息量、离散信源熵的概念及其求解方法、熵的性质。离散无记忆信源的序列熵与 离散有记忆信源的序列熵的概念、特点与求解方法难点：离散信源熵概念及其求解方法、熵的性质。四、思考与练习习题 2.1、2.2、 2.3第三章：无失真离散信源编码一、学习目的通过本章学习了解其它一些无失真信源编码方法。理解渐近等分割性及 典型序

7、列，算 术编码方法及具体实现方案；掌握编码的定义，码的分类，定长编码定理，变长编码定理， 最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法。本章为 4 学时。二、课程内容6 / 9第一节 等长码及等长信源编码定理知识要点：编码器的概念，码的定义，等长码及等长信源编码定理， 典型序列及其 性质，编码效率。第二节 变长码及变长信源编码定理知识要点：唯一可译码定义及其判断方法，即时码的树图法构造，Kraft 不等式，紧 致码，变长信源编码定理。第三节 编码方法知识要点：香农编码，费诺编码，哈夫曼编码，游程编码，算术编码和其它一些编码 方法。三、重点、难点提示重点：最佳变长编码以及最佳变长编码

8、的三种编码方法：香农（Shannon）编码；费诺（Fano） 编码；哈夫曼（Huffman）编码。难点：哈夫曼（Huffman）编码，及其对相同概率的处理。四、思考与练习习题 3.1、 3.2、 3.3、 3.4第四章：离散信道及其信道容量通过本章的学习，理解互信息量和平均互信息量的含义以及平均互信息量与信息熵、条 件信息熵、联合信息熵的关系；了解几种特殊信道（包括扩展、归并、强对称）的信道容量 计算方法。本章为 6 学时。二、课程内容第一节 信道数学模型及分类知识要点：信道数学模型及不同的分类，信道矩阵。第二节 平均互信息及特点知识要点：信道疑义度，互信息和平均互信息及其特性，平均条件互信息

9、。第三节 信道容量及一般计算方法知识要点：离散无噪信道及信道容量，对称离散信道、准对称信道的容量计算。第四节 离散无记忆扩展信道及其容量知识要点：离散无记忆扩展信道及其容量，信源与信道的匹配。7 / 9三、重点、难点提示重点：信道的基本概念、信道的分类 , 平均互信息量的定义及其性质；信道参数与信道容量 的定义及其求解方法难点：信道参数与信道容量的定义及其求解方法四、思考与练习习题 4.5、4.6、 4.18第五章：纠错编码通过本章学习，了解检错码与纠错码的方法。主要包括线性分组码、循环码和卷积码的构造 和译码。本章为 10 学时。二、课程内容第一节 错误概率与译码规则和编码方法知识要点：最小

10、错误概率译码准则，最大似然译码准则，最小距离译码准则及其之间 相互关系，平均译码错误概率，错误概率与译码规则和编码方法关系，信道编码的编、译基 本准则。第二节 有噪信道编码定理知识要点：有噪信道编码定理及其逆定理，信源信道编码定理。第三节 纠错码知识要点：纠错码分类，分组码的最小距离与检、纠错能力，分组码的码率，线性分 组码的特性，生成矩阵和一致监督矩阵及其关系，线性分组码的编、译码方法，汉明码，卷 积码及其构造方法。三、重点、难点提示重点：有噪离散信道的编码定理，差错控制与信道编译码的基本原理，线性分组码， 卷积码难点：卷积码的构造和译码四、思考与练习习题 5.2、5.9、5.168 / 9

11、第九章：密码安全性的信息论测度方法通过本章的教学，了解加密编码的基础知识、数据加密标准（DES）、IDEA 等，理解密 码安全性的信息论测度推导。本章 4 学时。二、课程内容第一节 加密编码的基础知识、数据加密标准（DES）知识要点：保密性与真实性，DES 编码流程。第二节 IDEA、PKC 等加密编码方法知识要点：国际数据加密算法、公开密钥加密法、模拟信号加密、通信网络中的加密、 信息安全和确认技术三、重点、难点提示重点：数据加密标准（DES）、IDEA 等，理解密码安全性的信息论测度推导。难点：密码安全性的信息论测度推导。四、思考与练习无阅读书目（或参考文献）（注：阅读书目或参考文献如不分章节或单元编列，可集中在大纲后面统一列出。 另课程教学大纲字体由院系作统一要求。）1.