《信息论与编码理论I》课程教学大纲

1、信息论与编码理论I课程教学大纲一、课程基本信息课程代码：12130136 课程英文名称：The Theory of Information and Coding I课程面向专业：信息与计算科学专业课程类型：必修课 先修课程：高等代数、概率论、信号与系统等学分：4 总学时：60(其中理论学时：50 ； 实验学时：10 ) 二、课程性质与目的当前信息产业发展很快，需要大量从事信息类专业的人才，本课程正是这类专业的基础课程。通过对本课程的学习，使学生能掌握有关信息论的基本理论以及编码的理论和实现原理。本课程重点讨论了信源的熵、熵的性质和无失真信源编码理论、限失真信源编码理论以及各种常用的信源编码方法

2、，如香农编码、费诺编码、哈夫曼编码、游程编码等，讨论了信道编码理论以及各种常用的信道编码方法，如线性分组码、卷积码、级联码等。本课程为以后开设的专业课程打下了坚实的基础。同时，本课程也是学生进一步学习信息处理、纠错编码、语音信号处理、数字图像处理、模式识别、人工智能及计算机网络通信等专业课程的必要的先修课。三、课程教学内容与要求第一章绪论1、教学内容与要求要求深刻理解与熟练掌握的重点内容有：信息论的形成和发展，信息的概念，信息，信号，消息，数据的关系与联系；通信系统的模型。要求一般理解与熟练掌握的内容有：信息论综观，信息的定义。2、教学难点对信息的理解。第二章信源熵1、教学内容与要求要求深刻理

3、解与熟练掌握的重点内容有：信源的描述和分类，离散信源熵和互信息，连续信源熵和互信息，离散序列信源的熵，马尔可夫信源及其熵，冗余度，编码的定义，码的分类方法，如：定长码和变长码，即时码和非即时码等，定长编码定理，变长编码定理。要求一般理解与熟练掌握的内容有：联合熵和最大熵定理，唯一可译码和非唯一可译码，奇异码和非奇异码。2、教学难点对各种信源的熵的计算。第三章信道容量1、教学内容与要求要求深刻理解与熟练掌握的重点内容有：信道模型和信道容量，信道容量的定义和离散信道容量的计算方法，多符号离散信道，信道编码定理，要求一般理解与熟练掌握的内容有：多用户信道，连续信道。2、教学难点信道容量的计算。第四章

4、信息率失真函数1、教学内容与要求要求深刻理解与熟练掌握的重点内容有：平均失真度和信息率失真函数，R(D)的定义域和单调性等性质，离散信源的信息率失真函数，限失真信源编码定理。要求一般理解与熟练掌握的内容有：连续信源的信息率失真函数。2、教学难点信息率失真函数的定义、性质及其表达式。第五章信源编码1、教学内容与要求要求深刻理解与熟练掌握的重点内容有：最佳编码方法：香农编码方法，费诺编码方法，哈夫曼编码方法，游程编码方法。要求一般理解与熟练掌握的内容有：冗余位编码方法。2、教学难点各种编码方法的实现。第六章信道编码1、教学内容与要求要求深刻理解与熟练掌握的重点内容有：信道编码的概念与分类，差错控制

5、与信道编译码的基本原理，线性分组码，循环码，卷积码。要求一般理解与熟练掌握的内容有：卷积码的最大似然译码-维特比算法。2、教学难点卷积码的性能限与距离特点，网格编码调制。实验项目实验一：用霍夫曼方法对一幅图像进行编码1、基本要求：学会使用VC软件编写霍夫曼编码算法的程序2、主要内容：用VC对一幅图像进行编码；对编码结果进行分析。3、操作要点：安装VC软件；编写程序；调试程序；解读计算结果。4、主要仪器设备：VC软件；计算机。实验二：用香农-费诺方法对一幅图像进行编码1、基本要求：学会使用VC软件编写香农-费诺编码算法的程序2、主要内容：用VC对一幅图像进行编码；对编码结果进行分析。3、操作要点

6、：安装VC软件；编写程序；调试程序；解读计算结果。4、主要仪器设备：VC软件；计算机。实验三：用算术编码方法进行编码1、基本要求：学会使用VC软件编写算术编码算法的程序2、主要内容：用VC对一串二值序列进行编码；对编码结果进行分析。3、操作要点：安装VC软件；编写程序；调试程序；解读计算结果。4、主要仪器设备：VC软件；计算机。实验四：用位平面编码方法对一幅图像进行编码1、基本要求：学会使用VC软件编写位平面编码编码算法的程序2、主要内容：用VC对一幅图像进行编码；对编码结果进行分析。3、操作要点：安装VC软件；编写程序；调试程序；解读计算结果。4、主要仪器设备：VC软件；计算机。四、学时分配

7、学时分配表序号教学内容学时课堂讲授实验课习题课讨论课其它1第一章绪论42第二章信源及信源编码623第三章无失真信源编码1024第四章限失真信源编码1425第五章信道编码164小计5010比例83%17%合计60实验学时分配表序号实验项目（或内容）名称实验学时实验类型每组实验人数说明验证性设计性综合性其它1用霍夫曼方法对一幅图像进行编码21人2用香农-费诺方法对一幅图像进行编码21人3用算术编码方法进行编码21人4用位平面编码方法对一幅图像进行编码41人小计10五、教学环节与教学要求 本课程的教学环节包括课堂讲授，学生自学，习题讨论课，习题，答疑和期未考试。通过上述基本教学步骤，要求学生掌握信息论的基本理论和概念，如熵、互信息熵、自信息量等。掌握信息的在信息论角度的定义，统计度量，以及离散信源；掌握离散信道有关信息论理论，掌握信源编码方法，如香农编码方法，费诺编码方法，Huffman编码等基本原理和具体实现方法。理解信道编码理论以及各种常用的信道编码方法，如线性分组码、卷积码、级联码等，为进一步学习打下坚实基础。六、课程考核办法 作业、实验与期中考试：30，期终考试：70七、教材与主要参考书 教材