《信息论基础》课程教学大纲

《信息论基础》教学大纲课程名称：信息论基础英文名称：ElementsofInformationTheory课程编号：F035091252学分：2.5总学时/课内实践学时：40/0课程性质：选修课程开课单位：数理科学与工程学院数学系适应对象：信息与计算科学专业一、课程简介当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程，信息与计算科学专业的专业方向与拓展课程。本课程是一门应用概率论、随机过程和数理统计等方法来研究信息的存在、传输和处理中一般规律的学科。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性，以使信息系统最优化。所以，学习和掌握信息论越来越受到人们的重视和需求。Atpresent,theinformationindustryisdevelopingrapidly,whichrequiresalargenumberoftalentsengagedininformation,communicationandelectronicengineering.Thiscourseisthebasiccourseofsuchmajors,andtheprofessionaldirectionandexpansioncourseofinformationandcomputingscience.Thiscourseisasubjectthatappliesprobabilitytheory,randomprocess,mathematicalstatisticsandothermethodstostudythegenerallawsintheexistence,transmissionandprocessingofinformation.Itmainlystudieshowtoimprovethereliability,effectiveness,confidentialityandauthenticationofinformationsystemstooptimizeinformationsystems.Therefore,peoplepaymoreandmoreattentiontoandneedtolearnandmasterinformationtheory.二、课程目标1.通过本课程的学习，能够掌握信息论的基本理论与方法，树立正确的国家观、民族观、历史观和文化观，深入理解信息技术在社会发展中的重要作用，增强社会责任感和使命感，培养创新精神和实践能力，为国家的信息化建设贡献自己的力量。2.学生将深入理解信息的度量、编码、传输、压缩与加密等基本原理，掌握信道容量、信息率失真函数等核心概念，以及信息论在通信、数据压缩、密码学等领域的应用知识，为后续相关领域的学习与研究奠定坚实的理论基础。3.培养学生运用信息论理论与方法分析解决通信系统设计、数据压缩、信息安全等问题的能力，提升逻辑思维、数学建模与创新能力，使学生能够在信息技术领域进行高效的信息处理与优化决策。1.Throughthestudyofthiscourse,studentswillbeabletomasterthebasictheoriesandmethodsofinformationtheory,establishacorrectviewofthecountry,ethnicity,history,andculture,deeplyunderstandtheimportantroleofinformationtechnologyinsocialdevelopment,enhancetheirsenseofsocialresponsibilityandmission,cultivateinnovativespiritandpracticalability,practicesocialistcorevalues,andcontributetothecountry'sinformationconstruction.2.Studentswillhaveadeepunderstandingofthebasicprinciplesofinformationmeasurement,encoding,transmission,compression,andencryption,mastercoreconceptssuchaschannelcapacityandinformationratedistortionfunction,aswellastheapplicationknowledgeofinformationtheoryincommunication,datacompression,cryptography,andotherfields,layingasolidtheoreticalfoundationforsubsequentlearningandresearchinrelatedfields.3.Tocultivatestudents'abilitytoanalyzeandsolvecommunicationsystemdesign,datacompression,informationsecurityandotherproblemsusinginformationtheoryandmethods,enhancelogicalthinking,mathematicalmodelingandinnovationabilities,andenablestudentstoefficientlyprocessandoptimizedecisionsinthefieldofinformationtechnology.三、课程目标与毕业要求对应关系本课程的课程目标对信息与计算科学专业毕业要求指标点的支撑情况如表1所示：表1课程目标与毕业要求对应关系毕业要求指标点课程目标毕业要求1：知识要求①具有扎实的数学基础，掌握信息科学、计算科学和计算机科学的基本理论和基本知识。课程目标1课程目标2课程目标3②了解数学的历史概况和广泛应用，以及当代数学的新发展。毕业要求2：能力要求①通过系统的数学思维训练，掌握数学科学的思想方法，具有扎实的数学基础和较强的数学语言表达能力。课程目标2课程目标3②具备数学研究的初步能力。毕业要求3：素质要求①知识素质。具有较好的数学、计算机专业素养和丰富的人文社科素养。课程目标1课程目标3四、课程教学安排课程共有6项教学内容，具体安排如下。表2：课程教学安排表序号教学内容思政元素课堂教学学时实验/实践教学学时学时小计1绪论爱国主义教育222熵、相对熵和互信息爱国主义教育12123渐进均分性科学精神培养444随机过程的熵率445数据压缩886信道容量1010合计4040教学安排1.绪论教学要求：了解信息论研究对象教学内容：通信系统模型重点难点：通信系统模型思政元素：进行爱国主义教育，激发学生的学习热情。2.熵、相对熵和互信息教学要求：掌握熵的定义以及物理意义；熵与互信息之间的关系；对数和不等式、Fano不等式教学内容：熵；联合熵和条件熵；相对熵和互信息；熵与互信息的关系；熵、相对熵和互信息的链式法则；Jensen不等式及其结果；对数和不等式及其结果；数据处理不等式；热力学第二定律；充分统计量；Fano不等式重点难点：熵的定义以及物理意义；熵与互信息之间的关系；对数和不等式、Fano不等式思政元素：进行爱国主义教育，激发学生的学习热情。3.渐进均分性教学要求：掌握渐进均分性的定义以及数据压缩原理。教学内容：渐进均分性的定义；AEP的结果应用：数据压缩；高概率集与典型集。重点难点：渐进均分性的定义以及数据压缩原理。思政元素：培养学生严密的逻辑思维和良好的科学精神。4.随机过程的熵率教学要求：掌握马尔可夫链的定义以及实例。教学内容：马尔可夫链；熵率；例子：加权图上随机游动的熵率；隐马尔可夫模型。重点难点：马尔可夫链的定义以及实例。5.数据压缩教学要求：掌握编码的基本思想和Huffman编码和Shannon-Fano-Elias编码过程。教学内容：有关编码的例子；Kraft不等式；最优码；最优码长的界；惟一可译码的Kraft不等式；Huffman编码；Shannon-Fano-Elias编码；算术编码。重点难点：编码的基本思想和Huffman编码和Shannon-Fano-Elias编码过程。6.信道容量教学要求：信道容量的定义、特殊信道容量的计算。教学内容：信道容量的例子；无噪声二元信道；无重叠输出的有噪声信道；有噪声的打字机信道；二元对称信道；二元擦除信道；对称信道；信道容量的性质；联合典型序列；信道编码定理。重点难点：信道容量的定义、特殊信道容量的计算。五、课内实践教学内容及要求无六、课程考核与评价表3：成绩评定方式表考核环节分