信息论与编码PPT第一章

1、信息论与编码董优1教材 信息论与编码,陈 运,电子工业出版社信息论基础理论与应用,傅祖芸,电子工业出版社纠错码原理与方法,王新梅,西安电子科技大学出版社 信息论与编码,曹雪虹,北京邮电大学出版社信息论与编码,傅祖芸,电子工业出版社参考教材：2课程概述当今的时代是一个信息的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。3学习方法 本课程以概率论为基础，数学推导较多，学习时主要把注意

2、力集中到概念的理解上，不过分追求数学细节的推导。 学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。4第一章 绪论 主要内容：5第一节 信息的概念 从哲学的角度上讲，信息是构成物质世界的三大支柱之一，其他两个是物质和能量。 可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。 但

3、是有史以来，人们都没有对信息下过一个确切的定义。就像对于物质和能量一样。6 信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。 广泛性客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。什么是信息？7通俗的说，信息就是消息。如：告诉你一个消息 从不同的角度，有上百种不同的定义； 如： “信息是事物之间的差别。” “信息是接受者事先不知道的东西。”广义地说，信息是认识主体（人、生物、机器）所感受的事物运动状态和变换方式。 狭义

4、地说，信息是用来消除不确定性的东西。 这是香农（Claude Elwood Shannon)给出的定义。 什么是信息？8信息的直观认识9信息的直观认识10信息的直观认识11信息的直观认识12香农信息的度量信息“是来消除不确定性的东西”；13互信息互信息量： yj对xi的互信息量定义为后验概率与先验 概率比值的对数。先验概率：信源发出消息xi的概率p(xi )。后验概率：信宿收到yj后推测信源发出xi的概率p(xi / yj )。14信息的特性信息是可度量的；信息是无形的；信息是可共享的；信息是无限的；15消息是信息载体和具体表现形式（如文字、符号、图片、电影等）；消息、信号和信息之间的关系16信号是消息的表现形式；消息是信号的具体内容；信号是表示消息的物理量（随时间、空间变化），适合在信道传输的物理量，如声波、光波、电磁波等。消息、信号和信息之间的关系17信息论研究的对象18信息论研究的对象19信源编码的主要目的20信源编码的主要目的压缩！使信号能够更加有效地传输信息。呵呵，这样就能过去啦！21信道编码的主要目的22调制的主要目的23调制的主要目的24通信系统的指标通信系统的基本问题：在某一点精确或近似地恢复另一点发送的信息。25香农的主要贡献26信息论的研究内容27信息论的研究内容28信息论的研究内容29信息论的分支30信息论的发展31信息