信息论与编码 第一章

1、第第2章：信源熵章：信源熵第第3章：信道容量章：信道容量第第4章：信息率失真函数章：信息率失真函数第第5章：信源编码章：信源编码第第6章：信道编码章：信道编码第第7 7章：密码体制的安全性测度章：密码体制的安全性测度1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 信息的分类信息的分类 ： 美国科学家，美国科学家， 信息论创始人信息论创始人中文译名：中文译名： 山农，香农，仙农，商农山农，香农，仙农，商农 科学和科学和、科学一起被科学一起被称为当代文明的称为当代文明的“”。 一位美国科学家说过：一位美国科学家说过：“没有物质的没有物质的世界是虚无的世界；没有能源的世界是死

2、世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世寂的世界；没有信息的世界是混乱的世界。界。” 花朵开放时的花朵开放时的，它可以引来昆虫为其授粉；它可以引来昆虫为其授粉； 成熟的水果会产生香味，诱来动成熟的水果会产生香味，诱来动物，动物食后为其传播种子，物，动物食后为其传播种子，； 药有苦味，让人难以吞咽，药有苦味，让人难以吞咽，； 听老师讲课可以得到许多知识，听老师讲课可以得到许多知识，。 视觉视觉嗅觉嗅觉味觉味觉听觉听觉总之，信息处处存在，人的眼、耳、总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。鼻、舌、身都能感知信息。触觉触觉那么信息究竟是什么呢？那么信息究

3、竟是什么呢？ 信息是事物之间的差异信息是事物之间的差异1 信息是物质和能量在时间和空间中信息是物质和能量在时间和空间中分布的不均匀性分布的不均匀性” 2 信息是负熵信息是负熵3 信息是作用于人类感觉器官的东信息是作用于人类感觉器官的东西西 4 信息就是情报信息就是情报 5 信息就是知识。信息就是知识。 6 数学家认为数学家认为“信息是使概率信息是使概率分布发生改变的东西分布发生改变的东西” ” 7 哲学家认为哲学家认为“信息是物质成信息是物质成分的意识成分按完全特殊的分的意识成分按完全特殊的方式融合起来的产物方式融合起来的产物” ” 。 8 19281928年，年， 美国数学家美国数学家哈哈

4、特特 莱莱 (Hartley)(Hartley)在在贝尔系统电话杂志贝尔系统电话杂志上发表了一篇上发表了一篇题为题为信息传输信息传输的论文。他认为的论文。他认为“信信息是选择的自由度息是选择的自由度”。 事隔事隔2020年，年， 另一位美国另一位美国数学家数学家香农香农 (C. E. (C. E. Shannon)Shannon) 在在贝尔系统电话杂志贝尔系统电话杂志发表了题为发表了题为通信的数学理论通信的数学理论的长的长篇论文。他创立了信息论，但是却没篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为有给出信息的确切定义他认为 美国数学家、控制论的美国数学家、控制论的 主要奠基人主要

5、奠基人维纳维纳(Wiener(Wiener）在在19501950年出版的年出版的控制论控制论与社会与社会一书中写到：一书中写到：“信息既不是物质又不是信息既不是物质又不是能量，信息就是信息能量，信息就是信息”。这句话起初受这句话起初受到批评和嘲笑。揭示了信息的特质：即到批评和嘲笑。揭示了信息的特质：即信息是独立于物质和能量之外存在于客信息是独立于物质和能量之外存在于客观世界的观世界的第三要素。第三要素。 最高的层次的义是最普遍的层次，最高的层次的义是最普遍的层次，也是无约束条件的层次，定义事物的也是无约束条件的层次，定义事物的。我们把它叫做我们把它叫做层层次。在这个层次上定义的信息是最广义次。

6、在这个层次上定义的信息是最广义的信息，使用范围也最广。的信息，使用范围也最广。 例如，引入一个最有实际意义的约例如，引入一个最有实际意义的约束条件：束条件：信息定义就转化为信息定义就转化为“”层次的信息定义。即层次的信息定义。即：其中认识主体所感知的其中认识主体所感知的东西是外部世界向认识主体输入的信息，东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部而认识主体所表述的东西则是其向外部世界输出的信息。世界输出的信息。 同时考虑事物运动状态及其变化同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价方式的外在形式、内在含义和效用价值的认识论层次信息。值的认识论层次信

7、息。 信息存在于自然界，也存在于人信息存在于自然界，也存在于人类社会，其类社会，其可以说可以说哪里有事物的运动和变化，哪里就会产哪里有事物的运动和变化，哪里就会产生信息。生信息。 人类交换信息的形式丰富多彩，人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，使用的信息载体非常广泛。概括起来，有有。 信息必须依附于一定的物质形式信息必须依附于一定的物质形式存在，这种运载信息的物质，称为存在，这种运载信息的物质，称为 综合起来，信息有以下主要特征：综合起来，信息有以下主要特征： 信息来源于物质，又不是物质本信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可身；它从物质的运动

8、中产生出来，又可以脱离源物质而相对独立地存在。以脱离源物质而相对独立地存在。 信息来源于精神世界，但又不局信息来源于精神世界，但又不局限于精神领域。限于精神领域。 12 信息与能量息息相关，但又与信息与能量息息相关，但又与能量有本质的区别。能量有本质的区别。 信息具有知识的本性，但又比信息具有知识的本性，但又比知识的内涵更广泛。知识的内涵更广泛。 信息可以被认识主体获取和利信息可以被认识主体获取和利用。用。 345 根据上述特征和信息的基本定义，根据上述特征和信息的基本定义，可以导出信息的一些重要性质：可以导出信息的一些重要性质： 存在的普遍性存在的普遍性 有序性有序性相对性相对性 可度量性可

9、度量性 可扩充性可扩充性 可存储、传输与携带性可存储、传输与携带性 信息在信息化程度越来越高的社会信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质中将起到越来越重要的作用，是比物质和能量更为宝贵的和能量更为宝贵的，全面掌握信息，全面掌握信息的概念，正确、及时、有效地利用信息，的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。能够为人类创造更多的财富。 可压缩性可压缩性 可扩散性可扩散性 可替代性可替代性 可共享性可共享性 时效性时效性 按照信息的性质按照信息的性质 1语法语法语义语义语用语用 按照观察的过程按照观察的过程 实在实在先验先验实得实得 2客观客观主观主观

10、 按照信息的地位按照信息的地位 按照信息的作用按照信息的作用有用有用无用无用干扰干扰34真实真实虚假虚假不定不定 按照信息的逻辑意义按照信息的逻辑意义 按照信息的传递方向按照信息的传递方向 前馈前馈反馈反馈56宇宙宇宙自然自然社会社会思维思维工业农业军事政治科技文化经济市场管理 按照信息的生成领域按照信息的生成领域 7 按照信息的应用部门按照信息的应用部门 8语声图象文字数据计算电电磁磁语语声声图图象象文文字字光光学学生生物物 按照信息的来源按照信息的来源9 按照信息载体的性质按照信息载体的性质 10连续连续离散离散半连续半连续 按照携带信息的信号的性质按照携带信息的信号的性质 11 按照性质

11、的不同可以把信息划分成按照性质的不同可以把信息划分成语法信息、语义信息和语用信息语法信息、语义信息和语用信息三个三个基本类型。其中最基本也是最抽象的类基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上型是语法信息。也是迄今为止在理论上研究得最多的类型。研究得最多的类型。 在众多的分类原则和方法中，最重在众多的分类原则和方法中，最重要的就是按照信息性质的分类。要的就是按照信息性质的分类。 全信息全信息语法信息语法信息语义信息语义信息语用信息语用信息离散信息离散信息 明晰信息明晰信息 连续信息连续信息 模糊信息模糊信息 语法信息考虑的是事物运动状态和语法信息考虑的是事物运动状态和

12、变化方式的变化方式的外在形式外在形式 。 当然，按照事物运动的方式，还可当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。信息、确定信息和模糊信息。 香农信息论主要讨论的是语法信香农信息论主要讨论的是语法信息中的息中的概率信息概率信息，本书也以概率信息为，本书也以概率信息为主要研究对象。主要研究对象。 1.1 1.1 信息的一般概念信息的一般概念1.3 信息论的起源、发展及研究内容信息论的起源、发展及研究内容1.2 1.2 信息的分类信息的分类 信息论自诞生到现在不过信息论自诞生到现在不过5050多年，多年，在人类科学史

13、上是相当短暂的。但它的在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种当广泛和深刻的。信息作为一种资源资源，如何开发、利用、共享，是人们普遍关如何开发、利用、共享，是人们普遍关心的问题。心的问题。 在人类历史的长河中，信息传输和在人类历史的长河中，信息传输和传播手段经历了五次重大变革：传播手段经历了五次重大变革：语言的产生。语言的产生。文字的产生。文字的产生。印刷术的发明。印刷术的发明。 电报、电话的发明。电报、电话的发明。 计算机技术与通信技术相结计算机技术与通信技术相结 合，促进了网络通信的发展。合，促进了网

14、络通信的发展。123451 9 2 4 年 ，年 ， 奈 奎 斯 特奈 奎 斯 特（Harry Nyquist） (1889-1976)解释了解释了 2020世纪世纪3030年代，年代，如调频、调相、单边带调制、脉冲编如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进信息能量、带宽和干扰的关系有了进一步的认识。一步的认识。 1 9 3 6 年 ，年 ， 阿 姆 斯 特 朗阿 姆 斯 特 朗（EdwinArmstrong)指出增大带指出增大带宽可以使抗宽可以使抗 干扰能力加干扰能力加 强，并根据强，并根据 这一思想提这

15、一思想提出了出了方法。方法。 1939年，年，达得利达得利（Homer Dudley）发发 明了明了，指出通指出通 信所需带宽至少同待传信所需带宽至少同待传送送 消息的带宽应该一样。声码消息的带宽应该一样。声码器是最早的语音数据压缩系统。这一器是最早的语音数据压缩系统。这一时期还诞生了无线电广播和电视广播。时期还诞生了无线电广播和电视广播。 Shannon 19281928年，年，哈特莱（哈特莱（HartleyHartley）首先首先提 出 了提 出 了的 概 念 。的 概 念 。 HartleyHartley的工作给的工作给 Shannon Shannon 很大的启很大的启示示, , 他在他

16、在1941194419411944年对通信和密码进年对通信和密码进行深入研究，用概率论和数理统计的方行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。了几个重要而带有普遍意义的结论。阐明通信系统传递的对象；阐明通信系统传递的对象；提出了信息熵的概念；提出了信息熵的概念；指出通信系统的中心问题；指出通信系统的中心问题；指明了解决问题的方法。指明了解决问题的方法。1234 以上这些成果以上这些成果19481948年以年以为题公开发表，为题公开发表，标志着信息论的正式诞生。标志着信息论的正式诞生。 维纳维纳（Wien

17、er）在研究火控系统和在研究火控系统和人体神经系统时，提出了在干扰作用下人体神经系统时，提出了在干扰作用下的信息的信息，成为信息论的一，成为信息论的一个重要分支。个重要分支。 1959年，年，香农香农发表了发表了“保真度准则保真度准则下的离散信源编码定理下的离散信源编码定理”（Coding theorems for a discrete source with a fidelity criterion）系统地提出了）系统地提出了。为信源压缩编码的研究奠定了理论基础为信源压缩编码的研究奠定了理论基础。 50 年代，信息论在学术界引起了年代，信息论在学术界引起了巨大反响。巨大反响。1951年，美国

18、无线电工程师年，美国无线电工程师协会协会（IRE）成立了信息论组，并于成立了信息论组，并于1955年正式出版了年正式出版了。 60 年代，年代，有了较有了较大发展，使它成为信息论的又一重要大发展，使它成为信息论的又一重要分支。分支。 1961年，香农的重要论文年，香农的重要论文“双路双路通信信道通信信道”开拓了开拓了的的研究。研究。 后来，随着通信规模的不断扩大，后来，随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把正常运行的必要条件。于是，把密码密码学学也归类为信息论的分支。如今也归类为信息论的分支。如今信息信息安全安全已是

19、网络通信和电子商务系统中已是网络通信和电子商务系统中不可缺少的重要环节。不可缺少的重要环节。 70年代以后，多用户信息论成为年代以后，多用户信息论成为中心研究课题之一。中心研究课题之一。 人们对信息的认识越来越深入，先人们对信息的认识越来越深入，先后提出了后提出了加权熵、动态熵加权熵、动态熵等概念，建立等概念，建立在模糊数学基础之上的在模糊数学基础之上的模糊信息模糊信息的研究的研究也取得了一定的进展。信息论不仅在通也取得了一定的进展。信息论不仅在通信、广播、电视、雷达、导航、计算机、信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到自动控制、电子对抗等电子学领域得到了直接应

20、用，还了直接应用，还，甚至渗透到语言学、美，甚至渗透到语言学、美学等领域。学等领域。 从从60年代开始，一些社会学家在年代开始，一些社会学家在研究社会问题和社会现象时，先后提研究社会问题和社会现象时，先后提出了出了和和的概念，的概念，信息论开始向经济学和社会科学领域信息论开始向经济学和社会科学领域渗透。渗透。1977年，美国经济学家年，美国经济学家发表发表了长达九卷的了长达九卷的信息经济信息经济报告，用信报告，用信息论的基本概息论的基本概 念研究经济现象念研究经济现象和社会现象，和社会现象， 将信息论的研究将信息论的研究从自然科学领从自然科学领 域正式移植到经域正式移植到经济学和社会科学领域。

21、信息论迅速发展济学和社会科学领域。信息论迅速发展成为涉及范围极广的广义信息论成为涉及范围极广的广义信息论即即信息科学。信息科学。 信息论的研究对象是广义通信系信息论的研究对象是广义通信系统。不仅电子的、光学的信号传递系统。不仅电子的、光学的信号传递系统，任何系统，只要能够抽象成通信统，任何系统，只要能够抽象成通信系统模型，都可以用信息论研究，如系统模型，都可以用信息论研究，如神经传导系统、市场销售系统等等。神经传导系统、市场销售系统等等。关于信息论的研究内容，一般有以下关于信息论的研究内容，一般有以下三种解释：三种解释： 主要研究信息的测度、信道容主要研究信息的测度、信道容量、信息率失真函数，

22、与这三个概量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和念相对应的香农三定理以及信源和信道编码信道编码。 信息论基础信息论基础 亦称香农信息论或狭义信息论。亦称香农信息论或狭义信息论。 1香农信息论信源熵信源熵信道容量信道容量无失真信源无失真信源编码定理编码定理率失真函数率失真函数信源编码信源编码信道编码信道编码限失真信源限失真信源编码定理编码定理 信道信道 编码定理编码定理密码密码 主要是研究信息传输和处理问题。主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容估计理论、调制理论。后一部分内容以美国科学家维纳以美国科学家维纳（NWiener）为代为代表。表。一般信息论一般信息论 2一般信息论一般信息论香农香农 信息论信息论噪声噪声理论理论调制调制 理论理论信号滤波信号滤波预测理论预测理论统计检测统计检测估计理论估计理论 虽然维纳和香农等人都是运用概虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似率和统计数学的方法研究准确或近似再现消息的问