信息论信息理论与应用

1、信息论信息理论与应用第1页，共39页，2022年，5月20日，1点19分，星期一教 材：信息论基础理论与应用,傅祖芸,电子工业出版社参考教材： 信息论与编码,陈运,电子工业出版社 纠错码原理与方法,王新梅,西安电子科技大学出版社课程说明考 核：平时成绩20 期中考试30 期末考试50第2页，共39页，2022年，5月20日，1点19分，星期一课程说明本课程将介绍信息科学的基础理论和基本方法，课程将基于一个通讯系统的抽象数学模型进行展开，课程的数学基础为概率论。整个课程可分为基础理论和编码理论两部分组成。本课程以概率论为基础，数学推导较多，教学时主要把注意力集中到概念的理解上，不过分追求数学细节

2、的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。第3页，共39页，2022年，5月20日，1点19分，星期一第一章 绪 论 第一节 信息的概念第二节 信息论研究的对象、目的和内容第三节 信息论的发展简史与现状第4页，共39页，2022年，5月20日，1点19分，星期一第一节 信息的概念组成客观世界的三大基本要素：物质、能量和信息，材料科学、信息科学、和信息科学一起被称为当代文明的“三大支柱”。Without materials, there is

3、nothing.Without energy, nothing happens.Without information, nothing makes sense没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。第5页，共39页，2022年，5月20日，1点19分，星期一第6页，共39页，2022年，5月20日，1点19分，星期一不同学科内关于信息的论断传播学家呼吁：公平地信息获取才是信息对称的基本保障；通讯工程师说：当受信者对一个事件出现的先验概率估计越小时，他获得的信息量就越大；计算机科学家则说：微处理器时钟频率的大小，决定着它处理信息的速度高低；生物学家则

4、高呼：脱氧核糖核酸上的信息是控制子代和亲代相象的唯一源泉。 表达了不同的信息问题研究者对不同领域里信息问题的见解。他们用各自学科的语言阐述了自己的看法，而且都深刻地洞察了他们自己所关怀的信息对象的本质。第7页，共39页，2022年，5月20日，1点19分，星期一信息是什么？ 信息就是信息，既不是物质也不是能量传统科学的基本概念是物质与能量，信息科学的基本概念是信息。信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。对信息的认识越透彻，对信息的利用就会越充分、越合理；对信息的概念把握得越深刻，信息科学本身

5、的根基就越牢固、越扎实。第8页，共39页，2022年，5月20日，1点19分，星期一信息定义信息是选择的自由度。-哈特莱信息是事物之间的差异。信息是集合的变异度。信息是事物联系的普遍形式。信息是收信者事先所不知道的报导。信息是用以消除随机不定性的东西。第9页，共39页，2022年，5月20日，1点19分，星期一信息定义信息是使概率分布发生变动的东西。信息是人与外界相互作用的过程中所交换的内容的名称。-维纳信息是通信传输的内容。第10页，共39页，2022年，5月20日，1点19分，星期一信息定义信息就是消息。信息就是信号。信息就是数据。信息就是情报。信息就是知识。第11页，共39页，2022年

6、，5月20日，1点19分，星期一信息定义的概念“信息”(Information)和“消息”(Message)消息是信息的外壳，信息则是消息的内核。据新辞源考证，一千多年前我国唐代诗人李中就曾经有“梦断美人沉信息，目穿长路倚楼台”的诗句，其中“信息”一词就是音信、消息的意思。同样，在西方出版的许多文献著作中，“信息”(Information)和“消息”(Message)两词也是互相通用的。“信息就是信号”（电信技术）信号只是信息的载体，信息是信号所载荷的内容。“信息就是数据”（计算机技术）数据，它只是记录信息的一种形式，而且不是唯一的形式，不能把它等同于信息本身。情报只是一类专门的信息，是信息的

7、一个子集。第12页，共39页，2022年，5月20日，1点19分，星期一信息定义的概念1928年，哈特莱在贝尔系统技术杂志上发表了一篇题为“信息传输”的论文。在这篇论文中，他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。例如，假定符号表是26个英文字母及标点符号，那么用符号“I am well”传达了一种信息，而用符号“I am sick”传达了另一种信息。如果发信者只能从由0和1两个符号组成的符号表中选择符号而且长度限定为1，则发信者只有两种选择，即0和1，这时传达的信息量很小；如果放宽限制，如长度不

8、超过n（n1）则发信者可以选择的符号串有 个，n越大能传达的信息量就越大。第13页，共39页，2022年，5月20日，1点19分，星期一哈特莱信息定义的局限性哈特莱的这种理解能够在一定程度上解释通信工程中的一些信息问题，但是它也存在着一些严重时局限性：首先，他所定义的信息不涉及内容和价值，只考虑选择的方式，其次，也没有考虑到信源的统计性质；第三，把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。这些缺点使它的运用范围受到很大的限制。第14页，共39页，2022年，5月20日，1点19分，星期一信息定义的概念美国数学家香农在贝尔系统技术杂志 发表了一篇长文，题为“通信的数学理论”（19

9、48）。这篇论文以概率论为工具，深刻阐述了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得到了一组表征信息传递重要关系的编码定理。香农在进行信息的定量计算的时候明确地把信息量定义为随机不定性程度的减少。这就表明了他对信息的理解：信息是用来减少随机不确定性的东西。随机不确定性是指由于随机因素所造成的不能肯定的情形，在数值上可以用概率熵来计量。第15页，共39页，2022年，5月20日，1点19分，星期一信息定义的概念根据这一思想，法裔美国科学家布里渊在他的名著科学与信息论中直接了当地指出：信息就是负熵。并且他还创造了Negentropy这一词（由Negative和

10、Entropy合成）来表示负熵的概念（Brillouin，1956）。美国数学家、控制论的主要奠基人维纳在1950年出版的控制论与社会一书中对信息的理解是：“人通过感觉器官感知周围世界”，“我们支配环境的命令就是给环境的一种信息”，因此，“信息就是我们在适应外部世界，并把这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称”。“接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程”。是把信息理解为广义通信的内容。第16页，共39页，2022年，5月20日，1点19分，星期一维纳信息定义的缺陷维纳把人与外部环境交换信息的过程者作是一种广义

11、的通信的过程。这当然是没有问题的；因为，广义的通信本来就可以泛指人与人、机器与机器、机器与自然物、人与自然物之间的信息传递与交换。不过，这里所理解的信息仍然不够确切。这是因为：人与环境之间互相交换的内容中不仅有信息，也有物质与能量，把它们统统起一个名字信息，岂不是把信息与物质及能量混为一谈。第17页，共39页，2022年，5月20日，1点19分，星期一信息定义的概念所以，信息是组织程度的度量，是有序程度的度量和负熵，是用以减少不定性的东西，这些都是Shannon、Wiener、Brillouin等人共同的理解。这些认识比仅仅把信息看作消息或通信内容要深刻得多。而且，在数学上很容易证明，Hart

12、ley的信息概念仅是Shannon信息概念的一种特殊情形。总起来说，在现有的各种理解中，Shannon的定义比较深刻，而且这种定义还导出了相应的算法。第18页，共39页，2022年，5月20日，1点19分，星期一香农信息定义的概念信息是事物运动状态或存在形式的不确定性的描述，所谓不确定性就是千变万化、不规则、随机性，用概率模型来描述并对其进行定量的计算。通信系统中接受消息的过程就是消除不确定性的过程。不确定的消除就获得了信息。信息量与不确定性消除的程度有关。第19页，共39页，2022年，5月20日，1点19分，星期一香农信息定义的缺陷第一，作为Shannon信息概念的直接基础，通信的数学理论

13、一文曾经十分明确地指出：通信的任务是在收端复制发端所发出的波形，至于它的内容含义，因与通信工程无关，所以可以舍去。可见，Shannon理论中的不定性纯粹是波形形式上的不定性，与此相应的信息概念也是纯粹的形式化的概念（称为语法信息）。这样的信息概念排除了信息的含义因素，（即语义信息）和价值因素（即语用信息），不考虑收信者的主观特性。因此，它的适用范围受到严重的限制。第20页，共39页，2022年，5月20日，1点19分，星期一香农信息定义的缺陷第二，它只考虑了随机型的不定性，不能解释与其他型式的不定性（如模糊不定性）有关的信息问题。第三，这种信息定义只从功能角度上来表述，还是没有从根本上回答“信

14、息是什么”的问题。第21页，共39页，2022年，5月20日，1点19分，星期一信息概念的层次最高层次是最普遍的层次，也是无约束条件的层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。每引入一个条件，定义的层次就降低一点，使用的范围就变窄一点。“本体论”层次定义：信息是该事物运动的状态和状态改变的方式。认识论层次：站在认识主体的立场上。即信息是认识主体（生物或机器）所感知的或所表述的相应事物运动状态及其变化方式。虽然认识论比本体论的层次要低一些，所定义信息的使用范围也要窄一些，但是信息概念的内涵比本体论要丰富得多。第22页，共39页，2022年，5月20日，1点19分，星期一全信息全

15、信息：同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息，称为全信息。语义信息是指关于“事物运动表征”的含义，与主体的知识结构及其理解能力密切相关，语用信息是指关于“事物运动表征”的效用，它与主体要解决的问题及其运用能力密切相关。语法信息指关于“事物运动表征”的本身结构，不涉及这些表征的含义和效用，是最基本、最客观的层次，它是迄今为止在理论上研究最多的层次。根据事物运动方式的不同，分为概率型、偶然型和确定型信息。认识论层次的信息是全信息。第23页，共39页，2022年，5月20日，1点19分，星期一消息：是指包含有信息的语言、文字和图像等，可表达客观物质运动和主观思维活动的状态

16、。信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。消息中包含信息，是信息的载体。同一信息可用不同的消息形式来载荷。一则消息也可载荷不同的信息，可能包含丰富的信息，也可能包含很少的信息。消息和信息既有区别又有联系。信息与消息的区分第24页，共39页，2022年，5月20日，1点19分，星期一信号：把消息变换成适合信道传输的物理量，这种物理量称为信号（如电信号、光信号、声音信号等）。信号携带着消息，它是消息的运载工具。信号携带信息，但不是信息本身。同一信息可用不同的信号来表示。同一信号也可表示不同的信息。信息与信号的区分第25页，共39页，2022年，5月20日，1点19分，星

17、期一第二节 信息论研究的对象、目的和内容通信系统模型编码器信道译码器信宿噪声源信源消息信号干扰信号+干扰消息第26页，共39页，2022年，5月20日，1点19分，星期一信息论研究的对象、目的和内容信源：消息的来源编码器：把消息变换成信号，包括信源编码器、信道编码器、调制器信道：传递信号的媒介译码器：把信道输出的信号反变换信宿：信息的接受端噪声：信道中的干扰第27页，共39页，2022年，5月20日，1点19分，星期一信源 Information source离散信源和连续信源无记忆信源和有记忆信源核心问题：信源的消息中所包含的信息量以及信息如何度量。第28页，共39页，2022年，5月20日

18、，1点19分，星期一编码器编码其的功能把消息变成适合信道传输的信号：信源编码器 （source encoder）：将信源消息变成符号，目的提高传输的有效性。最常见的电报系统的莫尔斯电码，原则常见消息用短的码字表示。信道编码器（channel encoder）：给信源编码符号增加冗余符号，提高传输的可靠性。调制器（modulator）：将编码器输出符号变成适合信道传输的信号，提高传输的效率，比如声音不变成电信号传输的距离很近。第29页，共39页，2022年，5月20日，1点19分，星期一信道狭义信道 具体的物理信道，与介质相关广义信道 一种逻辑关系或者通道无噪声信道和有噪信道AWGN信道 ：加性

19、高斯白噪声信道第30页，共39页，2022年，5月20日，1点19分，星期一译码器功能是从信号中恢复消息，包括解调器信道译码器信源译码器是编码的逆变换第31页，共39页，2022年，5月20日，1点19分，星期一研究目的：提高信息系统的可靠性、有效性和安全性以便达到系统最优化。第32页，共39页，2022年，5月20日，1点19分，星期一通信的基本问题在一点精确地或近似地恢复另一点所选择的消息。通信系统的三项基本性能指标：传输的有效性 最短的码字，单位的时间传输更多。传输的可靠性：减少差错，降低错误率传输的安全性：不被未授权的一方获取第33页，共39页，2022年，5月20日，1点19分，星期

20、一数字通信的三项基本技术数据压缩数据纠错数据加密前两项：1948 香农的论文建立理论基础第三项1945年：密码学的数学理论中给出，1949公开发表为保密系统的通信理论，奠定了现代密码学的理论基础，使密码学从艺术变成了科学。香农建立了三项技术的理论基础，一般认为第三项属于密码学和信息安全的范畴，而前两项属于信息论的内容。第34页，共39页，2022年，5月20日，1点19分，星期一信息论的理解狭义信息论（香农信息论） 信息的测度、信道容量、信源和信道编码理论一般信息论 噪声、滤波与预测、估计、保密等广义信息论 所有与信息相关的领域第35页，共39页，2022年，5月20日，1点19分，星期一信息

21、传输手段的五次重大变革 语言产生：人们用语言准确地传递感情和意图，使语言成为传递信息的重要工具。 文字产生：人类开始用书信的方式交换信息，使信息传递的准确性大为提高。 发明印刷术：使信息能大量存储和大量流通，并显著扩大了信息的传递范围。 发明电报电话：开始了人类电信时代，通信理论和技术迅速发展。这一时期还诞生了无线电广播和电视。更深入的问题：如何定量研究通信系统中的信息，怎样更有效、更可靠传递信息？ 计算机与通信结合：促进了网络通信的发展，宽带综合业务数字网的出现，给人们提供了除电话服务以外的多种服务，使人类社会逐渐进入了信息化时代。第36页，共39页，2022年，5月20日，1点19分，星期一1924年，Nyquist提出信息传输理论；1928年，Hartley提出信息量关