PPT信息论与编码-第1章绪论

1、2022-3-27第一次课1课程概述信息论与编码以概率论概率论与随机过程随机过程为主要数学工具，用一系列具体的符号(码)来表示抽象的信息，研究信息在存储和传递过程中具有高效性高效性和可靠性可靠性这两大核心问题。本课程包括信息论基础和编码两大部分。2022-3-27第一次课2学习方法学习时把注意力集中到概念的理解上，不过分追求数学细节的推导。注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。2022-3-27第一次课3第一章 绪论o1.1 信息的概念、性质及度量o1.2 信息论研究的对象、目的和内容o1.3 信息论的形成与发

2、展2022-3-27第一次课41.1.1 信息的重要性o人类的生存与发展离不开信息n结绳记事结绳记事,契契(q)刻记事刻记事：最初期n烽火告警、狼烟、擂鼓传信、飞鸽传书烽火告警、狼烟、擂鼓传信、飞鸽传书o最早、快速、远距离n语言和文字语言和文字：最根本的工具o造纸术和印刷术使文字成为信息传递有效工具n邮政通信邮政通信n电报、电话和电视电报、电话和电视o快速、便利、远距离n网络、手机网络、手机 什么是信息？消息？2022-3-27第一次课51.1.2 信息的定义（一）o不同学科,从不同角度对信息这个概念有不同解释n新闻界,信息信息被普遍认为是对事物运动状态的陈述是对事物运动状态的陈述,是物与物、

3、物与人、人与人之间的特征传输.而新闻则是信息的一种,是具有新闻价值的信息，如东航“返航事件”.n哲学家从产生信息的客体来定义,认为信息是事物本质、特征、信息是事物本质、特征、运动规律的反映运动规律的反映.不同事物有不同本质、特征、运动规律,人们就是通过事物发出的信息来认识该事物,或区别于其它事物.n图书馆学和情报学领域,信息定义为事物或记录信息定义为事物或记录.美国学者巴克兰德(Buckland)认为, 许多事物都可以是信息, 如文本、图片、录音磁带、博物馆陈列品、自然物体、实验、事件等。但这一定义过于宽泛,未能将信息、信息载体和信息资源区分开来. 2022-3-27第一次课61.1.2 信息

4、的定义（二）o控制论专家维纳维纳(Wiener,右图)的信息概念是从信息传递过程中,客体和接收主体之间相互作用定义的.他说,”信息既不是物质,又不是能量,信息就是信息.”o根据维纳的说法,信息和物质、能量既有联系又有区别n物质世界三大基础：世界由物质组成,能量是物质运动的动力,信息是人类了解自然及人类社会的凭据;n独立性：信息不遵循质量守恒定律,其性质和内容与物质载体的变换无关;信息也不服从能量守恒定律,信息可以共享而能量不能共享.n依存关系：能量和信息源于物质;信息要以物质为基础,也离不开能量;物质运动的状态和方式需要信息来表现和描述,能量的转换与驾驭也同样离不开信息.2022-3-27第一

5、次课71.1.2 信息的定义（三）o1988年,钟义信在信息科学原理中认为,信息是事物运动的状态与方式信息是事物运动的状态与方式，是物质的一种属性。n“事物事物”泛指一切可能的研究对象,包括外部世界的物质客体,也包括主观世界的精神现象;n“运动运动”泛指一切意义上的变化,包括机械运动、化学运动、思维运动和社会运动;n“运动方式运动方式”是指事物运动在时间上所呈现的过程和规律;n“运动状态运动状态”则是事物运动在空间上所展示的形状与态势. 2022-3-27第一次课81.1.2 香农信息的定义o克劳德克劳德艾尔伍德艾尔伍德香农香农是美国数学家、信息论的创始人。密西根大学学士，麻省理工学院博士。o

6、香农在1948年发表了一篇著名的论文，通信的数学理通信的数学理论论。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的分析。 克劳德克劳德艾尔伍德艾尔伍德香农香农 (Claude Elwood Shannon, 1916-2001)2022-3-27第一次课91.1.2 香农信息的定义o香农将各种通信系统概括成如下框图：2022-3-27第一次课101.1.2 香农信息的定义o消息传递过程的特点：收信者在收到消息以收信者在收到消息以前是不知道消息的具体内容的前是不知道消息的具体内容的。n1) 收信者存在着“不知”、“不确定”或“疑问”；o收到消息以前，收信者在是不知道消

7、息的具体内容。o即使收到消息，由于干扰的存在，收信者也不能判定所得到的消息是否正确和可靠。n2) 通过消息的传递，收信者知道了消息的具体内容，消除或部分消除了原先的“不知”、“不确定”和“疑问”。2022-3-27第一次课111.1.2 香农信息的定义2022-3-27第一次课121.1.2 香农信息的定义o因此，对收信者来说，消息的传递过程是n从不知到知的过程；n或是从知之甚少到知之甚多的过程；n或是从不确定到部分确定或全部确定的过程。o如果不具备这样一个特点，那就根本不需要通信系统了。 2022-3-27第一次课131.1.2 香农信息的定义o所以，通信过程是一种消除不确定性的过程通信过程

8、是一种消除不确定性的过程。n不确定性的消除，就获得了一部分信息。n不确定性消除得越多，获得的信息就越多。n不确定性全部消除了，就获得了全部的信息；n若消除了部分不确定性，就获得了部分信息；n若不确定性没有任何消除，就没有获得任何信息。o由此可见，信息是事物运动状态或存在方式的信息是事物运动状态或存在方式的不确定性不确定性的描述的描述。这就是香农信息的定义香农信息的定义。2022-3-27第一次课141.1.3 信息与消息的关系o1、消息消息：表达客观物质运动和主观思维活动的状态, 如文字、语言、图像等.o2、信息与消息的关系：信息与消息的关系：n形式上传输消息，实质上传输信息。n消息具体，信息

9、抽象。n消息是表达信息的工具，信息载荷在消息中，同一信息可用不同形式的消息来载荷。n消息可能包含丰富的信息，也可能包含很少的信息。2022-3-27第一次课151.1.4 信息与信号的关系o1、信号：n把消息变换成适合信道传输的物理量，如光信号、电信号、声信号和生物信号等。 o2、信息与信号的关系：n信号携带着消息，它是消息的运载工具。 n信号是消息的表现形式，消息是信号的具体内容。2022-3-27第一次课161.1.5 香农信息的度量o根据香农的有关信息的定义，信息如何度量？o当人们收到一封电报，或听了广播，或看了电视，到底得到了多少信息量呢？o信息能否度量？信息能否度量？信息量与不确定性

10、消除的程度有关。那么，不确定性的大小能度量吗？o数学工具数学工具：数学上，不确定性就是随机性，具有不确定性的事件就是随机事件。因此可用概率论和随概率论和随机过程机过程来测度不确定性的大小。o从直观概念来讲，不确定性的大小可以直观地看成是事先猜测某随机事件是否发生的难易程度。2022-3-27第一次课171.1.5 香农信息的度量 而乙袋中取出红球的概率小，不确定性大，故信息量大。从这个例子可以得出：不确定性的大小与可能发生的消息数目及各消息发生的概率有关。举例说明不确定性的大小，如右图甲袋中取出红球的概率大，不确定性小，因此信息量小；2022-3-27第一次课181.1.5 香农信息的度量o信

11、息能否度量？信息能否度量？信息量与不确定性消除的程度有关。那么，不确定性的大小能度量吗？n回答：某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各种状态出现的概率大小有关。因此，不确定性的大小能够度量。可见，信息也是可以测度的。2022-3-27第一次课191.1.3 信息的基本性质o1、信息是无形的、信息是无形的n不同于物质与能量，看不见、摸不着，不具有实体性o2、信息是可共享的、信息是可共享的n2.1 信息共享是无限的，甲乙丙n2.2 信息共享的积极作用，加速人类社会的文明进程n2.3 信息共享的安全性o3、信息是无限的、信息是无限的n3.1 资源,取之不尽、用之不竭的n3

12、.2 时空上的可扩展性，如天气预报信息o4、信息是可量度的，质量和数量、信息是可量度的，质量和数量2022-3-27第一次课201.1.6 香农信息的度量（一）o1、样本空间样本空间Xn某事物所有可能出现的不同状态(或不同消息)的集合。 o2、概率测度概率测度Pn对于每个可能选择的消息指定一个概率。o3、消息概率空间消息概率空间X,P：消息的样本空间X和它的概率测度P。离散情况下概率空间为1212( )( )()( )qqaaaXp ap ap ap x2022-3-27第一次课211.1.6 信息的度量（二）o4、自信息自信息：接收端对发送端是否发送消息ai的不确定性, 即o5、条件自信息条

13、件自信息：接收端收到bj 后, 对发送端是否发送消息ai 尚存在的不确定性, 即o6、互信息互信息：收信者获得的信息量, 接收端收到消息bj 后,已经消除的不确定性, 即 1( )log( )iiI aP a11( ;)loglog( )(|)ijiijI a bP aP a b1(|)log(|)ijijI a bP a b2022-3-27第一次课221.1.7 香农概率信息定义的优劣o优点：n定义科学，有明确的数学模型；n与日常用语中信息的含意是一致的；n排除了日常用语中对信息的主观含意。o局限性：n实际存在的某些事物运动状态很难找到一个合适的概率模型(以经典集合论为基础)；n没有考虑收

14、信者的主观特性和主观意义；n撇开了事物本身的具体含意、具体用途、重要程度和引起的后果等因素。2022-3-27第一次课23第一章 绪论o1.1 信息的概念、性质及度量o1.2 信息论研究的对象、目的和内容o1.3 信息论的形成与发展2022-3-27第一次课241.2.1 研究对象：通信系统o各种通信系统尽管形式和用途不同都是信息传输系统；o为便于研究信息传输和处理的共同规律，将各种通信系统抽象成一个统一的理论模型，如图1.1.信源编码加密信道编码信道信道解码解密信源译码信宿密钥源噪声源密钥源信源 图 1.1 通信系统模型 2022-3-27第一次课251.2.1 研究对象：通信系统通信系统模

15、型主要分成以下五部分：通信系统模型主要分成以下五部分：o1、信、信 源源：产生消息和消息序列的源。n它可以是人、生物、机器或其他事物，人的大脑思维活动也是一种信源；n信源发出的消息有语音、图像、文字等；n信源的输出是消息，消息是具体的，但它不是信息本身。n它是事物各种运动状态或存在状态的集合，可能出现的状态(即信源输出的消息)是随机的、不确定的，但又有一定的规律性。2022-3-27第一次课261.2.1 研究对象：通信系统o2、编码器、编码器：将信源发出的消息变换成适合信道传送的信号的设备，包括以下三个部分：n信源编码信源编码，为了提高信息传输的效率对信源输出的消息进行适当的变换和处理，把信

16、息变换成信号，又称信源压缩编码信源压缩编码；n信道编码信道编码，是为了提高信息传输的可靠性而对消息进行的变换和处理，又称信道纠错编码信道纠错编码，如奇偶监督码、重复码、线性分组码等；n保密编码保密编码，是为保证信息的安全性和证实性。2022-3-27第一次课27o电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的；o在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用，应用越来越普遍；o计算机的运算速度很高，要保证它几乎不出差错，相当于要求有100年的时间内不得有一秒钟的误差，这就需要利用纠错

17、码来自动地及时地纠正所发生的错误；o每出版一本书，都给定一个国际标准书号(ISBN)，大大方便图书的销售、编目和收藏工作。2022-3-27第一次课281.2.1 研究对象：通信系统o3、信、信 道道：通信系统中把载荷消息的信号从甲地传输到乙地的媒介或通道。n实际信道有明线、电缆、波导、光纤、无线电波传播空间等传输电磁波能量的信道；n信道除传送信号以外，还有存储信号的作用，如磁带、光盘或书写通信方式；n在信道中还存在噪声和干扰。为分析方便，把干扰和噪声都等效地折合成信道干扰，看成是由噪声源产生。由于干扰或噪声往往具有随机性，所以信道特性可用概率空间描述。2022-3-27第一次课291.2.1

18、 研究对象：通信系统o4、译、译 码码：就是把信道输出的编码信号（已迭加了干扰）进行反变换，一般认为这种变换是可逆的。n从受干扰的信号中最大限度地提取出信源输出消息的信息，并尽可能地复现信源的输出。译码器也分成三种：o信源译码器；o信道译码器；o解密译码器。 2022-3-27第一次课301.2.1 研究对象：通信系统o5、信、信 宿宿：是消息传送过程中的接收者，即接收消息的人或机器。2022-3-27第一次课311.2.2 研究目的o研究概括性强的通信系统，其目的：要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使达到信息传输系统最优化。n可靠性可靠性：尽可能不

19、失真地再现信源发出的消息；n有效性有效性：用更短的时间和更少的设备来传送信息，与可靠性易发生矛盾，需要统筹兼顾；n保密性保密性：传送的消息只被预定的接收者获取；n认证性认证性：正确判断所接收消息是预定发送者发送的。2022-3-27第一次课321.2.2 研究目的o根据信息传输的要求不同，信息传输系统根据信息传输的要求不同，信息传输系统模型不是不变的。模型不是不变的。n研究可靠性研究可靠性，把信源、信源编码和加密编码等效成一个信源，而将信宿、信源译码和解密译码等效成一信宿；n研究有效性研究有效性，只考虑信源与信宿之间的信源编(译)码，将其他部分看成无干扰信源；n研究保密性和认证性研究保密性和认

20、证性，将信源和信源编码等效成一信源；将信道编码、信道、噪声源和信道译码等效成一无干扰信道；而将信源译码和信宿等效为一信宿。2022-3-27第一次课331.2.3 研究内容信息论研究的是关于这个通信系统的最根信息论研究的是关于这个通信系统的最根本、最本质的问题。本、最本质的问题。例如：例如： 什么是信息？如何度量信息？ 怎样确定信源中含有多少信息量？ 对于一个信道，它传输信息量的最高极限(信道容量)是多少？2022-3-27第一次课341.2.3 研究内容 为了能够无失真的传输信源信息，对信源编码时所需的最少的码符号数是多少？(无失真信无失真信源编码即源编码即香农第香农第一一定理定理) 在有噪

21、信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？(有有噪信道编码即香农第噪信道编码即香农第二二定理定理) 如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？(限失真信源编码限失真信源编码即香农第即香农第三三定理定理)2022-3-27第一次课351.2.3 研究内容o信息论研究内容的三种理解：n1、狭义信息论oA. 信息的测度B. 信道容量oC. 信源和信道编码理论n2、一般信息论。主要也是研究信息传输和处理问题。oA. 香农理论B. 噪声理论oC. 信号滤波和预测D. 统计检测与估计理论oE. 调制理论 F. 信息处理理论n3、广义信息论。除了上述两个方面

22、内容，还包括所有与信息有关的领域，如oA. 模式识别B. 计算机翻译C. 心理学oD. 遗传学E. 神经生理学 F. 语言学oG. 语义学2022-3-27第一次课361.2.3 研究内容 综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的可靠性和有效性，以便达到系统最优化；它的主要内容(或分支)包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。 2022-3-27第一次课37狭义信息论体系结构Shannon信息论压缩理论有失真编码无失

23、真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码2022-3-27第一次课381.2.3 研究内容o除了香农理论以外，后一部分内容是以美国科学家维纳(N. Wiener)为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫(. ?)。维纳(1894-1964)柯尔莫哥洛夫(1903-1987)

24、2022-3-27第一次课391.2.3 研究内容o虽然维纳和香农等人都是运用概率和统计数学的方法来研究准确地或近视地再现消息的问题，都是为了使消息传送和接收最优化，但他们之间却有一个重要的区别，见下表。2022-3-27第一次课401.2.3 研究内容维纳理论维纳理论香农理论香农理论研究重点研究重点接收端编码、收发联合最优化研究对象研究对象 研究信号在传输过程中被那些因素干扰研究信号从信源到信宿之间传输的全过程研究内容研究内容 在接收端怎样在干扰中提取、恢复、再现信号在传输前、后对消息进行适当的编(译)码，就能保证干扰下最佳地传送和再现消息提出理论提出理论最佳线性滤波理论(维纳滤波器)、统计

25、检测与估计理论、噪声理论信息测度理论、信道容量理论和编码理论等2022-3-27第一次课41第一章 绪论o1.1 信息的概念、性质及度量o1.2 信息论研究的对象、目的和内容o1.3 信息论的形成与发展2022-3-27第一次课421.3.1 电信系统的形成与发展o一、有线通信系统一、有线通信系统n1831年英国法拉第法拉第(Faraday)发现电磁感应电磁感应的基本规律。 n1844年美国莫尔斯莫尔斯(Morse)建立起了电报系统电报系统(数据数据)。n1875年苏格兰青年亚历山大.贝尔贝尔(Bell)发明了世界上第一台电话机电话机(语音语音)。2022-3-27第一次课43o二、无线电通信

26、系统二、无线电通信系统n1864年英国麦克斯韦麦克斯韦(Maxwell)预言了电磁波电磁波的存在.n1888年德国赫兹赫兹(Hertz)用实验证明了电磁波存在这一预言.n1895年意大利的马可尼马可尼(Marconi)发明了无线电通信无线电通信,通信距离近百米.n1901年马可尼马可尼成功地进行了跨越大西洋的远距离无线电通信远距离无线电通信.n1904年英国工程师弗莱明弗莱明(Fleming)发明了真空二极管真空二极管.o具有更高的性能和灵敏度，大大提高了无线电通信的功能.n1906年美国福雷斯特福雷斯特(Forest)制成了世界上第一只真空三极管真空三极管.o起到放大电信号的作用,大大提高了

27、无线电通信的距离和可靠性.n1925-1927,大功率超高频电子管发明以后,电视系统电视系统(图像图像)建立起来了.n1925年苏格兰人贝尔德贝尔德(Baird)和美国人斯福罗金斯福罗金(Zworykin)发明了电视系统（图像）电视系统（图像）。前者称做机械式机械式，后者称为电子式电子式电视。2022-3-27第一次课44o三、微波通信系统（波长在三、微波通信系统（波长在0.1 mm-1 m）n微波电子管微波电子管是随着微波波段的开发利用而发展起来的,它的应用领域已扩展到微波中继通信、卫星通信、地面电视广播、卫星电视广播、导航、能量传输、工业和民用加热、科学研究等方面.n五十年代后期发明了量子

28、放大器量子放大器,微波放大的装置, 这种放大器是噪声最低的一种微波放大器微波放大器,而且工作稳定、线性度好.2022-3-27第一次课45o四、光纤通信系统（四、光纤通信系统（波长波长在在0.8 m-1.8 m）n世界上第一台激光器激光器诞生于1960年,我国于1961年研制出第一台激光器,使人类进入了光纤通信光纤通信的时代.n1966年,英籍华人高锟高锟最先提出用玻璃纤维进行远距离远距离激光通信激光通信的设想.n1973年,美国康宁公司制成每千米传输损耗只有20分贝的光纤.同年,美国贝尔实验室研制出能在常温下连续工作的半导体激光器半导体激光器.这两项技术突破为光纤通信的实现铺平了道路.n19

29、76年,美国在芝加哥两个相距7千米的电话局间首次进行了光纤通信试验,实现了一根光纤能够同时容纳8000对人通话.2022-3-27第一次课461.3.2 通信理论的发展 o一、信息理论n1885年凯尔文凯尔文(Kelvin)曾经研究过一条电缆的极限传信率电缆的极限传信率问题。n1922年卡逊卡逊(Carson)研究了调幅信号频谱结构，提出了边带边带概念。n1924年奈奎斯特奈奎斯特(Nyquist)和屈夫缪勒屈夫缪勒(Kpfmller)解释了信号带宽和信息率之间的关系信号带宽和信息率之间的关系。n1928年哈特莱哈特莱(Hartley)提出信息量信息量等于可能消息数的对数。n1936年阿姆斯特

30、朗阿姆斯特朗(Armstrong)提出在传输过程中增大带宽传输过程中增大带宽可以增强抑制干扰的能力可以增强抑制干扰的能力。n1939年，瑞弗瑞弗(Reeve)提出了具有强干扰能力的脉冲调制脉冲调制。上述理论工作的一个主要弱点弱点：是把消息看成是一个确定性的过程确定性的过程，这与许多实际情况不相符合。所依靠的数学工具主要是经典的傅里叶傅里叶分析方法分析方法，这是有局限性的。 2022-3-27第一次课47n1945年莱斯莱斯(Rice)对噪声噪声进行了全面研究总结, 抗干扰抗干扰取代了抗失真。抗失真。n1948年香农香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。o香农第一定理：

31、变长无失真信源编码定理变长无失真信源编码定理o香农第二定理：有噪信道编码定理有噪信道编码定理n195l年美国IRE成立了信息论组，1955年出版了汇刊。此间，范恩斯坦(Foinstein)等科学家论证和推广了香农理论。n1959年香农香农发表了“保真度准则下的离散信源编码定理保真度准则下的离散信源编码定理(香农第三定理)”，系统地提出了信息率失真理论信息率失真理论。n1961年香农论文“双路通信信道”开拓了多用户信息论多用户信息论研究。2022-3-27第一次课48o二、信号检测与估计理论n1942年维纳维纳(Wiener)建立了最少均方误差准则最少均方误差准则的维纳滤波理论；维纳滤波理论；n1943年诺思诺思(North) 提出了最大输出信噪比准则最大输出信噪比准则的匹配滤波器理论匹配滤波器理论。n1946年科捷利尼科夫科捷利尼科夫(Kotelnikov)提出了最大后验概率最大后验概率准则(或称最最小错误概率小错误概率)的理想接收机。n1950年伍德沃德伍德沃德(Woodword)将信息量的概