PPT信息论与编码-第1章绪论

课程概述

信息论与编码以概率论与随机过程为主要数学工具，用一系列具体的符号(码)来表示抽象的信息，研究信息在存储和传递过程中具有高效性和可靠性这两大核心问题。本课程包括信息论基础和编码两大部分。 2/3/20231第一次课学习方法 学习时把注意力集中到概念的理解上，不过分追求数学细节的推导。 注意理解各个概念的“用处”，结合其他课程理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。2/3/20232第一次课第一章绪论1.1信息的概念、性质及度量1.2信息论研究的对象、目的和内容1.3信息论的形成与发展2/3/20233第一次课1.1.1信息的重要性人类的生存与发展离不开信息结绳记事,契(qì)刻记事：最初期烽火告警、狼烟、擂鼓传信、飞鸽传书最早、快速、远距离语言和文字：最根本的工具造纸术和印刷术使文字成为信息传递有效工具邮政通信电报、电话和电视快速、便利、远距离网络、手机

什么是信息？消息？2/3/20234第一次课1.1.2信息的定义（一）不同学科,从不同角度对信息这个概念有不同解释新闻界,信息被普遍认为是对事物运动状态的陈述,是物与物、物与人、人与人之间的特征传输.而新闻则是信息的一种,是具有新闻价值的信息，如东航“返航事件”.哲学家从产生信息的客体来定义,认为信息是事物本质、特征、运动规律的反映.不同事物有不同本质、特征、运动规律,人们就是通过事物发出的信息来认识该事物,或区别于其它事物.图书馆学和情报学领域,信息定义为事物或记录.美国学者巴克兰德(Buckland)认为,许多事物都可以是信息,如文本、图片、录音磁带、博物馆陈列品、自然物体、实验、事件等。但这一定义过于宽泛,未能将信息、信息载体和信息资源区分开来.2/3/20235第一次课1.1.2信息的定义（二）控制论专家维纳(Wiener,右图)的信息概念是从信息传递过程中,客体和接收主体之间相互作用定义的.他说,”信息既不是物质,又不是能量,信息就是信息.”根据维纳的说法,信息和物质、能量既有联系又有区别物质世界三大基础：世界由物质组成,能量是物质运动的动力,信息是人类了解自然及人类社会的凭据;独立性：信息不遵循质量守恒定律,其性质和内容与物质载体的变换无关;信息也不服从能量守恒定律,信息可以共享而能量不能共享.依存关系：能量和信息源于物质;信息要以物质为基础,也离不开能量;物质运动的状态和方式需要信息来表现和描述,能量的转换与驾驭也同样离不开信息.2/3/20236第一次课1.1.2信息的定义（三）1988年,钟义信在《信息科学原理》中认为,信息是事物运动的状态与方式，是物质的一种属性。“事物”泛指一切可能的研究对象,包括外部世界的物质客体,也包括主观世界的精神现象;“运动”泛指一切意义上的变化,包括机械运动、化学运动、思维运动和社会运动;“运动方式”是指事物运动在时间上所呈现的过程和规律;“运动状态”则是事物运动在空间上所展示的形状与态势.2/3/20237第一次课1.1.2香农信息的定义克劳德·艾尔伍德·香农是美国数学家、信息论的创始人。密西根大学学士，麻省理工学院博士。香农在1948年发表了一篇著名的论文，《通信的数学理论》。他从研究通信系统传输的实质出发，对信息做了科学的定义，并进行了定性和定量的分析。

克劳德·艾尔伍德·香农(ClaudeElwoodShannon,1916-2001)2/3/20238第一次课1.1.2香农信息的定义香农将各种通信系统概括成如下框图：2/3/20239第一次课1.1.2香农信息的定义消息传递过程的特点：收信者在收到消息以前是不知道消息的具体内容的。1)收信者存在着“不知”、“不确定”或“疑问”；收到消息以前，收信者在是不知道消息的具体内容。即使收到消息，由于干扰的存在，收信者也不能判定所得到的消息是否正确和可靠。2)通过消息的传递，收信者知道了消息的具体内容，消除或部分消除了原先的“不知”、“不确定”和“疑问”。2/3/202310第一次课1.1.2香农信息的定义2/3/202311第一次课1.1.2香农信息的定义因此，对收信者来说，消息的传递过程是从不知到知的过程；或是从知之甚少到知之甚多的过程；或是从不确定到部分确定或全部确定的过程。如果不具备这样一个特点，那就根本不需要通信系统了。2/3/202312第一次课1.1.2香农信息的定义所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了一部分信息。不确定性消除得越多，获得的信息就越多。不确定性全部消除了，就获得了全部的信息；若消除了部分不确定性，就获得了部分信息；若不确定性没有任何消除，就没有获得任何信息。由此可见，信息是事物运动状态或存在方式的不确定性的描述。这就是香农信息的定义。2/3/202313第一次课1.1.3信息与消息的关系1、消息：表达客观物质运动和主观思维活动的状态,如文字、语言、图像等.2、信息与消息的关系：形式上传输消息，实质上传输信息。消息具体，信息抽象。消息是表达信息的工具，信息载荷在消息中，同一信息可用不同形式的消息来载荷。消息可能包含丰富的信息，也可能包含很少的信息。2/3/202314第一次课1.1.4信息与信号的关系1、信号：把消息变换成适合信道传输的物理量，如光信号、电信号、声信号和生物信号等。2、信息与信号的关系：信号携带着消息，它是消息的运载工具。信号是消息的表现形式，消息是信号的具体内容。2/3/202315第一次课1.1.5香农信息的度量根据香农的有关信息的定义，信息如何度量？当人们收到一封电报，或听了广播，或看了电视，到底得到了多少信息量呢？信息能否度量？信息量与不确定性消除的程度有关。那么，不确定性的大小能度量吗？数学工具：数学上，不确定性就是随机性，具有不确定性的事件就是随机事件。因此可用概率论和随机过程来测度不确定性的大小。从直观概念来讲，不确定性的大小可以直观地看成是事先猜测某随机事件是否发生的难易程度。2/3/202316第一次课1.1.5香农信息的度量

而乙袋中取出红球的概率小，不确定性大，故信息量大。从这个例子可以得出：不确定性的大小与可能发生的消息数目及各消息发生的概率有关。举例说明不确定性的大小，如右图甲袋中取出红球的概率大，不确定性小，因此信息量小；2/3/202317第一次课1.1.5香农信息的度量信息能否度量？信息量与不确定性消除的程度有关。那么，不确定性的大小能度量吗？回答：某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各种状态出现的概率大小有关。因此，不确定性的大小能够度量。可见，信息也是可以测度的。2/3/202318第一次课1.1.3信息的基本性质1、信息是无形的不同于物质与能量，看不见、摸不着，不具有实体性2、信息是可共享的2.1信息共享是无限的，甲—〉乙—〉丙2.2信息共享的积极作用，加速人类社会的文明进程2.3信息共享的安全性3、信息是无限的3.1资源,取之不尽、用之不竭的3.2时空上的可扩展性，如天气预报信息4、信息是可量度的，质量和数量2/3/202319第一次课1.1.6香农信息的度量（一）1、样本空间X某事物所有可能出现的不同状态(或不同消息)的集合。2、概率测度P对于每个可能选择的消息指定一个概率。3、消息概率空间[X,P]：消息的样本空间X和它的概率测度P。离散情况下概率空间为2/3/202320第一次课1.1.6信息的度量（二）4、自信息：接收端对发送端是否发送消息ai的不确定性,即5、条件自信息：接收端收到bj后,对发送端是否发送消息ai尚存在的不确定性,即6、互信息：收信者获得的信息量,接收端收到消息bj后,已经消除的不确定性,即2/3/202321第一次课1.1.7香农概率信息定义的优劣优点：定义科学，有明确的数学模型；与日常用语中信息的含意是一致的；排除了日常用语中对信息的主观含意。局限性：实际存在的某些事物运动状态很难找到一个合适的概率模型(以经典集合论为基础)；没有考虑收信者的主观特性和主观意义；撇开了事物本身的具体含意、具体用途、重要程度和引起的后果等因素。2/3/202322第一次课第一章绪论1.1信息的概念、性质及度量1.2信息论研究的对象、目的和内容1.3信息论的形成与发展2/3/202323第一次课1.2.1研究对象：通信系统各种通信系统尽管形式和用途不同都是信息传输系统；为便于研究信息传输和处理的共同规律，将各种通信系统抽象成一个统一的理论模型，如图1.1.2/3/202324第一次课1.2.1研究对象：通信系统通信系统模型主要分成以下五部分：1、信源：产生消息和消息序列的源。它可以是人、生物、机器或其他事物，人的大脑思维活动也是一种信源；信源发出的消息有语音、图像、文字等；信源的输出是消息，消息是具体的，但它不是信息本身。它是事物各种运动状态或存在状态的集合，可能出现的状态(即信源输出的消息)是随机的、不确定的，但又有一定的规律性。2/3/202325第一次课1.2.1研究对象：通信系统2、编码器：将信源发出的消息变换成适合信道传送的信号的设备，包括以下三个部分：信源编码，为了提高信息传输的效率对信源输出的消息进行适当的变换和处理，把信息变换成信号，又称信源压缩编码；信道编码，是为了提高信息传输的可靠性而对消息进行的变换和处理，又称信道纠错编码，如奇偶监督码、重复码、线性分组码等；保密编码，是为保证信息的安全性和证实性。2/3/202326第一次课编码的应用的几个例子：电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的；在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用，应用越来越普遍；计算机的运算速度很高，要保证它几乎不出差错，相当于要求有100年的时间内不得有一秒钟的误差，这就需要利用纠错码来自动地及时地纠正所发生的错误；每出版一本书，都给定一个国际标准书号(ISBN)，大大方便图书的销售、编目和收藏工作。2/3/202327第一次课1.2.1研究对象：通信系统3、信道：通信系统中把载荷消息的信号从甲地传输到乙地的媒介或通道。实际信道有明线、电缆、波导、光纤、无线电波传播空间等传输电磁波能量的信道；信道除传送信号以外，还有存储信号的作用，如磁带、光盘或书写通信方式；在信道中还存在噪声和干扰。为分析方便，把干扰和噪声都等效地折合成信道干扰，看成是由噪声源产生。由于干扰或噪声往往具有随机性，所以信道特性可用概率空间描述。2/3/202328第一次课1.2.1研究对象：通信系统4、译码：就是把信道输出的编码信号（已迭加了干扰）进行反变换，一般认为这种变换是可逆的。从受干扰的信号中最大限度地提取出信源输出消息的信息，并尽可能地复现信源的输出。译码器也分成三种：信源译码器；信道译码器；解密译码器。2/3/202329第一次课1.2.1研究对象：通信系统5、信宿：是消息传送过程中的接收者，即接收消息的人或机器。2/3/202330第一次课1.2.2研究目的研究概括性强的通信系统，其目的：要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使达到信息传输系统最优化。可靠性：尽可能不失真地再现信源发出的消息；有效性：用更短的时间和更少的设备来传送信息，与可靠性易发生矛盾，需要统筹兼顾；保密性：传送的消息只被预定的接收者获取；认证性：正确判断所接收消息是预定发送者发送的。2/3/202331第一次课1.2.2研究目的根据信息传输的要求不同，信息传输系统模型不是不变的。研究可靠性，把信源、信源编码和加密编码等效成一个信源，而将信宿、信源译码和解密译码等效成一信宿；研究有效性，只考虑信源与信宿之间的信源编(译)码，将其他部分看成无干扰信源；研究保密性和认证性，将信源和信源编码等效成一信源；将信道编码、信道、噪声源和信道译码等效成一无干扰信道；而将信源译码和信宿等效为一信宿。2/3/202332第一次课1.2.3研究内容信息论研究的是关于这个通信系统的最根本、最本质的问题。例如：①什么是信息？如何度量信息？②怎样确定信源中含有多少信息量？③对于一个信道，它传输信息量的最高极限(信道容量)是多少？2/3/202333第一次课1.2.3研究内容④为了能够无失真的传输信源信息，对信源编码时所需的最少的码符号数是多少？(无失真信源编码即香农第一定理)⑤在有噪信道中有没有可能以接近信道容量的信息传输率传输信息而错误概率几乎为零？(有噪信道编码即香农第二定理)⑥如果对信源编码时允许一定量的失真，所需的最少的码符号数又是多少？(限失真信源编码即香农第三定理)2/3/202334第一次课1.2.3研究内容信息论研究内容的三种理解：1、狭义信息论A.信息的测度 B.信道容量C.信源和信道编码理论2、一般信息论。主要也是研究信息传输和处理问题。A.香农理论 B.噪声理论C.信号滤波和预测 D.统计检测与估计理论E.调制理论 F.信息处理理论3、广义信息论。除了上述两个方面内容，还包括所有与信息有关的领域，如A.模式识别 B.计算机翻译 C.心理学D.遗传学 E.神经生理学 F.语言学G.语义学2/3/202335第一次课1.2.3研究内容综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的科学；它的主要目的是提高信息系统的可靠性和有效性，以便达到系统最优化；它的主要内容(或分支)包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论、随机噪声理论和密码学理论等。2/3/202336第一次课狭义信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码2/3/202337第一次课1.2.3研究内容除了香农理论以外，后一部分内容是以美国科学家维纳(N.Wiener)为代表，其中最有贡献的是维纳和苏联科学家柯尔莫哥洛夫(А.Колмого́ров‎)。维纳(1894-1964)柯尔莫哥洛夫(1903-1987)2/3/202338第一次课1.2.3研究内容虽然维纳和香农等人都是运用概率和统计数学的方法来研究准确地或近视地再现消息的问题，都是为了使消息传送和接收最优化，但他们之间却有一个重要的区别，见下表。2/3/202339第一次课1.2.3研究内容维纳理论香农理论研究重点接收端编码、收发联合最优化研究对象研究信号在传输过程中被那些因素干扰研究信号从信源到信宿之间传输的全过程研究内容在接收端怎样在干扰中提取、恢复、再现信号在传输前、后对消息进行适当的编(译)码，就能保证干扰下最佳地传送和再现消息提出理论最佳线性滤波理论(维纳滤波器)、统计检测与估计理论、噪声理论信息测度理论、信道容量理论和编码理论等2/3/202340第一次课第一章绪论1.1信息的概念、性质及度量1.2信息论研究的对象、目的和内容1.3信息论的形成与发展2/3/202341第一次课1.3.1电信系统的形成与发展一、有线通信系统 1831年英国法拉第(Faraday)发现电磁感应的基本规律。1844年美国莫尔斯(Morse)建立起了电报系统(数据)。1875年苏格兰青年亚历山大.贝尔(Bell)发明了世界上第一台电话机(语音)。2/3/202342第一次课二、无线电通信系统1864年英国麦克斯韦(Maxwell)预言了电磁波的存在.1888年德国赫兹(Hertz)用实验证明了电磁波存在这一预言.1895年意大利的马可尼(Marconi)发明了无线电通信,通信距离近百米.1901年马可尼成功地进行了跨越大西洋的远距离无线电通信.1904年英国工程师弗莱明(Fleming)发明了真空二极管.具有更高的性能和灵敏度，大大提高了无线电通信的功能.1906年美国福雷斯特(Forest)制成了世界上第一只真空三极管.起到放大电信号的作用,大大提高了无线电通信的距离和可靠性.1925-1927,大功率超高频电子管发明以后,电视系统(图像)建立起来了.1925年苏格兰人贝尔德(Baird)和美国人斯福罗金(Zworykin)发明了电视系统（图像）。前者称做机械式，后者称为电子式电视。2/3/202343第一次课三、微波通信系统（波长在0.1mm---1m）微波电子管是随着微波波段的开发利用而发展起来的,它的应用领域已扩展到微波中继通信、卫星通信、地面电视广播、卫星电视广播、导航、能量传输、工业和民用加热、科学研究等方面.五十年代后期发明了量子放大器,微波放大的装置,这种放大器是噪声最低的一种微波放大器,而且工作稳定、线性度好.2/3/202344第一次课四、光纤通信系统（波长在0.8μm---1.8μm）世界上第一台激光器诞生于1960年,我国于1961年研制出第一台激光器,使人类进入了光纤通信的时代.1966年,英籍华人高锟最先提出用玻璃纤维进行远距离激光通信的设想.1973年,美国康宁公司制成每千米传输损耗只有20分贝的光纤.同年,美国贝尔实验室研制出能在常温下连续工作的半导体激光器.这两项技术突破为光纤通信的实现铺平了道路.1976年,美国在芝加哥两个相距7千米的电话局间首次进行了光纤通信试验,实现了一根光纤能够同时容纳8000对人通话.2/3/202345第一次课1.3.2通信理论的发展一、信息理论1885年凯尔文(Kelvin)曾经研究过一条电缆的极限传信率问题。 1922年卡逊(Carson)研究了调幅信号频谱结构，提出了边带概念。 1924年奈奎斯特(Nyquist)和屈夫缪勒(Küpfmüller)解释了信号带宽和信息率之间的关系。 1928年哈特莱(Hartley)提出信息量等于可能消息数的对数。1936年阿姆斯特朗(Armstrong)提出在传输过程中增大带宽可以增强抑制干扰的能力。1939年，瑞弗(Reeve)提出了具有强干扰能力的脉冲调制。上述理论工作的一个主要弱点：是把消息看成是一个确定性的过程，这与许多实际情况不相符合。所依靠的数学工具主要是经典的傅里叶分析方法，这是有局限性的。

2/3/202346第一次课1945年莱斯(Rice)对噪声进行了全面研究总结,抗干扰取代了抗失真。1948年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。香农第一定理：变长无失真信源编码定理香农第二定理：有噪信道编码定理195l年美国IRE成立了信息论组，1955年出版了汇刊。此间，范恩斯坦(Foinstein)等科学家论证和推广了香农理论。1959年香农发表了“保真度准则下的离散信源编码定理(香农第三定理)”，系统地提出了信息率失真理论。1961年香农论文“双路通信信道”开拓了多用户信息论研究。2/3/202347第一次课二、信号检测与估计理论1942年维纳(Wiener)建立了最少均方误差准则的维纳滤波理论；1943年诺思(North)提出了最大输出信噪比准则的匹配滤波器理论。1946年科捷利尼科夫(Kotelnikov)提出了最大后验概率准则(或称最小错误概率)的理想接收机。1950年伍德沃德(Woodword)将信息量的概念用于雷达信号检测，提出一系列综合最优雷达系统的新概