信息论基础知识

信息论基础知识第一页，共三十九页，2022年，8月28日第三章信息论基础知识信息与信息技术信息论与广义通信系统信息的定量描述连续信源及最大熵定理信息与熵的守恒定律思考题（作业）第二页，共三十九页，2022年，8月28日§3-1信息与信息技术一、信息的定义信息就是信息，不是物质，也不是能量。信息是人和外界互相作用的过程中互相交换的内容的名称。（美国：维纳）能够用来消除不定性的东西。（美国：山农）信息是事物之间的差异，而不是事物本身。

（意大利：朗格）凡是能从过去的事件中提取出来用以指导未来的，便是信息。信息就是事物运动的状态和方式。第三页，共三十九页，2022年，8月28日§3-1信息与信息技术二、信息的作用1、信息是一种资源正像物质和能量是人类生存和发展所必须的资源一样，信息也是一种不可缺少的资源。物质提供各种各样有用的材料；能源提供各种形式的动力；而信息向人类所提供的则是无穷无尽的知识和智慧。2、物质、能量、信息三者的关系现代科学认为，物质、能量、信息是物质世界的三大支柱，是科学史上三个最重要的概念，而这三者之间存在着密切的联系。物质运动的动力是能量，而信息是关于物质运动状态的特征，只要有运动的事物，就需要有能量，也就会存在信息。信息是普遍的，因此也可以说，信息描述了客观事物变化的时空特性，即无时不有，无地不存。第四页，共三十九页，2022年，8月28日§3-1信息与信息技术第五页，共三十九页，2022年，8月28日§3-1信息与信息技术3．信息的基本性质(1)可以识别：信息可以通过人的感官直接识别，也可以通过各种探测器间接识别。(2)可以转换：信息可以从一种形态转换成另一种形态，如语言、文字、图像、图表等信号形式；也可以转换成计算机代码及广播、电视等电信号，而电信号和代码又可以转换成语言、文字、图像等。(3)可以存贮：人用脑神经细胞存贮信息(称作记忆)；计算机用内存贮器和外存贮器存贮信息；录音机、录相机用磁带等介质存贮信息等。(4)可以传输：人与人之间的信息传递依靠语言、表情、动作；社会信息的传输借助报纸、杂志、广播；工程中的信息则可以借助机械、光、声、电等传输。第六页，共三十九页，2022年，8月28日§3-1信息与信息技术三、信息科学1．信息科学信息科学是研究信息现象及其规律的科学。包括：信息本身有关的规律；有关利用信息方面的规律。因此，也可以说，信息科学是关于如何认识信息以及如何利用信息的科学。在认识信息方面：建立信息问题的完整的数学描述方法和定量度量方法；探明信息是怎样产生的，怎样识别、提取、变换、传递、检测、存贮、检索、处理和分析信息，研究这些过程中的基本规律和关系。在利用信息方面：主要研究利用信息来进行有效控制和组织最优系统的一般原理和方法。认识是基础，是前提；而利用是结果，是目的。认识和利用，两者密切关联，是一个统一的有机体。信息科学的主体结构应是信息论、控制论、系统论三者的结合，而人工智能则是三者的综合利用。第七页，共三十九页，2022年，8月28日§3-1信息与信息技术2．信息科学的目的和任务以扩展人的信息功能作为主要的研究目标，这是信息科学区别于其他现代的和传统的科学的又一个根本特点。信息科学的目的和任务：在分析、探索和掌握人的信息器官功能的机制基础上，运用信息科学提供的原理和方法以及各种技术(包括机械、电子、激光、生物等)，综合出新的人工系统，来延长、增强、补充和扩展人的信息器官的功能。第八页，共三十九页，2022年，8月28日§3-1信息与信息技术四、信息技术1．信息技术——凡是可以扩展人的信息功能的技术，都是信息技术。信息技术的主体内容包括传感技术、通信技术和计算机技术。传感技术：主要包括信息的识别、检测、提取、变换以及某些信息处理技术，它是人的感官功能的扩展和延伸。通信技术：包含信息的变换、传递存贮、处理以及某些控制与调节技术，它是人的信息传输系统(神经系统)功能的扩展和延长。计算机技术：主要包括信息的存贮、检索、处理、分析、产生(决策或称指令信息)、以及控制等，它是人的信息处理器官(大脑)功能的延长。第九页，共三十九页，2022年，8月28日§3-1信息与信息技术2、信息技术与新技术革命——信息技术、新材料技术和新能源技术构成了科学技术和谐的鼎足结构。微电子技术是由新材料和信息技术派生出来的一门新技术激光技术是新能源和信息技术派生出来的新技术生物、海洋和空间技术是新材料、新能源和信息技术派生出来的三门新技术光导纤维通信和计算机技术是信息技术的分支。第十页，共三十九页，2022年，8月28日§3-1信息与信息技术3、信息技术与传统技术——信息技术在当代整个技术体系中，担负着对传统技术进行补充、改造和更新的使命。信息技术在改造传统工业方面大有可为，其中最主要的贡献是实现工业生产过程的自动化。第十一页，共三十九页，2022年，8月28日§3-2信息论与广义通信系统一、信息论的基本概念信息论源于通信工程，其发展背景源于通讯系统中的：(1)信息传输的效率；(2)信息传输的准确性；(3)噪声干扰；(4)信道频率特性等。实际上信息论范畴更广，而通信理论只是信息论中与通信有关的一部分。通常，对于信息论有三种理解：狭义信息论，主要研究信息的测度、信道容量以及信源和信道编码理论等，这一部分即山农信息基本理论；一般信息论，也主要是研究通信问题，但包括噪声理论，信号滤波与预测，信号调制与信号处理等。这一部分理论的代表人是维纳和苏联科学家卡尔莫格洛夫；第十二页，共三十九页，2022年，8月28日§3-2信息论与广义通信系统广义信息论，不仅包括上述内容，而且包括与信息有关的领域，如心理学、遗传学、神经生理学、语言学甚至包括社会学中有关信息的问题。将信息论应用于工程测试领域，始于60年代，从信息论观点出发，认识测试技术领域中的一些问题。如：测试系统实质上就是一个广义通信系统；传感器是一个信息检测与转换装置，引入熵的概念，作为被观测系统不确定性的尺度；基于最大熵定理的最大熵谱分析方法；运用山农信道容量理论分析测试系统的最佳信息传输条件；运用维纳滤波理论研究剔除噪声、提取源信号的方法；……第十三页，共三十九页，2022年，8月28日§3-2信息论与广义通信系统二、广义通信系统——指所有信息流通的系统。可概括为如图所示的模型。第十四页，共三十九页，2022年，8月28日§3-2信息论与广义通信系统第十五页，共三十九页，2022年，8月28日§3-2信息论与广义通信系统工程测试系统是一个广义的通信系统，它符合信息转换、传输与分析处理的共同规律。因此，运用广义信息论去认识、分析工程测试领域中的问题，是符合这一客观规律的。第十六页，共三十九页，2022年，8月28日§3-3信息的定量描述一、概述自然科学通常都应作定量的描述，定性描述只能解释一些现象，即使认为能作直观理解，也是悬而未决的，尚未上升到学术水平。出于要从理论上研究信息，就必须对信息大小作定量描述。山农信息理论的贡献就在于：运用概率论与数理统计学方法，对信息给予了数学描述。从而使信息论作为一门科学建立起来。因此，信息论被认为是第二次世界大战以后的一门新兴科学。二、信源信源一般是以符号(或信号)的形式发出信息。信源的内部结构往往很复杂，例如，人发出信息，是通过大脑的思维活动，指挥口腔或手以语言或文字的形式表达出来的，这是相当复杂的过程，因此，一般只研究它的输出，即语言或文字等。语言文字是一种表达信息的符号，是物理性的。语言是声信号，而文字是光信号。同一件事情，可用不同语言表达，也就是同一信息可用不同的编码方式转换成符号。第十七页，共三十九页，2022年，8月28日§3-3信息的定量描述对于工程物理系统，信源就是所研究的客观事物，或称为物理过程。例如，雷达遥测系统，被搜寻物在空间的坐标、速度、形状等构成了信源，当电磁波射向它，反射波中就携带着这些信息，故而反射波就是经过编码的符号(或信号)。信源的输出是随机的，因为，如果事先已经知道信源的输出，那么就无信息可言。正如所研究的物理过程，它应是未知的，这时才有研究的价值，信源的输出常用随机变量或随机矢量来描述，或者说用概率空间来描述信源，从随机变量出发来研究信息量是山农信息理论的基本假设。从概率论可知，随机变量可取值于某一离散集合，也可取值于某一连续区间，相当的信源称为离散信源及连续信源。第十八页，共三十九页，2022年，8月28日§3-3信息的定量描述三、离散信源模型离散信源的数学模型是离散型概率空间，即：集合中的元素x1，x2，…描述了信源输出的可能状态；各元素的概率P(x1)，P(x2)，…描述了各个状态出现的可能性；状态的出现往往是不相容的。第十九页，共三十九页，2022年，8月28日§3-3信息的定量描述例如，掷硬币，在末抛下之前，可认为是一个未知的物理系统，抛下之后，必须是正、反两种状态之一，其信源模型为：其中P(x1)=P(x2)=0.5表明该系统是等概率事件。此可称之为先验概率，与人们对该事物的认识有关，是根据历史或知识的积累而分析判断的。用超声波发生器检测物体内部有无裂纹，超声波穿透试件后，携带着有无裂纹的信息，经过对接收的信号进行处理之后，用图像或数据显示出来。试件内部状态构成一个信息源，在未检测之前是不清楚的，这是一个典型的是、非信源，其信源模型为：第二十页，共三十九页，2022年，8月28日§3-3信息的定量描述四、自信息如果信源中某一状态发生的先验概率很小，那么，一旦它发生，人们获得的信息量就多，这应是很自然的。例如，一台机器，具有正常工作和发生事故两种可能状态，如果正常工作的概率为P(x1)＝0.99；发生故障的概率P(x2)＝0.Ol，则可认为这台机器一般处于正常工作状态。但是，一旦发生故障，则是一件引人注目的事件。事件发生的不确定性与事件发生的概率有关。事件发生的概率越小，人们猜测它有没有发生的因难程度就越大。而事件发生的概率越大，人们猜测这件事发生的成功率就越大，不确定性就越小。对于发生概率为l的必然事件，就不存在不确定性。因此，某事件发生所含有的信息量，应该是该事件发生的先验概率的函数，即：式中，P(xi)是事件xi发生的先验概率，I(xi)表示事件xi发生所含有的信息量。第二十一页，共三十九页，2022年，8月28日§3-3信息的定量描述根据客观事实和人们的习惯概念，函数I(xi)应满足以下条件:(1)I(xi)是先验概率P(xi)的单调递减函数，P(xi)越大，I(xi)越小；(2)当P(xi)＝1时，I(xi)＝0，必然事件信息量为零；(3)当P(xi)=O时，I(xi)＝∞，不可能发生的事件发生了，其信息量为无穷大；(4)两个独立事件的联合信息量，等于它们各自信息量之和。显然，满足条件(1)、(2)、(3)时，应取信息量I(xi)为先验概率P(xi)的倒数；满足条件(4)时，最好的方法是用对数来定义信息量。——事件xi发生时，该事件所含有的信息量。第二十二页，共三十九页，2022年，8月28日§3-3信息的定量描述因为I(xi)描述的是事件xi发生时的信息量，故又称为自信息。I(xi)代表两种含义：(1)当事件xi发生以前，表示事件xi发生的不确定性；(2)当事件xi发生以后，表示事件xi所含有(或所提供)的信息量。自信息采用的测度单位取决于所取对数之底:如果以2为底，则所得信息量单位为比特(bit，binaryunit)；以e为底，则为奈特(nat，natureunit的缩写)；以10为底，则为哈特(Hart，hartley的缩写)等。一般都采用以2为底的对数，因为当P(xi)＝1／2时，I(xi)＝1比特，所以，1bit信息量就是两个互不相容的等可能事件之一发生时，所提供的信息。第二十三页，共三十九页，2022年，8月28日§3-3信息的定量描述五、信息熵自信息I(xi)是指信源(物理系统)某一事件xi发生时所包含的信息量，物理系统内不同事件发生时，其信息量不同，所以自信息I(xi)是一个随机变量，它不能用来作为整个系统的信息的量度。山农定义自信息的数学期望为信息熵，即信源的平均信息量。熵的单位是[bit／事件]或[bit／符号]。信息熵表征了信源整体的统计特性，是总体的平均不确定性的量度。对某一特定的信源，其信息熵只有一个；不同的信源，因统计特性不同，其熵也不同。第二十四页，共三十九页，2022年，8月28日§3-3信息的定量描述例如，两个信源，其概率空间分别为：它们的信息熵为：

H(X)＝-0.99log0.99-0.01log0.01=0.08[bit/事件]H(Y)==0.5log0.5-0.5log0.5=1[bit/事件]H(Y)＞H(X)，说明信源Y比信源X的平均不确定性要大，即在事件发生之前，分析信源Y，由于事件y1、y2是等概率的，难以猜测哪一个事件会发生；而信源X，虽然也存在不确定性，但大致可以知道，x1出现的可能性要大。第二十五页，共三十九页，2022年，8月28日§3-3信息的定量描述六、信息熵的基本性质1.对称性当概率空间中P(x1)，P(x1)…顺序任意互换时、熵函数的值不变。例如下面两个信源空间：其信息熵H(X)=H(y)。该性质说明，熵只与随机变量的总体结构有关，与信源总体的统计特性有关。此点也说明了所定义的熵有其局限性，它不能描述事件本身的主观意义。第二十六页，共三十九页，2022年，8月28日§3-3信息的定量描述2.确定性如果信源的输出只有一个状态是必然的，即P(x1)=1，P(x2)=P(x3)=…＝0，则信源的熵为：这个性质表明，信源的输出虽有多种不同形态，但其中一种是必然的，这意味着其他状态不可能出现。那么，这个信源是一个确知信源，其熵为零。3.非负性即H(X)＞=0。因为随机变量X的所有取值的概率分布为0＜P(xi)＜1，当取对数的底大于1时，logP(xi)＜0，而-P(xi)logP(xi)＞0，则得到的熵是正值。只有当随机变量是一确知量时，熵才等于零。这种非负性对于离散信源的熵是合适的，但对连续信源的熵来说，这一性质并不存在。第二十七页，共三十九页，2022年，8月28日§3-3信息的定量描述4.可加性即统计独立信源X和Y的联合信源的熵等于它们各自的熵之和。如果有两个随机变量X和Y，它们彼此是统计独立的，即X的概率分布为[P(x1)，P(x2)，…，P(xN)]，而Y的概率分布为[P(y1)，P(y2)，…，P(yN)]，则联合信源的熵为：可加性是熵函数的一个重要特性，正因为有可加性，所以可以证明熵函数的形式是唯一的。第二十八页，共三十九页，2022年，8月28日§3-3信息的定量描述5.极值性信源各个状态为等概率分布时，熵值最大，并且等于信源输出状态数。P(x1)=P(x2)=…=P(xN)=1/N时：信源有两种状态时，其概率空间为：其H(X)-P(xi)关系如图所示。当P(xi)=1/2时，熵有最大值。以上分析表明，对于具有N个状态的离散信源，只有在信源N个状态等概率出现的情况下，信源熵才能达到最大值。这也表明，等概率分布信源的平均不确定性最大，这是一个很重要的结论，称为最大离散熵定理。图3-12还进一步说明，如果二进制信源输出是确定的，即P(x1)=1，则H(X)=0，此时表明该信源不提供任何信息；反之，当信源输出为等概率发生时，信源的熵达到最大值，等于1bit信息量第二十九页，共三十九页，2022年，8月28日§3-3信息的定量描述七、信息熵与热力学熵以上把信源的平均信息量定义为熵。熵这个字来源于统计热力学，熵字的中文意义是热量被温度除所得的商，相同热量，温度高则熵小，温度低则熵大；熵的外文原名是希腊字母拼成的，原意是“转变”的意思，指热量可以转变为功的程度。熵小则转变程度高，熵大则转变程度低。在通讯系统中，信源的信息熵的定义和热力学熵的定义在表达形式上是相似的，在物理概念上也有一定联系。广义地讲，热力学的熵是物理系统无序状态的描述，是紊乱程度的测度。一个物理系统的熵，可以用系统的微观状态数的对数来描述。信息熵也可以认为是信源紊乱程度的测度，亦可以用来表征物理系统运动状态的不确定性，通过通信收到消息后，消除了这种不确定性，就获得信息，信息熵也是动态的，如当消息通过系统传输到收信者后，信源的熵要改变。在信息论中，信息熵只会减少，不可能增加，这就是信息熵不增原理。第三十页，共三十九页，2022年，8月28日§3-4连续信源及最大熵定理一、连续信源实际中，一些信源的输出常常是时间和取值都是连续的信息，即可能出现的状态数是不可数的无限值。例如语音信号x(t)，电视信号x(xo，yo，t)等，都是时间的连续函数。而且任一时刻，它们的取值也是连续的，这时可用连续随机变量来描述这些状态，这种信源称为连续信源。连续信源的数学模型为连续型的概率空间，即：并满足其中，R或(a,b)表示数集区间，p(x)是随机变量x的概率密度函数。第三十一页，共三十九页，2022年，8月28日§3-4连续信源及最大熵定理连续信源的信息测度可以用离散信源的信息测度来逼近。假定随机变量X的概率密度函数如图所示，将取值区间(a，b)分成n个小区间，任一小区间的概率为：这时离散信源的熵：当Δx→0，n

→∞时，若极限存在，即得到连续信源的熵：第三十二页，共三十九页，2022年，8月28日§3-4连续信源及最大熵定理一般情况下，上式的第一项是定值，而当Δx→0时，第二项趋于无限大。所以避开第二项，定义连续信源的熵为：二、最大熵定理熵h(x)是概率密度函数p(x)的函数，在信息处理过程中，常常希望求得最大熵，即找出p(x)是什么样的函数时能使连续信源的熵具有最大值。在离散信源中，已经证明，当信源的输出状态是等概率分布时，信源的熵取最大值。在连续信源中，情况有所不同，当各约束条件不同时，信源的最大相对熵值不同，有两种情况。第三十三页，共三十九页，2022年，8月28日§3-4连续信源及最大熵定理峰值功率受限条件下信源的最大熵当信源输出信号的峰值功率受限，即信号的取值区间被限定在某一范围(a,b)之内时，则在限定的范围内，当输出信号的概率密度是均匀分布时，信源具有最大相对熵。此式表明，熵是幅值区间(a，b)的函数，即在峰值功率受限条件下，幅值区间越大，则熵值越大。这也说明，信号的波动范围越宽，则系统的不定性程度越大。第三十四页，共三十九页，2022年，8月28日§3-4连续信源及最大熵定理平均功率受限条件下信源的最大熵若一个信源输出信号的平均功率有限，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵。一维随机变量X的概率密度分布为：这个连续信源的熵：可见，正态分布的连续信源的熵与数学期望m无关，只与其方差σ2有关。当m=0时，X的方差就等于信源输出的平均功率。第三十五页，共三十九页，2022年，8月28日§3-4连续信源及最大熵定理这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声的统计特性一样时，才会有最大的熵值。从物理意义上解释这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。为什么在平均功率受限条件下正态分布信源的熵最大，亦可作如下解释。当限制平方平均值时，由于大的幅值x平方后变得更大，因此出现的次数不可能太多，所以x值愈增大，出现的概率就愈小，而且对于x的正