信息理论基础

PAGEPAGEII目录第一章绪论 11.1信息的概念 11.2通信系统的模型 31.3信息论的产生、发展及研究的中心问题 5第二章信源及信息的度量 92.1离散信源及数学模型 92.2连续信源及数学模型 112.3信息的度量 122.4离散信源的平均自信息量——熵 162.5信息熵的性质 192.6离散信源的互信息及平均互信息 242.7平均互信息量的性质 292.8信息处理定理 312.9连续信源的信息度量 32第三章离散信源无失真编码 473.1等长编码 473.2变长编码 553.3最佳变长编码 613.4其他变长编码方法 64第四章信道及信道容量 734.1信道的分类 734.2离散无记忆信道及容量 744.3离散无记忆信道DMC容量的计算 774.4N阶扩展信道容量 844.5信道的组合 864.6时间离散的无记忆连续信道 944.7波形信道 1014.8信源与信道的匹配 105第五章限失真信源编码理论 1095.1失真测度 1095.2信息率失真函数 1125.3离散信源的率失真函数 1155.4率失真函数的参量算法 1165.5率失真函数R(D)的迭代算法 1205.6连续信源的率失真函数 1235.7限失真编码定理 1255.8R（D）函数与信息价值 128第六章网络信息论 1356.1网络通信信道分类 1356.2相关信源编码 1386.3多址接入信道 142PAGE53第一章绪论信息论是人们在长期通信工程的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐渐发展起来的一门新兴科学。随着信息理论的迅猛发展和信息概念的不断深化，他在科学技术上的重要性早已超出了狭义的通信工程的范畴，在许多领域日益受到科学工作者的重视。本章首先引出信息的概念，然后介绍了信息、消息、信号三者的关系，进而讨论信息论这一学科的产生和发展，并阐述本学科研究的中心问题。1.1信息的概念1.1.1信息的定义、特征和性质信息是信息论中的一个术语，常常把消息中有意义的内容称为信息。1948年，美国数学家、信息论的创始人仙农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。1948年，美国著名数学家、控制论的创始人维纳在《控制论》一书中，指出：“信息就是信息，既非物质，也非能量。信息是客观事物状态和运动特征的一种普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来的各种各样的信息。信息是有价值的，就像不能没有空气和水一样，人类也离不开信息。因此人们常说，物质、能量和信息是构成世界的三大要素。所以说，信息的传播是极具重要与有效的。信息是事物的运动状态和过程以及关于这种状态和过程的知识。它的作用在于消除观察者在相应认识上的不确定性，它的数值则以消除不确定性的大小，或等效地以新增知识的多少来度量。虽然有着各式各样的传播活动，但所有的社会传播活动的内容从本质上说都是信息。信息相关资料：图片信息（又称作讯息），又称资讯，是一种消息，通常以文字或声音、图像的形式来表现，是数据按有意义的关联排列的结果。信息由意义和符号组成。文献是信息的一种，即通常讲到的文献信息。信息就是指以声音、语言、文字、图像、动画、气味等方式所表示的实际内容。在最一般的意义上，亦即没有任何约束条件，我们可以将信息定义为事物存在的方式和运动状态的表现形式。这里的“事物”泛指存在于人类社会、思维活动和自然界中一切可能的对象。“存在方式”指事物的内部结构和外部联系。“运动状态”则是指事物在时间和空间上变化所展示的特征、态势和规律。主体所感知或表述的事物存在的方式和运动状态。主体所感知的是外部世界向主体输入的信息，主体所表述的则是主体向外部世界输出的信息。在本体论层次上，信息的存在不以主体的存在为前提，即使根本不存在主体，信息也仍然存在。在认识论层次上则不同，没有主体，就不能认识信息，也就没有认识论层次上的信息。信息作为客观世界存在的第三要素，具有以下特征：1）可量度：信息可采用某种度量单位进行度量，并进行信息编码。如现代计算机使用的二进制。2）可识别：信息可采取直观识别、比较识别和间接识别等多种方式来把握。3）可转换：信息可以从一种形态转换为另一种形态。如自然信息可转换为语言、文字和图像等形态，也可转换为电磁波信号或计算机代码4）可存储：信息可以存储。大脑就是一个天然信息存储器。人类发明的文字、摄影、录音、录像以及计算机存储器等都可以进行信息存储5）可处理：人脑就是最佳的信息处理器。人脑的思维功能可以进行决策、设计、研究、写作、改进、发明、创造等多种信息处理活动。计算机也具有信息处理功能。6）可传递：信息的传递是与物质和能量的传递同时进行的。语言、表情、动作、报刊、书籍、广播、电视、电话等是人类常用的信息传递方式。7）可再生：信息经过处理后，可以其他形式再生。如自然信息经过人工处理后，可用语言或图形等方式再生成信息。输入计算机的各种数据文字等信息，可用显示、打印、绘图等方式再生成信息。8）可压缩：信息可以进行压缩，可以用不同的信息量来描述同一事物。人们常常用尽可能少的信息量描述一件事物的主要特征。9）可利用：信息具有一定的实效性和可利用性。10）可共享：信息具有扩散性，因此可共享。1.1.2信息、消息和信号的关系消息是表达客观物质运动和主观思维活动的状态，指报道事情的概貌而不讲述详细的经过和细节，以简要的语言文字迅速传播新近事实的新闻体裁，也是最广泛、最经常采用的新闻基本体裁，如文字、语言、图像等。消息传递过程即是消除不确定性的过程：收信者存在不确定(疑问)，收信前，不知消息的内容。干扰使收信者不能判定消息的可靠性，收信者得知消息内容后，消除原先的“不确定”。消息的结构：（一）标题（1）单行题（2）多行题；1.引题（眉题、肩题）：交代背景。2.主标题：概括主要新闻或消息。3.副标题：补充说明主标题。（二）导语：一般是对事件或事件中心的概述。（三）主体：承接导语，扣住中心，对导语所概括事实作比较具体的叙述，是导语内容的具体化。（四）背景：说明原因、条件、环境等。（五）结语：或小结，或指出事情发展方向等。消息的三个特点：真实性，实效性，传播性。信息与消息的关系：形式上传输消息，实质上传输信息；消息具体，信息抽象；消息是表达信息的工具，信息载荷在消息中，同一信息可用不同形式的消息来载荷；消息可能包含丰富的信息，也可能包含很少的信息。信号（也称为讯号）是运载消息的工具，是消息的载体。从广义上讲，它包含光信号、声信号和电信号等。例如，古代人利用点燃烽火台而产生的滚滚狼烟，向远方军队传递敌人入侵的消息，这属于光信号；当我们说话时，声波传递到他人的耳朵，使他人了解我们的意图，这属于声信号；遨游太空的各种无线电波、四通八达的电话网中的电流等，都可以用来向远方表达各种消息，这属电信号。把消息变换成适合信道传输的物理量，如光信号、电信号、声信号和生物信号等，人们通过对光、声、电信号进行接收，才知道对方要表达的消息。对信号的分类方法很多，信号按数学关系、取值特征、能量功率、处理分析、所具有的时间函数特性、取值是否为实数等，可以分为确定性信号和非确定性信号（又称随机信号）、连续信号和离散信号、能量信号和功率信号、时域信号和频域信号、时限信号和频限信号、实信号和复信号等。信息与信号的关系：信号携带着消息，它是消息的运载工具；信号是消息的表现形式，消息是信号的具体内容。信号是消息的物理体现。在通信系统中，实际传输的是信号，但本质内容的是信息。信息包含在信号之中，信号是信息的载体。通信的结果是消除或部分消除不确定性，从而获得信息。1.2通信系统的模型通信的基本问题是在存储或通信等情况下，精确或者是近似再现信源发出的消息。在通信领域中，所需要研究的主要内容是通信中的有效性和可靠性，有的时候还要考虑信息传输的安全。通信系统的一般模型如图1.1所示图1.1通信系统的一般模型1．信源信源是产生消息的来源，可以是文字、语言、图像等；可以是连续的，也可以是离散的。信源本身十分复杂，在信息论中一般只是对信源的输出进行研究。信源输出是以消息符号形式表示具体信息，是信息的载体。尽管信源输出形式很多，但是可以对其进行分类，其表现形式要么是连续的，要么是离散的。如文字、符号、数字等符号或者符号序列，其符号的取值都是可数的，这样的消息就是离散的；对于语音、图像等在时间上连续变化的参量，符号的取值都是不可数的，这样的消息是连续的。无论信源输出的符号是连续的还是离散的，它们都一定是随机出现的，否则无论是信源的特征研究还是通信研究都没有意义。信源的研究主要是研究消息的统计特征以及信源产生的信息速率。2．编码器编码器是将信源发出的符号转化为适合信道传输的信号的设备，一般包括信源编码、信道编码和调制器等。编码器的模型如图1.2所示图1.2编码器的模型=1\*GB3①信源编码器：主要解决有效性问题，在一定的准则下对信源输出进行变换和处理，目的是提高信息传输的效率，即通过去除信源输出符号的冗余，使信源输出的每个符号携带更多的信息量，从而降低信息传递所需要的符号数量，即减低总体数据传输速率，提高传输效率。=2\*GB3②信道编码器：由纠错编码器和调制器组成，目的在于充分利用信道的传输能力，并可靠的传输信息。纠错编码器：对信源输出进行变换处理，通过增加冗余提高对信道干扰的抵抗力，从而信息传输的可靠性。由于信道中存在干扰，数据传递的过程中会出现错误，信道编码可以提供检测或者是纠正数据传输错误的能力，从而提高数据传输的可靠性。调制器：将信道编码的输出变换为适合信道传输要求的信号。信道编码器输出的数字信号并不适合信道的传输，需要对其进行相应的信号变换和调制，然后将变换后的信号送往信道进行传输。加密：为了提高信息传输的安全性，有时需要进行加密处理，这就需要扩展码位。加密处理同时也会降低系统传输效率，即有效性。3．信道信道是信息传输的媒质。信道将携带信息的信号从一个地方传送到另一个地方。常见的信道有明线、电缆、光纤、无线电波等。在水中，通信中可以采用声波传输，声波传输的媒质是水，所以水也是信道。随着科学技术的发展，大量的信息需要存储，存储器也是信道。4．干扰源通信系统中的各部分都会受到干扰，信号的类型不同，经过的信道不同，所遭受的噪声、干扰也有差异。将各种干扰等效成一个方框作用于信道。干扰源的统计特征是划分信道的重要因素，并是决定信道传输能力的决定因素。干扰源的分类：=1\*GB3①加性干扰：由外界引入的随机干扰，如电磁干扰、设备内部噪声，它们与信道输入的信号统计特征无关，信道输出则是输入的干扰之和。=2\*GB3②乘性干扰：信号在传播过程中，由于物理条件的变化，如温度、电离层位置的随机变化引起的信号参量的随机变化，此时信道的输出是输入信号与某些随机变量相乘的结果。信息论就是对干扰进行数学上的描述，确定它们对信号传输的影响，从而给出在无干扰的情况下，信道的传输能力。5．译码器译码器是编码器的逆过程，其目的是为了准确或者近似再现信源发出的消息。与编码器相对应，译码器一般是由解调器、信道译码器和信源译码器组成。其作用就是从受干扰的信号里最大限度的提取出有关信源输出消息的信息，尽可能的精确地恢复信源的输出并送给信宿。其中心问题就是研究各种可实现的解调和译码的方法。6．信宿信宿是信息的载体，即接收消息的人或机器，与信源处于不同地点或存在于不同时刻。它要对传送过来的信息提出可接受的条件，即提出一定的准则，发端将以此来确定对信源处理时所要保留的最小信息量。信宿的数量可以是一个，也可以是多个，取决于具体的应用需要。1.3信息论的产生、发展及研究的中心问题1.3.1信息论的产生、发展信息论是本世纪40年代在现代通信技术发展的基础上诞生的，是研究信息的获取、储存、传递、计量、处理和利用等问题的一门新兴学科。本世纪30年代以前，科学技术革命和工业革命主要表现在能量方面，如新的动力机、工具机的出现。其实质是人的感觉器官和效应器官的延长，是人的体力劳动的解放。本世纪30年代以后，科学技术所发生的革命性变化，主要表现在信息方面，表现在信息的传递、储存、加工、处理等技术和通信、控制机以及人工智能的发展。其实质是人的思维器官的伸展，是人的脑力劳动的解放。人们对于信息的认识和利用，可以追溯到古代的通讯实践。中国古代的“烽燧相望”和古罗马地中海诸城市的“悬灯为号”，可以说是传递信息的原始方式。随着社会生产的发展，科学技术的进步，人们对传递信息的要求急剧增加。到了20世纪20年代，如何提高传递信息的能力和可靠性已成为普遍重视的课题。1924年美国奈奎斯特和德国居普夫、缪勒等人发现电信号的传输速率与信道带宽度成比例关系，从而最早提出了信息问题。1928年，哈特莱发表《信息传输》，首先提出信息是包含在消息中的信息量，而代码、符号这类消息是信息的具体方式。他还提出了信息定量问题，认为可以用消息出现概率的对数来度量其中所包含的信息。如从S个符号中选出N个符号组成一组消息。则共有SN个可能性。其信息量为H=NlogS。这一理论是现代信息理论的起源，但当时未引起人们的注意。直到第二次世界大战期间，一些与通信技术有关的新技术陆续出现，如雷达、无线电通讯、电子计算机、脉冲技术等，为信息论的建立提供了技术基础。同时，作为信息论数学基础的概率论也得到飞速发展。在这种条件下，许多科学家从不同角度对信息论的基本理论进行了研究。1948年，美国数学家C.E.香农(被称为是“信息论之父”)出版《通信的数学理论》，1949年发表《噪声中的通信》，从而奠定了信息论的基础，创立了信息论。维纳提出的关于度量信息量的数学公式开辟了信息论的广泛应用前景。1951年美国无线电工程学会承认信息论这门学科，此后得到迅速发展。20世纪50年代是信息论向各门学科冲击的时期，60年代信息论不是重大的创新时期，而是一个消化、理解的时期，是在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。20世纪70年代以后，随着数学计算机的广泛应用和社会信息化的迅速发展，信息论正逐渐突破香农狭义信息论的范围，发展为一门不仅研究语法信息，而且研究语义信息和语用信息的科学。它的建立是人类认识的一个飞跃。世界上各种事物都是充满矛盾不断发展的，物质的运动主要是靠内部矛盾运动所产生的能量，而事物之间的普遍联系则靠的是信息。信息是关于事物的运动状态和规律，而信息论的产生与发展过程，就是立足于这个基本性质。信息论迅速渗透到各个不同学科领域，但还不够完善。为了适应科学技术发展的需要，迎接信息化社会的到来，一门新的科学正在迅速兴起，这就是广义信息论，或者叫做信息科学。信息科学是由信息论、控制论、计算机、人工智能和系统论等相互渗透、相互结合而形成的一门新兴综合性学科。信息科学登上现代科技舞台，与能量科学、材料科学鼎足而立，将为科学技术的发展做出贡献。信息就是一种消息，它与通讯问题密切相关。随着计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。目前，人们已把早先建立的有关信息的规律与理论广泛应用于物理学、化学、生物学等学科中去。一门研究信息的产生、获取、变换、传输、存储、处理、显示、识别和利用的信息科学正在形成。信息科学是人们在对信息的认识与利用不断扩大的过程中，在信息论、电子学、计算机科学、人工智能、系统工程学、自动化技术等多学科基础上发展起来的一门边缘性新学科。它的任务主要是研究信息的性质，研究机器、生物和人类关于各种信息的获取、变换、传输、处理、利用和控制的一般规律，设计和研制各种信息机器和控制设备，实现操作自动化，以便尽可能地把人脑从自然力的束缚下解放出来，提高人类认识世界和改造世界的能力。信息科学在安全问题的研究中也有着重要应用。目前信息论的两个方面的内容都取得了更大的发展。在香农信息论方面，当前值得注意的动向是信息概念的深化；多址和多用户信道（双向信道，广播信道，多元连接型信道等）理论的发展；多重相关信源理论的发展；信息率失真理论的发展及其在数据压缩和图像处理中的应用等问题。这些领域都是与20世纪80年代信息工程——空间通信、计算机网络、图像电子学等密切相关的。在维纳信息论方面，由于光线通信即将成为现实，成像雷达以及二维图像信息处理正在迅猛发展。为此，我们对量子检测和估计理论、非参数测量和估计理论以及非线性检测与估计理论都要给予足够的重视。1.3.2信息论研究的中心问题由前面关于信息概念的讨论中可知：信息论研究的中心问题是为设计有效的，可靠的通信系统提供理论依据。由于消息中包含着信息，所以消息的传输系统也是信息的传输系统，简称通信系统。人们通过消息的传输和处理过程来研究信息传输和处理过程中的共同规律。信息论是运用概率论与数理统计的方法研究信息传输和信息处理系统中一般规律的新兴学科。核心问题是信息传输的有效性和可靠性以及两者间的关系。信息论作为一门科学理论，发端于通信工程。它主要有以下几个概念：狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。一般信息论：主要也是研究信息传输和处理问题，除香农信息论，还包括噪声理论、信号滤波和预测、统计检测和估计、调制理论、信息处理理论以及保密理论等。广义信息论：不仅包括上述两方面内容，而且包括所有与信息有关的自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包括社会学中有关信息的问题。研究一个概括性很强的通信系统，其目的就是要找到信息传输过程的共同规律。一旦总结出这种共同的规律，就可以用来指导具体通信系统的设计，使设计出来的各种通信系统具有更高的可靠性和有效性。所谓的可靠性高，就是要使信源发出的信息经信道传输以后，尽可能的准确不失真的再现在接收端。而所谓的有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。两者的结合就能使系统达到最优化。以后我们会知道，提高可靠性和提高有效性常常会发生矛盾，这就要统筹兼顾。例如为了兼顾有效性，有时就不一定要求绝对准确的在接收端再现原来的信息，而是允许一定的误差或一定的失真，或者说允许近似的再现原来的消息。关于信息论研究的具体内容，是一个有争议的问题。有人认为信息论只是概率论的一个分支，这是数学家的观点。当然，这种看法有一定的根据，因为香农信息论确实为概率论开拓了一个新的分支。但如果把信息论限制在数学的范围内，这就太狭隘了。也有认为信息论只是熵的理论，这是某些物理学家的观点。他们对熵特别感兴趣，熵的概念确实是香农信息论的基本概念之一，但信息论的全部内容要比熵广泛得多。归纳起来，信息论的研究内容大致包括以下几个方面。通信的系统理论研究主要研究利用统计数学工具分析信息和信息传输的统计规律，其具体内容有：①信息的度量；②信息速率与熵；③信道传输能力——信道容量。信源的统计特征主要包括：①文字（如汉字）、字母（如英文）统计特征；②语音的参数分析和统计特征；③图片及活动图像（如电视）的统计特征：④其他信源的统计特征。收信者接受器官的研究主要包括：①人的听觉器官和视觉的器官的特征；②人的大脑感受和记忆能力的模拟。这些问题的研究与生物学、生理学、心理学、的研究密切相关。编码理论与技术的研究主要包括：①有效性编码：用来提高信息传输效率，主要是针对信源的统计特征进行编码，所以有时也称为信源编码；②抗干扰编码：用来提高信息传输的可靠性，主要是针对信道统计特征进行编码，所以有时候也称为信道编码。提高信息传输效率的研究主要包括：①功率的节约；②频带的压缩；③传输时间的缩短，即快速传输问抗干扰理论与技术的研究主要包括：①各种调制制度的抗干扰性；②理想接收机的实践。噪声中的信号检测理论与技术的研究主要包括：①信号检测的最佳准则；②信号最佳检测的实践。由上面的讨论可以看出来，信息论的研究内容极为广泛，是一门新兴的边缘学科，是当代信息科学的基本的和重要的理论基础。综上所述，信息论是一门应用概率论、随机过程、数理统计和近代代数的方法来研究广义的信息传输、提取和处理系统中一般规律的工程科学；它的主要目的是提高信息系统的可靠性和有效性以便达到系统的最优化；他的主要内容（或分支）包括香农理论、编码理论、维纳理论、检测和估计理论、信号设计和处理理论、调制理论和随机噪声理论等。由于信息论研究的内容极为广泛，而各分支又有一定的相对独立性，因此本书仅仅讨论了信息论的基本理论。第二章信源及信息的度量从这一章开始，我们开始讨论信源和信息的度量问题。首先讨论信源，重点是信源的统计特性和数学模型，以及各类离散信源的信息测度——熵及其性质。这部分内容是香农信息论的基础。所谓信息的度量问题，就是指从量的关系上来精确地刻画信息。从定义到性质，从描述到度量，这些内容构成了信息科学的主要基础。一方面，通过对定义和性质的讨论，可以从质上来理解信息；另一方面，通过对描述的研究，则可以从量上来把握信息。这样既从定性方面又从定量方面去把握信息，就奠定了进一步讨论信息的各种运动规律的必要基础。信息度量问题之所以重要，就在于它是整个信息科学体系得以真正建立起来的根本理论基础，是信息科学大厦的重要基石。2.1离散信源及数学模型信源是信息的来源，但信息是较抽象的东西，所以要通过信息的表达者——消息来研究信源。我们对信源的内部结构、为什么产生和怎样产生各种不同的消息都不作研究，而只研究信源的输出，以及信源输出各种可能消息的不确定性。在通信系统中收信者在未收到消息以前，对信源发出什么消息是不确定的，是随机的，所以可用随机变量、随机矢量或随机过程来描述信源输出的消息。或者说，用一个样本空间及其概率测度——概率空间来描述信源。信源的具体输出是离散的消息符号形式，常常是以一个符号的形式出现，例如文字、字母等。这些信源可能输出的消息数是有限的或可数的，而且每次输出只是其中一个消息符号，这样的信源称为离散信源。即指发出时间和幅度都是离散分布的离散消息的信源。所以，可用离散型随机变量来描述这些信息，它的数学模型就是离散型的概率空间：信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特征，因此，有时也把这个概率空间称作是信源空间。在很多的实际信源输出消息往往是由一系列符号序列所组成的。例如，中文自然语言文字作为信源，这时中文信源的样本空间A是所有文字与标点符号的集合。由这些汉字和标点符号组成的序列即构成了中文句子和文章。因此，从时间上看，中文信源输出的消息是时间上离散的符号序列，其中每个符号的出现是不确定的、随机的，由此构成的不同的中文消息。这类信源输出的消息是按照一定概率选取的符号序列，所以可以把这种信源输出的信息看作是时间上或者是空间上离散的一系列随机变量，即为随机矢量。信源输出是时间或空间的离散符号序列,且符号间有依赖关系。可用随机矢量来描述信源输出,即X=（X1X2…Xi）,其中Xi是离散随机变量,它表示t=i时刻所发出的符号，信源在t=i时刻发出的符号决定于两个方面:(1)与t=i时刻随机变量Xi的取值xi的概率分布p(xi)有关.一般情况t不同时,概率分布也不同,即p(xi)≠p(xj)(2)与t=i时刻以前信源发出的符号有关,即与条件概率p(xi|xi-1xi-2,…)有关.同样在一般情况下,它也是时间t=i的函数,所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…) 序列的统计性质与时间的推移无关,即信源所发符号序列的概率分布与时间起点无关，这种信源称之为平稳随机序列。若信源输出的随机序列X=（X1X2…Xi）中，每一个随机变量Xi(i=1,2,…N)都是取值离散的离散型随机变量，即每一个随机变量的可能取值是有限的或可数的。而且随机矢量的X各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为是离散平稳信源。在某些简单的离散平稳信源情况下，信源先后发出的一个个符号是彼此统计独立的，也就是说信源输出的随机矢量X=（X1X2…XN）中，各随机变量Xi(i=1,2,…N)之间是无依赖的、统计独立的，则N维随机矢量的联合概率分布满足P（X）=P（X1X2…XN）=P1(X1)P2(X2)…PN(XN)因为信源是平稳的，根据平稳随机序列的统计特征可知，各变量Xi的一维概率分布都相同，即P1(X1)=P2(X2)=…=PN(XN)则得若不同时刻的随机变量又取值于同一符号集A：{a1,a2,…,aq}则有其中ai是N维随机矢量的一个取值，即α={ai1,ai2,…,aiN}，而P（aik）是符号集A的一维概率分布。由符号集A：{a1,a2,…,aq}与概率测度P（aik）构成的一个概率空间称由信源空间［X,P(x)］描述的信源X为离散无记忆信源。这信源在不同时刻发出的符号之间是无依赖的，彼此统计独立。离散无记忆信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它自身的先验概率。把这信源X所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。可见，N次扩展信源是由离散无记忆信源输出N长的随机序列构成的信源。若是信源先后发出的符号是互相依赖的,如中文序列，只有根据中文句子的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后的文字的出现是有依赖的，不能认为是彼此不相关的。这种信源称为有记忆信源。它需要引入条件概率分布说明它们之间的关联性，实际上信源发出符号只与前若干个符号(记忆长度)有较强的依赖关系.。离散有记忆信源所发出的各个符号的概率是有关联的。2.2连续信源及数学模型信源输出的消息的取值是连续的，如人发出的声音、遥感器测得的连续数据等。极可能出现的消息数是不可数的无限值。这种信源称为连续信源。即指发出时间和幅度上都是连续分布的连续消息的信源，它可用连续型的随机变量来描述这些消息XYXY图2.2.1连续信源是指输出在时间和取值上都连续的信源其数学模型为连续型的概率空间：其中为连续随机变量X的概率密度，（）为X的存在域，并满足上述信源，因为信源的输出只有一个消息（符号），所以可用一维随机变量来描述。2.3信息的度量2.3.1离散信源的自信息量信源发出消息，经过信道，到达信宿，信宿收到消息，获得了信息，这个过程就称作通讯。我们现在来研究通讯的源头，也就是信源的特性。那么实际有用的信源应该具有什么特性呢？我们认为它应该具有不确定性（不肯定性）。信源至少应该包含两种不同的消息，例如两元信元（包含0、1），而信宿是知道信元发送（0、1）的，但是它就是不知道在具体的某一时刻，信源发送的是哪个消息。这是显然的，如果它知道，就不需要通讯了！所以必须要经过通讯，然后信宿通过译码，信源发送的是哪个消息。如果信道中不存在噪声，也就是干扰，那么信宿一定译码正确，通信可以无差错的进行了。所谓的不确定性就是说信宿对信源哪个时刻发送哪个消息不能肯定！而不是说信宿不知道信源有0、1这两个消息。反过来统计的讲，发送某一个消息的概率是确定的。比如说发1的概率是0.4,发1的概率是0.6。但是下一时刻发送0，还是1，信宿不知道。[例2.3.1]某二元信源（含有两个不同消息的信源）发送1的概率0.99，0的概率0.01，信宿仅凭猜测就可以简单的认为信源发出的消息始终都是1，即使如此，猜错的概率仅为百分之一。这说明在这种情况下，信源基本上在发送1，信源的不确定性很小。为什么信宿猜测的这么准呢？我们知道是因为信源发送0的概率很小，所以不确定度和信源发送符号的概率是有关系的！[例2.3.2]某二元信源发送1和0的概率相等，均为0.5，这时信宿不依赖通信仅凭猜测的话，猜错的概率高达50%。这说明在这种情况下，猜测信源发送什么消息就困难了，因为信源发送什么消息相当不确定。[例2.3.3]如果信源具有更多的消息，例如发10个数字0,1…..9(例如采用4位十进制树的中文电报)，而且假定这是个消息是等概率分布的，均为0.1，这时信宿仅凭猜测的话，就更难猜了。因为信源发送什么消息更加不确定。[例2.3.4]现在讨论一种极端的情况，信源只发送一种消息，即永远只发送1或者只发送0，从这样的信源中我们就不能从中获取任何信息，也就是说信源的不确定性为0。信源如果没有不确定性，那么就没有实用价值。不确定度和发送的消息数目和发送符号的概率有关。为了确切的描述信源，我们采用概率空间来描述信源。定义信息量的度量大写字母X,Y,Z代表随机变量，指的是信源整体。带下标的小写字母代表随机事件的某一结果或信源的某个元素。两者不可混淆。其中X1,X2,…Xn为信源的消息；P(x1),P(x2),…P(xn)为各消息出现的概率。根据以上分析我们可以写出对应的概率空间：[例2.3.1]=[例2.3.2]=若随机事件对上面的四个例子进行归纳可以得出如下有用的结论：（1）信源的不确定程度与其概率空间的消息数和消息的概率分布有关系（2）信源的消息为等概率分布时，不确定度最大（3）信源的消息为等概率分布，且其消息数目越多，其不确定度越大（4）只发送一个消息的信源，其不确定度为0，不发送任何信息发生的概率为，用I(xi)表示消息xi提供的信息量，则：称I(xi)为消息xi的自信息量，表示信源发出一个消息xi所带有的信息量。随机事件的不确定度：猜测某一随机事件是否会发生的难易程度，它在数量上等于它的信息量，两者的单位相同，含义却不同。当某事件必然发生时，就不存在不确定性，即不确定性为0。即P(xi)=1时，I(1)=-log1=0当某事件几乎不发生时（或发生概率很小），其不确定性应趋于无穷大，即limI[p(xi)]=-log0=∞发生概率小的事件其不确定性比大概率事件大，即I(x1)=-logp(x1)I(x2)=-logp(x2),(p(x1)>p(x2)),则I(x1)<I(x2)两个互相独立事件的联合信息量应该等于他们分别的信息量之和不管随机事件是否发生，都存在不确定度；而自信息量是在该事件发生后给观察者带来的信息量。自信息量具有下列性质： （1）是非负值； （2）当=1时，=0； （3）当=0时，=∞；（4）是单调递减函数。信息量的三种单位：比特bit对数取2为底奈特nat对数取e为底哈特莱hartley对数取10为底这三个信息单位之间的转换关系如下：1nat=log2e≈1.433bit1hart=log210≈3.322bit1bit≈0.693nat1bit≈0.301Hart然而，自信息也有它的不足之处：1）自信息是随机变量，不能作为整个信源的信息测度;2）自信息是指信源发出某一消息所含有的信息量;3）消息不同，它们所含有的信息量也不同。2.3.2联合信源的自信息量和条件自信息量联合信源:多个信源构成的信源。例如音响设备有多个声道，彩色电视信号可分解为红、绿、蓝三种基色，遥感图像包含多个波段，以及形形色色的多维信号。

本节以任意两个随机变量X和Y的联合为例进行讨论。 两个随机事件的离散信源，其信源模型为，其中。其自信息量是二维联合集XY上元素对的联合概率对数的负数值，称为联合自信息量，用表示，即 当X和Y相互独立时，=，代入式（2.1.4）就有 说明两个随机事件相互独立时，同时发生得到的自信息量，等于这两个随机事件各自独立发生得到的自信息量之和。 条件自信息量定义为条件概率的负值。设条件下，发生的条件概率为，那么它的条件自信息量定义为 （2.1.6a）上式表示在特定条件（已定）下随机事件发生所带来的信息量。同样，已知时发生的条件自信息量为 （2.1.6b）在给定()条件下，随机事件发生()所包含的不确定度在数值上与条件自信息量[]相同，即可用式（2.1.6a或2.1.6b）计算，但两者的含义不同。不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。 联合自信息量和条件自信息量也满足非负和单调递减性，同时，它们也都是随机变量，其值随着变量，的变化而变化。 容易证明，自信息量、条件自信息量和联合自信息量之间有如下关系：。［例2.3.3］（自信息量）有八个灯泡串联相接，x1,x2…x8中每个灯泡损坏的可能性相等，现有一个灯损坏，致使电路不通，灯全部不亮。问：要查出损坏的灯泡至少需要多少信息量？解：至少要查三次方可确定损坏的灯泡。事件的概率空间为：设第xi个灯泡损坏因为所以查出损坏的xi需要3bit的信息量。说明：第一步，将八个灯分成两组在任一组中有xi的概率是，查找出该组的信息量为-log=1bit=第二步，将有xi的组再分成两组，任何一组中存在有xi的概率是查找出有xi组的信息量为-log=1bit=第三步，对剩下的两个灯泡中的一个进行检测，每一个灯泡的损坏概率为，查找出损坏灯泡的信息量为-log=1bit=所以，最终找出xi需要的信息量为+=1+1+1=3bit［例2.3.4］（联合自信息量）有一个88的正方形棋盘，其上某位置放有一个棋子。问需确定该棋子的位置需要多少信息量？解：因设棋子等概率的可放在某列xi，并等概率的放在某行yj故，列概率空间为：行概率空间为联合概率空间为：{XY,p(xyij),i=1…8,j=1…8}1.根据联合自信息量求解：=确定位置需要的信息量为2．根据条件自信息量求解：第一步：确定在某行，即yj需要的信息量为第二步：确定在某列，即xi因yj已经确定，因此确定xi是在yj已知条件下。则，又因，xi，yj相互独立，故需要的总信息量为2.4离散信源的平均自信息量——熵2.4.1平均自信息量——熵已知单符号离散无记忆信源的数学模型,其中，且我们定义信源各个离散消息的自信息量的数学期望(即概率加权的统计平均值)为信源的平均信息量，一般称为信源的信息熵，也叫信源熵或香农熵，有时称为无条件熵或熵函数，简称熵，记为.它实质上是无记忆信源平均不确定度的度量。如果取以2为底的对数，信源熵的单位是bit/符号。X中各离散消息的自信息量为非负值，概率也是非负值，且0≤≤1，故信源熵也是非负值。的定义公式与统计热力学中熵的表示形式相同，这就是信源熵名称的由来。[2.1.6]以[2.1.5为例]，计算=1/4×log2+3/4log2=0.811比特/消息[2.1.7]以[2.1.5为例]，计算通信系统信宿端Y的不确定度=7/12×log2+5/12log2=0.980比特/消息[2.1.8]计算能输出26个英文字母的信源的信源熵。假设各字母等概率分布，且互相独立。H(X)=-log2=4.701比特/字母2、本质信源熵表征信源的平均不确定度，平均自信息量是消除信源不确定度所需要的信息的度量。信源一定，不管它是否输出离散消息，只要这些离散消息具有一定的概率特性，必有信源的熵值，这熵值在总体平均的意义上才有意义，因而是一个确定值。3、物理含义总括起来，信源熵有三种物理含义：(1)信源熵表示信源输出后，每个离散消息所提供的平均信息量。(2)信源熵表示信源输出前，信源的平均不确定度。(3)信源熵反映了变量X的随机性。2.4.2联合信源的平均信息量——联合熵设离散集和组成二维联合离散事件集的平均联合自信息定义为：联合集上的随机变量的数学期望称为集和集的联合信息熵。2.4.3N次扩展信源的熵根据信息熵的定义，离散无记忆信源X的N次扩展信源的熵等于信源的熵的N倍，即证明由N次扩展信源的含义及熵的定义可知，N次扩展信源的熵为式中求和号是对信源中所有个符号求和，所以求和号共有个。这种求和号可以等效于N个求和，而且其中的每一个又是对X中的q个符号求和。所以得N次扩展信源的熵公式也可以写成上式中共有N项，考察其中第一项上式引用了同理，计算其余各项，得例：有一离散无记忆信源求该离散无记忆信源的二次扩展信源的熵。解：由于扩展信源的每个符号是信源X的输出长度为的符号序列，且信源X共有个不同符号，所以由信源X中的每二个符号组成的不同排列共有种，得二次扩展信源共有9个不同的符号。又因为信源X是无记忆的，则有（）于是得表如下信源符号符号序列概率可以算得，原始信源熵为比特/符号而二次扩展信源为比特/符号故有：对于上述结论，也可以直观的进行理解。因为扩展信源的每一个输出符号是由N个所组成的序列，并且序列中前后符号是统计独立的。先已知每个信源符号含有的平均信息量为,那么N个组成的无记忆序列平均含有的信息量就为(根据熵的可加性)。因此，信源每个输出符号含有的平均信息量为。2.5信息熵的性质由于信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，虽然与信源的符号及符号的概率分布有关。当信源符号集的个数给定，信源的信息熵就是概率分布的函数。而这个函数形式即为（2.5.1）可用概率矢量来表示概率分布可用来表示符号概率。概率矢量是维矢量，是其分量，它们满足和这样信息熵是概率矢量或它的分量的元函数。所以（2.5.1）可写成(2.5.2)是概率矢量的函数，称为熵函数。常用来表示以离散随机变量描述的信源的熵；而用或是来表示概率矢量为P=的个符号信源的信息熵。熵函数也是一种特殊函数，它的函数形式为（2.5.3）它具有下列一些性质：对称性当变量的顺序任意互换时，熵函数的值不变，即（2.5.4）该性质表明熵只与随机变量的总体结构有关，即与信源的总体统计特性有关。如果某些信源的统计特性相同（含有的符号数和概率分布相同）,那么，这些信源的熵就相同。非负性即（2.5.5）该性质是很显然的。因为随机变量的所有取值的概率分布满足，当取对数的底大于1时，，而，则得到的熵是正值的。只有当随机变量是一确知量时，熵才等于零。这种非负性对于离散信源的熵是合适的，但对连续信源来说这一性质并不存在。以后还可以看到，在相对熵的概念下，可能出现负值。确定性即(2.5.6)因为在概率矢量中，当某分量时，；而其余分量所以上式成立。这个性质意味着从总体上来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其他符号都是几乎不可能出现，那么，这个信源是一个确知的信源，其熵等于零。扩展性即（2.5.7）此性质也不难证明，因为所以等式（2.5.7）成立。本性质说明信源的取值数增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。虽然，概率很小的事件出现以后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占得比重很小，致使总的信源熵值维持不变。这也是熵的总体平均性的一种体现。可加性有两个离散集,其中集的概率分布为其中集的概率分布为组成的联合集的概率分布为联合集的熵为：=为在给定条件下，发生的概率。为条件熵。当相互独立时，=，则即3)若集合X由K个子集组成的，每个子集的概率为，则其熵为。对每个子集作进一步划分，如将第个子集划分为个事件，则子集中某事件出现的概率为且。对这样划分的集X，当我们要判断事件出现在哪个子集时候可分两步进行：第一步，先判断事件属于哪个子集，其不确定性为。即平均需要这么多的信息量。第二步，再判断是子集中的哪个事件，其平均不确定性为相邻的子集出现的概率为。所以第二次判断平均付出的信息量为，以上两步之和就是集X的总的平均不确定性，也就是判断一个事件出现所必须付出的平均信息量。即=+极值性最大离散熵定理：X集中的事件发生的概率为则，即对于具有个符号的离散信源，只有在个信源符号等可能出现的情况下，信源熵才能达到最大值。也就是表明等概率分布信源的平均不确定性为最大。这个结论就叫做最大离散熵定理条件熵小于无条件熵(2.5.8)当且仅当X和Y相互独立时等号成立。证明根据条件熵的定义=若令，于是得代入上述表达式，可以得到即证毕。上凸性熵函数是概率矢量的严格型凸函数（或称上凸函数）。即对任意函数矢量和，及任意则有(2.5.9)此式可根据凸函数的定义来证明。正因为熵函数具有上凸性，所以熵函数具有极值，熵函数的最大值存在。2.6离散信源的互信息及平均互信息2.6.1非平均互信息1，输入事件与输出事件的概率关系例：设输入空间，将各消息以三位二元数字表示并作为输出，我们通过对输出事件的观测来判断输出的是哪个消息。假定系统的输入消息为，则输出为“011”输入消息输出消息消息的先验概率消息后验概率收到“0”后消息后验概率收到“01”后消息后验概率收到“011”后作为观察者，我们只知道出现的概率相等而不知道输入是哪个消息当观察到输入的二元数字后，用后验概率公式来表示出各消息的后验概率。分析：每收到一个输出的二元数字后，各输入消息的后验概率作独立变化，这有利于对输入事件进行猜测。在接收到011后，消息出现的概率逐步增加，最终到1，而其他消息出现的后验概率都先后减为零，从而完全确定输入的消息。结论：当系统中关心的是哪个输入消息时，则与事件出现的先验概率和经过观测后事件出现的后验概率有关。即，信息的概率是先验概率和后验概率的函数。——系统可能输入的消息如——系统可能输出的消息如令三个二元数字分别为，表示则每收到一个数字得到的信息量分别为：而且应当满足：2．非平均信息量的定义1）定义：对给定的两个离散事件集。事件的出现给出关于事件的信息量定义为同理，对于事件出现给出的关于事件的信息量为：2）非平均互信息即=证：3）说明：=1\*GB3①事件之间存在有互信息是因为两个事件统计相关。=2\*GB3②若两个事件相互独立，则互信息等于零。=3\*GB3③若事件的出现有助于肯定事件的出现，即，则互信息大于零，即>0.若事件出现告诉我们事件的出现可能性减小，则<0,互信息小于零。2.6.2条件互信息与联合事件的互信息1．条件互信息设分别为三个离散事件集，由组成的联合集为：其概率关系为：定义：对三个离散集组成的联合概率空间在给定的事件条件下，事件和事件之间的条件互信息量定义为：条件互信息的定义和无条件互信息的定义之间的差别仅在于它的先验概率和后验概率均为某种特定条件下的取值，这个定义可推广到任意有限个空间。N维概率空间中的事件的互信息对于N个空间中的事件的条件互信息可以考虑已知的情况下之间的条件互信息量为：条件互信息也具有对称性，即2.联合互信息（互信息的可加性）有一个系统，其输入空间是,输出空间是.可为并行或是按时间前后的串行输出，当知道事件和后，共给出系统中有关的信息量，以及单独提供有关的信息量的关系为：=1\*GB3①为联合事件和事件之间的互信息。=2\*GB3②关系证明：即：联合给出的关于的信息量等于给出的关于的信息量与已知的条件下，给出的关于的信息量——互信息的可加性=3\*GB3③联合互信息对称性即：事件给出的关于的信息量等于给出的的信息量加上已知条件下给出的关于的信息量。=4\*GB3④联合互信息的可加性可以推广到任意的有限空间互信息的可加性对于描述每个事件之间的互信息是非常方便的，特别是对于用户信息论中的信息量的分析。2.6.3平均互信息量前面我们知道，联合空间中的一对事件之间的互信息是定义在空间中的随机变量，对空间上的概率分布进行统计平均得它是特定时间出现时所给的关于中各事件的平均信息量，设信息量非负，即对事件的观察总是有助于对集中的事件出现的判断，同时，又是集的随机变量，即随着中给定的事件的不同而不同。1，两个离散集的平均互信息量定义：集合中的随机变量的数学期望值定义为集和集之间的平均互信息量。平均互信息量描述了两个集合之间一个集合中的事件出现后，所给出的关于另一个集合中事件出现的信息量的平均值。2．平均信息、熵、条件熵的关系各表达式说明：1）表示互信息等于输入集的平均不确定性在观察到输出集后，集还保留的不确定性,称作是含糊度，疑义度或存疑度。在给定集后，含糊度越大，得到的信息量就越小。2）表示平均互信息还等于观察到后获得的信息量(或集的平均不确定性)减去传送时由于干扰影响使观察的存在有的二平均不确定性,称作散布度，干扰越严重散布度就越大，因而得到的信息量就越少。3）表明和之间信息关联的紧密程度。若相互独立则有3.平均条件互信息联合集中在一个集合给定的条件下。列两个集之间的平均互信息称作是平均条件互信息。定义：集上定义的随机变量的数学期望定义为集和集在集给定条件下的平均条件互信息量。由定义可推论出：A．B.C.2.7平均互信息量的性质平均互信息量的基本性质有：=1\*GB3①非负性离散集和的平均互信息不小于零。即当且仅当互相独立时，否则，。当集和统计相关时，集事件发生总能提供一些关于的信息。=2\*GB3②对称性和统计相关，观测得到的关于的信息量与观测集得到的关于的信息量相等。证：=3\*GB3③可加性=4\*GB3④极值性=5\*GB3⑤平均互信息的凸性据得知，平均互信息只是输入集的概率分布和条件概率的函数。即平均互信息只与信源的概率分布和信道的转换概率有关，因此对于不同的信源分布和不同的条件概率得到的互信息不同。定理一：平均互信息是集的分布的上凸函数，即当条件概率给定后，对于不同的集分布，平均互信息具有最大值。定理二：平均互信息是条件概率的下凸函数，即当集分布给定后，对于不同的条件概率，平均互信息具有最小值。2.8信息处理定理由集合X,Y,Z组成的级联系统如图所示：XZY其中，X:系统一的输入；Y:系统二的输出；Z:系统一得输出，系统二的输入。系统分析：1，若是对任意的有下式成立：即在Z的条件下，X，Y相互独立。则有，此时，2，若是系统二的输出只由系统二的输入Z决定则有，对所有满足>0的x，y，z给两边同乘得，=此时，在给定Z的条件下，系统输出Y和输入X之间的平均互信息量等于零。即，由上面的级联分析系统得出信息处理的定理：对于X,Y,Z组成的上述级联系统，对于集Z到集Y的任意变换Y=f（Z）有如下结论：证明：由：得，即可得，又因为条件互信息非负，即得，根据熵中熵的自信息量之间的关系得：和代入;得得，当且仅当f（Z）=Y的时候，有此时，上式中的等号才能成立。（）此定理得证。对于上述的级联我们还可以得到信息处理定理的说明：若将集X作为观测对象，Z作为观测到的数据集，而Y作为对观测结果Z的某种变换（处理）得到的结果，则对于观测得到的数据做任何处理都会带来数据的损失，而绝对不会是信息增加。这就是信息的不增性原理，也是信息的一个重要性质之一。在对观测数据Z进行处理的时候，若是处理的细致些，会使信息损失少一些，但付出的代价（如设备的复杂性，计算量或者处理时间）要更大了。例如，一外文小说（Z）翻译成中文小说（Y）,小说的信息量（X）之间的关系。2.9连续信源的信息度量2.9.1连续随机变量的信息量和熵1．自信息量基本连续信源的数学模型为X=并满足其中R是全实数集，是连续变量X的取值范围。根据前述的离散化原则，连续变量X可量化分层后用离散变量描述。量化单位越小，则所得的离散变量和连续变量越接近。因此，连续变量的信息测度可以用离散变量的信息测度来逼近。假定连续信源X的概率密度函数为，我们把取值区间［］分割成n个小区间，有等宽=，当连续变量X取值在范围内的时候，其出现的概率为所以事件的自信息量为：2．平均自信息量根据平均自信息量的定义，有：=分析：当划分无限精细时，即时，，因此将随着划分的变细而趋向无穷大，这说明连续随机变量的潜在信息量是无穷的，对它进行量化时，量化的精度越高，它呈现出的信息量就会越大。而随之表现这一精度所需的代价也就会越来越大。但实际中，由于人或者机器的分辨力是有限的，且存在着若干的干扰因素。使得对任何物理量的测量不必、也不可能过于精细。2.9.2连续信源的最大熵、熵功率、相对熵及互信息量1．连续信源的最大熵从前面的讨论我们可以知道，对于离散信源来说的话，在所有的消息独立等概率时，其输出熵最大。在确定这个最大熵时，除了概率和等于1（即）外诶有任何其他的约束条件，这里要研究连续信源最大熵的条件。在讨论的时候，仍然先假定样值间是相互独立的，也就是说，需要研究使连续信源熵为最大时信号的一维最佳概率分布。具体地说，就是求求当熵为最大条件下，求解概率分布密度函数，且满足：=1\*GB3①；=2\*GB3②其他约束条件。这个问题一般用变分法来求解，即在若干条件制约下（2.9.1）求积分（泛函）（2.9.2）为极值时这一函数。式（2.9.1）中为常数。在所研究的问题中为（2.9.3）在求解这个问题中，为了对式（2.9.2）的积分求极值，又要保证满足给定的约束条件，就需要建立如下的函数（2.9.4）式中，为特定系数，由个制约条件决定的。因此，求函数的极值，就变为求式子（2.9。4）函数的极值，即对函数求导并令其为零，即（2.9.5）因为不管为何值，上式均应满足，因此必须保证（2.9.6）求解方程式（2.9.6）得函数，然后代入式（2.9.1）的个方程，即可求得系数从而决定了。实际上，对连续信源感兴趣的有以下两种情况：=1\*GB3①信源输出的瞬时功率或输出幅度受限的情况；=2\*GB3②信源输出的平均功率受限的情况。现在应用上述的变分法来求解信源的最佳概率分布密度和最大熵。输出值范围受限的信源信源输出信号的幅度或瞬时功率S受到限制。即：求解：（2.9.7）为极值时的。这时限制条件只有一个，即（2.9.8）对于给定的情况式（2.9.6）中所以式（2.9.6）可写成则为了计算方便，对数取以e为底的对数，得（2.9.9）将式（2.9.9）代入（2.9.8）可得，则(2.9.10)这就是说，概率分布密度为常数时，有最大熵，如图2.9.1所示。0+V0+V-VP(V)图2.9.1信源输出幅度受限时最佳分布最大熵为或写成（2.9.11）一般情况下，当幅度限制在和之间，即当时，则（2.9.12）(2.9.13)从上面的分析中可以得到如下的结论：输出信息值的范围受限的连续信源，其输出最大熵的条件是输出信号在该范围内分布是均匀分布，其最大熵为概率分布密度倒数的对数。这与输出符号数受限的离散信源在各符号以等概率出现时输出熵最大的结论是类似的。输出平均功率受限的信源假定信源的平均功率为，此时求解熵(2.9.14)为极值时的。这时限制条件为（2.9.15）这时，将上式代入式（2.9.6）得解得对数取以e为底，得（2.9.16）将上式代入式（2.9.15）第一式，得则得（2.9.17）将式（2.9.16），（2.9.17）代入式（2.9.15）第二式，得则得（2.9.18）所以（2.9.19）将式（2.9.19）和（2.9.18）代入式（2.9.16）得（2.9.20）此式表明，信号平均功率一定时，信号的最佳概率分布式数学期望为零，方差等于均功率的高斯分布。这时，最大熵为（奈特）（2.9.21）若高斯分布的信号平均功率为N，,因此式（2.9.21）可写成(奈特)（2.9.22）式（2.9.21）和（2.9.22）说明了具有高斯分布的连续信源的熵最大，其大小平均功率N的增加而增加。也就是说，高斯信源输出的每个样值（也叫自由度）提供的平均信息量最大，而且随平均功率而增加。倘若一个信源的输出信号平均功率为N，但其幅度分布不是高斯分布，那么其熵将比式（2.9.21）计算的小。对于这种信源为了分析方便，又定义了一个“熵功率”，用来表示该信源的剩余。所谓熵功率就是指与这个平均功率的非高斯信源有同样熵的高斯信源的平均功率。因此，若H为这个信源的熵，则根据熵功率的定义，得则熵功率为(2.9.23)即熵功率永远小于信源的真正功率，这说明非高斯信源是有剩余信源，即有功率剩余。2．=1\*GB3①绝对熵将称作绝对熵，在比较两个事件信息量时常被略去。=2\*GB3②相对熵——微分熵——熵称作为是连续变量集X的微分熵或是熵，在研究互信息量中只有该熵有作用，我们就把它的极限叫做连续随机变量的相对熵。即(2.9.24)例：设X是区间上均匀分布的连续随机变量，求X的熵。解：X的概率密度为注：连续随机变量的相对熵不具有非负性当3．联合熵和条件熵假若有两个连续信源X和Y，且：——分别为信源X和Y的概率分布密度：——分别为条件概率分布函数；——联合概率分布密度，即二维分布。则二元联合信源的联合熵为:(2.9.25)其条件熵为（2.9.26）或（2.9.27）由于连续信源的熵是相对熵，它与离散信源的熵不同，不具有非负性和极值性。但也存在连续信源的联合熵、条件熵和熵之间的关系：1)2)当信源X和Y相互独立时，1和2中的等号成立。3）对于多元联合信源，若其联合概率密度为，则其联合熵为并且存在当信源彼此独立时，等号成立。4．连续随机变量的互信息=1\*GB3①设X,Y都是随机变量，概率密度分别为，联合概率密度为概率密度之间的关系为：概率：对于任意的小区间随机变量取值在附近的概率为：随机变量取值在附近的概率为：同时取值在附近的概率为：互信息量的定义：连续联合集{}中，事件之间的互信息量为：条件互信息：连续联合集的条件互信息：联合互信息量：=2\*GB3②平均互信息：连续随机变量集之间的平均互信息定义为：平均条件互信息为：集XY和Z之间的平均互信息为：=3\*GB3③连续随机变量平均互信息量的性质：=1\*ROMANI非负性(当X和Y独立时等号成立)=2\*ROMANII对称性=3\*ROMANIII极值性=4\*ROMANIV可加性连续集的平均互信息和相对熵的关系：2.9.3随机过程的相对熵及互信息设是在时间段上的两个随机变量，他们满足平方可积条件，即能量有限。将展开，展开形式为：其中=1，2…=1，2…这样，随机过程就在均方收敛意义下，由他们的分量来表示。其中每个分量都是一个随机变量。则，时间上连续的随机变量就化为样点可数，取值连续的随机变量的集合。随机变量和的相对熵及互信息。相对熵：互信息：随机过程在给定时间段上的相对熵及互信息相对熵：可由时的随机变量给出：互信息：在实际中，对于一个数量为,时间段长为T的随机过程。可近似用将随机变量来表示。这样，一个数量和时间都为有限的时间函数就化为有限个时间离散的随机变量。例：设是两个独立的随机过程。是两个随机过程之和。求和的互信息。解：因独立。则对任意N，其正交展开式的矢量X和Z的分量分别是独立。故都可用同一正交数集展开。则随机变量之间的互信息为：习题2.1同时掷两个正常的骰子，也就是各面呈现的概率是一样的，都是1/6,求：（1）“2和4同时出现”事件的自信息量；（2）“两个3同时出现”事件的自信息量；（3）两个点数的各种组合（无序对）的熵或平均信息量；（4）两个点数之和（即2,3，…，12构成的子集）的熵；（5）两个点中至少有一个是3的自信息量。2.2某大学设置有6个系，每个系的学生人数分别为系别：123456人数：360360480600480360问“某学生A是是三系学生”这一消息提供的信息量是多少？2.3一副充分洗乱了的牌（含52张牌），试问（1）任一特定排列所给出的信息量是多少？（2）若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？2.4设有一离散无记忆信源，其概率空间为求每个符号的自信息量；信源发出一消息符号序列为{202120130213001203210110321010021032011223210}，求该消息序列的自信息量及平均每个符号携带的信息量。2.5两个实验X和Y，X={}，Y={}，联合概率为如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？如果有人告诉你Y的实验结果，你得到的平均信息量是多少？在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？2.6如果有6行8列的棋型方格，若有二个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别是,，但A、B不能落入同一个方格内。（1）若仅有质点A，求A落入人一个格的平均自信息量是多少？（2）若已知A已落入，求B落入的平均自信息量是多少？（3）若A、B是可分辨的，求A、B同都落入的平均自信息量是多少？2.7设离散无记忆信源其符号集，知其相应的概率分布为。设另一离散无记忆信源,其符号集为信源符号集的两倍，并且各符号的概率分布满足试写出信源的信息熵与信源的信息熵的关系。2.8设信源求这信源的熵，并解释为什么，不满足信源熵的极值性。2.9变量的联合概率密度分布如下：求熵，，，和。2.10在一个二进制信道中，信源消息集，且，信宿的消息集，信道传输概率，。求：（1）在接受端收到后，所提供的关于传输消息的平均条件互信息量；（2）该情况下所能提供的平均互信息量。2.11已知信源发出两种消息，且。此消息在二进制对称信道上传输，新到的传输特性为，。求互信息量和。2.12随机变量的概率在取值范围为内服从均匀分布，计算该信源的相对熵。2.13一个发射机发出、、三个消息，他们的先验概率和条件概率分别为00试求：（1）该信源的熵？（2）若信源各消息之间是独立无关时，信源熵为多少？

第三章离散信源无失真编码通信的实质是信息的传输。而高速度、高质量地传送信息却又是信息传输的基本问题。将信源信息通过信道传送给信宿，怎样才能即做到尽可能不失真而又快速呢？这就需要解决。第一，在不失真或允许一定失真条件下，如何用尽可能少的符号来传送信源信息，以便提高信息传输率。第二，在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大。若接收端信宿要求无失真地精确复制信源输出的消息，这种表示是一一对应的，即保证信源产生的全部信息无失真地传送给信宿，这时的信源编码是无失真编码。只有对离散信源可以实现无失真地信源编码，对连续信源其信源输出的信息量为无限大，因此是不可能实现无失真信源的编码的。为了解决这两个问题我们引入了信源编码和信道编码。在前面已建立的信源统计特性和信息熵的概念