第二章 信息的度量

第一章信息科学及其发展1.1通信系统的基本概念1.2信息科学的有关概念1.3信息理论的研究内容1.4香农信息论概述通信系统模型信息、消息和信号信息一个抽象的概念，可以定量的描述。信息、物质和能量是构成一切系统的三大要素消息是信息的载体，相对具体的概念，如语言，文字，数字，图像信号表示消息的物理量，电信号的幅度，频率，相位等等通信系统传输的是信号，信号是消息的载体，消息中的未知成分是信息。信息的特征未知性或不确定性。又不知到知，等效为不确定性的集合的元素的减少。可以度量。可以产生、消失，可以被携带、存储和处理。可以产生动作。信息论要解决的基本问题什么是信息？如何度量？在给定的信道中，信息传输有没有极限？信息能否被压缩和恢复？极限条件是什么？从实际环境（如干扰，噪声）中抽取信息，极限条件是什么？允许一定失真的条件下，信息能否被更大程度地压缩？极限条件是什么？设计什么样的系统才能达到上述极限？现实中，接近极限的设备是否存在？信息量、信道容量、熵、香农定理、香农公式等。信息论的研究内容狭义信息论（香农信息论）研究信息测度，信道容量以及信源和信道编码理论一般信息论研究信息传输和处理问题，除香农信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论广义信息论除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学研究通信系统的目的找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统最优化。可靠性:使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。有效性:经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。保密性:隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。认证性:指接收者能正确判断所接收的消息的正确性和完整性，而不是伪造的和被篡改的。香农信息论信息的度量信息量、熵无失真信源编码香农第一定理信道编码香农第二定理带限信道传输能力信道容量公式（香农公式）信息传输失真及差错信息率失真理论、香农第三定理、信息价值网络信息传输网络信息理论保密通信香农信息论体系结构Shannon信息论压缩理论有失真编码无失真编码等长编码定理Shannon1948McMillan1953变长编码定理Shannon1948McMillan1956Huffman码(1952)、Fano码算术码(1976,1982)LZ码(1977,1978)率失真理论ShannonGallagerBerger压缩编码JPEGMPEG传输理论信道编码定理网络信息理论纠错码编码调制理论网络最佳码第二章信息的度量2.1度量信息的基本思路2.2信源熵和条件熵2.3互信息量和平均互信息量2.4多维随机变量的熵单消息（符号）信源它是最简单也是最基本的信源，是组成实际信源的基本单元。它可以用信源取值随机变量的范围X和对应概率分布P(X)共同组成的二元序对[X,P(X)]来表示。当信源给定，其相应的概率空间就已给定；反之，如果概率空间给定，这就表示相应的信源已给定。所以，概率空间能表征这离散信源的统计特性，因此有时也把这个概率空间称为信源空间。

单符号离散信源这些信源可能输出的消息数是有限的或可数的，而且每次只输出其中一个消息。因此，可以用一个离散型随机变量X来描述这个信源输出的消息。这个随机变量X的样本空间就是符号集A；而X的概率分布就是各消息出现的先验概率，信源的概率空间必定是一个完备集。在实际情况中，存在着很多这样的信源。例如投硬币、书信文字、计算机的代码、电报符号、阿拉伯数字码等等。这些信源输出的都是单个符号(或代码)的消息，它们符号集的取值是有限的或可数的。我们可用一维离散型随机变量X来描述这些信源的输出。它的数学模型就是离散型的概率空间：单符号离散信源例：对于二进制数据、数字信源：X={0,1}，则有

信息的度量信息的度量（信息量）和不确定性消除的程度有关，消除了多少不确定性，就获得了多少信息量；不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小；由以上两点可知：概率小——>信息量大，即信息量是概率的单调递减函数；此外，信息量应该具有可加性；信息量的特点事件（或消息）输出的信息量仅依赖于它的概率，而与它的取值无关。信息量是概率分布的连续函数。信息量是概率分布的减函数。统计独立的两个信源产生的两个事件，其联合信息量应为各事件信息量之和。对数函数！自信息量由于信息量与概率成反比，并且具有可加性，可以证明，信息量的计算式为

其中Pk是事件Xk发生的概率，这也是先农关于(自)信息量的度量(概率信息)；自信息量I(xk)的含义当事件xk发生以前，表示事件xk发生的不确定性；当事件xk发生以后，表示事件xk所提供的信息量；自信息量计算信息量主要要注意有关事件发生概率的计算；例：从26个英文字母中，随即选取一个字母，则该事件的自信息量为

I=-log2(1/26)=4.7比特例：设m比特的二进制数中的每一个是等概率出现的(这样的数共有2m个)，则任何一个数出现的自信息为:

I=-log2(1/2m)=m比特/符号自信息量自信息量的单位自信息量的单位取决于对数的底；底为2，单位为“比特（bit）”；底为e，单位为“奈特（nat）”；底为10，单位为“哈特（hat）”；1nat=1.44bit,1hat=3.32bit；仙农关于信息定义和度量的优点优点它是一个科学的定义，有明确的数学模型和定量计算；它与日常生活中关于信息的理解不矛盾；它排除了对信息一词某些主观性的含义，是纯粹形式化的概念；仙农关于信息定义和度量的局限局限这个定义的出发点是假设事物的状态可以用一个以经典集合论为基础的概率模型来描述，然而实际存在的某些事物运动状态很难用一个合适的经典概率模型来描述，甚至在某些情况下不存在这样的模型；这个定义和度量没有考虑收信者的主观性和主观意义，也抛开了事物本身的具体含义、用途、重要程度和引起的后果等，这与实际不完全一致。条件自信息、联合自信息、互信息量自信息、条件自信息和互信息I(xk)I(yj)I(xk

;yj)互信息量的性质对称性。值域为实数（可以小于0）。不大于其中任一事件的自信息量。条件互信息量熵(Entropy)的概念通常研究单独一个事件或单独一个符号的信息量是不够的，往往需要研究整个事件集合或符号序列(如信源)的平均的信息量(总体特征)，这就需要引入新的概念；熵(Entropy)的概念（续）假设离散事件集合的概率特性由以下数学模型表示：则如果将自信息量看为一个随机变量，其平均信息量为自信息量的数学期望，其定义为：由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”；熵的计算例：设某信源输出四个符号，其符号集合的概率分布为：则其熵为：熵的含义熵是从整个集合的统计特性来考虑的，它是从平均意义上来表征集合的总体特征的。熵表示事件集合中事件发生后，每个事件提供的平均信息量；熵表示事件发生前，集合的平均不确定性；例：有2个集合，其概率分布分别为：

分别计算其熵，则：H(X)=0.08bit/符号,H(Y)=1bit/符号熵的性质连续性:当某事件Ek的概率Pk稍微变化时，H函数也只作连续的不突变的变化；对称性:熵函数对每个Pk

对称的。该性质说明熵只与随机变量的总体结构有关，与事件集合的总体统计特性有关；非负性:H>=0；确定性，即：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即当某一事件为确定事件时，整个事件集合的熵为0；熵的性质（续）极值性，即当所有事件等概率出现时，平均不确定性最大，从而熵最大，即：熵的性质（续）可加性:设有一事件的完全集合{E1,E2,…,En},其熵为H1(p1,p2,…,pn)。现设其中一事件En又划分为m个子集，即：

这时构成的三个概率空间分别具有熵函数：

这说明对集合的进一步划分会使它的不确定性增加，即熵总是往大增加。熵的性质（续）例子:设事件A1,A2构成全集，p(A1)=p1=3/15,p(A2)=p2=12/15.现将事件A2又进一步划分为2个子集B和C，且p(B)=q1=4/15,p(C)=q2=8/15,则：剩余度ΔH剩余度刻画了事件集合中符号的相关性程度，其定义为：ΔH=H0-H其中：H0为熵的最大值，H为熵的实际值；剩余度ΔH(续)例：英文字母表由27个元素构成的集合的熵的最大值为：H0=log27=4.75bit/符号(当27个元素等概率分布时)对于实际的有意义英文来说，由于受到英语构词法等规则的限制，其字母不是等概率出现的，而呈现一定的分布（如下表）。由此可以计算出实际英文字母表(26字母+1空格)的熵为:H(x)=4.03bits/字母；因此，英文字母表的剩余度ΔH=4.75-4.03=0.72以上结论仅仅从英文字母的概率分布得出。一般认为，如果考虑到英语的所有特点，则实际英文字母表的熵为H=1.4bits/字母；也就是说，英语的冗余是很大的。剩余度ΔH(续)正是因为原始的信息都有冗余，才有可能对信息进行压缩，以尽量减少冗余，提高每个符号携带的信息量；但另一方面，冗余信息可以提高信息的抗干扰能力，如果信息的某部分在传输中被损坏，则通过冗余有可能将其恢复。(冗余小,有效)(冗余大,可靠)中国中华人民共和国从提高信息传输效率的角度出发，总是希望减少剩余度（压缩），这是信源编码的作用；从提高信息抗干扰能力来看，总是希望增加或保留剩余度，这是信道编码的作用；二维离散概率量的熵二维的系统能表达通信系统发送和接收的关系，也能表达存储系统的存取关系，二维的结果还可以向多维系统推广，因此这个研究具有重要的意义。联合事件集合和概率矩阵边际概率两个事件集合E、F的联合事件集合用X、Y表示E、F对应的随机变量，则其联合概率矩阵为边际熵和联合熵通过熵的定义，可以得到：边际熵联合熵条件概率和条件熵条件概率并且当已知特定事件yj

出现时，下一个出现的是

xi的不确定性为：对集合X中所有元素统计平均，其熵为：条件概率和条件熵上述熵值再对集合Y中的元素做统计平均，得条件熵：同理可得：例子例：掷两个均匀的六面体，六面体的每一面上分别有1,2,3,…,6个点，求各个熵。将两个六面体出现点数的事件用X和Y表示，每个六面体有6种可能的点数，两个共有36种组合，每种出现的概率为1/36，即：

p(xi,yj)=1/36,p(xi)=1/6,p(yj)=1/6.

p(yj|xi)=p(xi,yj)/p(xi)=1/6,p(xi|yj)=1/6.边际熵联合熵条件熵从通信系统角度看熵的意义H(X)：表示信源