信息论与编码第一章

1、 主讲老师：姚志强 (Information theory and coding)学习的意义学习的意义 信息论与编码理论是信息科学的基础理论，对信息进行定量的分析，对信息处理给出理论的指导，是20世纪后半叶数字化革命的主要理论和技术支柱 信息论与编码的许多思想和方法已广泛渗透到许多领域：计算机，通信技术，统计学, 物理学，生物学，系统科学, 经济学, 社会学, 组成客观世界的三大基本要素：物质、能组成客观世界的三大基本要素：物质、能量和信息，材料科学、能源科学、和信息量和信息，材料科学、能源科学、和信息科学一起被称为当代文明的科学一起被称为当代文明的“三大支柱三大支柱”。 Without ma

2、terials, there is nothing. 没有没有物质的世界是虚无的世界；物质的世界是虚无的世界； Without energy, nothing happens.没有能源的世界是死寂的世界；没有能源的世界是死寂的世界； Without information, nothing makes sense没有信息的世界是混乱的世界。没有信息的世界是混乱的世界。几十年来许多优秀的学者，工程师共同努力推动了几十年来许多优秀的学者，工程师共同努力推动了该理论和实践的发展该理论和实践的发展美国科学家Claude Elwood Shannon ，1916年4月30日2001年2月26日，以60多

3、年前Shannon的不朽论文通信的数学理论通信的数学理论为里程碑信息论的奠基人：信息论的奠基人： 信息论的学习有助于对其他学科的研究,同时其他相关学科的研究也会促进信息论的发展. 这些理论是属于21世纪的工程科学理论，将对21世纪新科技产生巨大的作用 国外的一流学校在20世纪50年代末就开始设立信息论与编码课程 目前国内各高校的信息类专业研究生都已把信息论与编码作为一门重要的专业基础理论课信息论对于不同学科的重要性 通讯工程师说：当受信者对一个事件出现的先验概率估计越小时，他获得的信息量就越大； 计算机科学家则说：微处理器时钟频率的大小，决定着它处理信息的速度高低； 生物学家则高呼：脱氧核糖核

4、酸上的信息是控制子代和亲代相象的唯一源泉。 不同学科的信息有着不同的内涵，有着不同的研究目的主要参考文献 信息理论与编码信息理论与编码 姜丹、钱玉美编著姜丹、钱玉美编著 中国科技大学出版中国科技大学出版 社（第一版，第二版，第三版）；社（第一版，第二版，第三版）； 信息论信息论基础理论与应用基础理论与应用 傅祖芸编著傅祖芸编著 电子工业出版社电子工业出版社 2001年版；年版； 信息论与编码方法西南交通大学勒蕃教授著； 信息论与编码陈运、周亮、陈新编著 电子工业出版社； 信息论与编码仇佩亮编著 高等教育出版社；需具备的相关数学知识：需具备的相关数学知识：概率与统计理论矩阵论需了解的相关专业方面

5、知识：需了解的相关专业方面知识：通信原理高等数学最优化理论本课程的主要教学目标：本课程的主要教学目标：信息论基本原理与应用第一章、绪论第一章、绪论第一节、信息论起源和发展第一节、信息论起源和发展第二节、信息的概念第二节、信息的概念第三节、信息论的研究内容和核心第三节、信息论的研究内容和核心第一节、信息论的起源及发展第一节、信息论的起源及发展1、起源、起源 1924年，奈奎斯特（年，奈奎斯特（Nyquist）：信号带宽和信息）：信号带宽和信息速率间的关系。速率间的关系。 1928年，哈特利（年，哈特利（Hartley）：通讯系统传递信息）：通讯系统传递信息的能力，并给出了信息度量的方法。的能力，

6、并给出了信息度量的方法。 1948年，年，香农香农（Shannon）：通讯中的数学理论。）：通讯中的数学理论。并由此创立了信息论学科，因此称他为信息论的并由此创立了信息论学科，因此称他为信息论的创始人。创始人。 1956年，布里渊（ Brillouin ）：科学与信息论，信息就是负熵。信息定义的概念 1928年，哈特利在 Bell System Technical Journal 上发表了一篇题为“信息传输”的论文。在这篇论文中，他把信息理解为选择通信符号的方式，并用选择的自由度来计量这种信息的大小。他认为，发信者所发出的信息，就是他在通信符号表中选择符号的具体方式。哈特利信息定义的局限性 哈

7、特利的这种理解能够在一定程度上解释通信工程中的一些信息问题，但是它也存在着一些严重时局限性：p所定义的信息不涉及内容和价值，只考虑选择的方式，p没有考虑到信源的统计性质；p把信息理解为选择的方式，就必须有一个选择的主体作为限制条件。这些缺点使它的运用范围受到很大的限制。 美国数学家香农在美国数学家香农在Bell System Technical J o u r n a l 发 表 了 一 篇 题 为发 表 了 一 篇 题 为 “ A Mathematical Theory of Communication”的长文（的长文（1948）。）。 这篇论文以概率论为工具，深刻阐述了通信这篇论文以概率论

8、为工具，深刻阐述了通信工程的一系列基本理论问题，给出了计算信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得源信息量和信道容量的方法和一般公式，得到了一组表征信息传递重要关系的编码定理。到了一组表征信息传递重要关系的编码定理。l 香农在进行信息的香农在进行信息的定量计算定量计算的时候明确地把的时候明确地把信息量信息量定义为随机不定性程度的减少。这就表明了他对信定义为随机不定性程度的减少。这就表明了他对信息的理解：息的理解：信息是用来减少随机不确定性的东西信息是用来减少随机不确定性的东西。随机不确定性是指由于随机因素所造成的不能肯定的情形，在数值上可以用概率熵来计量。

9、香 农 简 介 1916-2001，信息论及数字通信时代的奠基人。美国科，信息论及数字通信时代的奠基人。美国科学院院士、工程院院士，英国皇家学会会员，美国哲学学会学院院士、工程院院士，英国皇家学会会员，美国哲学学会会员。会员。 1936年获得密西根大学数学与电气工程学士学位。年获得密西根大学数学与电气工程学士学位。 1938年获年获MIT（麻省理工学院）电气工程硕士学位，（麻省理工学院）电气工程硕士学位，继电器与开关电路的符号分析继电器与开关电路的符号分析。 1940年获年获MIT数学博士学位，数学博士学位，理论遗传学的代数论理论遗传学的代数论。 二战期间：著名的密码破译者，在二战期间：著名的

10、密码破译者，在BELL实验室，主要实验室，主要跟踪德国的飞机和火箭。跟踪德国的飞机和火箭。 1948年发表年发表通信中的数学理论通信中的数学理论。 1949年，另一著名论文年，另一著名论文噪声下的通信噪声下的通信 根据这一思想，法裔美国科学家布里渊（Brillouin，1956）在他的名著科学与信息论中直接了当地指出：信息就是负熵。并且他还创造了Negentropy这一词来表示负熵的概念。 美国数学家、控制论的主要奠基人维纳在1950年出版的控制论与社会一书中对信息的理解是： “人通过感觉器官感知周围世界”， “我们支配环境的命令就是给环境的一种信息”，因此，“信息就是我们在适应外部世界，并把

11、这种适应反作用于外部世界的过程中，同外部世界进行交换的内容的名称”。 “接收信息和使用信息的过程，就是我们适应外界环境的偶然性的过程，也是我们在这个环境中有效地生活的过程”。维纳信息定义的缺陷维纳信息定义的缺陷 维纳把人与外部环境交换信息的过程当作是一种广义的通信的过程。这当然是没有问题的；因为，广义的通信本来就可以泛指人与人、机器与机器、机器与自然物、人与自然物之间的信息传递与交换。 不过，这里所理解的信息仍然不够确切。这是因为：人与环境之间互相交换的内容中不仅有信息，也有物质与能量，把它们统统起一个名字信息，岂不是把信息与物质及能量混为一谈。信息定义的总结 信息是人与外界交互的内容，是有序

12、程度的度量和负熵，是用以减少不定性的东西，这些都是Wiener、Brillouin、Shannon等人的理解。这些认识比仅仅把信息看作消息或通信内容要更深刻。 在数学上很容易证明，Hartley的信息概念仅是Shannon信息概念的一种特殊情形。 总起来说，在现有的各种理解中，Shannon的定义比较深刻，而且这种定义还导出了相应的算法。香农信息定义的概念 信息是事物运动状态或存在形式的不确定性的描述，所谓不确定性就是千变万化、不规则、随机性，用概率模型来描述并对其进行定量的计算。 通信系统中接受消息的过程就是消除不确定性的过程。不确定的消除就获得了信息。信息量与不确定性消除的程度有关。香农信

13、息定义的缺陷（1） Shannon通信的数学理论明确地指出： 通信的任务是在收端复制发端所发出的波形，至于它的内容含义，因与通信工程无关，所以可以舍去。 可见Shannon理论中的不定性纯粹是波形形式上的不定性，与此相应的信息概念也是纯粹的形式化的概念（称为语法信息）。 这样的信息概念排除了信息的含义因素，（即语义信息）和价值因素（即语用信息），不考虑收信者的主观特性。因此，其适用范围受到严重的限制。香农信息定义的缺陷（2） 只考虑了随机型的不定性，不能解释与其他型式的不定性（如模糊不定性）有关的信息问题。 这种信息定义只从功能角度上来表述，还是没有从根本上回答“信息是什么”的问题。信源编码与

14、数据压缩信源编码与数据压缩 信道编码与差错控制技术信道编码与差错控制技术多用户信息论与网络通信多用户信息论与网络通信 多媒体与信息论多媒体与信息论 信息论与密码学和数据安全信息论与密码学和数据安全信息论与概率统计信息论与概率统计信息论与经济学信息论与经济学信息论与计算复杂性信息论与计算复杂性信息论与系统、控制、信号检测和处理信息论与系统、控制、信号检测和处理量子信息论量子信息论Shannon的其它重要贡献的其它重要贡献2、发展、发展信息论主要几个方面的进展信息论主要几个方面的进展2、发展、发展 、信道编码定理，、信道编码定理，1948，C. E. Shannon。 、发现、发现Hamming码

15、，码，1950，H. W. Hamming。 、发现、发现Golay码，码，1954，M. J. E. Golay。 、发现、发现Reed-Muller码，码，1954，I. S. Reed and D. E.Muller。 、发现卷积码，、发现卷积码，1955, P. Elias。 、线性码、群码的系统描述，、线性码、群码的系统描述，1956，D. Slepian。 、发现循环码，、发现循环码，1957, E. Prange。 、卷积码的序列译码算法，、卷积码的序列译码算法，1957, J. M. Wozencraft; 1964, R. M. Fano。 、发现、发现BCH码，码，1960

16、, R. C. Bose and D. K. Ray-Chaudhuri, 1959, A. Hocquenghem。、 发现发现Reed-Solomon码，码，1960, I. S. Reed and G. Solomon。 、纠错码作为信息论的分支出现，第一本书、纠错码作为信息论的分支出现，第一本书Error-Correcting Codes, W. W. Peterson, MIT Press, 1961。编码技术的发展编码技术的发展编码技术的进展情况编码技术的进展情况2、发展、发展(12) Berlekamp- Massey译码算法译码算法分组码实用代数译码算法，分组码实用代数译码算法

17、，1966, E. R. Berlecamp, 1969, J. L. Massey。(13) 发现级连码，发现级连码，1966, G. D. Forney。(14) 卷积码的卷积码的Viterbi 译码算法，译码算法，1967, A. J. Viterbi。(15) 发现发现Goppa码和代数几何码，码和代数几何码，1970, V. C. Goppa。1982, M. A. Tsfasman, S. G. Vladut, and Th. Zink(16) 发现欧氏几何码，发现欧氏几何码，TCM, 1976, G. Ungerboeck；BCM, 1977, H. Imai and S. Hi

18、rakawa。(17) 发现格码，发现格码，1989，R.deBuda。格。格(lattice)码可趋近频带受限高斯信道码可趋近频带受限高斯信道容量。容量。Loeligerz在在1992年已证明，这是年已证明，这是Zp上的欧氏空间群码。上的欧氏空间群码。(18)发现发现Turbo码，迭代自适应译码算法，码，迭代自适应译码算法，1993, C. Berrou and A. Glavieux.(19) LDPC码，近来又重新被发现。码，近来又重新被发现。信息论发展中的悲情人物信息论发展中的悲情人物 诺贝尔经济学获得者： JOHN NASH于1951年发表非合作博弈论 成就著名的“纳什均衡”理论 1

19、958年（30岁）开始痴迷于信息编码技术，出现精神失常。直到80年代末，方从癫疯中苏醒，继续从事经济学博弈论研究，1994年获得诺贝尔经济学奖 奥斯卡影片奥斯卡影片美丽心灵美丽心灵第二节、信息的概念第二节、信息的概念 消息消息(message) 是信息的载体，相对具体的概念，如语言，文是信息的载体，相对具体的概念，如语言，文字，数字，图像字，数字，图像; 信号信号(signal) 表示消息的物理量，电信号的幅度，频率，相表示消息的物理量，电信号的幅度，频率，相位等等位等等; 信息信息(information) 一个抽象的概念，可以定量的描述。信息、物一个抽象的概念，可以定量的描述。信息、物质和

20、能量是构成一切系统的三大要素质和能量是构成一切系统的三大要素;第二节、信息的概念第二节、信息的概念 狭义信息论（经典信息论）狭义信息论（经典信息论） 研究信息测度，信道容量以及信源和信道编码理论研究信息测度，信道容量以及信源和信道编码理论 一般信息论一般信息论 研究信息传输和处理问题，除经典信息论外还包括噪研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论制理论，信息处理理论和保密理论 广义信息论广义信息论 除上述内容外，还包括自然和社会领域有关信息的内除上述内容外，还包括自然

21、和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神容，如模式识别，计算机翻译，心理学，遗传学，神经生理学经生理学第三节、信息论的研究内容和核心第三节、信息论的研究内容和核心1、研究内容：通信系统模型、研究内容：通信系统模型信源信源编码器编码器信道信道译码器译码器信宿信宿干扰源干扰源通信系统的基本任务要求：可靠性、有效性。通信系统的基本任务要求：可靠性、有效性。可靠可靠: : 要使信源发出的消息经过传输后，尽可能准确地、不要使信源发出的消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端。失真或限定失真地再现在接收端。有效有效: : 用尽可能短的时间和尽可能少的设备来传

22、输最大的消用尽可能短的时间和尽可能少的设备来传输最大的消息息通信系统模型进一步细分通信系统模型进一步细分信源信源信源信源编码器编码器信道信道编码器编码器调制器调制器信信道道干扰源干扰源解调器解调器信道信道译码器译码器信源信源译码器译码器信宿信宿等效离散信道等效离散信道等效离散等效离散信源信源等效信宿等效信宿信道编码信道编码器器信道译码信道译码器器第三节、信息论的研究内容和核心第三节、信息论的研究内容和核心2、研究核心、研究核心信息的测度、传输与处理信息的测度、传输与处理课程作业 1 信息论的最新研究成果综述 要求： （1）结合自己将来的研究方向（- 2）； （2）不容许拷贝文献，必须综合多篇文

23、 献，以自己的语言书写完成（- 5）； （3） 采用2009年以后的文献（- 1）； （4） 可以是全面的综述（难），也可以 是个别成果。本章介绍本章介绍信源的统计特性和数学模型信源的统计特性和数学模型各类信源的信息测度各类信源的信息测度-熵及其性质熵及其性质引入信息理论的一些基本概念和重要结论引入信息理论的一些基本概念和重要结论第第一章的几个推论章的几个推论 通信系统模型：通信系统模型：信源编码器信道译码器噪声源信宿干扰消息信号信号干扰消息n对信息论的学习可从信源开始对信息论的学习可从信源开始n消息是信息的载荷者。信息是抽象的，消息是消息是信息的载荷者。信息是抽象的，消息是具体的。要研究信息

24、，还得从研究消息入手。具体的。要研究信息，还得从研究消息入手。n由于信源发送什么消息预先是不可知的，只能由于信源发送什么消息预先是不可知的，只能用概率空间来描述信源用概率空间来描述信源1.1 1.1 信源的数学模型及分类信源的数学模型及分类 单符号信源单符号信源： 输出是单个符号（代码）的消息输出是单个符号（代码）的消息 离散信源离散信源 连续信源连续信源 平稳随机序列信源平稳随机序列信源： 信源输出的消息由一系列符号序列所组成，可用信源输出的消息由一系列符号序列所组成，可用N维随机矢维随机矢 量量 X(X1,X2,XN)描述，且随机矢量描述，且随机矢量的各维概率分布都与时间起点无关的各维概率

25、分布都与时间起点无关-平稳！平稳！ 离散平稳信源离散平稳信源 连续平稳信源连续平稳信源 平稳随机序列信源（续）平稳随机序列信源（续）： 无记忆（独立）离散平稳信源无记忆（独立）离散平稳信源 有记忆信源有记忆信源 m阶马尔可夫信源阶马尔可夫信源 随机波形信源随机波形信源实际某些信源的输出常常是时间和取值都是连续的消息.例如语音信号,电视信号.这样的信源成为随机波形信源；离散信源离散信源(单符号单符号) 特点特点：输出是单个符号（代码）的消息，符号集输出是单个符号（代码）的消息，符号集的取值的取值A:a1,a2,aq是有限的或可数的，可用一是有限的或可数的，可用一维离散型随机变量维离散型随机变量X

26、来描述。来描述。 例：例：投硬币、书信、电报符号等等。投硬币、书信、电报符号等等。 数学模型数学模型：设每个信源符号设每个信源符号ai出现的出现的(先验先验)概率概率 p(ai) (i=1,2,q) 满足：满足：)(.)()()(.)(则321321qqaPaPaPaPaaaaxPX：1)(1qiiap概率空间概率空间能表征离散信源的统计特性，因此也称概率能表征离散信源的统计特性，因此也称概率空间为信源空间。空间为信源空间。有记忆信源有记忆信源 信源在不同时刻发出的信源在不同时刻发出的符号之间是相互依赖的符号之间是相互依赖的，即信源输出的平稳随机序列即信源输出的平稳随机序列X中，各随机变量中，

27、各随机变量Xi之之间相互依赖。间相互依赖。 需在需在N维随机矢量的联合概率分布中，引入维随机矢量的联合概率分布中，引入条件概条件概率分布率分布来说明它们之间的关联。来说明它们之间的关联。 例：例：汉字组成的中文序列中，只有根据中文的语法、汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言

28、都是如此关的。其他如英文，德文等自然语言都是如此m m阶马尔可夫信源阶马尔可夫信源 不同时刻发出的符号间的依赖关系不同时刻发出的符号间的依赖关系), 2 , 1()|()|(2112112NixxxxPxxxxxxxPmiiiimiiiiii n记忆信源的记忆长度为记忆信源的记忆长度为m+1时，称这种有记忆信时，称这种有记忆信源为源为m阶马尔可夫信源阶马尔可夫信源n若上述条件概率与时间起点若上述条件概率与时间起点 i 无关，信源输出的无关，信源输出的符号序列可看成为时齐马尔可夫链，则此信源称符号序列可看成为时齐马尔可夫链，则此信源称为为时齐（平稳）马尔可夫信源时齐（平稳）马尔可夫信源1.2 1

29、.2 离散信源的信息熵其性质离散信源的信息熵其性质 讨论基本的离散信源讨论基本的离散信源(即输出为单个符号的消即输出为单个符号的消息，且这些消息间两两互不相容息，且这些消息间两两互不相容) 基本的离散信源可用一维随机变量基本的离散信源可用一维随机变量X来描述信来描述信源的输出，信源的数学模型可抽象为源的输出，信源的数学模型可抽象为:)(.)()()(.)(321321qqaPaPaPaPaaaaxPX1)(1qiiaP信息的度量信息的度量 考虑：考虑： 信息的度量（信息量）和不确定性消除的程度有关，信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性获得的信息量；消除的不确定性获得的信

30、息量； 不确定性就是随机性，可以用概率论和随机过程来测不确定性就是随机性，可以用概率论和随机过程来测度，概率小度，概率小不确定性大；不确定性大； 推论：推论： 概率小概率小 信息量大，即信息量是概率的单调递减函信息量大，即信息量是概率的单调递减函数；数； 信息量应该具有可加性；信息量应该具有可加性； 信息量的计算公式为（香农（自）信息量的度量）：信息量的计算公式为（香农（自）信息量的度量）：)(log)(1log)(krkrkaPaPaI一一. . 自信息自信息 设离散信源设离散信源X的概率空间为：的概率空间为：)(log)(1log)()(iririiaPaPaPfaII(ai)代表两种代表

31、两种含义含义：（1）当事件当事件ai发生以前，表示事件发生以前，表示事件ai发生的不确定性发生的不确定性（2）当事件）当事件ai发生以后，表示事件发生以后，表示事件ai所提供的信息量所提供的信息量)(.)()()(.)(321321qqaPaPaPaPaaaaxPX1)(1qiiaPn称事件称事件ai发生所含有的信息量为发生所含有的信息量为 ai 的的自信息量自信息量。定义为：定义为：一点说明一点说明 计算自信息量时要注意有关事件发生概率的计算；计算自信息量时要注意有关事件发生概率的计算； 自信息量的自信息量的单位单位取决于对数的底；取决于对数的底； 底为底为2，单位为，单位为“比特比特（bi

32、t, binary unit）”； 底为底为e，单位为，单位为“奈特奈特（nat, nature unit）”； 底为底为10，单位为，单位为“哈特哈特（hat, Hartley）”； 根据换底公式得：根据换底公式得：aXXbbalogloglogn一般计算都采用以一般计算都采用以“2”为底的对数，为了书写简洁，为底的对数，为了书写简洁，常把底数常把底数“2”略去不写略去不写1 nat = 1.44bit , 1 hat = 3.32 bit；例子例例 8个串联的灯泡个串联的灯泡x1，x2，x8，其损坏的可能性是等概，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可率的

33、，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？总共需要多少次测量才能获知和确定哪个获得多少信息量？总共需要多少次测量才能获知和确定哪个灯泡已损坏。灯泡已损坏。 已知已知8个灯泡等概率损坏，所以先验概率个灯泡等概率损坏，所以先验概率P (x1)1/8 ，即，即第二次测量第二次测量获得的信息量获得的信息量 = I P (x2) - I P (x3)=1(bit)第三次测量第三次测量获得的信息量获得的信息量 = I P (x3) =1(bit)(3)(1log)(121bitxPxPI第一次测量第一次测量获得的信息量获得的信息量 = I P (x1) - I P (x2)=1(bi

34、t)经过二次测量后，剩经过二次测量后，剩2个灯泡，等概率损坏，个灯泡，等概率损坏，P (x3)1/2一次测量后，剩一次测量后，剩4个灯泡，等概率损坏，个灯泡，等概率损坏，P (x2)1/4)(2)(1log)(222bitxPxPI)(1)(1log)(323bitxPxPI自信息的推导自信息的推导 某事件发生所含有的信息量应该是该事件发生的先验概率某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：的函数。即： I (ai) f p(ai) 根据客观事实和人们的习惯概念，函数根据客观事实和人们的习惯概念，函数 f p(ai) 应满足以应满足以下条件：下条件：（1）它应是先验概率）它

35、应是先验概率p(ai)的单调递减函数，即当的单调递减函数，即当 p (a1) p (a2) 时，有时，有 f p (a1) f p (a2) ；（2）当）当p (ai) =1时，时， f p (ai) = 0 （3）当）当p (ai) =0时，时， f p (ai) = （4）两个独立事件的联合信息量应等于它们分别的信息量之）两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和和。即统计独立信源的信息量等于它们分别的信息量之和。 可以证明可以证明对数函数对数函数满足上述条件：满足上述条件：)(1log)()(iriiaPaPfaI二二. . 信息熵

36、信息熵 对一个信源发出不同的消息所含有的信息量也不同。对一个信源发出不同的消息所含有的信息量也不同。所以自信息所以自信息I(I(a ai i) )是一个随机变量，不能用它来作为是一个随机变量，不能用它来作为整个信源整个信源的信息测度的信息测度 定义自信息的数学期望为定义自信息的数学期望为平均自信息量平均自信息量Hr(X)，称为，称为信息熵信息熵：qiiriirrapapapEXH1)(log)()(1log)(qiiiiapapapEXH1)(log)()(1log)(当r2 时：rXHXHrlog/ )()( 由于这个表达式和统计物理学中热熵的表达式相由于这个表达式和统计物理学中热熵的表达式

37、相似，且在概念上也有相似之处，因此借用似，且在概念上也有相似之处，因此借用“熵熵”这个词，把这个词，把H(X)称为信息称为信息“熵熵”； 信息熵的信息熵的单位单位由自信息量的单位决定，即取决于由自信息量的单位决定，即取决于对数的底。对数的底。熵的计算熵的计算例例： 有一布袋内放有一布袋内放l00个球，其中个球，其中80个球是红色的，个球是红色的，20个球是白色的。随便摸出一个球，猜测是什么颜个球是白色的。随便摸出一个球，猜测是什么颜色，那么其概率空间为：色，那么其概率空间为： I (a1)log p(a1) log0.8= 0.32I (a2) log p(a2) log0.2 = 2.32

38、H(X)= p(a1) I (a1) p(a2) I (a2) =0.722 . 08 . 0)(21aaXPX熵的含义熵的含义 熵是熵是从整个集合的统计特性从整个集合的统计特性来考虑的，它从平均意义上来考虑的，它从平均意义上来表征信源的总体特征。来表征信源的总体特征。 在信源输出后，信息熵在信源输出后，信息熵H(X)表示每个消息提供的平均信表示每个消息提供的平均信息量；息量； 在信源输出前，信息熵在信源输出前，信息熵H(X) 表示信源的平均不确定性；表示信源的平均不确定性； 信息熵信息熵H(X) 表征了变量表征了变量X的随机性。的随机性。，01. 099. 0)(21aaxPX5 . 05

39、. 0)(21aayPY计算其熵，计算其熵，H(Y)H(X)，因此信源，因此信源Y比信源比信源X的平均不确定性要大。的平均不确定性要大。 例例 设甲地的天气预报为：晴设甲地的天气预报为：晴(占占48)、阴、阴(占占28)、大雨、大雨(占占18)、小雨、小雨(占占18)。又设乙地的天气预报为：晴。又设乙地的天气预报为：晴 (占占78)，小雨小雨(占占18)。试求两地天气预报各自提供的平均信息量。若。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为甲地天气预报为两极端情况，一种是晴出现概率为1而其余为而其余为0。另一种是晴、阴、小雨、大雨出现的概率都相等为另一种

40、是晴、阴、小雨、大雨出现的概率都相等为14。试求。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。情况所提供的平均信息量。8/18/14/11/2小雨大雨阴晴)(xPX8/18/7小雨晴)(yPY两个信源两个信源解：甲地天气预报构成的信源空间为解：甲地天气预报构成的信源空间为:8/18/14/11/2小雨大雨阴晴)(xPX)(log)()(41iiiaPaPXH符号）（/75. 181log8181log8141log4121log21bit乙地天气预报的信源空间为乙地天气预报的信源空间为:8/18/7小雨

41、晴)(yPY)/(544. 07log8781log81log8187log87)(符号bitYH天气预报天气预报甲地极端情况 极端情况极端情况1：晴天概率：晴天概率10001小雨大雨阴晴)(xPX0log00log00log01log1)(XH)/(0)(0loglim0符号bitXH1/41/41/41/4小雨大雨阴晴)(xPX)/(241log4141log4141log4141log41)(符号bitXHn 结论结论：等概率分布等概率分布时信源的不确定性最大，时信源的不确定性最大，所以所以信息熵信息熵（平均信息量）（平均信息量）最大最大。n极端情况极端情况2：各种天气等概率分布：各种天

42、气等概率分布乙地极端情况 极端情况极端情况1：晴天概率：晴天概率1)/(00log01log1)(符号bitYH1/21/2阴晴)(yPY)/( 121log)(符号bitYHn 结论结论：在极端情况：在极端情况2下，甲地比乙地提供更多的信息量。下，甲地比乙地提供更多的信息量。 因为，甲地可能出现的消息数比乙地可能出现的消息数多。因为，甲地可能出现的消息数比乙地可能出现的消息数多。01小雨晴)(yPYn极端情况极端情况2：各种天气等概率分布：各种天气等概率分布二元信源信息熵与概率空间00.20.40.60.8100.10.20.30.40.50.60.70.80.91 信息熵是信源概率空间的一

43、种特殊信息熵是信源概率空间的一种特殊矩函数矩函数。这个矩函。这个矩函数的大小，与信源的符号数及其概率分布有关。数的大小，与信源的符号数及其概率分布有关。 我们用我们用概概率矢量率矢量P来表示来表示概概率分布率分布P(x)：三、信息熵的基本性质三、信息熵的基本性质 ),()(,),(),(2121qqpppaPaPaP P), 2 , 1(0, 11qippiqii iqiiiqiippaPaPXH11log)(log)()()(),(21PHpppHq 熵函数熵函数 H(P)是概率矢量是概率矢量P的函数，称为熵函数。的函数，称为熵函数。 我们用下述表示方法：我们用下述表示方法： 用用H(x)

44、表示以离散随机变量表示以离散随机变量x描述的描述的信源的信息熵信源的信息熵； 用用H(P) 或或 H(p1, , p2 , , , , pq )表示概率矢量为表示概率矢量为P = (p1, , p2 , , , , pq )的的q个符号信源的信息熵个符号信源的信息熵。 若当若当 q =2 时，因为时，因为 p1+p2 = 1, 所以将两个符号的熵函所以将两个符号的熵函数写成数写成H(p1)或或H(p2)。 熵函数熵函数H(P)是一种特殊函数，具有以下性质。是一种特殊函数，具有以下性质。性质：性质：1、对称性、对称性：H(P) 的取值与分量的取值与分量 p1, , p2 , , , , pq的顺

45、序无关。的顺序无关。 说明：说明： 从数学角度：从数学角度： H(P)= pi log pi 中的和式满足交换率；中的和式满足交换率；从随机变量的角度：熵只与随机变量的总体统计特性有关。从随机变量的角度：熵只与随机变量的总体统计特性有关。 一个例子：一个例子：6/ 12/ 13/ 1)( ,3/ 12/ 16/ 1)( ,2/ 16/ 13/ 1)(321321321aaazPzaaayPyaaaxPx)/(459. 1)21,61,31()(SymbolBitHXH)/(459. 1)31,21,61()(SymlobBitHYH)/(459. 1)61,21,31()(SymbolBitH

46、ZH)()()(ZHYHXH2、确定性、确定性：H(1,0)=H(1,0,0)=H(1,0,0,0)=0 性质说明性质说明：从总体来看，信源虽然有不同的输出符号，：从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。熵等于零。 3、非负性、非负性： H(P) 0 说明说明：4、扩展性、扩展性 性质说明：性质说明：信源的取值数增多时，若这些取值对应的概率信源的取值数增多时，若这些取值对应的概率很小很小(接近于零接近于零

47、)，则信源的熵不变。，则信源的熵不变。),.,(),.,(lim212110qqqqpppHpppH),(log211qqqiiipppHpp log)log()(loglim110qiqqiipppp所以，上式成立所以，上式成立),(lim2110 qqpppH因为因为5 5、可加性、可加性 统计独立统计独立信源信源X和和Y的的联合信源的熵联合信源的熵等于信源等于信源X和和Y各自的熵之和。各自的熵之和。 H(XY) = H(X)+ H(Y) l可加性是熵函数的一个重要特性，正因具有可加性，可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。才使熵函数的形式是唯一的。jij

48、ijiqpypxpyxp)()()(11, 11111nimjjimjjniiqpqp),.,.,(1212111mnmnmqpqpqpqpqpH),.,(),.,(2121mmnnqqqHpppH),.,.,(1212111mnmnmqpqpqpqpqpHnimjjijiqpqp11logmjjjniiniiimjjqqpppq1111loglogninimjjjimjijiqqppqp1111loglogmjjjniiiqqpp11loglog),.,(),.,(2121mmnnqqqHpppH它们的联合信源是它们的联合信源是可计算得联合信源的联合熵：可计算得联合信源的联合熵：H(Z) =

49、 H(XY) = log (nm) = log m + log n = H(X) + H(Y)nnnaaaxpXn/1./1/1.)(21mmmbbbypYm/1./1/1.)(21nmnmnmccczpZnm1.11.)(216 6、强可加性、强可加性 两个互相关联的信源两个互相关联的信源X和和Y的联合信源的熵等于信的联合信源的熵等于信源源X的熵加上在的熵加上在X已知条件下信源已知条件下信源Y的条件熵。的条件熵。 H（XY）=H（X）+ H（Y/X） H（Y/X）表示信源）表示信源 X 输出一符号的条件下，输出一符号的条件下，信源信源Y再输出一符号所能提供的平均信息量，再输出一符号所能提供的

50、平均信息量，称为称为条件熵条件熵。mjniijjimjniijijixypyxpxypxypxpXYH1111)|(log)()|(log)|()()/(H（XY）=H（X）+ H（Y/X）的证明：）的证明：),.,.,(21211121111nmnmnmppppppppppHnimjijiijipppp11logmjijijniimjiiijnipppppp1111loglog)(ninimjijijimjiijipppppp1111loglogmjijijniiniiippppp111loglog),.,(),.,(21121imiimniinnpppHppppH)(XYH H（XY）=

51、H（X）+ H（Y/X） )/(),.,(121iniinnxXYHppppH7、递增性、递增性 若原信源若原信源 X 中中有一个符号分割成了有一个符号分割成了m个元素个元素(符符号号)，这，这m个元素的概率之和等于原元素的概率，而个元素的概率之和等于原元素的概率，而其他符号的概率不变，则其他符号的概率不变，则新信源的熵增加新信源的熵增加。 熵的增加量等于由分割而产生的不确定性量。熵的增加量等于由分割而产生的不确定性量。),.,.,(211211mnmnqqqpppH),.,(),.,(21121nmnnmnnnnpqpqpqHpppppHnmjjniipqp11, 1证明证明:递增性的推广递增性的推广 它表示它表示n个元素的信源熵可以递推成个元素的信源熵可以递推成(n-1)个二元信个二元信源