信息论与编码

1、信息论与编码主讲：苗立刚主讲：苗立刚基础楼基础楼319 计算机与通信工程学院计算机与通信工程学院2016年年3月月课程目标与安排 它是信息处理方向的一门重要的专业基础课，是后续课程它是信息处理方向的一门重要的专业基础课，是后续课程的基础，如通讯原理、数字图像处理、语音信号处理等。的基础，如通讯原理、数字图像处理、语音信号处理等。 介绍信息科学的基础理论和基本方法，课程将基于一个介绍信息科学的基础理论和基本方法，课程将基于一个通通讯系统的抽象数学模型讯系统的抽象数学模型进行展开，课程分为基础理论和编码进行展开，课程分为基础理论和编码理论两部分组成。理论两部分组成。 本课程以本课程以概率论概率论为

2、基础，数学推导较多，学习时主要把注为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。意力集中到概念的理解上，不过分追求数学细节的推导。 注意注意基本概念基本概念的理解，不断加深概念的把握。学习时注意的理解，不断加深概念的把握。学习时注意理解各个概念的理解各个概念的“用处用处”，结合其他课程理解它的意义，而，结合其他课程理解它的意义，而不要把它当作数学课来学习。不要把它当作数学课来学习。n 课程特点课程特点学学 时：时：3232 考试方式：开卷考试方式：开卷考试成绩：平时成绩考试成绩：平时成绩* *20% + 20% + 考试成绩考试成绩* *80%80%课程

3、目标与安排第一章第一章 绪论绪论第二章第二章 信源熵信源熵第三章第三章 信道容量信道容量第四章第四章 信息率失真函数信息率失真函数第五章第五章 信源编码信源编码第六章第六章 信道编码信道编码第七章第七章 密码体制的安全性测度密码体制的安全性测度n 课程内容安排课程内容安排课程目标与安排课程目标与安排n 参考书参考书 曲炜，朱诗兵，信息论基础及应用，清华大学出版社，曲炜，朱诗兵，信息论基础及应用，清华大学出版社，20052005 信息论与编码，陈运、周亮、陈新，电子工业出版社，信息论与编码，陈运、周亮、陈新，电子工业出版社，20072007 傅祖芸，信息论与编码，电子工业出版社，傅祖芸，信息论与

4、编码，电子工业出版社，20042004 周荫清，信息论基础周荫清，信息论基础( (第第3 3版版) )，北京航空航天大学出版，北京航空航天大学出版社，社，20062006n 有关的课程有关的课程 高等数学，概率论，线性代数高等数学，概率论，线性代数第一章第一章 绪论绪论信息论基础主讲：苗立刚主讲：苗立刚基础楼基础楼318 计算机与通信工程学院计算机与通信工程学院2014年年3月月第一章 绪论 信息的有关概念信息的有关概念 通讯系统模型通讯系统模型 信息论的形成和发展历史信息论的形成和发展历史 n 本章主要讨论的问题：本章主要讨论的问题：信息的有关概念 “信息信息”是信息论中最基本、最重要的概念

5、，它是一个既抽是信息论中最基本、最重要的概念，它是一个既抽象又复杂的概念，目前还没有一个统一的定义象又复杂的概念，目前还没有一个统一的定义( (百余种百余种) )； “信息信息”不同于消息不同于消息 在现代信息论形成之前，信息一直被看作是通信中消息的在现代信息论形成之前，信息一直被看作是通信中消息的同义词，没有严格的数学含义；同义词，没有严格的数学含义； 所谓消息，是用文字、符号、数据、语言、图片、图像等所谓消息，是用文字、符号、数据、语言、图片、图像等形式，把客观事物运动和主观思维活动的状态表达出来；形式，把客观事物运动和主观思维活动的状态表达出来； 消息是信息的载体；消息是表现形式，信息是

6、实质。消息是信息的载体；消息是表现形式，信息是实质。 “信息信息”不同于情报不同于情报 情报往往是军事学、文献学方面的习惯用词，它的含义比情报往往是军事学、文献学方面的习惯用词，它的含义比“信息信息”窄的多，一般只限于特殊的领域，是一类特殊的窄的多，一般只限于特殊的领域，是一类特殊的信息；信息； “情报情报”是人们对于某个特定对象所见、所闻、所理解产是人们对于某个特定对象所见、所闻、所理解产生的知识；生的知识； “信息信息”不同于知识不同于知识 知识是人们根据某种目的知识是人们根据某种目的, ,从自然界收集得来的数据中从自然界收集得来的数据中整理、概括、提取得到的有价值的信息，是一种高层次整理

7、、概括、提取得到的有价值的信息，是一种高层次的信息；的信息； 知识是信息，但不等于信息的全体；知识是信息，但不等于信息的全体； “信息信息”不同于信号不同于信号 把消息变换成适合信道传输的物理量，就是信号；信号把消息变换成适合信道传输的物理量，就是信号；信号是承载消息的物理量；是承载消息的物理量；信息的有关概念信息的有关概念 信息的几种定义信息的几种定义 以信源为主的信息定义、以信道为主的信息定义和以信宿以信源为主的信息定义、以信道为主的信息定义和以信宿为主的信息定义。为主的信息定义。以信源为主的信息定义有：以信源为主的信息定义有： 1) 1)信息是事物之间的差异信息是事物之间的差异(Long

8、o,1975)(Longo,1975) 2) 2)信息是有序性的度量信息是有序性的度量(Wiener,1948)(Wiener,1948)以信道为主的信息定义有：以信道为主的信息定义有： 1) 1)信息是通信传输的内容信息是通信传输的内容(Wiener,1950)(Wiener,1950) 2) 2)信息是人与外界相互作用的过程中所交换的内容的名称信息是人与外界相互作用的过程中所交换的内容的名称(Wiener,1948)(Wiener,1948)以信宿为主的信息定义有：以信宿为主的信息定义有： 1)1)信息是用来消除随机不定性的东西信息是用来消除随机不定性的东西 (Shannon,1948(S

9、hannon,1948） 2) 2)信息是使概率分布发生变动的东西信息是使概率分布发生变动的东西 （Tribes etal, 1971Tribes etal, 1971） 仙农从研究通信系统传输的实质出发，对信息做出了仙农从研究通信系统传输的实质出发，对信息做出了科学的定义；科学的定义； 仙农注意到：收信者在收到消息之前是不知道消息的具体仙农注意到：收信者在收到消息之前是不知道消息的具体内容的。通信系统消息的传输对收信者来说，是一个从不内容的。通信系统消息的传输对收信者来说，是一个从不知到知的过程，或者从知之甚少到知之甚多的过程，或是知到知的过程，或者从知之甚少到知之甚多的过程，或是从不确定到

10、部分确定或全部确定的过程。从不确定到部分确定或全部确定的过程。 因此因此, , 对于收信者来说对于收信者来说, , 通信过程是消除事物状态的不确通信过程是消除事物状态的不确定性的过程，不确定性的消除，就获得了信息，原先的不定性的过程，不确定性的消除，就获得了信息，原先的不确定性消除的越多，获得的信息就越多；确定性消除的越多，获得的信息就越多； “信息信息”是事物运动状态或存在方式的不确定性的描述，是事物运动状态或存在方式的不确定性的描述，这就是仙农关于信息的定义。这就是仙农关于信息的定义。信息的有关概念信息的度量 信息的度量（信息量）和不确定性消除的程度有关，消除了信息的度量（信息量）和不确定

11、性消除的程度有关，消除了多少不确定性，就获得了多少信息量；多少不确定性，就获得了多少信息量； 不确定性就是随机性，可以用概率论和随机过程来测度不确不确定性就是随机性，可以用概率论和随机过程来测度不确定性的大小，出现概率小的事件，其不确定性大，反之，不定性的大小，出现概率小的事件，其不确定性大，反之，不确定性小；确定性小； 由以上两点可知：由以上两点可知：概率小概率小 信息量大信息量大，即信息量是概率的，即信息量是概率的单调递减函数；单调递减函数； 此外，信息量应该具有可加性；此外，信息量应该具有可加性；信息的度量 由于信息量与概率成反比，并且具有可加性，可以证明，由于信息量与概率成反比，并且具

12、有可加性，可以证明，信息量的计算式为信息量的计算式为 其中其中p pk k是事件是事件x xk k发生的概率，这也是仙农关于发生的概率，这也是仙农关于( (自自) )信息信息量的度量量的度量( (概率信息概率信息) )，单位为，单位为bitbit221()loglogkkkI xpp 哈特莱早在哈特莱早在2020世纪世纪2020年代就提出用对数作为信息年代就提出用对数作为信息量的测度。哈特莱认为：消息和信息不同，多种多样量的测度。哈特莱认为：消息和信息不同，多种多样、千姿百态的消息是信息的载体，消息究竟包含了多、千姿百态的消息是信息的载体，消息究竟包含了多少信息，应该用消息出现的概率的对数来计

13、算，从而少信息，应该用消息出现的概率的对数来计算，从而他为信息度量找到了对数这一数学理论。他为信息度量找到了对数这一数学理论。 通讯系统模型信源信源编码器编码器信道信道译码器译码器干扰源干扰源通信系统基本模型通信系统基本模型消息消息信号信号消息消息信宿信宿噪声噪声 信源：消息的来源，如文字、语音、图像等信源：消息的来源，如文字、语音、图像等 编码器：把消息变换成信号，如信源编码、纠错编码、调制器编码器：把消息变换成信号，如信源编码、纠错编码、调制器 信道：传递信号的媒介，如电缆、光纤、无线电波等信道：传递信号的媒介，如电缆、光纤、无线电波等 噪声：信道中的干扰，如加性干扰、乘性干扰噪声：信道中

14、的干扰，如加性干扰、乘性干扰 译码器：把信道输出的信号反变换，解调器、纠错译码器、信译码器：把信道输出的信号反变换，解调器、纠错译码器、信源译码器源译码器 信宿：信息的接受端，接收消息的人或物信宿：信息的接受端，接收消息的人或物通讯系统模型 信源：消息的来源信源：消息的来源 编码器：把消息变换成信号编码器：把消息变换成信号 信道：传递信号的媒介信道：传递信号的媒介 译码器：把信道输出的信号反变换译码器：把信道输出的信号反变换 信宿：信息的接受端信宿：信息的接受端 噪声：信道中的干扰噪声：信道中的干扰 信源编码器：把信源发出的消息变换成由二进制码元（或信源编码器：把信源发出的消息变换成由二进制码

15、元（或多进制码元）组成的代码组以提高通信系统传输消息的效多进制码元）组成的代码组以提高通信系统传输消息的效率。信源编码可分为无失真信源编码和限失真信源编码。率。信源编码可分为无失真信源编码和限失真信源编码。目的：提高信息传输的有效性目的：提高信息传输的有效性 信道编码器：在信源编码器输出的代码组上有目的地增加信道编码器：在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力。一些监督码元，使之具有检错或纠错的能力。 目的：提高信息传输的可靠性目的：提高信息传输的可靠性 密码学：研究如何隐蔽消息中的信息内容，使它在传输过密码学：研究如何隐蔽消息中的信息内容，使它在传输过程中

16、不被窃听，提高通信系统的安全性。程中不被窃听，提高通信系统的安全性。 目的：提高信息的安全性目的：提高信息的安全性 在实际问题中，上述三类编码应统一考虑来提高通信在实际问题中，上述三类编码应统一考虑来提高通信系统的性能。这些编码的目标往往是相互矛盾的。系统的性能。这些编码的目标往往是相互矛盾的。 电报常用的莫尔斯码就是按信息论的基本编码原则设计出电报常用的莫尔斯码就是按信息论的基本编码原则设计出来的；来的； 在一些商品上面有一张由粗细条纹组成的标签，从这张标在一些商品上面有一张由粗细条纹组成的标签，从这张标签可以得知该商品的生产厂家、生产日期和价格等信息，签可以得知该商品的生产厂家、生产日期和

17、价格等信息，这些标签是利用条形码设计出来的，非常方便，非常有用这些标签是利用条形码设计出来的，非常方便，非常有用，应用越来越普遍；，应用越来越普遍； 计算机的运算速度很高，要保证它几乎不出差错，相当于计算机的运算速度很高，要保证它几乎不出差错，相当于要求有要求有100100年的时间内不得有一秒钟的误差，这就需要利年的时间内不得有一秒钟的误差，这就需要利用纠错码来自动地及时地纠正所发生的错误；用纠错码来自动地及时地纠正所发生的错误； 每出版一本书，都给定一个国际标准书号（每出版一本书，都给定一个国际标准书号（ISBNISBN），大大），大大方便图书的销售、编目和收藏工作。方便图书的销售、编目和收

18、藏工作。通讯系统模型 信息论的形成和发展 信息论是在长期信息论是在长期通信工程通信工程的实践中，由通信技术与概率论、的实践中，由通信技术与概率论、随机过程和数理统计相结合而逐步发展起来的一门科学。随机过程和数理统计相结合而逐步发展起来的一门科学。 奈魁斯特：在奈魁斯特：在19241924年研究影响电报传递速度的因素时年研究影响电报传递速度的因素时, ,就察觉就察觉到信息传输速度和频带宽度有关系到信息传输速度和频带宽度有关系; ; 哈特莱哈特莱(Hartley)(Hartley)：在：在19281928年用年用概率概率的观点来分析信息传输问的观点来分析信息传输问题题; ; 仙农（仙农（Claud

19、e E.Shannon)Claude E.Shannon)：19481948年发表年发表通信的数学理论通信的数学理论(A Mathematical Theory of Communication),(A Mathematical Theory of Communication),为创立信息为创立信息论作出了决定性的贡献论作出了决定性的贡献; ;香农因此成为信息论的奠基人。香农因此成为信息论的奠基人。 维纳维纳(N. Wiener)(N. Wiener)等：为信息论的进一步发展和拓展作了大量等：为信息论的进一步发展和拓展作了大量工作工作; ;主要在通信的统计理论与滤波器理论方面。主要在通信的统计

20、理论与滤波器理论方面。第二章第二章 信源熵信源熵信息论基础信息论基础主讲：苗立刚主讲：苗立刚基础楼基础楼318 计算机与通信工程学院计算机与通信工程学院2014年年3月月第二章第二章 信源熵信源熵2.1 单符号离散信源单符号离散信源2.2 多符号离散平稳信源多符号离散平稳信源2.3 连续信源连续信源2.4 离散无失真信源编码定理离散无失真信源编码定理 n 本章主要讨论的问题：本章主要讨论的问题：2.12.1单符号离散信源单符号离散信源n 单符号离散信源的数学模型单符号离散信源的数学模型 单符号信源单符号信源信源每次输出一个符号信源每次输出一个符号, ,用用离散随机变量离散随机变量描述描述 多符

21、号信源多符号信源信源每次输出多个符号信源每次输出多个符号( (符号序列符号序列) )，用，用离散随离散随 机矢量机矢量描述描述 离散信源离散信源信源符号取值离散，包括单符号和多符号信源信源符号取值离散，包括单符号和多符号信源 连续信源连续信源信源符号取值连续，用随机过程描述信源符号取值连续，用随机过程描述 结论结论 从概率、随机变量从概率、随机变量( (过程过程) )来研究信息来研究信息 信息信息对事物状态对事物状态( (存在方式存在方式) )不确定性的描述不确定性的描述1212,(), (), ( ), ()()ininxxxxp xp xp xp xPXX1)(, 0)(1niiixpxp

22、2.12.1单符号离散信源单符号离散信源n 单符号离散信源的数学模型单符号离散信源的数学模型注意：大写字母注意：大写字母X,Y,ZX,Y,Z代表随机变量，小写字母代代表随机变量，小写字母代 表随机事件。表随机事件。概概率率复复习习 mjjijiijnijijijijijiijijijjijijijimjijinijjimjnijimjijnijimjjniijiijjijiminiyxpyxpxypyxpyxpyxpypxpyxpxpyxpypxypYXyxpypxypxpyxpxpyxpypyxpyxpxypyxpypxpyxpxypyxpypxpyyyyxxxxYX111111111121

23、21)()()/(,)()()/()6()()()(),()/(),()/(,)5()/()()/()()()4()()(),()()3(1)(, 1)/(, 1)/(, 1)(, 1)()2(1)(),/(),/(),(, )(0)1 (:,相互独立时与当和分别取值于集合随机变量2.12.1单符号离散信源单符号离散信源 由于信息量与概率成反比，并且具有可加性，自信息量由于信息量与概率成反比，并且具有可加性，自信息量的定义为：的定义为： 其中其中p(xp(xi)i)是事件是事件x xi i发生的概率，这也是仙农关于发生的概率，这也是仙农关于( (自自) )信信息量的度量息量的度量( (概率信息

24、概率信息) ) 计算信息量主要要注意有关事件发生概率的计算计算信息量主要要注意有关事件发生概率的计算; ; 性质：性质：非负非负; ;单调递减；当单调递减；当p(xp(xi i) =0) =0时时,I(x,I(xi i) ,) ,不可能事件；当不可能事件；当p(xp(xi i)=1)=1时，时， I(xI(xi i)0 )0 ，确定事件，确定事件 自信息量自信息量 I(xI(xi i) ) 的含义的含义 当事件当事件x xi i发生以前，表示事件发生以前，表示事件x xi i发生的不确定性；发生的不确定性； 当事件当事件x xi i发生以后，表示事件发生以后，表示事件x xi i所提供的信息量

25、；所提供的信息量；221( )loglog( )( )iiiI xp xp x n自信息量（单个随机事件）自信息量（单个随机事件） 例例1 1：从：从2626个英文字母中，随即选取一个字母，则该事件的自个英文字母中，随即选取一个字母，则该事件的自信息量为信息量为 I = -logI = -log2 2(1/26) = 4.7 (1/26) = 4.7 比特比特 例例2 2：设：设m m比特的二进制数中的每一个是等概率出现的比特的二进制数中的每一个是等概率出现的( (这样的这样的数共有数共有2 2m m个个) )，则任何一个数出现的自信息为，则任何一个数出现的自信息为: : I = -logI

26、= -log2 2(1/ 2(1/ 2m m) = m ) = m 比特比特/ /符号符号 自信息量的单位自信息量的单位 自信息量的单位取决于对数的底；自信息量的单位取决于对数的底； 底为底为2 2，单位为，单位为“比特（比特（bitbit）”； 底为底为e e，单位为单位为“奈特（奈特（natnat）”； 底为底为1010，单位为，单位为“哈特（哈特（hathat）”； 1 nat = 1.44bit , 1 hat = 3.32 bit1 nat = 1.44bit , 1 hat = 3.32 bit；2.12.1单符号离散信源单符号离散信源例例3 3：设天气预报有两种消息，晴天和雨天，

27、出现的概率分：设天气预报有两种消息，晴天和雨天，出现的概率分别为别为1/41/4和和3/43/4，我们分别用，我们分别用 来表示晴天，以来表示晴天，以 来表示来表示雨天，则我们的信源模型如下：雨天，则我们的信源模型如下： 1,2()1/ 4,3/ 4aaXP X1( )log42I a 24()log0.4153I a1a2a2.12.1单符号离散信源单符号离散信源n 联合自信息量联合自信息量( (两个随机事件两个随机事件) )二维联合集二维联合集XYXY上的元素上的元素(x(xi iy yj j) )的联合自信息量定义为：的联合自信息量定义为： 含义含义 X=x X=xi i，Y=yY=yj

28、 j 同时发生同时发生时，带来的信息量时，带来的信息量 特例特例 若若X X、Y Y 独立，则独立，则I(xI(xi iy yj j) = I(x) = I(xi i) + I(y) + I(yj j) )2()log()ijijI x yp x y 1)(, 1)(0)(,),(),(),(,)(11121111212111nimjjijimnmmnnmmyxpyxpyxpyxpyxpyxpyxyxyxyxyxyxXYPXY2.12.1单符号离散信源单符号离散信源n 条件自信息量（两个随机事件）条件自信息量（两个随机事件） 二维联合集二维联合集XYXY中，对事件中，对事件x xi i和和y

29、yj j，事件，事件x xi i在事件在事件y yj j给定的给定的条件下的条件信息量定义为：条件下的条件信息量定义为：)/(log)/(2jijiyxpyxI联合自信息量和条件自信息量也满足非负和单调递减性。联合自信息量和条件自信息量也满足非负和单调递减性。关系关系当当X X和和Y Y独立时，独立时，)/()()/()(log)/()()/()(log)(22jijjijijiijijiyxIyIyxpypxyIxIxypxpyxI)()()(log)(log)(22jijijiyIxIypxpyxI2.12.1单符号离散信源单符号离散信源n 互信息量互信息量( (两个随机事件两个随机事件)

30、 )1212,( )1(), (), ( ), ()()iniiinxxxxp xp xp xp xp xPXX设信源1212,()1(), (), (), ()( )jmjjjmyyyyp yp yp yp yp yPYY信宿信道信道信源信源X X信宿信宿Y Y2.12.1单符号离散信源单符号离散信源 信源发出消息信源发出消息 的概率的概率 称为称为先验概率先验概率，信，信宿收到宿收到 后推测信源发出后推测信源发出 的概率称为的概率称为后验概后验概 率率 。 定义定义 的后验概率与的后验概率与先验概先验概率率比值比值的对数为的对数为 对对 的的互信息量互信息量，用，用 表示，即表示，即 互信

31、息量等于自信息量减去条件自信息量。互信息量等于自信息量减去条件自信息量。 第三种表达方式：第三种表达方式：ix)(ixpjyix)/(jiyxpixjyix);(jiyxI2(|)( ;)log(1,2, ;1,2,)( )ijijip xyI x yin jmp x)/()()/(log)(log);(22jiijiijiyxIxIyxpxpyxI)()()();(jijijiyxIyIxIyxI2.12.1单符号离散信源单符号离散信源 含义含义 互信息互信息I(xI(xi i;y;yj j) = ) = 自信息自信息I(xI(xi i) - ) - 条件自信息条件自信息I(xI(xi i/

32、y/yj j) ) (1) (1) I(xI(xi i) )信宿收到信宿收到y yj j之前，对信源发之前，对信源发x xi i的不确定度的不确定度(2) I(x(2) I(xi i|y|yj j) )信宿收到信宿收到y yj j之后，对信源发之后，对信源发x xi i的不确定度的不确定度(3) I(x(3) I(xi i;y;yj j) )收到收到y yj j而得到而得到( (关于关于x xi i ) )的互信息的互信息 = =不确定度的减少量不确定度的减少量 性质性质 (1) (1) 对称性对称性I(xI(xi i ;y;yj j) = I(y) = I(yj j ;x;xi i) ) (

33、2) X(2) X与与Y Y独立时独立时I(xI(xi i ;y;yj j) = 0) = 0 (3) I(x(3) I(xi i;y;yj j) ) 可为正、负、可为正、负、0 0 (4) I(x (4) I(xi i;y;yj j)=I(x)=I(xi i); I(x); I(xi i;y;yj j)=I(y)=I(yj j) )2.12.1单符号离散信源单符号离散信源 I(xI(xi i;y;yj j) ) 可为正、负、可为正、负、0 0的举例的举例 设设y yj j代表代表“闪电闪电”，则，则 当当x xi i代表代表“打雷打雷”时，时，I(xI(xi i|y|yj j) = 0) =

34、 0，I(xI(xi i;y;yj j) = I(x) = I(xi i) )0 0 当当x xi i代表代表“下雨下雨”时，时，I(xI(xi i|y|yj j) ) I(xI(xi i) )，I(xI(xi i;y;yj j) )0 0 当当x xi i代表代表“雾天雾天”时，时，I(xI(xi i|y|yj j) = I(x) = I(xi i) )，I(xI(xi i;y;yj j)= 0)= 0 当当x xi i代表代表“飞机正点起飞飞机正点起飞”时，时，I(xI(xi i|y|yj j) )I(xI(xi i) )，I(xI(xi i;y;yj j) ) 0 0 ( ;)( )(|

35、)ijiijI x yI xI xy2.12.1单符号离散信源单符号离散信源n 条件互信息量条件互信息量( (三个随机事件三个随机事件) ) 联合集联合集XYZXYZ中中, ,给定条件给定条件 下，下， 与与 之间的互信息量，之间的互信息量，其定义式其定义式jyixkz2(|)(;|)log(|)(;)(;)(;|)ijkijkikijkikijkp xy zI x yzp xzI x y zI x zI x yz互信息量互信息量(|)(|)(|)( ;)loglog( )( )(|)(|)(|)log( ;)( ;|)( )(|)ijkijkikijkiiikijkikikijkiikp x

36、y zp xy zp xzI x y zp xp xp xzp xy zp xzI x zI x yzp xp xz2.12.1单符号离散信源单符号离散信源n 平均自信息量平均自信息量( (信源熵信源熵)-)-随机变量随机变量11()log( )log( )( )qiiiiH XEp xp xp x 单位单位 bit/( bit/(信源信源) )符号符号 这个平均自信息量的表达式和统计物理学中热熵的表达式这个平均自信息量的表达式和统计物理学中热熵的表达式很相似。在统计物理学中，热熵是一个物理系统杂乱性（无序很相似。在统计物理学中，热熵是一个物理系统杂乱性（无序性）的度量。这在概念上也有相似之处

37、。因而就借用性）的度量。这在概念上也有相似之处。因而就借用“熵熵”这这个词把平均自信息量个词把平均自信息量H(X)H(X)称为称为“信源熵信源熵”。 通常研究单独一个事件或单独一个符号的信息量是不够的，通常研究单独一个事件或单独一个符号的信息量是不够的，往往需要研究整个事件集合或符号序列往往需要研究整个事件集合或符号序列( (如信源如信源) )的平均的信息的平均的信息量量( (总体特征总体特征) )，这就需要引入新的概念；定义自信息的数学期，这就需要引入新的概念；定义自信息的数学期望为信源的平均信息量望为信源的平均信息量2.12.1单符号离散信源单符号离散信源例：天气预报，有两个信源例：天气预

38、报，有两个信源1,21( )1/4,3/4aaXp x1,22( )1/2,1/2aaXp x1134()log4log0.809443H X 211()log2log2122H X则：则：说明第二个信源的平均不确定性更大一些说明第二个信源的平均不确定性更大一些信息熵具有以下三种物理含义：信息熵具有以下三种物理含义：1 1、表示信源输出前，信源的平均不确定性、表示信源输出前，信源的平均不确定性2 2、表示信源输出后，每个符号所携带的平均信息量、表示信源输出后，每个符号所携带的平均信息量3 3、反映了变量、反映了变量X X的随机性的随机性。2.12.1单符号离散信源单符号离散信源例：设某信源输出

39、四个符号，其符号集合的概率分布为：例：设某信源输出四个符号，其符号集合的概率分布为： 则其熵为：则其熵为：81814121432143214321ssssppppssssS符号比特/75. 18log824log412log21log)(41iiippSH2.12.1单符号离散信源单符号离散信源例：电视屏上约有例：电视屏上约有 500 500 600= 3 600= 310105 5个格点，按每点有个格点，按每点有1010个个不同的灰度等级考虑，则共能组成不同的灰度等级考虑，则共能组成n=10n=103x103x105 5个不同的画面。按等个不同的画面。按等概率概率1/101/103x103x

40、105 5计算，平均每个画面可提供的信息量为计算，平均每个画面可提供的信息量为 510321210log)(log)()(niiixpxpXH =3=310105 53.32 3.32 比特比特/ /画面画面 例：有一篇千字文章，假定每字可从万字表中任选，则共有不同例：有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文的千字文N=10000N=1000010001000=10=1040004000篇。仍按等概率篇。仍按等概率1/100001/1000010001000计算，计算，平均每篇千字文可提供的信息量为平均每篇千字文可提供的信息量为 H H（X X）loglog2 2N N4

41、410103 33 332=1.332=1.310104 4 比特千字文比特千字文“一个电视画面一个电视画面”平均提供的信息量远远超过平均提供的信息量远远超过“一篇千字文一篇千字文”提供的信息量。提供的信息量。 2.12.1单符号离散信源单符号离散信源n熵函数的数学特性熵函数的数学特性熵函数可以表示为：熵函数可以表示为：H XH pppppniiin()(,)log 121ppiniini11012,(, ,., )()( ,1)( )H XH ppH p二元熵：二元熵：性质性质1 1：非负性：非负性H(X)0H(X)0由于由于0p0pi i1,1,所以所以logplogpi i00，logp

42、logpi i00，则总有，则总有H(X)0H(X)0。2.12.1单符号离散信源单符号离散信源性质性质2 2：对称性：对称性 H pppH ppppnnn(,.)(,.)12121 根据加法交换律可以证明，当变量交换顺序时熵函数根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。信源的熵只与概率空间的总体结构有关，而与的值不变。信源的熵只与概率空间的总体结构有关，而与个概率分量对应的状态顺序无关；个概率分量对应的状态顺序无关；性质性质3 3：扩展性：扩展性112120lim(,., )(,.,)qqqqHp ppHp pp 这说明信源空间中增加某些概率很小的符号，虽然当这说明信源空间中增

43、加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近发出这些符号时，提供很大的信息量，但由于其概率接近于于0 0，在信源熵中占极小的比重，使信源熵保持不变。，在信源熵中占极小的比重，使信源熵保持不变。 2.12.1单符号离散信源单符号离散信源性质性质4 4：可加性：可加性 ()()(/)()( )(/)H XYH XH YXH XYH YH X Y性质性质5 5：极值性：极值性nnnnHxxxHnnn221log)1,1,1(),( 上式表明，对于具有上式表明，对于具有n n个符号的离散信源，只有在个符号的离散信源，只有在n n个个信源符号等可能出现的情况下，信源熵才

44、能达到最大值，这信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为要得结论，称为最大离散熵定理最大离散熵定理例：对于一个二元信源例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bitH(X)=H(1/2,1/2)=log2=1bitH(X)= -plog2p (1-p)log2(1-p)=H(p)2.12.1单符号离散信源单符号离散信源性质性质6 6：确定性：确定性 HHH( , )( , )( , , ,. )1 00 11 0 000 当信源当信源X X

45、的信源空间的信源空间XX，PP中。任一个概率分量等于中。任一个概率分量等于1 1，根据完备空间特性，其它概率分量必为根据完备空间特性，其它概率分量必为0 0，这时信源为一个，这时信源为一个确知信源，其熵为确知信源，其熵为0 0。如果一个信源的输出符号几乎必然为。如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。提供任何信息量。性质性质7 7：上凸性：上凸性 12(,.)qH p pp 是概率分布是概率分布(p(p1 1,p,p2 2, ,p,pq q) )的严格上凸函数。的严格上凸函数。2.1

46、2.1单符号离散信源单符号离散信源 设设f(X)=f(xf(X)=f(x1 1,x,x2 2, ,x,xn n) )为一多元函数。若对于任意一个小为一多元函数。若对于任意一个小于于1 1的正数的正数 （0 10 = f(X= f(X1 1)+(1- )f(X)+(1- )f(X2 2) )则称则称f(X)f(X)为定义域上的上凸函数。为定义域上的上凸函数。若若“= =”不成立，则为严格上凸函数不成立，则为严格上凸函数若若“=”, ,则为下凸函数则为下凸函数若若“ ”, ,则为严格下凸函数则为严格下凸函数2.12.1单符号离散信源单符号离散信源0 0.2 0.4 0.6 0.8 110.80.6

47、0.40.2pH(p)H H（p p）函数曲线如图所示。如果二元信源的输出符号是确定的，）函数曲线如图所示。如果二元信源的输出符号是确定的，即即p=1p=1或或q=1q=1，则该信源不提供任何信息。反之，当二元信源符号，则该信源不提供任何信息。反之，当二元信源符号0 0和和1 1以等概率发生时，信源熵达到极大值，等于以等概率发生时，信源熵达到极大值，等于1 1比特信息量。比特信息量。2.12.1单符号离散信源单符号离散信源 信源熵是从整个信源的统计特性来考虑的，它是从平均意信源熵是从整个信源的统计特性来考虑的，它是从平均意义上来表征义上来表征信源的总体信息测度信源的总体信息测度的。对于某特定的

48、信源（概率的。对于某特定的信源（概率空间给定），其信源熵是一个特定的值。不同的信源因统计特空间给定），其信源熵是一个特定的值。不同的信源因统计特性不同，其熵也不同。信源熵用以表征信息源的性不同，其熵也不同。信源熵用以表征信息源的平均不确定性平均不确定性，平均自信息量是消除信源不确定性时所需信息的量度，即收，平均自信息量是消除信源不确定性时所需信息的量度，即收到一个信源符号，全部解除了这个符号的不确定性。或者说获到一个信源符号，全部解除了这个符号的不确定性。或者说获得这样大的信息量后，信源不确定性就被消除了。得这样大的信息量后，信源不确定性就被消除了。 2.12.1单符号离散信源单符号离散信源

49、信源熵信源熵和和平均自信息量平均自信息量两者在数值上相等，但两者在数值上相等，但含义含义不同。某不同。某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就必有信源的熵值；这熵值在总体平均上才有意义，因而是一个就必有信源的熵值；这熵值在总体平均上才有意义，因而是一个确定的值确定的值。而另一方面，信息量则只有当信源输出的符号被接收。而另一方面，信息量则只有当信源输出的符号被接收者收到后才有意义，信息量就是给予接收者的信息度量，该值本者收到后才有意义，信息量就是给予接收者的信息度量，该值本身可以是身可以是随机量随机量，也可以与接收者

50、的情况有关。，也可以与接收者的情况有关。 因此说因此说信源熵是信源的平均不确定性信源熵是信源的平均不确定性的描述，一般情况下它的描述，一般情况下它并不等于平均获得的信息量。只是在无噪情况下，接收者才能正并不等于平均获得的信息量。只是在无噪情况下，接收者才能正确无误地接收到信源所发出的信息，消除了信源熵确无误地接收到信源所发出的信息，消除了信源熵H H（X X）值大小）值大小的平均不确定性，所以获得的平均信息量就等于信源熵的平均不确定性，所以获得的平均信息量就等于信源熵H H（X X）的）的值。在一般情况下获得的信息量是两熵之差，并不是信源熵本身。值。在一般情况下获得的信息量是两熵之差，并不是信

51、源熵本身。2.12.1单符号离散信源单符号离散信源n条件熵条件熵11211( /) (/)() (/)()log(/)mnjiijjijimnijjijiH Y XE I yxp x y I yxp x yp yx思考：求条思考：求条件熵时为什件熵时为什么要用联合么要用联合概率加权？概率加权？条件熵是在联合符号集合条件熵是在联合符号集合XYXY上的上的条件自信息量条件自信息量的数学期望。的数学期望。在已知随机变量在已知随机变量X X的条件下，随机变量的条件下，随机变量Y Y的条件熵定义为：的条件熵定义为：2.12.1单符号离散信源单符号离散信源条件概率条件概率()(| )( )j ijiip

52、y xp y xp x并且并且1(|)1njijp yx当已知特定事件当已知特定事件xi出现时，下一个出现的是出现时，下一个出现的是yj 的不确的不确定性为：定性为：(|)log(|)jijiI yxp yx 对集合对集合Y Y中所有元素统计平均，其熵为：中所有元素统计平均，其熵为：1(|)(|)log(|)mijijijH Y xp yxp yx 上述熵值再对集合上述熵值再对集合Y Y中的元素做统计平均，得条件中的元素做统计平均，得条件熵熵：1111111(|)()(|)()(|)log (|)() (|)log (|)()log(|)nnmiiijijiiijnmnmijijiijjiij

53、ijH YXp x H Yxp xp yxp yxp xp yxp yxp x yp yx 同理可得：同理可得：11(|)()log(|)mnijijijH X Yp x yp xy 条件熵条件熵H(X/Y)H(X/Y)是一个确定值，表示信宿在收到是一个确定值，表示信宿在收到Y Y后，后，信源信源X X仍然存在的不确定度。这是信道干扰所造成的。有仍然存在的不确定度。这是信道干扰所造成的。有时称时称H(X/Y)H(X/Y)为为信道疑义度信道疑义度，也称，也称损失熵损失熵。如果没有干扰，如果没有干扰，H(X/Y)=0,H(X/Y)=0,一般情括下一般情括下H(X/Y)H(X/Y)小于小于H(X)H

54、(X)，说明经过信道传输，总能消除一些信源的不确定性，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。从而获得一些信息。条件熵条件熵H(Y/X)H(Y/X)也是一个确定值也是一个确定值, ,表示信源发出表示信源发出X X后，信后，信宿仍然存在的不确定度。这是由于噪声引起的。也称为宿仍然存在的不确定度。这是由于噪声引起的。也称为噪噪声熵声熵。2.12.1单符号离散信源单符号离散信源n联合熵（共熵）联合熵（共熵） 联合离散符号集合联合离散符号集合XYXY上的每个元素对上的每个元素对 的联合自信息的联合自信息量的数学期望。量的数学期望。jiyx)(log)()()()(21111ji

55、nimjjijinimjjiyxpyxpyxIyxpXYH说明说明: : 联合熵联合熵H H（XYXY）表示）表示X X和和Y Y同时发生的不确定度。同时发生的不确定度。2.12.1单符号离散信源单符号离散信源n加权熵（自学）加权熵（自学）对香农熵引入主观因素对香农熵引入主观因素效用权重系数效用权重系数( (重量重量) )定义：定义： 设信源设信源X 则加权熵则加权熵 HwHw( (X) ) 含义含义 消息消息xi xi 的权重的权重wiwi对对I(xi)I(xi)的加权平均的加权平均性质：略性质：略1212,(),(),()()nnxxxp xp xp xPXX概 率 空 间1212,0,(

56、)ninxxxwwwwWXX效 用 空 间2()( )log( )wiiiiHw p xp x X2.12.1单符号离散信源单符号离散信源从通信系统角度看熵的意义从通信系统角度看熵的意义 H(X)H(X)：表示信源边每个符号的平均信息量（信源熵）；表示信源边每个符号的平均信息量（信源熵）； H(Y)H(Y)：表示信宿边每个符号的平均信息量（信宿熵）；表示信宿边每个符号的平均信息量（信宿熵）； H(X|Y):H(X|Y):信道疑义度信道疑义度( (含糊度含糊度) )，表示在输出端接收到，表示在输出端接收到Y Y后，后，发送端发送端X X尚存的平均不确定性。这个对尚存的平均不确定性。这个对X X尚

57、存的不确定性是尚存的不确定性是由于信道干扰引起的。由于信道干扰引起的。 H(Y|X):H(Y|X):噪声熵，表示在已知噪声熵，表示在已知X X后，对于输出后，对于输出Y Y尚存的平均尚存的平均不确定性；不确定性； H(XY):H(XY):表示整个信息传输系统的平均不确定性；表示整个信息传输系统的平均不确定性；2.12.1单符号离散信源单符号离散信源n各种熵的性质各种熵的性质 联合熵联合熵H(XY)与熵与熵H(X)及条件熵及条件熵H(X/Y)之间存在下之间存在下列关系列关系: : H(XY) H(X) H(Y/X ) H(XY) H(Y) H(X/Y ) 联合熵与信息熵的关系联合熵与信息熵的关系

58、: : H(XY) = H(X) H(Y) 条件熵与信息熵的关系条件熵与信息熵的关系: : H(Y|X) = H(Y) H(X|Y) = 0I(X;Y) = 0 该性质表明，通过一个信道总能该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于任何信息，互信息等于0 0，但决不会失去已知的信息。，但决不会失去已知的信息。极值性：即极值性：即I(X;Y) = H(X)I(X;Y) = H(X) 一般来说，信道疑义度一般来说，信道疑义度H(X|Y)H(X|Y)总是大于总是大于0 0，所以互信息总是小于

59、信源的熵，只有当，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于信道是无损信道时，信道疑义度等于0 0，互信息等于信源的，互信息等于信源的熵。熵。对称性：即对称性：即I(X;Y) = I(Y;X)I(X;Y) = I(Y;X) I(Y;X) I(Y;X)表示从表示从X X中提取关于的中提取关于的Y Y的信息量，实际上的信息量，实际上I(X,Y)I(X,Y)和和I(Y,X)I(Y,X)只是观察者的立足点不只是观察者的立足点不同，对信道的输入同，对信道的输入X X和输出和输出Y Y的总体测度的两种表达形式的总体测度的两种表达形式 (|)(; )() ( ;)()log( )ij

60、ijijijjijiip xyI X Yp x y I x yp x yp x2.12.1单符号离散信源单符号离散信源 I(X;Y) I(X;Y)是二元函数是二元函数:P(X):P(X)的上凸函数，的上凸函数，P(Y|X)P(Y|X)的下凸的下凸函数函数 (/)(; )()log()(/)( ) (|)log()jiijijjjiijiijjp yxI X Yp x yp yp yxp x p yxp y()( ) (/)ijijip x yp x p yx()()jijip yp x y平均互信息的凸状性平均互信息的凸状性2.12.1单符号离散信源单符号离散信源 定理定理2.1 2.1 对于