信息论信息的统计度量ppt课件

1、第二章 信息的统计度量信息的可度量性是信息论建立的根底；香农的信息论用事件发生概率的对数来描画事物的不确定性，得到音讯的信息量，建立熵的概念；熵是香农信息论最根本最重要的概念。2.1 自信息量和条件自信息量2.1.1自信息量定义2.1.1 恣意随机事件的自信息量定义为该事件发生概率的对数的负值。小概率事件所包含的不确定性大，自信息量大。大约率事件所包含的不确定性小，自信息量小。概率为1确实定性事件，自信息量为零。2iii10log1(x )loglog(x )log(x )logeBitIPNatPHat 自信息量I(xi)的性质 I(xi)是非负值； 当P(xi) =1时， I(xi)=0；

2、 当P(xi) =0时， I(xi)= ； I(xi)是P(xi) 的单调递减函数iii1(x )loglog(x )(x )IPP 例：袋内红、白球各50个,随意从袋中摸出一球。21()loglog 1/21()IbitP 红红21( )loglog 1/21( )IbitP 白白 例：袋内红球1个、白球7个,随意从袋中摸出一球。21()loglog 1/83()IbitP 红红21( )loglog 7/8019( )IbitP 白.白 结合自信息量 信源模型(涉及两个随机事件) 定义2.1.2 二维结合集XY上的元素xiyj的结合自信息量定义为其中p(xiyj)为元素xiyj的二维结合概

3、率密度。11121211112111,.,.,.,.()(),. (), (),., ()0()1,()1mmnnmmnmnmijijijx yx yx yx yx yx yXYP XYp x yp x yp x yp x yp x yp x y()log()ijijIx ypx y xiyjxiyj设在一正方形棋盘上共有64个方格，将方格分别按行和列编号。假设甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测旗子所在位置；由于甲是将一粒旗子随意地放在棋盘中某一方格内，因此，棋子在棋盘中所处位置为二维等概率分布。二维概率分布函数为p(xiyj)=1/64，故在二维结合集XY上的元素xiyj的结合自

4、信息量为21()log()log66 4ijijIx ypx yb it 2.1.2条件自信息量定义2.1.3 结合集XY中，对事件xi和yj，事件xi在事件yj给定的条件下的条件自信息量定义为 条件概率对数的负值，在特定条件下(yj已定)随机事件xi发生所带来的信息量结合自信息量和条件自信息量也满足非负和单调递减性。(/)log (/)ijijI xyp xy xiyjxiyj设在一正方形棋盘上共有64个方格，将方格分别按行和列编号。假设甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测旗子所在位置；在二维结合集XY上，元素xi相对yj的条件自信息量为()2()(|)log(|)1 / 6 4l

5、oglog31 / 8ijjijijpx ypyIxypxyb it 甲将棋子所在方格的行通知乙之后，再令乙猜测棋子所在列的位置。预备知识复习 对数知识 Log(xy)=logx+logy Log(x/y)=logx-logy222loglnloglglog 10 xxexln1,0 xxx 概率知识以猜测棋子位置为例 只思索第几行或第几列的情况，涉及一个随机事件，可用离散随机变量来表示。 其中， X代表随机变量，指的是信源整体； 代表随机事件的某一结果或信源的某个元素。1212,.,( )(),(),.,()nnxxxXP xp xp xp x10()1,()1niiip xp xix(1)

6、0(),(),(/),(/),()1ijijjiijp xp yp xyp yxp x y 既思索第几行，又思索第几列的情况，涉及两个随机事件，可用两个离散随机变量来表示。随机变量X,Y分别取值于集合1212 ,. ,.,.,.,:inimx xxxy yyy和1212,.,( )(),(),.,()nnxxxXP xp xp xp x1212,.,( )(),(),.,()nnyyyYP yp yp yp y其中，1111(3)()(),()()(4)()() (/)() (/)()()(5)(/),(/)()()nmijjijiijijijijijijijijjinmijijijp x y

7、p yp x yp xp x yp xp yxp yp xyp x yp x yp xyp yxp x yp x y(6),(/)(),(/)(),()() ()jijijiijijXYp yxp yp xyp xp x yp xp y当与 相互独立时111111(2)()1,()1,(/)1,(/)1,()1nmnijijijimmnjiijjjip xp yp xyp yxp x y 思索题：1.1,1.2,1.3 作业题：2.1,2.2,2.32.2互信息量和条件互信息量2.2.1 互信息量定义2.2.1 对两个离散随机事件集X和Y，事件yj的出现给出关于事件xi的信息量，定义为互信息量

8、，其定义式为(/)( ;)log()ijijip xyI x yp x11loglog()(/)()(/)iijiijp xp xyI xI xyXY10( )0.50.5XP x 信源 信道 信宿 X Y 当信宿收到集合Y中的一个音讯符号yj后，接纳者重新估计关于信源各个音讯xi发生的概率就变成条件(后验)概率p(xi|yj)，例如p(1/1) 。知X先验概率11( ;)loglog()(/)()(/)ijiijiijI x yI xI xyp xp xy互信息量等于自信息量减去条件自信息量。是获得的信息量，或消除的不确定性的度量，等于先验的不确定性减去尚存在的不确定性。例：某地二月份天气构

9、成的信源为 现有人通知他:“今天不是晴天。，把这句话作为收到的音讯 。当收到音讯 后，各种天气发生的概率变成后验概率了。其中81,81,41,21)(),(),(),()(4321雪雨阴晴xxxxXPX1y1y112131411(/)0;(/);211(/);(/)44p xyp xyp xyp xy1()(/)()ijijnijip x yp xyp x y计算 与各种天气之间的互信息量111, (/)0 x p xy对天气1y212122221(/)1 / 2(;)loglog1()()1 / 411loglog211()()(/)p xyI xybitp xbitp xp xy由y1分别

10、得到x2、x3、x4各1比特的信息量，也可以了解为y1使x2、x3、x4不确定度各减少1比特3141(;)(;)1()I xyI xybit同理2.2.2 互信息的性质互信息量的互易性证明由事件yj提供的有关事件xi的信息量等于由事件xi提供的有关事件yj的信息量。当事件xi，yj统计独立时，互信息量为零。证明不能从观测yj获得关于另一个事件xi的任何信息。(;)(;)ijjiI x yI yx( ;)(;)0ijjiI x yI yxXYXY 互信息量可正可负 在给定观测数据yj的条件下，事件xi出现的概率p(xi|yj)称为后验概率，p(xi)称为先验概率； 当后验概率p(xi|yj)大于

11、先验概率p(xi)时，互信息量I(xi;yj)大于零，为正值； 当后验概率p(xi|yj)小于先验概率p(xi)时，互信息量I(xi;yj)小于零，为负值； 互信息量为正，意味着事件yj的出现有助于一定事件xi的出现；反之，那么是不利的。呵斥不利的缘由是存在信道干扰。11( ;)loglog()(/)()(/)ijiijiijI x yI xI xyp xp xy( )0.50.5XP x危险安全 信源 信道 信宿 X Y Y=危险X=危险；Y=平安X=平安2(/)1()loglog1()()1 / 2p xyI xybitp x安 全安 全安 全安 全安 全;假设信道无干扰2(/)1()lo

12、glog1()()1/2p xyI xybitp x危险危险危险危险危险; 信源 信道 信宿 X Y Y=平安X=危险；(/)()log()11loglog()(/)p xyI xyp xp xp xy 安 全安 全安 全安 全安 全安 全安 全安 全;信道干扰设备缺点，人员问题X 任何两个事件之间的互信息量不能够大于其中任一事件的自信息量。 证明 自信息量I(xi)是为了确定事件xi的出现所必需提供的信息量，也是任何其他事件所能提供的最大信息量。XY 在接到上午的后，A获得关于B的互信息量为 在接到两次后，A获得关于B的互信息量为 事件E,F的出现有助于一定事件B的出现。2(/)1/2()l

13、oglog0.585()( )1/3p B EI B EbitI C Ep B;2(/)1()loglog1.585( )1/3p B EFI B EFbitp B;例：A某知其三位朋友B,C,D中必定会有一人晚上到他家，并且这三人来的能够性均一样，其先验概率p(B)=p(C)=p(D)=1/3。但这天上午A接到D的，说因故不能来了。下午，A又接到C的，说他因晚上要出席一个重要会议不能来A家。假设把上午这次作为事件E，那么p(D/E)=0，p(B/E)=p(C/E) =1/2假设把下午这次作为事件F，那么p(C/EF)= p(D/EF)=0, p(B/EF)=12.2.3 条件互信息量给定条件

14、 下， 与 之间的互信息量，其定义式jyixkz(/)(;)log(/)ijkijkikp xy zI x yzp xzXZY(/)(;)log()ijkijkip xy zI x y zp x(/)(/)(;)log.()(/)(/)(/)loglog(/)()(;/)(;)ijkikijkiikijkikikiijkikp xy zp xzI x y zp xp xzp xy zp xzp xzp xI x yzI x z一对事件yjzk出现后所提供的有关xi的信息量I(xi;yizk)，等于事件zk出现后所提供的有关xi的信息量I(xi;zk)，加上给定事件zk的条件下再出现事件yj所提

15、供的有关xi的信息量。XZY2.3 离散集的平均自信息量2.3.1平均自信息量(熵) 一个离散随机变量X，以不同的取值概率有N个能够取值, 1212,.,( )(),(),.,()nnxxxXP xp xp xp xiii1(x )loglogp(x )p(x )I 是一个随机变量，不能用来作为整个信源的信息测度。 定义2.3.1 集X上，随机变量I(xi)的数学期望定义为平均自信息量，又称作集X的信源熵，简称熵。 熵函数的自变量是X,表示信源整体。集X的平均自信息量表示集X中事件出现的平均不确定性。即为了在观测之前，确定集X中出现一个事件平均所需的信息量；或在观测之后，集X中每出现一个事件平

16、均给出的信息量。11() ( )log( )log ( )( )niiiiiH XE I xEp xp xp x 熵熵 这个名词是香农从物理学中的统计热力这个名词是香农从物理学中的统计热力学借用过来的，在物理学中热熵是表示学借用过来的，在物理学中热熵是表示分子混乱程度的一个物理量，这里，香分子混乱程度的一个物理量，这里，香农援用它来描画信源的平均不确定性，农援用它来描画信源的平均不确定性，含义是类似的。含义是类似的。 但是在热力学中知任何孤立系统的演化，但是在热力学中知任何孤立系统的演化，热熵只能添加不能减少；而在信息论中，热熵只能添加不能减少；而在信息论中，信息熵正相反，只会减少，不会添加。

17、信息熵正相反，只会减少，不会添加。所以有人称信息熵为负热熵。所以有人称信息熵为负热熵。熵的单位 信息熵的单位与公式中的对数取底有关。信息熵的单位与公式中的对数取底有关。 通讯与信息中最常用的是以通讯与信息中最常用的是以2 2为底，这时单位为为底，这时单位为比特比特bitbit,H(X),H(X)； 实际推导中用以实际推导中用以e e为底较方便，这时单位为奈特为底较方便，这时单位为奈特natnat, He(X) , He(X) ； 工程上用以工程上用以1010为底较方便，这时单位为哈特为底较方便，这时单位为哈特hathat, H10(X) , H10(X) 。 它们之间可以援用对数换底公式进展互

18、换。它们之间可以援用对数换底公式进展互换。 1 1 bit = 0.693 nat = 0.301 hatbit = 0.693 nat = 0.301 hat例：一个布袋内放100个球，其中80个是红的，20个白的，假设随机模取一个，猜测其颜色，求平均模取一次所能获得的自信息量。12( )0.80.2xxXP x概率空间112(x )log (x )log 0.8IPbit 222(x )log(x )log 0.2IPbit 随机模取n次后总共所获得的信息量为1122() (x )() (x )np x Inp x I平均模取1次所获得的信息量为112211221()() (x )() (

19、x )()log ()()log ()H Xnp x Inp x Inp xp xp xp x 熵是从平均意义上来表征信源的总体特征平均不确定性模1次获得的信息量为1122() (x )() (x )p x Ip xI电视屏上约有5006003105个点，按每点有10个不同的灰度等级思索，那么共能组成103105个不同的画面。按等概计算，平均每个画面可提供的信息量为61( )()log ()10niiiH xp xp x 另有一篇千字文，每字从万字表中选择，共有不同的千字文N10 0001 000篇104 000篇，仍按等概计算，平均每篇千字文可提供的信息量为4( )log1.3 10H xN

20、bit500*600的一个画面比1000个字的文章提供的信息量大。 作业题： 熵函数的数学特性熵函数H(X)只是其概率分布的函数1()( )()log ()qiiiH XH Pp xp x 对称性：当概率矢量P=(p1,p2,pq)中的各分量的次序恣意变卦时，熵值不变。 信源的熵仅与信源总体的统计特性有关。不能描画事件本身的详细含义和客观价值。123( )1/3 1/61/2XxxxP xA地天气情况 晴 阴 雨123( )1/61/21/3YyyyP yB地天气情况 晴 阴 雨123( )1/3 1/21/6ZzzzP zA地人口60 非负性 确知信源具有最小熵零。i 1()

21、()log ()qiiH Xp xp x 扩展性 集中一个事件的概率相对于其他事件的概率很小时，对集合的熵值的奉献可忽略不计。1121012lim ( ), (),., (), () ( ), (),., ()nnnnnHp xp xp xp xHp xp xp x0lim log01111 log4log8log8log20.5 0.375 0.375 0.5 1.754882nH P 12341111( )4882xxxxXP xA地晴 阴 雪 雨12345111111( )488240964096xxxxxXP xB地晴 阴 雪 雨 雹121121212121111111 log4log

22、8log8 ()log()log(2 )1148822222120.5 0.375 0.375 0.5001081.7532nHP1121012lim ( ), (),., (), () ( ), (),., ()nnnnnHp xp xp xp xHp xp xp x 对于离散随机变量，当其能够的取值等概分布时，其熵到达最大值。即：max()logH Xn 极值性121 11()( )(,.,)(,.,)lognH XH PH p ppHnn nn结论：等概率分布时熵最大，不确定性最大。故这一定理又被称为离散信源最大熵定理。证明：p=0.5p=0.5时等概：时等概：随机变量具有最随机变量具有

23、最大的不确定性，大的不确定性，p=0,1p=0,1时：时：随机变量的不确随机变量的不确定性消逝。定性消逝。例：二元熵函数XP(x x1 x2 p 1-pH(X) = -plogp-(1-p)log(1-p)=H(p)1.01.00.50pH(p)/bit二元熵函数曲线 确定性(不确定性完全消逝(1,0)(1,0,.,0)(0,1,.,0).0HHH集合X中只需有一个事件为必然事件，那么其他事件为不能够事件。此时，集合中每个事件对熵的奉献都为0，因此熵为0。 上凸性12(,.,)nH p pp12(,.,)np pp是概率分布的严厉上凸函数) 10()()1 ()()1 (QHPHQPH对任何

24、和任何两个概率矢量PQ12(,.,)nq qq12(,.,)np pp有1.01.00.50pH(p)/bit二元熵函数曲线 可加性(, )()(/)(, )( )(/)H X YH XH YXH X YH YH X Y假设有两个随机变量X和Y，它们不是相互独立的，那么二维随机变量X和Y的结合熵，等于X的无条件熵加上当X已给定时Y的条件概率定义的熵。XY2.3.3条件熵在知随机变量Y的条件下，随机变量X的熵称为集X对集Y的条件熵。是结合集XY上条件自信息量的数学期望。是知一随机变量，对另一个随机变量的不确定性的量度当X表示信源的输出，Y表示信宿的输入时，条件熵H(X/Y)可表示信宿在收到Y后，

25、信源X依然存在的不确定度。这是传输失真所呵斥的。11(/ ) ( /)()log ( /)nmijijijijH X YE I x yp x yp x y求条件熵为什么要用结合概率？求条件熵为什么要用结合概率？1 ,0mjnijijiyxpyxpYXH112)/(log)()/()()()/(jjijiypyxpyxp例：知X，Yp(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。,XY构成的结合概率为：解： 根据条件熵公式：()()jijip yp x y222211 33 33 11( / )loglogloglog0.406/84 84 84 84H

26、X Ybit symbol（）2.3.4结合熵共熵结合离散符号集合XY上的每个元素对 的结合自信息量的数学期望。是二元随机变量不确定性的度量。jiyx1111(,)() ()()log()nmijijijnmijijijH X Yp x yI x yp x yp x y (, )()(/)( )(/)H X YH XH YXH YH X Y2.3.5 各种熵的关系结合熵等于无条件熵加上条件熵。XY证明：()()log ()()log ( ) (/)( ) (/)log ( )()log(/)( )log ( )(/)( /)()( /)ijijijijijiijijiiijjiijijiiji

27、ijH XYp x yp x yp x yp x p yxp x p yxp xp x yyxp xp xp yxH Y XH XH Y XXY(/)()H X YH X条件熵小于等于无条件熵，等式成立的条件是集X集Y相互独立。证明：j(/)()log (/)()(/)log (/)()(/)log ()() (/) log ()()log ()()ijijijijijjijijijijijiijiiiH X Yp x yp xyp yp xyp xyp yp xyp xp yp xyp xp xp xH X (, )()(/)( )(/)H X YH XH YXH YH X Y结合熵等于无条

28、件熵加上条件熵。XY(/)( )H YXH Y条件熵小于等于无条件熵，等式成立的条件是集X集Y相互独立。( , )()( )H X YH XH Y结合熵小于等于各自熵的和，等式成立的条件是集X集Y相互独立。XY2.3.6 加权熵121212,.,( )(),(),.,(),.,nnnxxxXP xp xp xp xWwww设有随机变量X，引入事件的分量后，其概率空间为()0,()1,0iiiip xp xw其中，离散无记忆信源的加权熵定义为1()()log()wiiiiHXw p xp x 互信息量 是定量地研讨信息流通问题的重要根底。只能定量地描画输入随机变量发出某个详细音讯 ，输出变量出现

29、某一个详细音讯 时，流经信道的信息量；是随 和 变化的随机变量。不能从整体上作为信道中信息流通的测度。平均互信息量从整体的角度出发，在平均意义上度量每经过一个符号流经信道的平均信息量。);(jiyxIixjyixjy 2.4平均互信息量2.4.1平均条件互信息量11(;)(|) ( ;)(/)(|)log()jnijijinijijiiI X yp xyI x yp xyp xyp x在结合集XY上，由yj提供的关于集X的平均条件互信息量，等于由yj所提供的互信息量在整个X中以后验概率加权的平均值。1111111(;)() (;)()(/) (;)(/)() (;)()log()mmnjjji

30、jijjjinmnmijijijijijijiI X Yp yI X yp yp xyI x yp xyp x yI x yp x yp x了解Y后,X的不确定度的减少量 2.4.2平均互信息量 平均条件互信息量I(X;yj)在整个集Y上的概率加权平均值，也就是互信息量I(xi;yj) 在集XY上的概率加权平均值称为集合Y与集合X间的平均互信息量。将知信源5 . 05 . 0)(21xxXPX接到以下图所示的信道上，求在该信道上传输的平均互信息量I(X;Y)、条件熵H(X/Y)、条件熵H(Y/X)和结合熵H(XY)。11(/)(;)()log()nmijijijip xyI X Yp x yp

31、 x)(log)()(211jinimjjiyxpyxpXYH21212)/(log)(/ijjijiyxpyxpYXH）（21212)/(log)(/ijijjixypyxpXYH）（49. 098. 05 . 0)/()()(11111xypxpyxp01. 002. 05 . 0)/()()(12121xypxpyxp10. 020. 05 . 0)/()()(21212xypxpyxp40. 080. 05 . 0)/()()(22222xypxpyxp),/()()(ijijixypxpyxP解：1由求出各结合概率： 0.50.5, )()(1nijijyxPyP)(1yp59. 0

32、10. 049. 0)()()(1211211yxpyxpyxPii41. 059. 01)(1)(12ypyp2由得到Y集各音讯概率：0.50.5831. 059. 049. 0)()()/(11111ypyxpyxp169. 0)/(1)/(1112yxpyxp)()()/(jjijiypyxpyxp3由，得到X的各后验概率：976. 0)/(,024. 0)/(2221yxpyxp4 4平均互信息平均互信息11(/)(;)()log()10.981.430.55(nmijijijip xyI X Yp x yp xbit）)(log)()(211jinimjjiyxpyxpXYH2222

33、0.49log 0.49 0.01log 0.01 0.10log 0.10 0.40log 0.401.43()bit5 5结合熵结合熵21212)/(log)(/ijjijiyxpyxpYXH）（976. 0log40. 0169. 0log10. 0024. 0log01. 0831. 0log49. 022220.45(bit）21212)/(log)(/ijijjixypyxpXYH）（80. 0log40. 020. 0log10. 002. 0log01. 098. 0log49. 022220.43(bit）6 6条件熵条件熵1111111111(/)(;)()log()()(;