信息论中的重要不等式

1、信息论中的重要不等式第1页，共46页，2022年，5月20日，1点18分，星期一主要内容信息论中的重要不等式相对熵互信息 对数函数基本不等式詹森不等式费诺不等式第2页，共46页，2022年，5月20日，1点18分，星期一21.4 重要不等式对任意实数对任何两组满足条件 的实数，等号成立的充要条件是 对数函数的基本不等式第3页，共46页，2022年，5月20日，1点18分，星期一3重要不等式对任何两组实数 ,对数和不等式.第4页，共46页，2022年，5月20日，1点18分，星期一4重要不等式詹森不等式 是一个随机变量， 表示 的数学期望， 是上凸函数，则费诺不等式 是在 中取值的随机变量，记

2、则 第5页，共46页，2022年，5月20日，1点18分，星期一5相对熵（互熵）两个概率分布“差异性”的度量值，也是一种重要的信息度量 .同一字母集上两个概率分布的相对熵： 对任意概率分布pi，它对其他概率分布qi的自信息量-logqi取数学期望时的差异.第6页，共46页，2022年，5月20日，1点18分，星期一6相对熵的性质 ，等号成立 是概率分布对 的凸函数第7页，共46页，2022年，5月20日，1点18分，星期一7互信息第8页，共46页，2022年，5月20日，1点18分，星期一8互信息I(信息量)=不确定程度的减小量 如果信道是无噪的，当信源发出消息x后，信宿必能准确无误地收到该消

3、息，彻底消除对x的不确定度，所获得的信息量就是x的不确定度，即x本身含有的全部信息. 信宿在收信前后，其消息的概率分布发生了变化，即其概率空间变了 .第9页，共46页，2022年，5月20日，1点18分，星期一9 1. 互信息 (1) yj对xi的互信息 I(xi;yj) 即： I(xi;yj)= I(xi)- I(xi/yj) p(xi) 先验概率：信源发xi的概率 p(xi/yj)后验概率：信宿收到yj后， 推测信源发xi的概率 含义 互信息I(xi;yj) =自信息I(xi) - 条件自信息I(xi/yj) I(xi) _信宿收到yj之前，对信源发xi的不确定度 I(xi/yj) _信宿

4、收到yj之后，对信源发xi的不确定度 I(xi;yj) _收到yj而得到(关于xi )的互信息 =不确定度的减少量互信息第10页，共46页，2022年，5月20日，1点18分，星期一10(2) xi对yj的互信息 I(yj;xi)含义 信源发xi前、后， 信宿收到yj的不确定度的减少互信息第11页，共46页，2022年，5月20日，1点18分，星期一112. 互信息的性质 (1) 对称性I(xi ;yj) = I(yj ;xi) (2) X与Y独立时I(xi ;yj) = 0 (3) I(xi;yj) 可为正、负、03. 条件互信息 给定zk条件下，xi 与yj间互信息互信息第12页，共46页

5、，2022年，5月20日，1点18分，星期一12I(xi;yj) 可为正、负、0的举例设yj代表“闪电”，则当xi代表“打雷”时，I(xi/yj) = 0，I(xi;yj) = I(xi) 0 当xi代表“下雨”时，I(xi/yj) I(xi)，I(xi;yj) 0当xi代表“雾天”时，I(xi/yj) = I(xi)，I(xi;yj) = 0当xi代表“飞机正点起飞”时，I(xi/yj)I(xi)，I(xi;yj) 0 互信息第13页，共46页，2022年，5月20日，1点18分，星期一13平均互信息为了客观地测度信道中流通的信息，定义互信息量I(xi;yj)在联合概率空间p(x,y)中的统

6、计平均值为Y对X的平均互信息量：X对Y的平均互信息量：第14页，共46页，2022年，5月20日，1点18分，星期一14平均互信息由关系式 ，可以推导出 表示通过信源和信道来观测到达信宿信息量，而没有观察信宿 第15页，共46页，2022年，5月20日，1点18分，星期一15平均互信息表示通过信道和信宿来观察到达信宿信息量，而没有观察信源 第16页，共46页，2022年，5月20日，1点18分，星期一16平均互信息第17页，共46页，2022年，5月20日，1点18分，星期一171.Y对X：2.X对Y：3.合写：平均互信息（表达式）H(X) H(X/Y)H(Y) H(Y/X)H(X) + H(

7、Y) H(XY)第18页，共46页，2022年，5月20日，1点18分，星期一181. I(X;Y)= H(X) H(X/Y) (1) H(X)信源熵：X的不确定度 H(X/Y)已知Y时，对X仍剩的不确定度 结论“Y已知”使得对X的不确定度减小了, 即获得了I(X;Y) 的信息量 (2) H(X)信源含有的平均信息量(有用总体) I(X/Y)信宿收到的平均信息量(有用部分)结论 H(X/Y)因信道有扰而丢失的平均信息量，故称损失熵平均互信息（物理意义）第19页，共46页，2022年，5月20日，1点18分，星期一192. I(Y;X)= H(Y) H(Y/X) = I(X;Y) (1) H(Y

8、)信宿收到的平均信息量 I(X;Y)信道传输的平均信息量 结论 H(Y/X)因信道有扰而产生的称噪声熵、散布度 (2) H(Y)Y的先验不定度 H(Y/X)发出X后，关于Y的后验不定度结论 I(Y;X)发X前后，Y不定度的减少量平均互信息（物理意义）第20页，共46页，2022年，5月20日，1点18分，星期一203. I(X;Y) = H(X) + H(Y) H(XY)H(X) +H(Y)通信前，整个系统的先验不确定度H(XY) 通信后，整个系统仍剩的不确定度I(X;Y) 通信前后，整个系统不确定度的减少量，即传输的互信息结论 I(X;Y)平均每传送一个信源符号时， 流经信道的平均(有用)信

9、息量H(X) I(X;Y)H(Y) H(X|Y) H(Y|X) 平均互信息（物理意义）第21页，共46页，2022年，5月20日，1点18分，星期一21文氏图 I(X;Y) = H(X) H(X/Y) = H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 第22页，共46页，2022年，5月20日，1点18分，星期一22文氏图 I(X;Y) = H(X) H(X/Y)

10、= H(Y) H(Y/X) H(XY) = H(X) + H(Y/X) = H(Y) + H(X/Y) H(XY) + I(X;Y) = H(X) + H(Y)H(X/Y)H(Y/X)H(Y)H(X)I(X;Y)H(XY)H(X) I(X;Y)H(Y) H(X/Y) H(Y/X) 第23页，共46页，2022年，5月20日，1点18分，星期一23 1.非负性I(X;Y) 0， 尽管I(xi;yj) 的某些元素可为负 2.对称性I(X;Y) = I(Y;X) 3.极值性 I(X;Y) H(X) I(X;Y) H(Y) 特例 I(X;Y)= H(X) H(X/Y) 当 H(X/Y) = 0 时，

11、I(X;Y)= H(X) 信道无噪（X、Y一一对应） 当 I(X;Y) = 0 时， H(X/Y) = H(X) 信道中断（X、Y独立）平均互信息（性质）第24页，共46页，2022年，5月20日，1点18分，星期一24 4. 凸函数性 (1) I(X;Y) 是信源概率分布P(X) 的上凸函数 （最大值）信道容量的基础； (2) I(X;Y) 是信道转移概率P(Y/X) 的下凸函数 （最小值）率失真函数的基础.平均互信息（性质）第25页，共46页，2022年，5月20日，1点18分，星期一25让一百万只猴子花一百万年的时间来打字，我们就能最终得到一本圣经；如今，我们搞定了！只花了经过相当程度缩

12、减的时间。借助我们特别训练的马尔可夫猴，我们可以实时的重写整部圣经了。第26页，共46页，2022年，5月20日，1点18分，星期一26马尔可夫链（离散时间）马尔可夫链，因安德烈马尔可夫（，18561922）得名，是数学中具有马尔可夫性质的离散时间随机过程。该过程中，在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的。 第27页，共46页，2022年，5月20日，1点18分，星期一27马尔可夫链马尔可夫性质是概率论中的一个概念。随机过程被称为是具有马尔可夫性质，当给定现在状态时该过程的未来状态的条件概率分布，仅依赖于当前状态。换句话说，在给定

13、现在状态时，它与过去状态（即该过程的历史路径）是条件独立的。具有马尔可夫性质的过程通常称之为马尔可夫过程。 第28页，共46页，2022年，5月20日，1点18分，星期一28马尔可夫链马尔可夫过程 Markov process 一类随机过程。它的原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。该过程具有如下特性：在已知目前状态 (现在)的条件下，它未来的演变 (将来)不依赖于它以往的演变 ( 过去 ) 。 例如森林中动物头数的变化构成马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程

14、。第29页，共46页，2022年，5月20日，1点18分，星期一29马尔可夫链关于该过程的研究，1931年A.H.柯尔莫哥洛夫在概率论的解析方法一文中首先将微分方程等分析的方法用于这类过程，奠定了马尔可夫过程的理论基础。1951年前后，伊藤清建立的随机微分方程的理论，为马尔可夫过程的研究开辟了新的道路。1954年前后，W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。第30页，共46页，2022年，5月20日，1点18分，星期一30马尔可夫链马氏链模型描述一类重要的随机动态过程的模型：系统在每个时期所处的状态是随机的；从一时期到下时期的状态

15、按一定概率转移；下时期状态只取决于本时期状态和转移概率已知现在，将来与过去无关（无后效性）；马氏链的两个重要类型 1. 正则链 从任一状态出发经有限次转移能以正概率到达另外任一状态； 2. 吸收链 存在吸收状态（一旦到达就不会离开的状态）,且从任一非吸收状态出发经有限次转移能以正概率到达吸收状态第31页，共46页，2022年，5月20日，1点18分，星期一31如果随机变量 与 关于 条件独立，即 称 为马尔可夫链；齐次马尔可夫链: 如果转移概率与所处的状态 无关,即马尔可夫链第32页，共46页，2022年，5月20日，1点18分，星期一32定理 若 是一个马尔可夫链，则 若是齐次马尔可夫链，则

16、马尔可夫链第33页，共46页，2022年，5月20日，1点18分，星期一33 数据处理定理 : 当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 （X-Y-Z构成马氏链） 第一级处理器第二级处理器XYZ输入图示 级联处理器平均互信息（应用）第34页，共46页，2022年，5月20日，1点18分，星期一34 数据处理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意义 信息不增原理 每经一次 处理，可能丢失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（应用）第35页，共46页，2022年，5月20日，1点18分，星期一35 符号xi与

17、符号对yj zk之间的互信息量定义为： I(xi;yjzk)=log 定义 条件互信息量是在给定zk条件下，xi与yj之间的互信息量，定义为： I（xi;yj|zk）=log （三维）平均互信息量第36页，共46页，2022年，5月20日，1点18分，星期一36I（xi;yjzk）I（xi; zk）I（xi;yj |zk） 说明: 一个联合事件yjzk出现后所提供的有关xi的信息量I(xi;yjzk)等于zk事件出现后提供的有关xi的信息量I（xi;zk）,加上在给定zk条件下再出现yj事件后所提供的有关xi的信息量 I（xi;yj/zk）（三维）平均互信息量I（xi;yjzk）I（xi; y

18、j）I（xi;zk /yj）第37页，共46页，2022年，5月20日，1点18分，星期一37I（xi;yjzk）= I（xi;zkyj）证明:因为 所以 I（xi;yjzk）= I（xi;zkyj）（三维）平均互信息量第38页，共46页，2022年，5月20日，1点18分，星期一38I（X;YZ）I（X;Y）I（X;Z|Y） I(X;YZ)I(X;Z)I(X;Y/Z) I(YZ;X)I(Y;X)I(Z;X/Y) 三维联合集XYZ上的 平均互信息量 第39页，共46页，2022年，5月20日，1点18分，星期一39 数据处理定理 I(X;Z) I(X;Y) I(X;Z) I(Y;Z)意义 信息不增原理 每经一次 处理，可能丢失一部分信息P(Y/X)P(Z/Y)XYZ平均互信息（应用）第40页，共46页，2022年，5月20日，1点18分，星期一40证明: 图中 X是输入消息集合 Y是第一级处理器的输出消息集合 Z为第二级处理器的输出消息集合 假设：在Y条件下X与Z相互独立可得：即得 (1)第41页，共46页，2022年，5月20日，1点18分，星期一41而且 (2)又由 I(X;YZ)I(X;Y)I(X;Z/Y) 和 I(X;YZ)I(X;ZY)I(X;Z)I(X;Y/Z) 得: I(X;Z)= I(X;Y)I(X;Z/Y) -