版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第二章信息论的基本概念第一页,共一百一十二页,2022年,8月28日§2.1离散随机变量的熵
2.1.1熵的引入2.1.2香农熵与热力学熵的关系2.1.3熵可以作为信息的度量(熵的物理意义)2.1.4熵函数的性质2.1.5联合熵和条件熵1第二页,共一百一十二页,2022年,8月28日信息无处不在,但:信息用什么表示?如何表示?不确定性=携载的信息可用随机变量的不确定性或随机性作为信息的表示“信息是事物运动状态或存在方式的不确定性的描述”--香农问题1:信息是随机的§2.1.1熵的引入-1第三页,共一百一十二页,2022年,8月28日
如何度量信息?如何计算消息的信息量?某些消息比另外一些消息传递了更多的信息。
类似于火车运输货物多少用“货运量”衡量
消息信号传输信息多少用“信息量”衡量概率论知识:事件出现的可能性愈小,概率愈小;该事件是否会出现的不确定性就愈大事件出现的可能性愈大,概率愈大该事件是否会出现的不确定性就愈小
信息量与消息出现的概率有关。问题2:§2.1.1熵的引入-2第四页,共一百一十二页,2022年,8月28日研究思路一:自信息--概率空间的平均自信息--熵研究思路二:直接定义§2.1.1熵的引入-32第五页,共一百一十二页,2022年,8月28日分析信息的特征,信息量(消息)关系式应反映如下规律:(1)信息量是概率的非负函数,即I=f[P(x)](2)P(x)越小,I越大;反之,I越小,且P(x)→1时,I→0P(x)→0时,I→∞(3)若干个互相独立事件构成的消息,所含信息量等于各独立事件信息量之和,也就是说,信息具有相加性,即I[P(x1)P(x2)…]=I[P(x1)]+I[P(x2)]+…自信息:研究思路一第六页,共一百一十二页,2022年,8月28日信息量的直观定义:收到某消息获得的信息量=不确定性减少的量
=(收到此消息前关于某事件发生的不确定性)
-(收到此消息后关于某事件发生的不确定性)在无噪声时,通过信道的传输,可以完全不失真地收到所发的消息,收到此消息后关于某事件发生的不确定性完全消除,此项为零。因此得
收到某消息获得的信息量
=收到此消息前关于某事件发生的不确定性
=信源输出的此消息中所含有的信息量自信息:第七页,共一百一十二页,2022年,8月28日可以用泛函分析方法解得满足条件的函数形式为用概率测度定义信息量:设离散信源X,其概率空间为如果知道事件xi已发生,则该事件所含有的自信息定义为自信息:第八页,共一百一十二页,2022年,8月28日自信息含义当事件xi发生以前:表示事件xi发生的不确定性。当事件xi发生以后:表示事件xi所含有(或所提供)的信息量。在无噪信道中,事件xi发生后,能正确无误地传输到收信者,所以I(xi)可代表接收到消息xi后所获得的信息量。这是因为消除了I(xi)大小的不确定性,才获得这么大小的信息量。第九页,共一百一十二页,2022年,8月28日自信息的测度单位及其换算关系如果取以2为底,则信息量单位称为比特(binaryunit)如果取以e为底,则信息量单位称为奈特(natureunit)如果取以10为底,则信息量单位称为哈特(Hartunit)
1奈特=1.44比特1哈特=3.32比特一般都采用以“2”为底的对数,为了书写简洁,有时把底数2略去不写。第十页,共一百一十二页,2022年,8月28日
信息论中“比特”与
计算机术语中“比特”区别
如果p(xi)=1/2,则I(xi)=1比特。所以1比特信息量就是两个互不相容的等可能事件之一发生时所提供的信息量。信息论中“比特”是指抽象的信息量单位;计算机术语中“比特”是代表二元符号(数字);这两种定义之间的关系是:每个二元符号所能提供的最大平均信息量为1比特。第十一页,共一百一十二页,2022年,8月28日信源熵—平均信息量自信息是一个随机变量:自信息是指某一信源发出某一消息所含有的信息量。所发出的消息不同,它们所含有的信息量也就不同。平均信息量—信源熵:自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵/熵函数/熵。信息熵的单位:取决于对数选取的底。一般选用以2为底,其单位为比特/符号。信息熵的意义:信源的信息熵H是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。第十二页,共一百一十二页,2022年,8月28日熵(Entropy)的直接引入一个离散随机变量X,以不同的取值概率有N个可能取值,XP(x)=a1a2…aNp1p2…pN信息论关心:X的不确定性不确定性--大,获取的信息量--多研究思路二第十三页,共一百一十二页,2022年,8月28日熵的引入不确定性分析:随机变量X、Y、ZXP(X)=
a1
a20.010.99ZP(Z)=a1
a2
a3
a4a50.20.20.20.20.2YP(Y)=
a1
a20.50.5问题:1、能否度量?小大2、如何度量??第十四页,共一百一十二页,2022年,8月28日香农指出:存在熵函数
满足先验条件1、连续性条件:是的连续函数2、等概时为单调增函数:是N的增函数3、可加性条件:当随机变量的取值不是通过一次试验而是若干次试验确定取值时,X在各次试验中的不确定性可加。结论:唯一的形式:C=常数>0,即:第十五页,共一百一十二页,2022年,8月28日可加性条件进一步说明:当随机变量的取值不是通过一次试验而是若干次试验确定取值时,随机变量在各次试验中的不确定性可加,且其和始终与通过一次试验取得结果的不确定程度相同。第十六页,共一百一十二页,2022年,8月28日熵的定义X为一随机变量样本空间X={x1,x2,….xn}pi或p(xi)是输出为xi的概率定义为随机变量的熵函数含义:(1)通过观测随机变量X所获得的平均信息量(2)对随机变量X的“不确定性”、“随机性”的度量第十七页,共一百一十二页,2022年,8月28日熵的单位与前面介绍自信息的单位时相同,信息熵的单位也与公式中的对数取底有关。通信与信息中最常用的是以2为底,这时单位为比特(bit);理论推导中用以e为底较方便,这时单位为奈特(Nat);工程上用以10为底较方便,这时单位为哈特利(Hartley)。它们之间可以引用对数换底公式进行互换。比如:1bit=0.693Nat=0.301Hartley第十八页,共一百一十二页,2022年,8月28日熵H(X)--通过观测随机变量X所获得的平均信息量进一步理解:平均--统计平均(区别与算术平均)单位--抽象的信息单位,无量纲(量纲≠单位)比特--不同于计算机中的“比特”计算机:代表一个二元数字(binarydigit)信息:对数取2为底时信息量的单位关系:每一个二元数字所能提供的最大平均信息量为1比特认为:当x=0时xlog(1/x)=0通信:信息速率—单位时间内信息的数量3第十九页,共一百一十二页,2022年,8月28日§2.1.2香农熵与热力学中热熵的关系熵这个名词是香农从物理学中的统计热力学借用过来的,在物理学中称它为热熵,是表示分子混乱程度的一个物理量,这里,香农引用它来描述随机变量的平均不确定性,含义是类似的。但是在热力学中,任何孤立系统的演化,热熵只能增加不能减少;而在信息论中,信息熵正相反,只会减少,不会增加。所以有人称信息熵为负热熵。二者还有一个重大差别:热熵是有量纲的,而香农熵是无量纲的。2第二十页,共一百一十二页,2022年,8月28日(不确定性)§2.1.3熵可以作为信息的量度对于随机变量而言:试验前--试验后--各取值的概率分布确切取值(0)(不确定性)熵的差值一定的确切性多次试验后--通过试验--消除了不确定性--获得了信息信息量=获得的信息的数量=第二十一页,共一百一十二页,2022年,8月28日例2.1:试验前:试验后:XP(x)=1234561/61/61/61/61/61/6H(x)=log6=2.58bits=1.79natsX1P(x1)=123456010000H(x1)=0H(x)-H(x1)
=log6第二十二页,共一百一十二页,2022年,8月28日例2.2:试验前:H(x)=log8=3(bit/符号)XP(x)=123456781/81/81/81/81/81/81/81/812312345678第一次测量后:X1P(x1)=123456781/41/41/41/40000H(x1)=log4=2(bit/符号)H(x)-H(x1)=1--获得1bit信息量第二十三页,共一百一十二页,2022年,8月28日H(x2)-H(x3)=1--获得1bit信息量第二次测量后:X2P(x2)=123456781/21/2000000H(x2)=log2=1(bit/符号)第三次测量后:X3P(x3)=1234567810000000H(x3)=log1=0(bit/符号)H(x1)-H(x2)=1--获得1bit信息量H(X)表示在获知哪个灯泡是坏的情况前,关于哪个灯泡已损坏的平均不确定性,即要确定哪个灯泡是坏的,至少需要获得3个bit的信息量,才能完全消除不确定性。第二十四页,共一百一十二页,2022年,8月28日熵的物理含义观察随机变量X、Y、ZXP(x)=a1a20.010.99ZP(z)=a1a2a3a4a50.20.20.20.20.2YP(y)=a1a20.50.5=0.08(比特/符号)=1(比特/符号)H(Z)=5(-0.2log0.2)=2.32(比特/符号)第二十五页,共一百一十二页,2022年,8月28日熵的物理含义熵是随机变量的随机性的描述。变量Y、Z等概,随机性大,变量X不等概,则随机性小等概情况下,可取值越多,随机性越大H()是描述随机变量所需的比特数熵是随机变量平均不确定性的描述X试验中发生a1,获得的自信息为-log0.01=6.64(bit)Y试验中发生a1,获得的自信息为-log0.5=2.32(bit)H()反映的是平均的不确定性第二十六页,共一百一十二页,2022年,8月28日例2.3设某班学生在一次考试中获优(A)、良(B)、中(C)、及格(D)和不及格(E)的人数相等。当教师通知某甲:“你没有不及格”,甲获得了多少比特信息?为确定自己的成绩,甲还需要多少信息?XP(x)=ABCDE0.20.20.20.20.2X’P(x’)=ABCDE0.250.250.250.250H(X)=5(-0.2log0.2)=2.32(比特)H(X’)=4(-0.25log0.25)=2(比特)甲获得的信息=H(X)-H(X’)=0.32(比特)还需要的信息=2.32-0.32=2(比特)2第二十七页,共一百一十二页,2022年,8月28日§2.1.4熵函数的性质香农熵是概率矢量的非负的上凸函数性质1:非负性性质2:上凸性性质3:唯一性(连续性、可加性、等概单调增)第二十八页,共一百一十二页,2022年,8月28日熵函数的性质--非负性证明一:因为:则:所以:第二十九页,共一百一十二页,2022年,8月28日熵函数的性质--非负性证明二:有:或:所以:第三十页,共一百一十二页,2022年,8月28日熵函数的性质--上凸性
凸性的概念:若对区域D中任意两点和,均有:则称:区域D是凸域。
理解:若两点和在凸域D内,则和之间的线段也整个在区域D内。第三十一页,共一百一十二页,2022年,8月28日在[a,b]上定义的下凸函数若在凸域内第三十二页,共一百一十二页,2022年,8月28日在[a,b]上定义的上凸函数若在凸域内第三十三页,共一百一十二页,2022年,8月28日Jenson不等式这一结果被称为Jenson不等式。Jenson不等式可以根据凸函数和数学归纳法来证明第三十四页,共一百一十二页,2022年,8月28日熵函数的性质—上凸性上凸性:熵函数具有凸性,即H(P)是P的上凸函数。证明:(1)证明概率矢量P=(p1,p2,…,pN)的集合组成的区域是一个凸域。(2)利用作业第三十五页,共一百一十二页,2022年,8月28日熵函数的性质定理2.1-极值性对于离散随机变量,当其可能的取值等概分布时,其熵达到最大值。即:其中:N为X可能取值得个数。第三十六页,共一百一十二页,2022年,8月28日例2.4:二元熵函数是对0-1分布的随机变量所求的熵:XP(x)=01p1-pH(X)=-plogp-(1-p)log(1-p)=H(p)有:而:可以证明,p=1/2时,H(p)取最大值,为log2=1。而p=0或1时,H(p)=0,故二元熵函数的曲线如图所示:第三十七页,共一百一十二页,2022年,8月28日p1.01.00.50H(p)/bit二元熵函数曲线等概时(p=0.5):随机变量具有最大的不确定性,p=0,1时:随机变量的不确定性消失。计算机术语VS信息单位:“比特”每一个二元数字所能提供的最大平均信息量为1比特符号等概分布的二元数字序列中,每一个二元数字将平均提供1比特的信息量;符号非等概分布时,每一个二元数字所提供的平均信息量总是小于1比特第三十八页,共一百一十二页,2022年,8月28日例:2.5P={0.5,0.25,0.25}Q={0.48,0.32,0.2}H(P)=H(Q)=1.5bits不同的概率分布熵可以相同For3symbols:Hmax(P)=log3=1.585bits进一步理解:熵只与随机变量的总体结构有关,它表征随机变量的总体的平均不确定性。局限性:不能描述时间本身的具体含义和主观价值
第三十九页,共一百一十二页,2022年,8月28日定理2.2
设离散随机变量的概密矩阵为函数是随机变量不确定性的量度,若此函数满足条件连续性等概时单调增函数性可加性则此函数必为熵函数的性质--唯一性XP(x)=a1a2…aNp1p2…pN证明:可参见朱雪龙《应用信息论基础》P24第四十页,共一百一十二页,2022年,8月28日§2.1.5联合熵与条件熵-条件熵物理含义:已知一随机变量的情况下,对另一随机变量不确定性的量度条件熵:理解:观测Y以后,仍保留的关于X的不确定量。信道第四十一页,共一百一十二页,2022年,8月28日§2.1.5联合熵与条件熵-联合熵联合熵物理意义:二元随机变量不确定性的量度第四十二页,共一百一十二页,2022年,8月28日联合熵、条件熵的关系:当X,Y相互独立时,有:于是有:理解:当随机变量相互独立时,其联合熵等于单个随机变量的熵之和,而条件熵等于无条件熵。第四十三页,共一百一十二页,2022年,8月28日联合熵、条件熵的关系:一般情况下理解:表明一般情形下:条件熵总是小于无条件熵。注意:这是平均意义上的2第四十四页,共一百一十二页,2022年,8月28日“相对”熵:设p(x),q(x)是两个不同的离散概率分布函数,则:为概率分布函数p(x)关于q(x)的“相对”熵。2作业:利用Jenson不等式证明意义:如果p(x)看作系统本身的概率分布,q(x)看做人们对系统进行估计得到的经验概率分布,则相对熵反映了由于逼近误差引起的信息量的丢失。第四十五页,共一百一十二页,2022年,8月28日§2.2
离散随机变量的互信息(Mutualinformation)
互信息的定义2.2.2互信息函数的性质2.2.3熵VS互信息
1第四十六页,共一百一十二页,2022年,8月28日H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)H(Y|X)
H(Y),ifandonlyifX,Y独立时,等号成立H(XY)H(X)+H(Y),ifandonlyifX,Y独立时,等号成立H(X)与H(X|Y)之间的差值
H(X)–H(X|Y)可以认为是变量Y能够提供的关于变量X的平均信息量--定义为互信息
即I(X;Y)=H(X)–H(X|Y)§2.2.1互信息的定义-1第四十七页,共一百一十二页,2022年,8月28日§2.2.1互信息的定义-2I(X;Y)=I(Y;X)=H(Y)–H(Y|X)=H(X)–H(X|Y)H(X)+H(Y)=H(XY)+I(X;Y)I(X;Y)=H(X)+H(Y)–H(XY)图像配准第四十八页,共一百一十二页,2022年,8月28日§2.2.1互信息的定义-3定义:离散随机变量X和Y之间的互信息第四十九页,共一百一十二页,2022年,8月28日§2.2.1互信息的定义-4和是随机变量X和Y之间相互提供的信息量--称为互信息是完全确切的=证明略。一般情况下:理解:了解一事物总对另一事物的了解有所帮助第五十页,共一百一十二页,2022年,8月28日§2.2.1互信息的定义-4当随机变量X和Y之间有确定的关系时1、X可以唯一确定Y,此时:故:2、Y可以唯一确定X,此时:故:是对X和Y之间统计依存程度的信息量度第五十一页,共一百一十二页,2022年,8月28日§2.2.1互信息的定义-5=+=+=另一种定义:这里:第五十二页,共一百一十二页,2022年,8月28日变换得到互信息的另一种表达式:I(X;Y)是随机变量X的概率矢量p
和条件概率矩阵Q的函数2第五十三页,共一百一十二页,2022年,8月28日2==第五十四页,共一百一十二页,2022年,8月28日2问题引出:在通信系统中,人们往往对接收到的数据进行信息处理和分析,然而,很多处理模式因为缺少正确的抉择,而导致信息量的丢失或增加了对原始数据的干扰。下面我们从信息论的角度加以分析。定义:假设随机变量X,Y,Z的取值空间是由有限个离散点组成,定义两个随机变量X、Y与Z的互信息为:链式法则与信息处理第五十五页,共一百一十二页,2022年,8月28日2即:引理:链式法则与信息处理第五十六页,共一百一十二页,2022年,8月28日2请自己看证明同理可证:链式法则与信息处理第五十七页,共一百一十二页,2022年,8月28日讨论:上述不等式成立的条件为:对任意的当时,有:这表明:如果是一马尔科夫链,则等号成立。2如果是一马尔科夫链;则也是一马尔科夫链。链式法则与信息处理第五十八页,共一百一十二页,2022年,8月28日2链式法则与信息处理设是一马尔科夫链;则定理:证明:引理部分可得,因是一马尔科夫链;又利用是马尔科夫链;利用引理可得第五十九页,共一百一十二页,2022年,8月28日2链式法则与信息处理所以:上述定理表明:对一个信息处理系统,如果系统数据处理过程可用一马尔科夫链进行描述,那么每增加一次处理,系统信息量是递减的。从另一个角度讲,系统每增加一次处理,数据特征的不确定性是递减的,确定性是递增的。第六十页,共一百一十二页,2022年,8月28日2多个随机变量下的互信息本部分内容学生自己推导,作业。第六十一页,共一百一十二页,2022年,8月28日§2.2.2互信息函数的性质互信息与p(x)的关系性质1:I(P;Q)是P(x)的上凸函数.I(p;Q)pp’信道理解:
可以看成信道输入的概率分布第六十二页,共一百一十二页,2022年,8月28日§2.2.2互信息函数的性质互信息与Q矩阵的关系
性质2:I(p;Q)是Q的下凹函数.理解:Q可以看成信道转移概率分布I(p;Q)QQ’信道1信道2信道第六十三页,共一百一十二页,2022年,8月28日§2.2.2互信息函数的性质互信息与p(x)的相关性的关系
性质3:若概率矢量p是离散无记忆的,证明参见傅祖芸“信息论-基础理论与应用(第二版)”p118第六十四页,共一百一十二页,2022年,8月28日§2.2.2互信息函数的性质互信息与Q的相关性的关系
性质4:若条件概率矩阵Q是离散无记忆的,第六十五页,共一百一十二页,2022年,8月28日§2.2.2互信息函数的性质互信息与p(x)及Q的相关性的关系
推论:若概率矢量p和条件概率矩阵Q都是离散无记忆的,2第六十六页,共一百一十二页,2022年,8月28日证明:因为信源有可能是有记忆信源,所以信道输出之间有可能相互关联第六十七页,共一百一十二页,2022年,8月28日第六十八页,共一百一十二页,2022年,8月28日当信源是无记忆信源时,
第六十九页,共一百一十二页,2022年,8月28日第七十页,共一百一十二页,2022年,8月28日第七十一页,共一百一十二页,2022年,8月28日§2.2.3熵VS互信息信息熵是表征随机变量本身统计特性的一个物理量,它是随机变量平均不确定性的度量,是从总体统计特性上对随机变量的一个客观描述。互信息I(X;Y),作为信息量一般是针对观测到另一个随机变量时而言的,是一个相对量,是指观测者从随机变量Y中所获得的关于随机变量X的信息度量。在通信中,互信息是针对接收者而言的,是指接收者收到的关于信源的信息度量,当通信中无干扰时,接收者获得的信息量数量上就等于信源给出的信息熵,但是两者的概念不一样;当信道有干扰时,不仅概念上不一样,而且数量上也不相等。信息熵也可理解为信源输出的信息量。2第七十二页,共一百一十二页,2022年,8月28日作业二:已知12个球中有一个球的重量与其他球不同,其他球均等重,(1)、用天平称几次可找出此球?(2)、给出一种找出此球的方法,并求:每次称量所减少的不确定性(即获得的信息量)是多少?作业:作业一:一个出老千的赌徒有一枚灌了铅的色子A,它掷出1点的概率是2/3,掷出2至6点的概率各为1/15。不幸的是,他将色子A与另外两枚正常的色子B、C混在一起了。为了区分出A,他随机抽出一枚色子并且掷出了1点,那么他判断这个色子为A的正确概率是多少?他不放心,拿着这个色子又掷了一次,又得到了1点,那么此时他判断这个色子为A的正确概率是多少?第七十三页,共一百一十二页,2022年,8月28日3、有一离散无记忆信源,其输出为X{0,1,2},相应的概率为用两个独立的通信系统去传输它,其收到的结果分别为{0,1},{0,1},已知条件概率如下表所列。求和,并判断哪一个通信系统好些。
0101010121/21/201010110201第七十四页,共一百一十二页,2022年,8月28日作业一:已知12个球中有一个球的重量与其他球不同,其他球均等重,1、用天平称几次可找出此球?2、给出一种找出此球的方法,并求:每次称量所减少的不确定性(即获得的信息量)是多少?
解1、设“在12个球中有一个球的重量与其他球不同”这事件为,其出现的概率为又设“这个特别球的重量比其它的重量是重或轻”这事件为,其出现的概率为第七十五页,共一百一十二页,2022年,8月28日第七十六页,共一百一十二页,2022年,8月28日2、把12个球分ABC三份:每份4个,记作A{A1,A2,A3,A4},B{B1,B2,B3,B4},C{C1,C2,C3,C4}开始第一称:取A份放天平左盘,B份放右盘
如果(左=右)则说明次品在C组四个中开始第二称:取C1放左盘,C2放右盘
如果(左=右)则说明次品在C3,C4中开始第三称:把C1取出,把C3放入左盘如果(左=右)则说明次品是C4;否则说明次品是C3第七十七页,共一百一十二页,2022年,8月28日否则说明次品在C1,C2中开始第三称:把C1取出,把C3放入左盘如果(左=右)则说明次品是C1;否则说明次品是C2否则说明次品在A组、B组八个中,这个时候需要记住天平向那边倾斜(假设向左边倾斜,就是说左边重,左>右)这时需要第二次称重.
第七十八页,共一百一十二页,2022年,8月28日第二次称,从右盘B组中取出B2,B3,B4,从左盘A组中取A2,A3,A4放入右盘,从C组中任意取C2,C3,C4放入左盘如果(左=右),则说明次品在B2,B3,B4中,而且说明次品是轻的
开始第三称:取出天平里全部的球,把B2放入左盘,把
B3放入右盘如果(左=右);则说明次品是B4;否则说明次品是在B2,B3中如果(左>右)则说明次品是B3;否则说明次品是B2第七十九页,共一百一十二页,2022年,8月28日否则说明次品在A1,A2,A3,A4,B1中,这个时候需要记住天平向那边倾斜
如果(左>右)则说明次品在A1,B1中开始第三称,全部取出天平里的球,把A1、B1放入左盘,把其他任取2球放入右盘,天平肯定不平衡了如果(左>右)则说明次品是A1,且次品重;否则说明次品是B1,且次品轻否则说明次品在A2,A3,A4中,且次品重开始第三称,全部取出天平里的球,把A2放入左盘,把A3放入右盘如果(左=右)则说明次品是A4,且次品重如果(左>右)则说明次品是A2,且次品重;否则,说明次品是B3,且次品重第八十页,共一百一十二页,2022年,8月28日单维连续信源实际中,某些信源的输出常常是时间和取值都是连续的随机函数。例如语音信号、电视信号。这样的信源称为连续信源,其输出消息可以用随机过程{x(t)}来表示。在某一固定的时刻t0,信源{x(t)}的输出是一个取值连续的随机变量X。由一个连续随机变量X表示的连续信源,称为单维连续信源。§2.3连续随机变量下的熵和互信息连续随机变量下的微分熵第八十一页,共一百一十二页,2022年,8月28日单维连续信源的表示方法•连续信源中消息数是无限的。•连续信源可用概率密度函数来描述。离散信源连续信源消息:离散符号信源空间:消息:取值连续的随机变量信源空间:第八十二页,共一百一十二页,2022年,8月28日单维连续信源的熵把落在第i个区间中的全部x值都由xi表示,这样,在[a,b]中连续取值的连续信源X,即可量化成取离散值xi(i=1,2,…,n)的离散信源Xn积分中值定理把区间[a,b]等分成n个区间,区间宽连续随机变量X落在第i个区间的概率为第八十三页,共一百一十二页,2022年,8月28日离散信源Xn的信源空间为Xn的概率空间是一个完备集其中,第八十四页,共一百一十二页,2022年,8月28日微分熵(相对熵):h(X)第八十五页,共一百一十二页,2022年,8月28日H(X)为X的信息熵,无限大h(X)称为X的微分熵(相对熵),由p(x)确定注意:相对熵h(X)不代表信源X的平均不确定性,也不代表X每取一个数值所提供的平均信息量,不含有信息的内涵令则(无限大常数)定义h(X)的原因:2、互信息(熵差),无限大量抵消,具有信息的特征1、形式上与离散信源熵统一第八十六页,共一百一十二页,2022年,8月28日连续信源的各种熵边界熵h(X)=-∫
∞
-∞
p(x)㏒p(x)dxh(Y)=-∫
∞
-∞
p(y)㏒p(y)dy条件熵h(Y/X)=-∫
∞
-∞
p(xy)㏒p(y/x)dxdy∫
∞
-∞
h(X/Y)=-∫
∞
-∞
p(xy)㏒p(x/y)dxdy∫
∞
-∞
联合熵h(XY)=-∫
∞
-∞
p(xy)㏒p(xy)dxdy∫
∞
-∞
第八十七页,共一百一十二页,2022年,8月28日§2.3.2几种单维连续信源的相对熵均匀分布相对熵:信源空间:相对熵无非负性,可为负值第八十八页,共一百一十二页,2022年,8月28日高斯分布:第八十九页,共一百一十二页,2022年,8月28日第九十页,共一百一十二页,2022年,8月28日与方差有关,与均值无关当均值m=0(即方差表示平均功率)时:相对熵只与平均功率有关第九十一页,共一百一十二页,2022年,8月28日指数分布:第九十二页,共一百一十二页,2022年,8月28日指数分布的相对熵只取决于信源的均值a第九十三页,共一百一十二页,2022年,8月28日§2.3.3相对熵的性质相对熵的可加性并当且仅当X与Y统计独立时,等号成立,所以可得:h(XY)≤h(X)+h(Y)第九十四页,共一百一十二页,2022年,8月28日相对熵的极值性詹森不等式:设函数f(x)在区间A中连续,概率密度函数满足,当f(x)是上凸函数时,有因f(x)=logx是上凸函数,设q(x)为另一概率密度函数,所以表明,相对熵存在最大值,与离散信源的熵H(X)类似若等式成立,则表明达最大值第九十五页,共一百一十二页,2022年,8月28日相对熵的上凸性设是单维连续信源X的两种概率密度函数,则有设则故亦可看作连续信源X的另一种概率密度函数是上凸函数第九十六页,共一百一十二页,2022年,8月28日最大相对熵定理
由h(X)的上凸性和极值性可知,h(X)的最大值就是h(X)的极大值。一般,单维连续信源X要受约束条件的限制:对于单维连续信源X,在取值区间[a,b]内,若有这样一个概率密度函数p(x),对另一个满足同样约束条件的概率密度函数q(x),有则这个函数p(x)就是能使单维连续信源X的相对熵hp(X)达到最大值的概率密度函数。第九十七页,共一百一十二页,2022年,8月28日峰值功率受限最大熵定理对于输出消息的峰值功率受限的单维连续信源,当输出消息的概率密度是均匀分布时,相对熵达到最大值。均匀分布的概率密度函数在满足公式(111)时可求:最大相对熵峰值功率受限实质上就是取值区间受限。当,是信源X的输出幅值,是信源X的峰值功率。第九十八页,共一百一十二页,2022年,8月28日均值受限最大熵定理对于输出非负消息且其均值受限的单维连续信源,当输出消息的概率密度是指数分布时,其相对熵达到最大值。指数分布的概率密度函数最大相对熵
只取决于限定均值a在满足公式(111)时可求:第九十九页,共一百一
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年度食用油零售商与生产商购销合作协议3篇
- 二零二五年驾校场地租赁与市场拓展合作合同3篇
- 二零二五版建筑公司安全管理人员聘用合同范本3篇
- 二零二五版房产经纪人佣金提成与业绩奖励合作协议3篇
- 二零二五版KTV联盟商家会员生日礼遇与关怀服务合同3篇
- 二零二五年度酒吧租赁合同范本(创新版)3篇
- 二零二五年度ktv装修项目安全风险评估与控制合同3篇
- 二零二五年度农业大棚租赁与智能灌溉系统合同3篇
- 二零二五年度餐饮门面租赁合同示范文本(含租金调整)3篇
- 二手房买卖分期付款标准协议版B版
- 辐射安全知识培训课件
- 2023-2024学年八年级(上)期末数学试卷
- 2025年烟花爆竹储存证考试题库
- 2025年北京机场地服岗位招聘历年高频重点提升(共500题)附带答案详解
- ICH《M10:生物分析方法验证及样品分析》
- 2024-2030年全球及中国医用除尘器行业销售模式及盈利前景预测报告
- 2025学年人教新版英语七下Unit1随堂小测
- 2024年度光伏发电项目施工合同工程量追加补充协议3篇
- 建筑废弃混凝土处置和再生建材利用措施计划
- 2024年药品质量信息管理制度(2篇)
- 2024-2025学年人教版八年级物理第七章力单元测试题
评论
0/150
提交评论