连续信源的最大熵与最大熵条件

1、 青 岛 农 业 大 学本 科 生 课 程 论 文论 文 题 目 连续信源的最大熵与最大熵条件 学生专业班级 信息与计算科学 0902 学生姓名（学号） 指 导 教 师 吴慧 完 成 时 间 2012-6-25 2012 年 6 月 25 日课 程 论 文 任 务 书学生姓名 指导教师 吴慧 论文题目 连续信源的最大熵与最大熵条件 论文内容（需明确列出研究的问题）： 1简述连续信源的基本概要 。 2 定义了连续信源的差熵公式，分别介绍了满足均匀分布和高斯分布的两种特殊信源 。 3推导了连续信源的最大熵值及最大熵条件。 资料、数据、技术水平等方面的要求： 1概率论的均匀分布、高斯分布的相关知识。

2、 2以及在这两种分布下的连续信源和高斯信源。 3在不同的约束条件下，求连续信源差熵的最大值一种是信源的输出值受限，另一种是信源的输出平均功率受限。 4 詹森不等式以及数学分析的定积分和反常积分、不定积分等数学公式。 发出任务书日期 2012-6-6 完成论文日期 2012-6-25 教研室意见（签字） 院长意见（签字） 连续信源的最大熵与最大熵条件信息与计算科学 指导老师 吴慧摘要：本文简述了连续信源的基本概要并定义了连续信源的差熵公式，分别介绍了满足均匀分布和高斯分布的两种特殊信源，推导了连续信源的最大熵值及最大熵条件。 关键词：连续信源 最大熵 均匀分布 高斯分布 功率受限 The max

3、imum entropy and maximum entropy conditionof consecutive letter of the source Information and Computing Sciences Bian jiangTutor WuhuiAbstract：: On the base of continuous source this eassy describes the basic outline and define differential entropy formula, introduced a uniform distribution and Gaus

4、sian distribution of the two special source, derivation of a continuous source of maximum entropy and maximum entropy conditions.Keyword: Continuous source Maximum entropy Uniform distribution Normal distribution Power is limited引言：科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，

5、信息论方法也逐渐被广泛应用于各个领域。信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。1948年C.E.Shannon为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。近年来，以不确定性信息为研究对象的信息论理论和方法在众多

6、领域得到了广泛应用，并取得了许多重要的研究成果。迄今为止，较为成熟的研究成果有：E.T.Jaynes在1957年提出的最大熵原理的理论；S.K.Kullback在1959年首次提出后又为J.S.Shore等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov在1956年提出的关于信息量度定义的三种方法概率法，组合法，计算法；A.N.Kolmogorov在1968年阐明并为J.Chaitin在1987年系统发展了的关于算法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。1连续信源及其差熵 在通信系统中，所传输的消息可分为离散消息和连续消息。对离散信

7、源而言，它们输的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。而实际信源的输出常常时间、取值都连续的消息。信源输出的消息是在时间上离散，而取值上连续的、随机的，这种信源称为连续信源。例如遥控系统中有关电压、温度、压力等测得的连续数据。基本连续信源的输出是取值连续的单个随机变量，即单符号的连续信源。基本连续信源的数学模型为 = (1-1) 并满足 (1-2)或者 = (1-3)满足 (1-4)连续信源的熵定义为 H(x)=- 连续信源的熵与离散信源的熵具有相同的形式，但其意义是不同的。对连续信源而言，可以假设是一个不可数的无限多个幅度值的信源，需要无限多二进制

8、位数(比特)来表示，因而连续信源的不确定性应为无穷大。我们采用式1-4来定义连续信源的熵，是因为实际问题中，常遇到的是熵的差值(如平均互信息量)，这样可使实际熵中的无穷大量得以抵消。因此，连续信源的熵具有相对性，有时又称为相对熵，或差熵。2两种典型的连续信源 现在来计算两种常见的特殊连续信源的相对熵。21均匀分布的连续信源一维连续随机变量X在a,b区间内均匀分布时，概率密度 函数为Error! No bookmark name given.Error! No bookmark name given.= (2-1) 则 (2-2) 当取对数以2为底时，单位为比特/自由度。 N维连续平稳信源，若其

9、输出N维矢量X=(X1X2 .XN)其分量分别在a1,b1a2,b2aN,bN的区问内均匀分布，即N维联合概率密度: =(2-3)则称为在N维区域体积内均匀分布的连续平稳信源。又1-4可知，其满足p(x)=p(x1，x2，xN)= (2-4) 表明N维矢量x中各变量Xi(i=1，N)彼此统计独立，则此连续信源为无记忆信源，可求得此N维连续信源的相对熵为H(x)=- =-dx1dx2dxN =log =可见，N维区域体积内均匀分布的连续信源的相对熵就是N维趋于体积内的对数。也等于各变量Xi在各自取值区间ai,bi均匀分布时的差熵H(Xi)之和。 22高斯信源 基本高斯信源是指信源输出的一维连续性

10、随机变量x的概密度分布是正分布，即 = （2-5）式中，m是X的均值，2是X的方差。这个连续信源的熵为 H(x)=-dx =-(-log)dx+dxloge =log+1/2loge =1/2loge2e （2-6）式中，因为dx=1和dx=可见，正态分步的连续信源的熵与数学期望m无关，只与其方差有关。如果N维连续平稳信源输出的N维连续随机矢量X=(X1X2 .XN)是正态分布，则称此信源为N维高斯信源。若各随机变量之间统计独立，可计算得N维统计独立的正态分布随机矢量的差熵为 H(x)=N/2log2e(1222N2) 1/N= （2-7）当N=I即x为一维随机变量时，式2-7就成为式2-6。

11、这就是高斯信源的熵。 3连续信源的最大熵 在离散信源中，当信源符号等概率分布时信源的熵取得最大值。在连续信源中差熵也具有极大值，但其情况有所不同。除存在完备集条件dx=1以外，还有其他约束条件。当各约束条件不同时，信源的最大差熵值不同。一般情况，在不同的约束条件下，求连续信源差熵的最大值，就是在下述若干约束条件下 dx=1 dx=K1 dx=K2求函数H(x)=-的极值。通常最感兴趣的是两种情况：一种是信源的输出值受限，另一种是信源的输出平均功率受限。下面分别加以讨论：31峰值功率受限若信源输出的幅度被限定在a，b区域内，即，则 当输出信号的概率密度分布是均匀分布时，信源具有最大熵，其值等于l

12、og(ba)。其推导过程如下： 设p(x)为均匀分布的概率密度函数=，并满足。而设q(x)为任意分布的概率密度函数，也有，则HX，q(x)-HX，p(x)= +=-log(b-a)=-log(b-a)=-+=log=0其中运用了詹森不等式，因而有 HX，q(x)HX，p(x) (3-1)当且仅当q(x)=p(x)时，等式成立。这就是说，任何概率密度分布时的熵必小于均匀分布时的熵，即当均匀分布时差熵达到最大值。若当N维随机矢最取值受限时，也只有各随机分量统计独立，并均匀分布时具有最大熵。对于N维随机矢量的推倒可采用相同的方法。32平均功率受限 若一个信源输出信号的平均功率被限定为P，则其输出信号

13、幅度的概率密度分布是高斯分布时，信源有最大熵，其值为1/2log2ep。现在被限制的条件是信源输出的平均功率受限为 P。对于均值为零的信号来说，这条件就是其方差2受限。一般均值不为零的一维随机变量，就是在约束条件 dx=1 (3-2)和m=dx， dx (3-3) 下，求信源差熵H(x)的极大值。而均值为零，平均功率受限的情况只是它的一个特例。其推导过程如下：设q(x)为信源输出的任意概率密度分布，因为其方差受限为2，所以必满足dx=1和2=dx。又设p(x)是方差为2的正态概率密度分布，即有dx=1和2=dx可计算得H X，p(x)=dx dx.loge=log+1/2loge=1/2log

14、2=dx.loge=1/2loge2所以得 H X，p(x)=- (3-4)而HX，q(x)-HX，p(x)=-=-log=log1=0其中运用了詹森不等式，因而有 HX，q(x)HX，p(x) （3-5） 当且仅当q(x)=p(x)时等式成立 这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声的统计特性一致时，才会有最大的熵值。从直观上看这是合理的，因为噪声是一个最不确定的随机过程，而最大的信息量只能从最不确定的事件中获得。结论：最大熵原理指出，当我们需要对一个随机事件的概率分布进行预测时，我们的预测应当满足全部已知的条件，而对未知的情况不要做任何主观假设。（不做主观假设这点很重要。）在这种情况下，概率分布最均匀，预测的风险最小。因为这时概率分布的信息熵最大，所以人们称这种模型叫“最大熵模型”。同时对最大熵原理提出的疑问主要有以下两个：（1）关于最大熵原理所得解的客观性（2）如何理解被最大熵原理排除的其他满足约束条件的解。参考文献：【1】冯桂，林其伟，陈东华信息论语编码技术【M】北京：清华大学版社，2007 【2】傅祖芸，