信息论与编码-第6讲-信源及其信息量5-连续信源

第1页2024/4/14第二章信源及其信息量本章重点：信源的统计特性和数学模型、各类信源的信息测度—熵及其性质。2.1单符号离散信源2.2多符号离散平稳信源2.3连续信源2.4离散无失真信源编码定理2.5小结ElectronicsEngineeringDepartment,XXXXXxxXxxx第2页2024/4/142.3连续信源2.3.1一些基本概念2.3.2连续信源的熵2.3.3几种特殊连续信源的熵2.3.4连续熵的性质2.3.5最大连续熵定理第3页2024/4/142.3.1一些基本概念(1)连续信源定义(2)随机过程及其分类(3)通信系统中的信号(4)平稳遍历的随机过程2.3连续信源第4页2024/4/142.3.1一些基本概念(1)连续信源定义连续信源：输出消息在时间和取值上都连续的信源。例子：语音、电视等。连续信源输出的消息是随机的，与随机过程{x(t)}相对应。可用有限维概率密度函数族描述。pn(x1,x2,…,xn,t1,t2,…,tn)2.3连续信源第5页2024/4/142.3.1一些基本概念(2)随机过程及其分类①随机过程②随机过程的分类2.3连续信源(2)随机过程及其分类①随机过程随机过程定义：随机过程{x(t)}

可以看成由一系列时间函数xi(t)所组成，其中i=1,2,3,…，并称xi(t)

为样本函数。第6页2024/4/142.3.1一些基本概念2.3连续信源第7页2024/4/142.3.1一些基本概念(2)随机过程及其分类①随机过程每个样本函数是随机过程的一个实现。每个样本函数不仅在时间上，而且在幅度取值上都是连续变化的波形。在某一固定的瞬时时刻

t=ti，各个样本函数的取值，成为一个连续型的随机变量。一般用n

维概率密度函数族pn(x1,x2,…,xn,t1,t2,…,tn)

来描述随机过程的统计特性，n

越大，描述越完善。2.3连续信源第8页2024/4/142.3.1一些基本概念(2)随机过程及其分类①随机过程连续型信源特点

消息数是无限的。输出的每个可能的消息是随机过程{x(t)}

中的一个样本函数。对于样本函数来说，它是时间

t

的连续函数，时间的取值为不可数的无限多个。2.3连续信源第9页2024/4/142.3.1一些基本概念(2)随机过程及其分类①随机过程连续型信源特点当固定某一瞬时t=tk时，信源的输出是一个随机变量X，X

的取值又是连续的，为不可数的无限多个值。因此连续信源可能有的消息数为无限多个。连续型信源，可用有限维概率密度函数族以及各维概率密度函数有关的统计量来描述。2.3连续信源第10页2024/4/142.3.1一些基本概念(2)随机过程及其分类②随机过程的分类分类：根据统计特性，连续随机过程可分为平稳与非平稳随机过程两大类。平稳随机过程：统计特性（各维概率密度函数）不随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。2.3连续信源第11页2024/4/142.3.1一些基本概念(3)通信系统中的信号一般认为：通信系统中的信号都是平稳的随机过程。虽然在无线通信系统中，受衰落干扰的无线电信号属于非平稳随机过程，但在正常通信条件下，都可近似地当做平稳随机过程或分段平稳的随机过程来处理。2.3连续信源第12页2024/4/142.3.1一些基本概念(4)平稳遍历的随机过程随机过程{x(t)}

中某一样本函数x(t)

的时间平均值定义：随机过程{x(t)}

在某时刻ti所取的随机变量的统计平均值（集平均）定义：遍历的随机过程：时间平均与统计平均相等，即：2.3连续信源第13页2024/4/142.3.2连续信源的熵(1)计算连续信源熵的两种方法(2)连续信源的种类(3)连续信源的数学描述(4)连续信源的熵(5)连续信源的联合熵和条件熵2.3连续信源第14页2024/4/142.3.2连续信源的熵(1)计算连续信源熵的两种方法计算连续信源一般有两种方法：第一种方法：把连续消息经过时间抽样和幅度量化变成离散消息，再用前面介绍的计算离散信源的方法进行计算。第二种方法：通过时间抽样把连续消息变换成时间离散的函数，它是未经幅度量化的抽样脉冲序列，可看成是量化单位Δx趋近于零的情况来定义和计算连续信源熵。2.3连续信源第15页2024/4/142.3.2连续信源的熵(2)连续信源的种类与单符号和多符号离散信源类似，连续信源也分为单变量和多变量。多变量连续信源属于有记忆信源，直接计算有记忆连续信源的熵十分困难。一般处理方法是采用某种变换把有记忆信源变成无记忆信源，然后再计算信源熵。由于多变量的情况比较复杂，限于学时，我们只对单变量连续信源的信息测度进行讨论。2.3连续信源第16页2024/4/142.3.2连续信源的熵(3)连续信源的数学描述

单变量连续信源的输出是取值连续的随机变量。可用变量的概率密度、变量间的条件概率密度和联合概率密度描述。①一维概率密度函数②条件概率密度和联合概率密度函数2.3连续信源第17页2024/4/142.3.2连续信源的熵(3)连续信源的数学描述①一维概率密度函数随机变量X的一维概率密度函数（边缘概率密度函数）为：2.3连续信源第18页2024/4/142.3.2连续信源的熵(3)连续信源的数学描述②条件概率密度和联合概率密度函数条件概率密度函数：pY/X(y/x)，pX/Y(x/y)联合概率密度函数：它们之间的关系为：pXY(xy)=pX(x)pY/X(y/x)=pY(y)pX/Y(x/y)边缘概率密度函数满足：因为概率密度函数是不同的函数，所以用脚标来加以区分，以免混淆。为了简化书写，往往省去脚标，但在使用时要注意。2.3连续信源第19页2024/4/142.3.2连续信源的熵(4)连续信源的熵①单变量连续信源数学模型②连续信源的熵③举例④连续信源熵的意义2.3连续信源第20页2024/4/142.3.2连续信源的熵(4)连续信源的熵①单变量连续信源数学模型单变量连续信源数学模型：R是连续变量X

的取值范围。先将连续信源在时间上离散化，再对连续变量进行量化分层，并用离散变量来逼近连续变量。量化间隔越小，离散变量与连续变量越接近，当量化间隔趋近于零时，离散变量就等于连续变量。2.3连续信源第21页2024/4/142.3.2连续信源的熵(4)连续信源的熵①单变量连续信源数学模型

数学模型：设p(x)

如图2.3.1所示。把连续随机变量X

的取值分割成n

个小区间，各小区间等宽，即：Δ=(b－a)/n。则变量落在第i个小区间的概率为：其中

xi

是a+(i－1)Δ

到

a+iΔ

之间的某一值。当p(x)是x的连续函数时，由中值定理可知，必存在一个

xi

值使上式成立。2.3连续信源第22页2024/4/142.3.2连续信源的熵(4)连续信源的熵①单变量连续信源数学模型这样连续变量

x

就可用取值为xi(i=1,2,…,n)

的离散变量近似。连续信源被量化成离散信源。2.3连续信源第23页2024/4/142.3.2连续信源的熵(4)连续信源的熵②连续信源的熵上式右端的第一项一般是定值，而第二项在Δ→0

时是一无限大量。丢掉后一项，定义连续信源的熵为：上式定义的熵在形式上和离散信源相似，也满足离散熵的主要特性，如可加性，但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。2.3连续信源第24页2024/4/142.3.2连续信源的熵(4)连续信源的熵③举例若连续信源的统计特性为均匀分布的概率密度函数：当(b－a)<1

时，h(X)<0，为负值，即连续熵不具备非负性。2.3连续信源第25页2024/4/142.3.2连续信源的熵(4)连续信源的熵④连续信源熵的意义连续信源熵有关问题说明

连续信源熵并不是实际信源输出的绝对熵；连续信源的绝对熵还有一项正的无限大量，虽然log2(b－a)

小于0，但两项相加还是正值，且一般还是一个无限大量。因为连续信源的可能取值数有无限多，若假定等概率，确知其输出值后所得信息量也将为无限大；

h(X)

已不能代表信源的平均不确定度，也不能代表连续信源输出的信息量。2.3连续信源第26页2024/4/142.3.2连续信源的熵(4)连续信源的熵④连续信源熵的意义连续信源熵的意义

这种定义可以与离散信源在形式上统一起来；在实际问题中常常讨论的是熵之间的差值问题，如信息变差、平均互信息等。在讨论熵差时，两个无限大量互相抵消。所以熵差具有信息的特征；连续信源的熵h(X)

具有相对性，因此h(X)也称为相对熵。2.3连续信源第27页2024/4/142.3.2连续信源的熵(5)连续信源的联合熵和条件熵两个连续变量的联合熵：两个连续变量的条件熵：2.3连续信源第28页2024/4/142.3.3几种特殊连续信源的熵(1)均匀分布的连续信源的熵(2)高斯分布的连续信源的熵2.3连续信源第29页2024/4/142.3.3几种特殊连续信源的熵(1)均匀分布的连续信源的熵一维连续随机变量

X在[a,b]

区间内均匀分布时的熵为:h(X)=log2(b－a)若

N

维矢量X=(X1X2…XN)

中各分量彼此统计独立，且分别在[a1,b1][a2,b2]…[aN,bN]

的区域内均匀分布，即：2.3连续信源第30页2024/4/142.3.3几种特殊连续信源的熵(1)均匀分布的连续信源的熵2.3连续信源第31页2024/4/142.3.3几种特殊连续信源的熵(1)均匀分布的连续信源的熵说明

N

维统计独立均匀分布连续信源的熵是

N

维区域体积的对数，其大小仅与各维区域的边界有关。这是信源熵总体特性的体现，因为各维区域的边界决定了概率密度函数的总体形状。连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量的熵之和。这与离散信源的情况类似。2.3连续信源第32页2024/4/142.3.3几种特殊连续信源的熵(2)高斯分布的连续信源的熵一维随机变量X

的取值范围是整个实数轴R，概率密度函数呈正态分布，即：2.3连续信源第33页2024/4/142.3.3几种特殊连续信源的熵(2)高斯分布的连续信源的熵2.3连续信源(2)高斯分布的连续信源的熵这个连续信源的熵为：第34页2024/4/142.3.3几种特殊连续信源的熵2.3连续信源第35页2024/4/142.3.3几种特殊连续信源的熵(2)高斯分布的连续信源的熵说明

高斯连续信源的熵与数学期望m

无关，只与方差σ2有关；熵描述的是信源的整体特性，由图2.3.2看出，当均值m

变化时，只是p(x)

的对称中心在横轴上发生平移，曲线的形状没有任何变化，即数学期望m

对高斯信源的总体特性没有任何影响；2.3连续信源第36页2024/4/142.3.3几种特殊连续信源的熵(2)高斯分布的连续信源的熵说明

若方差σ2不同，曲线的形状随之改变，所以高斯连续信源的熵与方差有关而与数学期望无关。这是信源熵的总体特性的再度体现。2.3连续信源第37页2024/4/142.3.4连续熵的性质(1)连续熵可为负值(2)连续熵的可加性(3)平均互信息的非负性(4)平均互信息的对称性和数据处理定理2.3连续信源第38页2024/4/142.3.4连续熵的性质(1)连续熵可为负值信息熵在数量上与信源输出的平均信息量相等，平均信息量为负值在概念上难以理解。虽然在讨论它的原因时，已经知道是由连续熵的相对性所致，但另一方面，也说明香农熵在描述连续信源时还不是很完善。2.3连续信源第39页2024/4/142.3.4连续熵的性质(2)连续熵的可加性①两个变量h(XY)=h(X)+h(Y/X)h(XY)=h(Y)+h(X/Y)下面证明第一式同理可证第二式。2.3连续信源第40页2024/4/142.3.4连续熵的性质(2)连续熵的可加性②N个变量连续信源的可加性可推广到N

个变量的情况：h(X1X2…XN)=h(X1)+h(X2/X1)+h(X3/X1X2)+…++h(XN/X1X2…XN-1)2.3连续信源第41页2024/4/142.3.4连续熵的性质(3)平均互信息的非负性①无条件熵和条件熵定义条件熵：

h(X/Y)h(Y/X)无条件熵：

h(X)h(Y)平均互信息：Ic(X;Y)Ic(Y;X)它们之间的关系:Ic(X;Y)=h(X)－h(X/Y)Ic(Y;X)=h(Y)－h(Y/X)2.3连续信源第42页2024/4/142.3.4连续熵的性质(3)平均互信息的非负性②证明过程证明：

Ic(X;Y)≥0Ic(Y;X)≥0首先证明：

h(X/Y)≤h(X)

h(Y/X)≤h(Y)2.3连续信源第43页2024/4/142.3.4连续熵的性质(3)平均互信息的非负性②证明过程证明第一式：h(X/Y)≤h(X)2.3连续信源第44页2024/4/142.3.4连续熵的性质(3)平均互信息的非负性②证明过程2.3连续信源第45页2024/4/142.3.4连续熵的性质(4)平均互信息对称性和数据处理定理连续信源的平均互信息也满足对称性，即：Ic(X;Y)=Ic(Y;X)连续信源也满足数据处理定理。即把连续随机变量

Y

处理成另一连续随机变量Z时，一般也会丢失信息，即：Ic(X;Z)≤Ic(X;Y)Ic(X;Z)≤Ic(Y;Z)2.3连续信源第46页2024/4/142.3.5最大连续熵定理

对离散信源：当信源呈等概率分布时，信源熵取最大值；对连续信源：如果没有限制条件，就没有最大熵；连续信源在不同的限制条件下，信源的最大熵也不同。(1)限峰值功率的最大熵定理(2)限平均功率的最大熵定理(3)

均值受限条件下的最大熵定理2.3连续信源第47页2024/4/142.3.5最大连续熵定理(1)限峰值功率的最大熵定理①限峰值功率的最大熵定理②证明过程③说明2.3连续信源第48页2024/4/142.3.5最大连续熵定理(1)限峰值功率的最大熵定理①限峰值功率的最大熵定理若代表信源的N

维随机变量的取值被限制在一定的范围之内，则在有限的定义域内，均匀分布的连续信源具有最大熵。

峰值功率受限条件就是：取值被限制在N

维多面体内。2.3连续信源第49页2024/4/142.3.5最大连续熵定理(1)限峰值功率的最大熵定理②证明过程设N维随机变量定义

q(x)

为除均匀分布以外的其它任意概率密度函数

h[p(x),X]

表示均匀分布连续信源的熵

h[q(x),X]

表示任意分布连续信源的熵2.3连续信源第50页2024/4/142.3.5最大连续熵定理(1)限峰值功率的最大熵定理②证明过程2.3连续信源第51页2024/4/14(1)限峰值功率的最大熵定理②证明过程当X

取值于任意N维区域而不是立方体时，结果也一样。2.3.5最大连续熵定理2.3连续信源第52页2024/4/142.3.5最大连续熵定理(1)限峰值功率的最大熵定理③说明在实际问题中，常令bi≥0，ai=－bi，i=1,2,…,N。这种定义域边界的平移并不影响信源的总体特性，因此不影响熵的取值；此时，随机变量Xi(i=1,2,…,N)

的取值就被限制在±bi

之间，峰值就是│bi│；如果把取值看作输出信号的幅度，则相应的峰值功率为

bi2；2.3连续信源第53页2024/4/142.3.5最大连续熵定理(1)限峰值功率的最大熵定理③说明所以上述定理被称为峰值功率受限条件下的最大连续熵定理，简称限峰值功率的最大熵定理。此时最大熵值为：2.3连续信源第54页2024/4/142.3.5最大连续熵定理(2)限平均功率的最大熵定理①限平均功率的最大熵定理

若信源输出信号的平均功率P

和均值

m

被限定，则输出信号幅度的概率密度函数为高斯分布时，信源具有最大熵值。2.3连续信源第55页2024/4/142.3.5最大连续熵定理(2)限平均功率的最大熵定理②证明过程单变量连续信源X

呈高斯分布时的概率密度函数为：2.3连续信源第56页2024/4/142.3.5最大连续熵定理(2)限平均功率的最大熵定理②证明过程单变量连续信源X

呈高斯分布时的概率密度函数为：2.3连续信源第57页2024/4/142.3.5最大连续熵定理(2)限平均功率的最大熵定理②证明过程对平均功率和均值的限制就等于对方差的限制；把平均功率受限当成是

m=0

情况下，方差受限的特例；把平均功率受限