连续信源和连续信道

1、2.3 连续信源n连续信源：输出消息在时间和取值上都连续的信源。如语音，电视信源。对应的数学工具为随机过程。n从统计特性上讲，连续随机过程大致可分为平稳（统计特性-各维概率密度函数不随时间平移而变化的随机过程）和非平稳随机过程两大类。n一般认为，通信系统中的信号都是平稳的随机过程，或分段平稳的随机过程。n最常见的平稳随机过程为遍历过程。2.3.1连续信源熵n连续信源基本的数学模型为 ,( )1( )rrxp x dxp x 其中 r是全实数集，是连续变量x的取值范围，p(x)为x的概率密度。)()()1()1(iiaiaxpdxxpiaxiap 假设xa，b，令=(b-a)/n，xia+(i-

2、1)，a+i，p(x)为连续变量x的概率密度函数，则利用中值定理x落在第i个小区间的概率是根据离散信源熵的定义，则niiniiiniiixpxpxpxpxpxh121212log)()(log)()(log)()(n当n时，即0时，得：2211000lim()lim( ) log( )lim log( )nniiinnniih xp xp xp x220( )log( )lim log( )bbnaap xp x dxp x dx 220( )log( )limlogbap xp x dx 定义连续信源熵:2()( )log( )crhxp xp x dx 连续信源的熵具有相对性，有时称为相对

3、熵,在取两熵之间的差时才具有信息的所有特性. 上式定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该再加上一项无限大的常数项。因为连续信源的可能取值有无限多个，若其取值是等概率分布的，那么，信源不确定性为无限大。当确知输出为某值后，所获得的信息量也将为无限大。可见，hc(x)已不能代表信源的平均不确定性大小，也不能代表连续信源输出的信息量。n例2.3.1有一信源概率密度如图所示，求连续熵解:由图(a)得由图(b)得322111()( )log( )log122hc xp xp x dxdxbit 622211()( )log( )log244hc xp xp x dxdxbit

4、 n同理，可定义两个连续变量x，y的联合熵和条件熵：22()()log()crhxyp xyp xy dxdy 22(|)( ) ( | )log( | )crh y xp x p y xp y x dxdy 22(| )( ) ( | )log( | )crh x yp x p x yp x y dxdy2.3.2 几种特殊连续信源的熵几种特殊连续信源的熵1. 均匀分布均匀分布的连续信源的熵，其的连续信源的熵，其大小仅与区域的边界有关大小仅与区域的边界有关。),(0),(1)(baxbaxabxp一维均匀分布：2()( )log( )bcahxp xp x dx 211logbadxbaba

5、 221log ()1log ()babadxbaba0)(10)(1xhabxhabcc相对熵无非负性，可为负值相对熵无非负性，可为负值若： n维均匀分布：维均匀分布：n维矢量（维矢量（x1 x2 xn）中各分量彼）中各分量彼此统计独立，且分别在此统计独立，且分别在a1，b1 a2，b2 an，bn 的的区域内均匀分布，即区域内均匀分布，即niiiniiiniiiabxabxabxp11101)(ncccniiiniiicxhxhxhababxh211212)(log)(log)( 连续随机矢量中各分量相互统计独立时，其矢量熵就连续随机矢量中各分量相互统计独立时，其矢量熵就等于各单个随机变量

6、的熵之和，与离散信源情况类似。等于各单个随机变量的熵之和，与离散信源情况类似。2. 高斯分布高斯分布的连续信源的熵：与的连续信源的熵：与数学期望无关，仅与方数学期望无关，仅与方差有关差有关222)(221)(mxexp 设一维随机变量 x的取值范围是整个实数轴r，概率密度函数呈正态分布 dxxpmxmxedxxxpxem)()()(22222()22221()( )log( )( )log2x mchxp xp x dxp xedx 与方差有关，与均值无关与方差有关，与均值无关222221()( )log( )log22xmp xdxp xedx 2222211log 2log( )()22e

7、p x xm dx221log 22e 当均值m=0，x的方差就是随机变量的平均功率2222()( )( )exmxmp x dxx p x dxpepxhc2log21)(2相对熵只与平均功率有关相对熵只与平均功率有关3. 指数分布指数分布的连续信源的熵：只的连续信源的熵：只取决于均值取决于均值 若一维随机变量若一维随机变量x的取值空间是的取值空间是0，其概率密，其概率密度函数为度函数为)0(1)(xemxpmx，且mdxemxdxxxpxemmx001)(其中：其中： 02021()loglogxmchxp xp x dxp xedxm 指数分布的相对熵只取决于信源的均值指数分布的相对熵只

8、取决于信源的均值m 2200loglogemp x dxxp x dxm2log me2.3.3 连续信源熵的性质及最大连续熵定理连续信源熵的性质及最大连续熵定理1. 连续熵可为负值连续熵可为负值2. 可加性可加性 /cccccchxyhxhyxhxyhyhx y推广到推广到n个变量：个变量：12121312121/cnccccnnhx xxhxhxxhxx xhxx xx3. 平均互信息的非负性平均互信息的非负性)()()()/()()/()();();(xyhyhxhxyhyhyxhxhxyiyxiccccccccc 连续信道的平均互信息量和离散信道下平均互信息量的连续信道的平均互信息量和

9、离散信道下平均互信息量的关系式完全类似，且保留了离散信道平均互信息量的所有含关系式完全类似，且保留了离散信道平均互信息量的所有含义和性质。可见，将差熵定义为连续信源的熵是有重要实际义和性质。可见，将差熵定义为连续信源的熵是有重要实际意义的。意义的。4. 最大连续熵定理最大连续熵定理在不同的限制条件下，信源的最大熵也不同。在不同的限制条件下，信源的最大熵也不同。（1）限峰值功率限峰值功率的最大熵定理的最大熵定理 若信源的若信源的n维随机变量的取值在一定的范围之内，维随机变量的取值在一定的范围之内，则在有限的定义域内，则在有限的定义域内，均匀分布均匀分布的连续信源具有最大的连续信源具有最大熵。熵。

10、),(0),(1)(baxbaxabxp1)(badxxp)(log)(2abxhc 22,loglogccbbaahq xxhp xxq xq x dxp xp x dx 22loglogbbaaq xq x dxbap x dx 22loglogbbaaq xq x dxbaq x dx 22loglogbbaaq xq x dxq xp x dx 2logbap xq xdxq x 22loglogbbaap xeq xdxeq x dxq x 2log1bap xq xedxq x0 n维矢量（维矢量（x1 x2 xn）中各分量彼此）中各分量彼此统计独立统计独立，且分别在且分别在a1，

11、b1 a2，b2 an，bn 的区域内的区域内均匀分均匀分布，布，即即niiiniiiniiiabxabxabxp11101)(niiicabxh12)(log)( 这就是说，任何概率分布密度时的熵必小于均匀分这就是说，任何概率分布密度时的熵必小于均匀分布时的熵，即当均匀分布时差值达到最大值布时的熵，即当均匀分布时差值达到最大值当当ai=bi时，时，niiniiicbabxh12122log)(log)(（2）限平均功率限平均功率的最大熵定理的最大熵定理 若信源输出信号的平均功率若信源输出信号的平均功率p和均值和均值m被限定，则其输被限定，则其输出信号幅度的概率密度函数为出信号幅度的概率密度函

12、数为高斯（正态）分布高斯（正态）分布时，信源具时，信源具有最大熵值。有最大熵值。222)(221)(mxexp 单变量连续信源单变量连续信源x呈正态分布的概率密度函数为呈正态分布的概率密度函数为1)(dxxp且：且：222log21)(exhcmdxxxp)(pdxxpx)(2222222mpmxemxe 当连续信源输出信号的均值为零、平均功率受限当连续信源输出信号的均值为零、平均功率受限时，只有信源输出信号的幅度呈高斯分布时，才会有时，只有信源输出信号的幅度呈高斯分布时，才会有最大熵值。最大熵值。n当信源的概率密度符合正态分布时，其相对熵仅与随机当信源的概率密度符合正态分布时，其相对熵仅与随

13、机变量的方差变量的方差 有关，而方差在物理含义上往往表示信号有关，而方差在物理含义上往往表示信号的交流功率的交流功率,即即n如果噪声是正态分布，则噪声熵最大，因此高斯白噪声如果噪声是正态分布，则噪声熵最大，因此高斯白噪声获得最大噪声熵。获得最大噪声熵。22pn 在限制信号平均功率的条件下，正态分布的信源可输出最在限制信号平均功率的条件下，正态分布的信源可输出最大相对熵大相对熵 其值随平均功率的增加其值随平均功率的增加而增加。而增加。222log21)(exhc（3）均值受限均值受限条件下的最大连续熵定理条件下的最大连续熵定理 若连续信源若连续信源x输出非负信号的输出非负信号的均值受限均值受限，

14、则其输出信号，则其输出信号幅度呈幅度呈指数分布指数分布时，信源具有最大熵值。时，信源具有最大熵值。 将连续信源将连续信源x为指数分布时的概率密度函数记为为指数分布时的概率密度函数记为)0(1)(xemxpmx，且mdxxxp0)(mexhc2log)(1)(dxxp 取值为非负数，均值受限的连续信源，当它呈取值为非负数，均值受限的连续信源，当它呈指数分布时达到最大熵值，且其最大熵值仅决定于指数分布时达到最大熵值，且其最大熵值仅决定于被限定的均值被限定的均值 总结：连续信源与离散信源不同，它总结：连续信源与离散信源不同，它不存在绝对的最大熵。其最大熵与信源的不存在绝对的最大熵。其最大熵与信源的限

15、制条件有关。连续信源在不同限制条件限制条件有关。连续信源在不同限制条件下最大熵是不同的，在无限制条件时，最下最大熵是不同的，在无限制条件时，最大熵不存在。大熵不存在。3.5 连续信道连续信道 连续信道：输入和输出都是单个连续型随机变量的信道。连续信道：输入和输出都是单个连续型随机变量的信道。可用模型可用模型x,p(y|x),y来描述单符号连续信道。来描述单符号连续信道。x是输入连续是输入连续型随机变量，型随机变量，x取值区间为取值区间为a,b或实数域或实数域 r；y是信道输是信道输出连续型随机变量，取值区间为出连续型随机变量，取值区间为a,b或实数域或实数域 r；信道；信道的传递概率密度函数为

16、的传递概率密度函数为p(y|x),并满足：并满足：p(y/x)xa,bya,b连续信道的数学模型连续信道的数学模型( | )1rp y x dy 定义连续信道的信道容量定义连续信道的信道容量c为信源为信源x等于某一概率密度等于某一概率密度函数函数p0(x)时，信道平均互信息量的最大值。时，信道平均互信息量的最大值。);(max)(yxicxp加性连续信道的容量加性连续信道的容量 加性连续信道：噪声为连续随机变量加性连续信道：噪声为连续随机变量n，且与，且与x相互相互统计独立的信道。信道的噪声对输入的干扰作用表现为统计独立的信道。信道的噪声对输入的干扰作用表现为噪声和输入线性叠加，即噪声和输入线

17、性叠加，即y=x+n。+nxy=x+np(y/x)=p(n) 加性连续信道的重要特征：信道的条件概率密度函数加性连续信道的重要特征：信道的条件概率密度函数等于噪声的概率密度函数等于噪声的概率密度函数p(y/x)=p(n)x ycdxdyxypxypxpxyh)/(log)/()()/(x ndxdnnpnpxp)(log)()(2xndnnpnpdxxp)(log)()(2ndnnpnp)(log)()(nhc则条件熵：则条件熵：则加性信道的信道容量为则加性信道的信道容量为()()max (; )max( )( /)ccp xp xci x yh yh yx 由第二章的讨论已知，对于不同的限制

18、条件，连续随由第二章的讨论已知，对于不同的限制条件，连续随机变量具有不同的最大熵值。因此，加性信道容量取决于机变量具有不同的最大熵值。因此，加性信道容量取决于噪声噪声n (即信道）的统计特性和输入随机变量即信道）的统计特性和输入随机变量x所受的限制所受的限制条件。条件。()max( )()ccp xh yhn()max( )()ccp xh yhn高斯加性连续信道的容量：高斯加性连续信道的容量：), 0(2n高斯加性连续信道：信道中的噪声高斯加性连续信道：信道中的噪声1)(dnnp即：即：0)(dnnnpnpdnnpn22)(信道的传递概率密度函数为信道的传递概率密度函数为 222221/ne

19、npxyp222log21)()/(enhxyhcc则高斯加性连续信道的信道容量为则高斯加性连续信道的信道容量为22)()(2log21)(max)()(maxeyhnhyhccxpccxp 一般说来，输入随机变量一般说来，输入随机变量x的平均功率是有限的，假设的平均功率是有限的，假设限定为限定为px，而噪声的平均功率限定为，而噪声的平均功率限定为pn=2，则输出随机，则输出随机变量变量y的平均功率也是受限的，设假定为的平均功率也是受限的，设假定为py。 根据最大连续熵定理，要使根据最大连续熵定理，要使hc(y) 最大，最大，y必须是一个必须是一个均值为均值为0，方差为，方差为 得高斯随机变量。得高斯随机变量。 2yyp 则现在的问题就变为：输入概率密度函数则现在的问题就变为：输入概率密度函数p(x)是什么是什么样的函数时，才能使样的函数时，才能使y呈高斯分布。呈高斯分布。 因为高斯加性信道中，输入x和噪声n相互统计独立，且 y=x+n，可以证明，当输入x是均值为0，