波形信源和波形信道ppt课件

1、 第第4章章 波形信源和波形信道波形信源和波形信道4.1 4.1 波形信源的统计特性和离散化波形信源的统计特性和离散化4.2 4.2 延续信源和波形信源的信息测度延续信源和波形信源的信息测度4.2 4.2 延续信源熵的性质及最大差熵定理延续信源熵的性质及最大差熵定理4.3 4.3 熵功率熵功率4.4 4.4 延续信道和波形信道的信息传输率延续信道和波形信道的信息传输率4.5 4.5 高斯加性波形信道的信道容量高斯加性波形信道的信道容量4.1 4.1 波形信源的统计特性和离散化波形信源的统计特性和离散化 实践某些信源的输出经常是时间和取值都是延续的音讯。例如语音信号、电视信号。这样的信源成为随机

2、波形信源，其输出音讯可以用随机过程x(t)来表示。 ( )ix t 随机过程x(t)可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。图4.1 一个随机过程( )x t延续信源：信源输出的音讯是在时间上离散，而取延续信源：信源输出的音讯是在时间上离散，而取值上延续的、随机的。如遥控系统中有关电压、温值上延续的、随机的。如遥控系统中有关电压、温度、压力等测得的延续数据。度、压力等测得的延续数据。随机波形信源：信源输出的音讯不仅在时间上是延随机波形信源：信源输出的音讯不仅在时间上是延续的而且在取值上也是延续的、随机的。续的而且在取值上也是延续的、随机的。于是定义于是定义

3、随机波形信源的特点：随机波形信源的特点： 1随机波形信源中音讯数是无限的。每一随机波形信源中音讯数是无限的。每一个能够的音讯是随机过程的一个样本函数。每个个能够的音讯是随机过程的一个样本函数。每个样本函数是随机过程的一个实现。样本函数是随机过程的一个实现。 2随机波形信源可用有限维概率密度函数族以及与各维概率密度函数有关的统计量来描画。111212121212()()()nnnp xtp xxttpxxxttt， ， ， ， ， ， ， ， ，12121212()()1 2nnnnnnp xxxtttp xxxtttn， ， ， ， ， ， ， ， ， ， ，平稳随机过程：统计特性不随时间平移

4、而变化。平稳随机过程：统计特性不随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。非平稳随机过程：统计特性随时间平移而变化。随机过程时间离散的随机序列取样定理12F 时间延续函数f(t)的频带受限上限频率为F取样间隔为( )()22nx tnntxFF由于随机过程的样本函数有无限多个，因此，取样后的样本值是一个随机变量。 这样，经过取样，随即过程就成为可数的无限维的随机序列 。12222(,.,.)iFFFXXXX 假设随机过程又是限时的，时间间隔为T，那么就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带

5、来量化噪声，引起信息损失。 4.2.1 4.2.1 延续信源的差熵延续信源的差熵 先看单个变量的根本延续信源的信息测度。根本先看单个变量的根本延续信源的信息测度。根本延续信源的输出是取值延续的单个随机变量。可用变延续信源的输出是取值延续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和结合概率密量的概率密度，变量间的条件概率密度和结合概率密度来描画。度来描画。4.2 4.2 延续延续/ /波形信源的信息测度波形信源的信息测度变量的一维概率密度函数为变量的一维概率密度函数为d ( )( )dXF xpxxd ( )( )dYF ypyy111( )( )dxXF xp Xxpx x/(

6、/ )( / )YXX Ypy xpx y2111111()()XYF xypx yx y ，/()( )( / )( )( / )XYXY XYX Ypxypx py xpy px y( )()dXYRpxpxyy( )()dYXRpypxyx 结合概率密度函数为结合概率密度函数为一维概率分布函数为一维概率分布函数为条件概率密度函数为条件概率密度函数为它们之间它们之间的关系为的关系为图4.2 概率密度分布 )(xpRX( )d1Rp xx 并满足 根本延续信源的根本延续信源的数学模型为数学模型为( 1)(1)( )d( )(1) ,(1 2)a iiiaiiPP aixa ip x xp x

7、xaia iin ， ，1212()()()nnnXxxxp xp xp xP(1)11( )( )d( )d1nna ibiaiaiip xp xxp xx且()log()log()()log()()logniiiiiiiiiiiHXPPp xp xp xp xp x 000()lim()lim( ) log ( )lim(log )( )( )log ( )dlimlogniiinibaH XH Xp xp xp xp xp x x于是，延续信源的熵定义为()( ) log( )dRh Xp xp xx 无限大常数()h X 称为相对熵（或差熵）单位为：奈特/自在度 同理，两个延续随机变量

8、同理，两个延续随机变量X、Y的结合熵和条件的结合熵和条件熵可以定义为熵可以定义为()()log()d d( /)( ) ( / )log( / )d d(/ )( ) ( / )log( / )d dRRRh XYp xyp xyx yh Y Xp x p y xp y xx yh X Yp y p x yp x yx y 4.2.2 4.2.2 延续平稳信源和波形信源的差熵延续平稳信源和波形信源的差熵 延续平稳信源输出的音讯是延续型的平稳随机序列。其数字模型是概率空间X,p(x),12()NXXXX121( )()( )NNiip xp x xxp x12()()( )log( )d NRh

9、 Xh X XXp xp xx延续平稳无记忆信源1.N1.N维结合差熵维结合差熵2.N2.N维条件差熵维条件差熵1211 21 2112(|)()log ( |) nnnnnnRRh X XXXp xxxp x xxxdxdxdx211221122122(|)()log(|)(|)() RRnh XXp x xp xx dx dxh XXh X121213121211211( )()()(/)(/)(/)(/) NNNNiiih Xh X XXh Xh XXh XX Xh XX XXh XX XX1212()()()()()NNh Xh X XXh Xh Xh X 且当随机序列中各变量统计独立

10、时等式成立。( ( )lim ()Nh x th X 所以得，波形信源的差熵所以得，波形信源的差熵 由于波形信源输出的音讯是平稳的随机过程，它经过取样分解成取值延续的无穷维随机序列12,NXXX对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机序列来表示。这样，一个频带和时间都为有限的波形信源就转化为多维延续平稳信源来处置。4.2.3 两种特殊延续信源的差熵两种特殊延续信源的差熵 1.均匀分布延续信源的差熵 121122(,),NNNNNXXXXabababN对 于维 连 续 平 稳 信 源 ， 若 其 输 出维矢 量其 分 量 分 别 在的 区 域 内 均 匀 分 布

11、，维 联合 概 率 密 度 为1111()()( )0()NiiNiiiiNiiixbabap xxba121( )()()NNiip xp x xxp x111112111()( )log( )d11logd dd()()log() /NNNNbbaabbNNNaaiiiiiiNiiih Xp xp xxx xxbababaN 比特自由度1()log()2log()Niiih XbaFTba ()2log()/thXFba比 特秒假设限频F、限时T均匀分布的波形信源的熵率2.高斯信源的熵值 2221()( )exp22xmp x22222222( )( )log ( )d1()( )loge

12、xpd22()( )log 2d( )dloge21log 2loge21log2e2h Xp xp x xxmp xxxmp xxp xx一维高斯延续信源可见，正态分布的延续信源的熵与数学期望m无关，只与其方差 有关。当均值m=0时，X的方差 就等于信源输出的平均功率P： 221()log22h XeP 假设N维延续平稳信源输出的N维延续随机矢量 是正态分布那么称此信源为N维高斯信源。12()NXX XX假设各随机变量之间统计独立，可得N维统计独立的正态分布随机矢量的差熵为2221/121()log2e()()2 NNNiiNh Xh X4.3 延续信源熵的性质及最大差熵定理延续信源熵的性质

13、及最大差熵定理延续信源的差熵只具有熵的部分含义和性质。()()(|)( )(|)h XYh Xh YXh Yh XY(|)()(|)( )h XYh Xh YXh Y或()()( )h XYh Xh Y1. 1.可加性可加性并当且仅当X与Y统计独立时所以可得2. 2.凸状性和极值性凸状性和极值性4.3.1差熵的性质差熵的性质()( )h Xp x差熵是输入概率密度函数的上凸函数。3.3.差熵可为负值差熵可为负值1( )0axbp xbaxbxa ，11()logdlog()bah Xxbababa ()1,()0bah X若则得熵，为负值。在a,b区间内均匀分布的延续信源其差熵为()()log

14、() XXh Yh XEJY图4.3 空间A一一对应地映射成空间B 4. 4.变换性变换性 延续信源输出的随机变量或随机矢量经过一一对应变换，其差熵会发生变化。12121212ddddddNNNNxxxX XXXJJyyyY YYY 1211112122221 212()()NNNNNNNNfffYYYfffX XXXYYYJYYYYfffYYY 结论：延续信源的差熵不具有变换的不变性。图图4.4 4.4 信息处置网络信息处置网络 XykxaY例4.1 P154( ).h Y求kayx1XdxJYdyk222d( )()logd1()( )log11log2eloglog2e22xh Yh X

15、Eyh Xp xdxkkk22/221( )e2xp x添加熵值4.3.2 4.3.2 具有最大差熵的延续信源具有最大差熵的延续信源 122( )d1( )d()( )d p xxxp xxKxmp xxK()( )log ( )dh Xp xp xx求泛函数的极值，有下述约束条件1. 1. 峰值功率受限条件下信源的最大差熵峰值功率受限条件下信源的最大差熵 ,.PXa b信源输出信号的峰值功率受限为信源输出的连续随机变量 的取值幅度受限于图4.5 输出幅度受限的信源当熵 为最大时的概率密度分布 4.11,dxba定理若信源输出的幅度被限定在 a,b 区域内，即p(x)则当输出信号的概率密度分布

16、是均匀分布时（图7.3），信源具有最大熵，其值等于log(b-a). 假设当N维随机矢量受限时，也只需各随机分量统计独立，并均匀分布时具有最大熵。( )( )h Xq xh Xp x，2. 2. 平均功率受限条件下信源的最大差熵平均功率受限条件下信源的最大差熵4.2log2定理若一个信源输出信号的平均功率被限定为P, 则其输出信号幅度的概率密度分布是高斯分布时，1信源有最大的熵，其值为。2eP( )( )h Xq xh Xp x，2( )( )q xp x为信源输出的任意概率密度分布，是方差为的正态概率密度分布。N维无记忆高斯信源的熵的最大值为222121log(2e) ()2NN 121lo

17、g(2e) ()2NNPPP2iiP4.5 4.5 熵功率熵功率 ()log 2eh XP当信号平均功率受限时，高斯分布信源的熵最大：,( )log2eYPh YP若另一信号 的平均功率也为但不是高斯分布，其熵为21e2ehP 熵功率/1e2ethFP ()PP连 续 信 源 的 冗 余 度 为( )x t()yt图图4.7 4.7 波形信道转化成多维延续信道波形信道转化成多维延续信道 当信道的输入和输出都是随机过程 和4.6 4.6 延续信道和波形信道的分类延续信道和波形信道的分类 4.6.1 按信道输入和输出的统计特性分类按信道输入和输出的统计特性分类时，这个信道称之为波形信道或模拟信道1

18、2()NXX XX 多维延续信道的输入是多维延续信道的输入是N维延续型随机序列维延续型随机序列 输出也是输出也是N维延续型随机序列维延续型随机序列 ，而信道转移概率密度函数是，而信道转移概率密度函数是121 2( / )(/)nnp y xp y yyxxx 121 212(/) d dd1nnnRRRp y yyx xxy yy 1 2()NYYYY, ( / ),X p y x Y 用来描述多维连续信道。1( / )(/)Niiip y xp yx 连续无记忆信道图图4.8 4.8 根本延续信道根本延续信道 根本延续信道就是输入和输出都是单个延续型根本延续信道就是输入和输出都是单个延续型随

19、机变量的信道。随机变量的信道。,Xa bR或,Ya bR或( / )d1Rp y xy , ( / ),X p y x Y4.6.2 按噪声统计特性分类按噪声统计特性分类高斯信道、白噪声信道、高斯白噪声信道和有色噪声信道( )n t高斯白噪声信道：信道中的噪声是高斯白噪声。高斯白噪声信道：信道中的噪声是高斯白噪声。 低频限带高斯白噪声低频限带高斯白噪声 可以看成是无限带可以看成是无限带宽的高斯白噪声宽的高斯白噪声 经过一个理想低通滤波器后经过一个理想低通滤波器后所得。传送函数的频率呼应为所得。传送函数的频率呼应为( )n t122( )0FFK其他低频限带高斯白噪声的功率谱密度为022( )(

20、 )( )20nnNFFPPK其他按噪声对信号的作用功能分类按噪声对信号的作用功能分类加性和乘性信道加性信道：信道中噪声对信号的干扰作用表现为与加性信道：信道中噪声对信号的干扰作用表现为与信号相加的关系。信号相加的关系。( )( )( )y tx tn t图4.8 加性信道 在加性延续信道中，信道的转移概率密度函数等于噪声的转移概率密度函数。( / )( )p y xp n在加性信道中，条件熵为(/)()log(/ )d d( )d(/ )log(/ )dRh YXp xyp y xx yp xxp y xp y xy d dd dx yx n( /)( )d( )log( )d( )log(

21、 )d( )h Y Xp xxp np nnp np nnh n ( / )( )( /)( )p y xp nh Y Xh n 4.7 4.7 延续信道和波形信道的信息传输率延续信道和波形信道的信息传输率 4.7.1 根本延续信道的平均互信息根本延续信道的平均互信息 输入信源X为( ) d1( )( )RXRp xxp xp x输出信源Y为( ) d1( )( )RYRp yyp yp y( / ) d1Rp y xy 信道的转移概率密度函数满足 00()()(/)( )log ( )dlimlog( ) ( / )log ( / )d dlimlog( / )( )logd d( )( /

22、 )( )nnnRRRI X YH XH X Yp xp x xp x p y xp y x x yp x yp xyx y h Xh X Yp x ；( / )()logd d( )( /)( )()()logd d()( )()( ) ( )RRp y xp xyx yh Yh Y Xp yp xyp xyx yh Xh Yh XYp x p y根本延续信道的信息传输率为()RI X Y；比特/自在度 4.7.2 多维延续信道的平均互信息多维延续信道的平均互信息 1( / )(/)Niiip y xp yx ()()()()(/)()(/)h Xh Yh XYh Yh YXh Xh XY

23、( / )( / )( ; )()logd dlogd d( )( )()()logd d( ) ( )xyxyxyp x yp y xI X Ypx ypx yxyxyp xp yp xypx yxyp x p y 信道的转移概率密度函数多维延续信道的平均互信息多维延续信道的信息传输率为(; )RI X Y 1(; )RI X YN 比特/N个自在度 比特/自在度 平均每个自在度的信息传输率为4.7.3 波形信道的信息传输率波形信道的信息传输率 ( ( ); ( )lim (; )lim ()(/ )lim ( )( /)lim ()( )()1lim(; ) NNNNtTI x ty tI

24、 X Yh Xh X Yh Yh Y Xh Xh Yh XYRI X YT 比特/秒 2、对称性、对称性()(;)()logd d( ) ( )()()logd d()( ) ( )RRp xyI X Yp xyx yp x p yp yxp yxx yI Y Xp x p y；3、凸状性、凸状性4、信息不增性、信息不增性()()I X ZI X Y； ；图图4.10 4.10 两个串接延续信道两个串接延续信道 与离散信道的证明类似4.7.4 延续信道平均互信息的特性延续信道平均互信息的特性 1、非负性、非负性( )0I X Y； 5、坐标变换平均互信息的不变性、坐标变换平均互信息的不变性图图

25、4.11 4.11 普统统讯系统的信号变换普统统讯系统的信号变换 ()() |q szp xyJ变换前后概率密度函数有,|,xyx yssJJxys zzz00 xyzs|x yJsz ( )()d()d( )x ydxq sq szzp xyzp xszds ( )( )dyq zp ydz()d( / )( / )( )dq szyq z sp y xq sz()()()logd d( ) ( )()1()|logd d|( )( )()()logd d()( ) ( )RRRq szI S Zq szs zq s q zx yp xys zp xyJx yxyJp xp yszp xyp

26、 xyx yI X Yp x p y ；结论：在一一变换条件下，平均互信息坚持不变。6(, )(,)iiI X YI X Y 与的关系1( )( )NiiiI X YI XY ； ；1( )( )NiiiI X YI XY ； ；1( )()NiiiI X YI X Y ；信源无记忆信源无记忆信道无记忆信道无记忆信源信道皆无记忆信源信道皆无记忆4.8 延续信道和波形信道的信道容量延续信道和波形信道的信道容量普通加性波形信道的信道容量为：( )( )1max lim( )( )1limmax( )( )tTp xTp xCh Yh nTh Yh nT 比特/秒 在实践信道中，输入信号和噪声的平均

27、功率总是有限的。如今平均功率受限的条件下，讨论各种延续信道和波形信道的信道容量。4.8.1 单符号高斯加性信道单符号高斯加性信道平均功率受限高平均功率受限高斯信道的信道容量斯信道的信道容量2( )log2h ne 2( )max ( )log2p xCh Ye 1log(1)2snPCP2 单符号高斯加性信道的输入和输出都是取值延续的一维随机变量，而参与信道的噪声是加性高斯噪声。 设信道迭加的噪声n是均值为零，方差为 的一维高斯噪声，噪声信源的熵为单符号高斯加性单符号高斯加性信道的信道容量信道的信道容量 只需当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才干到达最大值。

28、4.8.5 限带高斯白噪声加性波形信道限带高斯白噪声加性波形信道 ( )( )x ty t和而参与信道的噪声是加性高斯白噪声 均值为零、功率谱密度为 ，所以输出信号满足此信道称为高斯白噪声加性波形信道。( )n t02N ( ) ( ) ( )y tx tn t信道的输入和输出信号都是随机过程 图图4.144.14限带高斯白噪声加性信道变换成限带高斯白噪声加性信道变换成N N个独立并联高斯加性信道个独立并联高斯加性信道 YXn 22122111( )()()e/22iNNnNiiip np n nnp n11( / )( )( )(/)NNiiiiip y xp np np yx 11log 12iiNsinPCP 在0，T高斯白噪声加性信道的信道容量为000log 1log 12222log 1/sssPPNNNCWN WPWTN W 比特 N个自由度 高斯白噪声加性信道单元时间的信道容量为WNPWTCCsTt01loglim 比特/秒 其中Ps是信号的平均功率， 为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。这就是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才到达此信道容量。oN W把信道的统计参量信道容量和物理量频带宽W、T、信噪功率比 ，联络了起来。 s