北京交通大学信息论第六章

1、 第六章第六章 波形信源和波形信道波形信源和波形信道第一节 波形信源的统计特性和离散化第二节 连续信源和信源的信息测度第三节 具有最大熵的连续信源第四节 连续信道和波形信道的分类第五节 连续信道和波形信道的信息传输率第六节 连续信道和波形信道的信道容量第七节 连续信道编码定理第一节第一节 波形信源的统计特性和离散化波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程x(t)来表示。 随机过程x(t)可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。 ( )ix t（

2、1）随机波形信源中消息数是无限的。（2）随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。第一节第一节 波形信源的统计特性和离散化波形信源的统计特性和离散化 就统计特性的区别来说，随机过程大致可分为平稳随机平稳随机过程过程和非平稳过程非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。2n

3、tF()2nxF2nntF第一节第一节 波形信源的统计特性和离散化波形信源的统计特性和离散化 这样，通过取样，随即过程就成为可数的无限维的随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 12222(,.,.)iFFFXXXX随机过程描述输出消息的信源称为随机波形信源随机波形信源。用连续随机变量描述输出消息的信源称为连续信源连续信源。第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度连续信源的差熵连续信源的差熵 先看

4、单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为( )( )( ),( )XYdF xdF ypxp xdxdy111()( )xXF xP Xxpx dx|(|),(|)X YY Xpxypyx2111111()(,)XYpx yFxyxy 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度它们之间的关系为基本连续信源的数学模型为其中R是全实数集。|()( )(|)()(|)XYXY XYX Yp

5、xypx pyxpy pxy( )1( )RRXp x dxp x并且连续信源的差熵连续信源的信息熵第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度()() log () niiiH Xp xp x () log ()() logiiiiip xp xp x 这样的话：0()lim()lim( ) log ( ) niiniH XH Xp xp x0( )log( )limlogbap xp x 舍弃无穷大的第二项，可得：()( )log ( )baH Xp xp x 定义连续信源的熵连续信源的熵为：第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度同

6、理可以定义两个连续变量X、Y的联合熵和条件熵()()log ()Rh XYp xyp xy dxdy ( |)( ) ( | )log ( | )RhY Xp x p y xp y x dxdy(| )( ) ( | )log ( | )Rh X Yp x p y xp x y dxdy第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度连续信源的差熵只具有熵的部分含义和性质（1）可加性并当且仅当X与Y统计独立时所以可得（2）凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的型凸函数，对于某一概率密度函数可以得到差熵的最大。（3）差熵可为负值()()(|)( )(|)h

7、 XYh Xh YXh Yh XY(|)()(|)( )h XYh Xh YXh Y或()()( )h XYh Xh Y第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度波形信源的差熵波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 x(t)和y(t)可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。12()()( ) log( )NRh Xh X XXp xp x dx 12()()() log()NRh Yh Y YYp yp y dy 11(|)(|)()log(| )NNRRh YXh YYXXp xyp y

8、 x dxdy 11(|)(|)()log(|)NNRRh X Yh XXYYp xyp x y dxdy 波形信源的差熵: ( )lim()Nh x th X 第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度 当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了。 和离散变量中一样， 易于证明: 且当随机序列中各变量统计独立时等式成立。1212131212( )()()(|)(|)(|)NNh Xh XXh Xh XXh XX Xh XX XX1212()()

9、()()()NNh Xh X XXh Xh Xh X第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度两种特殊连续信源的差熵两种特殊连续信源的差熵1.均匀分布连续信源的熵值 12()NXX XX一维连续随机变量X在a,b区间内均匀分布时，这基本连续信源的熵为N维连续平稳信源，若其输出N维矢量其分量分别在 的区域内均匀分布，N维连续平稳信源的差熵为()log()h Xba12,NNabab11()log()()NNiiiiih Xbah X第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度无记忆连续平稳信源和无记忆离散平稳信源一样，差熵也满足限频、限时均匀

10、分布的波形信源的熵为在波形信源中常采用单位时间内信源的差熵熵率。均匀分布的波形信源的熵率为()2log()h XFTba121()()()NNiih Xh X XXh X()2log()th XFba第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度连续信源的熵为:可见，正态分布的连续信源的熵与数学期望m无关，只与其方差 有关。2221()( )logexp()22xmp xdx 2211log2loglog 222ee 2()() log()h Xp xp x dx 2.高斯信源的熵值基本高斯信源是指信源输出是一维随机变量X的概率密度分布是正态分布，即2221()( )e

11、xp()22xmp x高斯噪声信源的熵第二节第二节 波形信源和波形信源的信息测度波形信源和波形信源的信息测度如果N维连续平稳信源输出的N维连续随机矢量是正态分布则称此信源为N维高斯信源。维高斯信源。其差熵为：当各变量之间统计独立，则C为对角线矩阵，并有所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随机变量的差熵为12()NXX XX1()log(2)2NhXeC21NiiC1()()Niih Xh X当均值m=0时，X的方差 就等于信源输出的平均功率P：21()lo g 22hXe P第三节第三节 具有最大熵的连续信源具有最大熵的连续信源 通常我们最感兴趣的是两种情况：一种是信源的输出值

12、受限；一种是信源的输出平均功率受限。峰值功率受限条件下信源的最大值峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限为，它等价于信源输出的连续随机变量X的取值幅度受限，限于a,b内取值。在约束条件 下信源的最大相对熵。定理定理6.1 若信源输出的幅度被限定在a,b区域内，则当输出信 号的概率密度是均匀分布时信源具有最大熵。其值等 于log(b-a)。若当N维随机矢量取值受限时，也只有随 机分量统计独立并均匀分布时具有最大熵。()1abpx dx 第三节第三节 具有最大熵的连续信源具有最大熵的连续信源平均功率受限条件下信源的最大值平均功率受限条件下信源的最大值定理定理6.2 若一个连

13、续信源输出信号的平均功率被限定为P， 则其输出信号幅度的概率密度分布是高斯分布时， 信源有最大熵，其值为 。 对于N维连续平稳信源来说，若其输出的N维随机序列的协方差矩阵C被限定，则N维随机为正态分布时信源的熵最大，N维高斯信源的熵最大，其值为 。 这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯统计特性一样时，才会有最大的熵值。1log 22eP1loglog222NCeP第三节第三节 具有最大熵的连续信源具有最大熵的连续信源 对于N维平稳信源也可用类似证明方法，证得当其输出的N维协方差矩阵C受限时，N维高斯信源的熵最大，最大值为 。 随机序列 中各分量之间不相关，

14、又 ，则可证得N维随机序列得各分量彼此统计独立，并各自达到正态分布时熵最大，也就是N维无记忆高斯信源的熵最大，最大值为 。 如果序列中各分量的均值为零，而平均功率为 ，则得N维无记忆高斯信源得熵最大，最大值为 1log(2)2NeC12.NXX XX2iii222121log(2)(.)2NNeiP121log(2) (.)2NNePPP第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类波形信道：信道的输入和输出都是随机过程x(t)和y(t)。连续信道：用连续随机变量来描述信道的输入和输出的消息。取样主要研究：噪声 系统外噪声 系统内噪声 热噪声 散粒噪声第四节第四节 连续信道和波

15、形信道的分类连续信道和波形信道的分类按噪声统计特性分类按噪声统计特性分类1.高斯信道 信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过程，其瞬时值的概率密度函数服从高斯分布（即正态分布）。一维概率密度函数为常见的是二维高斯随机变量。2221()( )exp()22x mp x信道中的噪声是白噪声。白噪声也是平稳遍历的随机过程。它的功率谱密度均匀分布于整个频率区间 功率谱密度为一常数其瞬时值的概率密度函数可以是任意的。此处白噪声的功率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来定义，则功率谱为 ，常称为单边谱密度。而 称为双边谱密度，单位为瓦/赫(W/Hz)。显然。白噪声的相关函数是 函

16、数：() 0()2nNP() 0N0/2N00( )( )( )22nnNNPR 第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类2.白噪声信道第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类3.高斯白噪声信道 具有高斯分布的白噪声称为高斯白噪声。一般情况把既服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。关于低频限带高斯白噪声有一个很重要的性质，即低频限带高斯白噪声经过取样函数取值后可分解成N（2FT）个统计独立的高斯随机变量（方差为 ，均值也为零）。 低频限带高斯白噪声可以看成是无限带宽的高斯白噪声通过一个理想低通滤波器后所得。如果理想低通滤波器其带宽为F

17、赫兹，那么它的传递函数的频率响应为0/2N122( )0FFK其他第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类考虑双边谱密度，低频限带高斯白噪声的功率谱密度为其自相关函数由功率谱密度可知在时间间隔 的两个样本点之间的相关函数等于零， 所以各样本值之间不相关。有因为随即变量是高斯概率密度分布的，所以随机变量之间统计独立。0/222( )( )( )0nnNFFPPK其他01sin(2)( )( )22jnnFRPedN FF 12F第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类4.有色噪声信道 除白噪声以外的噪声称为有色噪声。信道的噪声是有色噪声称此信道为有色噪

18、声信道。按噪声对信号的功能分类按噪声对信号的功能分类1.乘性信道 信道中噪声对信号的干扰作用表现为是与信号相乘的关系，则信道称为乘性信道，噪声称为乘性干扰。 在实际无线电通信系统中常会遇到乘性干扰。2.加性信道 信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信号称为加性信道，此噪声称为加性噪声。第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 ( ) ( ) ( )y tx tn t ( ) ( ) ( )y tx tn t第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类连续信道的分类连续信道的分类 我们研究波形信道，就是要研究波形信道的信息传输问题。一方面

19、为了便于研究，另一方面因为实际波形信道的频率总是受限的,所以在有限观察时间T内，能满足限频F，限时T的条件。因此，根据时间取样定理把波形信道的输入x(t)和输出y(t)的平稳随机过程信号离散化成N(=2FN)个时间离散，取值连续的平稳随即序列 : 和 这样，波形信道就转化成多维连续信道。12NXX XX1 2NYYYY第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 若多维连续信道的传递概率密度函数满足 则称此信道为连续无记忆信道。若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道。 连续信道

20、任何时刻的输出变量与其他任何时刻的输入，输出变量都有关。则此信道称为连续有记忆信道。1( | )(|)Niiip y xp yx第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类 基本连续信道就是输入和输出都是单个连续型随机变量的信道，基本连续信道就是单符号连续信道，其输入是连续型随机变量X，X取值于a,b或实数域R；输出也是连续性随机变量Y，取值于 或实数域R；信道的传递概率密度函数为p(y|x)，并满足 因此，可用 来描述单符号连续信道。 根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道，乘性信道和高斯信道等之区分。 对于加性信道，信道的传递概率密度函数就等

21、于噪声的概率密度函数。这也进一步说明了信道的传递概率是由于噪声所引起的。(|)1Rp yx dy ,(|),Xp y xY ,a b噪声n输入Y输入X第四节第四节 连续信道和波形信道的分类连续信道和波形信道的分类因此，在加性信道中，条件熵为 根据坐标变换得 所以 结论说明了条件熵 是由于信道中噪声引起的，它完全等于噪声信源的熵，所以称为噪声熵。 以后主要讨论的是加性信道，噪声源主要是高斯白噪声高斯白噪声。( )( | )log ( | )p x dxp y xp y x dyRh(X|Y)=-p(xy)log(y|x)dxdy(|)( )( ) log( )( )h YXp x dxp np

22、n dnh n dxdydxdn(|)h YX 信道+第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率单符号连续信道的平均互信息单符号连续信道的平均互信息单符号连续信道的数学模型为输入信源X为输出信源Y为而信道的传递概率密度函数为( )1( )( )RXRp x dxp xp x并且( )1( )( )RYRp y dyp yp y并且(|)1Rp yx dy 第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率 对于连续信道的平均互信息来说，关系式和离散信道下平均互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质，只是表达式中用连

23、续信源的差熵代替了离散信源的熵。 单符号连续信道的信息传输率 （比特/自由度）(;)()(|)()(|)( )(|)()( )()nnnI X YH XH XYh Xh X Yh Yh YXh Xh Yh XY(;)RI X Y平均互信息为：第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率多维连续信道的平均互信息多维连续信道的平均互信息 多维连续信道的数学模型是X，p(y|x)，Y，其传递概率密度函数为： 多维连续信道的平均互信息为：1(|)(|)Niiip y xp yx(; )()(|)()(|)( )(|)()( )()nnnI X YH XH XYh Xh X

24、 Yh Yh Y Xh Xh Yh XY第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率根据随机矢量X和Y的差熵和条件差熵的表达式可得：以上表达式与离散信道下平均互信息的完全类，只是表达式中概率分布函数用概率密度函数来替代，求和号用积分号来替代。因此，离散扩展信道中平均互信息的性质在多维连续信道中仍成立。( | )( | )( ; )()log()log( )( )()()log( ) ( )xyxyxyp x yp y xI X Yp xydxdyp xydxdyp xp yp xyp xydxdyp x p y第五节第五节 连续信道和波形信道的信息传输率连续信道和

25、波形信道的信息传输率多维连续信道的信息传输率 （比特/N自由度）平均每个自由度的信息传输率 （比特/自由度）波形信道的信息传输率波形信道的信息传输率 波形信道输入是平稳随机过程x(t)，输出也是平稳随机过程y(t)。一般情况，对于波形信道来说，都是研究其单位时间内的信息传输率1( ; )NRI X YN(;)RI X YtR1lim(;)(tTRIXYT 比 特 / 秒 ）第五节第五节 连续信道和波形信道的信息传输率连续信道和波形信道的信息传输率1.非负性2.对称性（交互性） 因为 当X和Y统计独立时即p(x|y)=p(x),I(X;Y)=I(Y;X)=0 就不可能从一个随机变量获得关于另一个

26、随机变量的信息。3.凸状性 连续变量之间的平均互信息是输入连续变量X和概率密度函数p(x)的型凸函数；平均互信息又是连续信道传递概率密度函数p(y|x)的U型凸函数。(;)0I X Y()()(; )( ;)p xyp yxI X YI Y X所以连续信道平均互信息的特性连续信道平均互信息的特性第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量 和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称为信道容量。它也是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道的带宽以及信号的各种限制不同，所以具有不同的信道容量。

27、( )( )max (; )max ( )(|)(p xp xCI X Yh Yh Y X比特/N自由度）一般的多维连续信道多维连续信道的信道容量为:( )( )11maxlim( ; )maxlim ( )( |)(/tTTp xp xCI X Yh Yh Y XTT比特 秒）一般的波形信道波形信道的信道容量为:第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量一般多维加性连续信道多维加性连续信道的信道容量为:( )max ()( )(/)p xCh Xh nN比特自由度加性信道的信道容量取决于噪声的统计特性和输入随机矢量所受的限制条件。一般的实际信道中，无论输入信号和噪

28、声的平均功率或能量总是有限的。()()1m ax lim()()1m axlim()()(/tTpxTpxCh Yh nTh Yh nT 比 特秒 ）一般加性波形信道加性波形信道的信道容量为:H(Y)第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量单符号高斯加性信道单符号高斯加性信道 单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。 设信道迭加的噪声n是均值为零，方差为 的一维高斯噪声，噪声信源的熵为 高斯加性信道的信道容量 平均功率受限高斯信道的信道容量 只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率

29、才能达到最大值。2( )log 2h ne 2( )max ( )log2p xCh Ye 1log(1)2snPCP2第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量单符号非高斯加性信道单符号非高斯加性信道 信道的输入和输出都是取值连续的一维随机变量X和Y。信道的噪声Z时均值为零，平均功率为Pn的加性噪声。而且输入信号X的平均功率受限为Ps。这时噪声是非高斯噪声。 当且仅当噪声为高斯加性时，等号才成立。多维无记忆高斯加性连续信道多维无记忆高斯加性连续信道信道输入随机序列 ，输出随机序列11log()log()22snsnnnPPPPCPP12.NXX XX12.NYY

30、YY第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量因为是加性信道，所以有Y=X+n，其中 是均值为零的高斯噪声。 当且仅当输入随机矢量X中各分量统计独立，并且均值为零，方差为不同的高斯变量时才能达到此信道容量。高斯白噪声加性波形信道高斯白噪声加性波形信道 信道的输入和输出信号是随机过程x(t)和y(t)，而加入信道的噪声是加性高斯白噪声n(t)（其均值为零，功率谱密度为 ，输出信号满足y(t)=x(t)+n(t)12.Nnn nn( )11max (; )(1)/2iiNsp xinPCI X YNP（比特自由度）02N第六节第六节 连续信道和波形信道的信道容量连续信道

31、和波形信道的信道容量 波形信道可以分解成N维统计独立得随机序列，每个分量均值为0，方差为200/2/2nPN WTWTN11log(1)2NsiiniPCP 每个信号样本值的平均功率为/22ssPPTWTW在0,T时刻内，信道的信道容量为0log(1)(/)sPWTNN W比特自由度0/2log(1)(/)/2sPWCWTNN比特自由度第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量要达到这个信道容量要求输入N维随机序列X中每一分量Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。 高斯白噪声加性信道的单位时间的信道容量其中Ps是信号的平均功率， 为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。oN W0limlog(1)(/)stTPCCWTN W比特 秒第六节第六节 连续信道和波形信道的信道容量连续信道和波形信道的信道容量这就是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。 一些实际的信道是非高斯波形信道。由前可知高斯加性信道的信道容量是非高斯信道容量的下限值。所以，