信息科学第六章

信息科学第六章第一页，共四十七页，2022年，8月28日第一节波形信源的统计特性和离散化实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程{x(t)}来表示。随机过程{x(t)}可以看成由一族时间函数组成称为样本函数。每个样本函数是随机过程的一个实现。

（1）随机波形信源中消息数是无限的。（2）随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。第二页，共四十七页，2022年，8月28日第一节波形信源的统计特性和离散化就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列时刻上的样本值来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间的样本值是一个随机变量。第三页，共四十七页，2022年，8月28日第一节波形信源的统计特性和离散化这样，通过取样，随即过程就成为可数的无限维的随机序列。如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。随机过程描述输出消息的信源称为随机波形信源。用连续随机变量描述输出消息的信源称为连续信源。第四页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度连续信源的差熵先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。变量的一维概率密度函数为一维概率分布函数为条件概率密度函数为联合概率密度函数为第五页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度它们之间的关系为基本连续信源的数学模型为其中R是全实数集。第六页，共四十七页，2022年，8月28日连续信源的差熵连续信源的信息熵第二节波形信源和波形信源的信息测度这样的话：舍弃无穷大的第二项，可得：定义连续信源的熵为：第七页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度同理可以定义两个连续变量X、Y的联合熵和条件熵第八页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度连续信源的差熵只具有熵的部分含义和性质（1）可加性并当且仅当X与Y统计独立时所以可得（2）凸状性和极值性差熵h(X)是输入概率密度函数p(x)的П型凸函数，对于某一概率密度函数可以得到差熵的最大。（3）差熵可为负值第九页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度波形信源的差熵实际信源的输入和输出都是平稳随机过程，其{x(t)}和{y(t)}可以通过取样，分解成取值连续的无穷平稳随机序列来表示，所以平稳随机过程的熵就是无穷平稳随机序列的熵。波形信源的差熵:第十页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了。和离散变量中一样，易于证明:且当随机序列中各变量统计独立时等式成立。第十一页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度两种特殊连续信源的差熵1.均匀分布连续信源的熵值

一维连续随机变量X在[a,b]区间内均匀分布时，这基本连续信源的熵为N维连续平稳信源，若其输出N维矢量其分量分别在的区域内均匀分布，N维连续平稳信源的差熵为第十二页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度无记忆连续平稳信源和无记忆离散平稳信源一样，差熵也满足限频、限时均匀分布的波形信源的熵为在波形信源中常采用单位时间内信源的差熵——熵率。均匀分布的波形信源的熵率为第十三页，共四十七页，2022年，8月28日第二节波形信源和波形信源的信息测度连续信源的熵为:可见，正态分布的连续信源的熵与数学期望m无关，只与其方差有关。2.高斯信源的熵值基本高斯信源是指信源输出是一维随机变量X的概率密度分布是正态分布，即第十四页，共四十七页，2022年，8月28日高斯噪声信源的熵第二节波形信源和波形信源的信息测度如果N维连续平稳信源输出的N维连续随机矢量是正态分布则称此信源为N维高斯信源。其差熵为：当各变量之间统计独立，则C为对角线矩阵，并有所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随机变量的差熵为当均值m=0时，X的方差就等于信源输出的平均功率P：第十五页，共四十七页，2022年，8月28日第三节具有最大熵的连续信源通常我们最感兴趣的是两种情况：一种是信源的输出值受限；一种是信源的输出平均功率受限。峰值功率受限条件下信源的最大值若某信源输出信号的峰值功率受限为，它等价于信源输出的连续随机变量X的取值幅度受限，限于[a,b]内取值。在约束条件下信源的最大相对熵。定理6.1若信源输出的幅度被限定在[a,b]区域内，则当输出信号的概率密度是均匀分布时信源具有最大熵。其值等于log(b-a)。若当N维随机矢量取值受限时，也只有随机分量统计独立并均匀分布时具有最大熵。第十六页，共四十七页，2022年，8月28日第三节具有最大熵的连续信源平均功率受限条件下信源的最大值定理6.2若一个连续信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵，其值为。对于N维连续平稳信源来说，若其输出的N维随机序列的协方差矩阵C被限定，则N维随机为正态分布时信源的熵最大，N维高斯信源的熵最大，其值为。这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯统计特性一样时，才会有最大的熵值。第十七页，共四十七页，2022年，8月28日第三节具有最大熵的连续信源对于N维平稳信源也可用类似证明方法，证得当其输出的N维协方差矩阵C受限时，N维高斯信源的熵最大，最大值为。随机序列中各分量之间不相关，又，则可证得N维随机序列得各分量彼此统计独立，并各自达到正态分布时熵最大，也就是N维无记忆高斯信源的熵最大，最大值为。如果序列中各分量的均值为零，而平均功率为，则得N维无记忆高斯信源得熵最大，最大值为第十八页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类波形信道：信道的输入和输出都是随机过程{x(t)}和{y(t)}。连续信道：用连续随机变量来描述信道的输入和输出的消息。取样主要研究：噪声系统外噪声系统内噪声热噪声散粒噪声第十九页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类按噪声统计特性分类1.高斯信道信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过程，其瞬时值的概率密度函数服从高斯分布（即正态分布）。一维概率密度函数为常见的是二维高斯随机变量。第二十页，共四十七页，2022年，8月28日信道中的噪声是白噪声。白噪声也是平稳遍历的随机过程。它的功率谱密度均匀分布于整个频率区间功率谱密度为一常数其瞬时值的概率密度函数可以是任意的。此处白噪声的功率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来定义，则功率谱为，常称为单边谱密度。而称为双边谱密度，单位为瓦/赫(W/Hz)。显然。白噪声的相关函数是函数：第四节连续信道和波形信道的分类2.白噪声信道第二十一页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类3.高斯白噪声信道具有高斯分布的白噪声称为高斯白噪声。一般情况把既服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。关于低频限带高斯白噪声有一个很重要的性质，即低频限带高斯白噪声经过取样函数取值后可分解成N（＝2FT）个统计独立的高斯随机变量（方差为，均值也为零）。低频限带高斯白噪声可以看成是无限带宽的高斯白噪声通过一个理想低通滤波器后所得。如果理想低通滤波器其带宽为F赫兹，那么它的传递函数的频率响应为第二十二页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类考虑双边谱密度，低频限带高斯白噪声的功率谱密度为其自相关函数由功率谱密度可知在时间间隔的两个样本点之间的相关函数等于零，所以各样本值之间不相关。有因为随即变量是高斯概率密度分布的，所以随机变量之间统计独立。第二十三页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类4.有色噪声信道除白噪声以外的噪声称为有色噪声。信道的噪声是有色噪声称此信道为有色噪声信道。第二十四页，共四十七页，2022年，8月28日按噪声对信号的功能分类1.乘性信道信道中噪声对信号的干扰作用表现为是与信号相乘的关系，则信道称为乘性信道，噪声称为乘性干扰。在实际无线电通信系统中常会遇到乘性干扰。2.加性信道信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信号称为加性信道，此噪声称为加性噪声。第四节连续信道和波形信道的分类第二十五页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类连续信道的分类我们研究波形信道，就是要研究波形信道的信息传输问题。一方面为了便于研究，另一方面因为实际波形信道的频率总是受限的,所以在有限观察时间T内，能满足限频F，限时T的条件。因此，根据时间取样定理把波形信道的输入{x(t)}和输出{y(t)}的平稳随机过程信号离散化成N(=2FN)个时间离散，取值连续的平稳随即序列:和这样，波形信道就转化成多维连续信道。第二十六页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类若多维连续信道的传递概率密度函数满足则称此信道为连续无记忆信道。若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道。连续信道任何时刻的输出变量与其他任何时刻的输入，输出变量都有关。则此信道称为连续有记忆信道。第二十七页，共四十七页，2022年，8月28日第四节连续信道和波形信道的分类基本连续信道就是输入和输出都是单个连续型随机变量的信道，基本连续信道就是单符号连续信道，其输入是连续型随机变量X，X取值于[a,b]或实数域R；输出也是连续性随机变量Y，取值于或实数域R；信道的传递概率密度函数为p(y|x)，并满足因此，可用来描述单符号连续信道。根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性信道，乘性信道和高斯信道等之区分。对于加性信道，信道的传递概率密度函数就等于噪声的概率密度函数。这也进一步说明了信道的传递概率是由于噪声所引起的。第二十八页，共四十七页，2022年，8月28日噪声n输入Y输入X第四节连续信道和波形信道的分类因此，在加性信道中，条件熵为根据坐标变换得所以结论说明了条件熵是由于信道中噪声引起的，它完全等于噪声信源的熵，所以称为噪声熵。以后主要讨论的是加性信道，噪声源主要是高斯白噪声。信道+第二十九页，共四十七页，2022年，8月28日第五节连续信道和波形信道的信息传输率单符号连续信道的平均互信息单符号连续信道的数学模型为输入信源X为输出信源Y为而信道的传递概率密度函数为第三十页，共四十七页，2022年，8月28日第五节连续信道和波形信道的信息传输率

对于连续信道的平均互信息来说，关系式和离散信道下平均互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质，只是表达式中用连续信源的差熵代替了离散信源的熵。单符号连续信道的信息传输率（比特/自由度）平均互信息为：第三十一页，共四十七页，2022年，8月28日第五节连续信道和波形信道的信息传输率多维连续信道的平均互信息多维连续信道的数学模型是[X，p(y|x)，Y]，其传递概率密度函数为：多维连续信道的平均互信息为：第三十二页，共四十七页，2022年，8月28日第五节连续信道和波形信道的信息传输率根据随机矢量X和Y的差熵和条件差熵的表达式可得：以上表达式与离散信道下平均互信息的完全类，只是表达式中概率分布函数用概率密度函数来替代，求和号用积分号来替代。因此，离散扩展信道中平均互信息的性质在多维连续信道中仍成立。第三十三页，共四十七页，2022年，8月28日第五节连续信道和波形信道的信息传输率多维连续信道的信息传输率（比特/N自由度）平均每个自由度的信息传输率（比特/自由度）波形信道的信息传输率波形信道输入是平稳随机过程{x(t)}，输出也是平稳随机过程{y(t)}。一般情况，对于波形信道来说，都是研究其单位时间内的信息传输率第三十四页，共四十七页，2022年，8月28日第五节连续信道和波形信道的信息传输率1.非负性2.对称性（交互性）因为当X和Y统计独立时即p(x|y)=p(x),I(X;Y)=I(Y;X)=0就不可能从一个随机变量获得关于另一个随机变量的信息。3.凸状性连续变量之间的平均互信息是输入连续变量X和概率密度函数p(x)的∩型凸函数；平均互信息又是连续信道传递概率密度函数p(y|x)的U型凸函数。连续信道平均互信息的特性第三十五页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称为信道容量。它也是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道的带宽以及信号的各种限制不同，所以具有不同的信道容量。一般的多维连续信道的信道容量为:一般的波形信道的信道容量为:第三十六页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量一般多维加性连续信道的信道容量为:加性信道的信道容量取决于噪声的统计特性和输入随机矢量所受的限制条件。一般的实际信道中，无论输入信号和噪声的平均功率或能量总是有限的。一般加性波形信道的信道容量为:第三十七页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量单符号高斯加性信道单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。设信道迭加的噪声n是均值为零，方差为的一维高斯噪声，噪声信源的熵为高斯加性信道的信道容量平均功率受限高斯信道的信道容量只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值。第三十八页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量单符号非高斯加性信道信道的输入和输出都是取值连续的一维随机变量X和Y。信道的噪声Z时均值为零，平均功率为Pn的加性噪声。而且输入信号X的平均功率受限为Ps。这时噪声是非高斯噪声。当且仅当噪声为高斯加性时，等号才成立。多维无记忆高斯加性连续信道信道输入随机序列，输出随机序列第三十九页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量因为是加性信道，所以有Y=X+n，其中是均值为零的高斯噪声。当且仅当输入随机矢量X中各分量统计独立，并且均值为零，方差为不同的高斯变量时才能达到此信道容量。高斯白噪声加性波形信道信道的输入和输出信号是随机过程{x(t)}和{y(t)}，而加入信道的噪声是加性高斯白噪声{n(t)}（其均值为零，功率谱密度为，输出信号满足{y(t)}={x(t)}+{n(t)}第四十页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量波形信道可以分解成N维统计独立得随机序列，每个分量均值为0，方差为每个信号样本值的平均功率为在[0,T]时刻内，信道的信道容量为第四十一页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量要达到这个信道容量要求输入N维随机序列X中每一分量Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。高斯白噪声加性信道的单位时间的信道容量其中Ps是信号的平均功率，为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。第四十二页，共四十七页，2022年，8月28日第六节连续信道和波形信道的信道容量这就是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。一些实际的信道是非高斯波形信道。由前可知高斯加性信道的信道容量是非高斯信道容量的下限值。所以，香农公式可适用于其他一般的非高斯波形信道，由香农公式得到的值是非高斯波形信道的信道容量的下限值。由香农公式可以看出，当带宽W增大时，信道容量也开始增大，当时，趋于一极限值。第四十三页，共四十七页，2022年，8月28日第七节连续信道编码定理第五章中讨论了香农第二定理，对连续信道同样是成立的。只是和研究信道容量一样，还必须对输入信源加以某些限制条件才能