信息论第五讲

1、关于信息论第五讲第一张，PPT共六十三页，创作于2022年6月说明：p(y/x)为DMC1的信道转移概率；p(z/y)为DMC2的信道转移概率；p(z/x,y)为串联信道的信道转移概率；p(z/x,y) =p(z/y)，说明DMC2的输出只取决于DMC2的输入，这个串联信道具有马尔可夫链性质。I(X,Y;Z)由输出状态Z中得到的关于联合状态(X,Y)的信息量。I(Y;Z)由输出状态Z中得到的关于状态Y的信息量。第二张，PPT共六十三页，创作于2022年6月I(Y;Z)=H(Y)-H(Y/Z)=H(Z)-H(Z/Y)=I(Z;Y)第三张，PPT共六十三页，创作于2022年6月DMC1DMC2XY

2、Z同理： 对于所有满足p(x,y,z)0的(x,y,z)，当且仅当p(z/x,y)=p(z/x)时，等式成立。从Z中获得X,Y的信息量总是大于等于从Z中获得的X的信息量。第四张，PPT共六十三页，创作于2022年6月根据:I(X;Z)=H(X)-H(X/Z)=H(Z)-H(Z/X)=I(Z;Y)第五张，PPT共六十三页，创作于2022年6月即:当p(z/x,y)=p(z/x)时，等式成立。说明信道1是一种无失真的变换。第六张，PPT共六十三页，创作于2022年6月(2) 数据处理定理p(y/x)p(z/xy)XYZ定理：若X,Y,Z为离散随机变量，并且构成一个马尔可夫链，则有：I(X;Z)I(

3、X;Y)I(X;Z)I(Y;Z)证明2:如果满足马尔可夫链，即p(z/xy)=p(z/y)。则串联信道定理中的等号成立。第七张，PPT共六十三页，创作于2022年6月p(y/x)p(z/xy)XYZI(X,Y;Z)=I(Y;Z)同时在串联信道定理中还有：I(X,Y;Z)I(X;Z)因此得到:I(X;Z)I(Y;Z)同样可以证明I(X;Z)I(X;Y)第八张，PPT共六十三页，创作于2022年6月(3) 数据处理定理推广信源编码器译码器信道这是一个通信系统基本模型。其中的U，X，Y，V为离散随机矢量。第九张，PPT共六十三页，创作于2022年6月对于一个实际通信系统来说， U，X，Y，V构成的离

4、散随机矢量序列形成一个马尔可夫链。也就是说他们满足：这是山农信息理论对通信系统模型的一个基本假设。信源编码器译码器信道第十张，PPT共六十三页，创作于2022年6月信源编码器译码器信道这是山农信息理论对通信系统模型的一个基本假设。根据数据处理定理可以得到：第十一张，PPT共六十三页，创作于2022年6月说明：信息的处理，例如编码，译码等，只能损失信息，不能增加信息。只有当信息处理是一一对应时，等号成立。这一点在理论上是正确的，但是为了有效并可靠的传输信息，数据处理还是必要的。信源编码器译码器信道第十二张，PPT共六十三页，创作于2022年6月(4)多符号信源离散随机矢量第十三张，PPT共六十三

5、页，创作于2022年6月2.7.4 信源的剩余度关于离散信源熵的总结：实际信源一般是非平稳的、有记忆、随机序列信源；其极限熵是不存在的；解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难；进一步假设其为m阶Markov信源，其信源熵用极限熵H m+1近似；再进一步假设为一阶Markov信源，用其极限熵H1+1(X2/X1) 来近似；最简化的信源是离散无记忆信源，其熵为H(x)=H1 (X);最后可以假定为等概的离散无记忆信源，其熵为H0(X)=logn；第十四张，PPT共六十三页，创作于2022年6月它们之间的关系可以表示为：logn=H0(X)H1(X)H1+1(X)H 2+1

6、(X)H m+1(X)H离散有记忆信源的记忆长度越长，信源熵越小；而独立且等概的信源，熵最大。例英文字母信源：26个字母加1个空格符H0=log27=4.76 bit (等概)H1=4.02 bit （不等概）H1+1=3.32 bit （一阶M-信源）H2+1=3.1 bit （二阶M-信源）H=1.4 bit 第十五张，PPT共六十三页，创作于2022年6月剩余度：用来衡量由于信源内部的消息状态的相关性和分布性，使其熵减少的程度称为剩余度。相对熵：= H/H0 =H(X)/Hmax(X) =(实际信源熵)/(离散信源最大熵) 内熵(信息熵差)：= H0- H =H(X)-Hmax(X)=（

7、最大熵）-（实际信源熵）剩余度：第十六张，PPT共六十三页，创作于2022年6月 连续信源熵与信道容量上一章我们讨论的是离散信源，实际应用中还有一类信源称为连续信源，这种信源的时间和取值都是连续的，例如语音信号，电视图像信号都是连续信号。时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连续随机变量。而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以根据采样定理，将其变为时间离散信源。这里我们只讨论单变量连续信源，即时间离散状态连续的连续信源。第十七张，PPT共六十三页，创作于2022年6月3.1连续信源的熵3.1.1 连续信源熵的定义连续信源的状态概率用概率密度来表示。如果连续

8、随机变量X，取值为实数域R，其概率密度函数为p(x)，则如果取值为有限实数域a,b，则这时X的概率分布函数为：第十八张，PPT共六十三页，创作于2022年6月连续信源的数学模型X：R(或a,b)P(X)：p(x)连续信源熵的表达式利用离散信源熵的概念来定义连续信源熵，首先看一个再a,b取间的连续随机变量，如图 首先把X的取值区间a,b分割为n个小区间，小区间宽度为：=(b-a)/n根据概率分布为概率密度函数曲线的区间面积的关系，X取值为xi的概率为：Pi=p(xi).第十九张，PPT共六十三页，创作于2022年6月这样可以得到离散信源Xn的信源空间为：且有：当n趋无穷时，按离散信源熵的定义：可

9、得离散信源Xn的熵：第二十张，PPT共六十三页，创作于2022年6月当趋于0，n趋于无穷时，离散随机变量Xn将接近于连续随机变量X，这时可以得到连续信源的熵为：其中：连续信源的熵定义为：第二十一张，PPT共六十三页，创作于2022年6月连续信源熵为一个相对熵，其值为绝对熵减去一个无穷大量。H(X)=Hc(X)-连续信源有无穷多个状态，因此根据SHANNON熵的定义必然为无穷大。连续信源的熵不等于一个消息状态具有的平均信息量。其熵是有限的，而信息量是无限的。连续信源熵不具有非负性，可以为负值。尽管连续信源的绝对熵为一个无穷大量，但信息论的主要问题是信息传输问题，连续信道的输入输出都是连续变量，当

10、分析其交互信息量时是求两个熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，不影响分析。第二十二张，PPT共六十三页，创作于2022年6月连续信源的疑义度：则平均交互信息量为： I(X,Y)=H(X)-H(X/Y)3.1.2 几种连续信源的熵均匀分布的连续信源熵设一维连续随机变量X的取值区间是a,b，在a,b中的概率密度函数是第二十三张，PPT共六十三页，创作于2022年6月这种连续信源称为均匀分布的连续信源。其熵为：这时可以看到：当(b-a)1时，H(X)0，即H(X)不具有熵函数的非负性，因为H(X)是相对熵，相对熵可以为负值，但绝对熵仍然为正值。高斯分布的连续信源熵设一维随机变量X的

11、取值范围是整个实数R，概率密度函数为：第二十四张，PPT共六十三页，创作于2022年6月其中，m是随机变量X的均值2是随机变量X的方差当均值m=0时，方差2就是随机变量的平均功率，第二十五张，PPT共六十三页，创作于2022年6月这个信源称为高斯分布的连续信源，其数学模型为：这时可以得到高斯连续信源的熵为：第二十六张，PPT共六十三页，创作于2022年6月指数分布的连续信源熵设一随机变量X的取值取间为0，其概率密度函数为则称为指数分布的连续信源。其中常数a为随机变量X的均值。即指数分布的连续信源的熵为第二十七张，PPT共六十三页，创作于2022年6月3.2 连续信源的最大熵3.2.1 连续信源

12、的最大熵为了求出连续信源的最大熵，将利用数学中的变分法的方法来求解。连续信源的熵为：其基本约束条件为：其它约束条件为：第二十八张，PPT共六十三页，创作于2022年6月建立辅助函数：其中有：根据极值的条件有：及m个约束方程，可以确定最大熵和所对应的信源概率密度分布p(x)。 第二十九张，PPT共六十三页，创作于2022年6月输出幅度受限时的最大熵（瞬时功率受限）其基本条件为：|x|v，x2S，这时对应只有一个约束方程，可以得到：第三十张，PPT共六十三页，创作于2022年6月这里的对数为以e为底，由约束方程可得：结论：对于瞬时功率受限的连续信源，在假定信源状态为独立时，当概率密度分布为常数时，

13、信源具有最大熵。其最大熵为：第三十一张，PPT共六十三页，创作于2022年6月输出平均功率受限时的最大熵推导：这时的约束条件为：可知：第三十二张，PPT共六十三页，创作于2022年6月由极值条件：可得：第三十三张，PPT共六十三页，创作于2022年6月将其代入约束条件,可得：得到：得到连续信源获得最大熵时的概率密度函数：第三十四张，PPT共六十三页，创作于2022年6月这是一个均值为0的高斯分布。其最大熵为：第三十五张，PPT共六十三页，创作于2022年6月如果平均功率为N=2; 则有结论：（最大熵定理）对于输出平均功率受限的连续信源，在假设状态相互独立时，当其概率密度函数为高斯分布时，具有最

14、大熵。其最大熵值随功率N的增加而增加。第三十六张，PPT共六十三页，创作于2022年6月3.2.2 连续信源的熵功率对于平均功率受限的连续信源，当信源为高斯分布时有最大熵，如果信源不是高斯分布，则信源熵将小于最大熵。熵功率则用来描述连续信源熵的剩余度。即说明信源是可以改造的程度。一个平均功率为N的非高斯分布的连续信源的熵功率等于与其有同样熵的高斯信源的平均功率。当非高斯连续信源与高斯信源具有相同熵时，那非高斯信源的平均功率一定大于高斯信源的功率。当非高斯连续信源与高斯信源具有相同平均功率时，那非高斯信源的熵一定小于高斯信源的熵。第三十七张，PPT共六十三页，创作于2022年6月平均功率为N的非

15、高斯信源的熵功率为： （“目标功率”）非高斯信源：高斯信源：当时； 一定有：当时； 一定有：第三十八张，PPT共六十三页，创作于2022年6月3.2.3 连续信源的共熵和条件熵同离散信源相似，连续信源也可定义其共熵和条件熵，其基本关系为： H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y) H(X,Y)H(X)+H(Y) H(X/Y)H(X) H(Y/X)H(Y)第三十九张，PPT共六十三页，创作于2022年6月3.3 连续有噪声信道的信道容量3.3.1 连续信道的平均交互信息量设信道输入的随机变量X的取值为a,b，信道输出随机变量Y的取值为a,b，信道转移概率为p(y/x), (a

16、xb,ayb)，如图3-2所示。第四十张，PPT共六十三页，创作于2022年6月其连续信道的平均交互信息量为：I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)其中熵函数的表达式：第四十一张，PPT共六十三页，创作于2022年6月可知：I(X,Y)0；即平均交互信息量为非负值，当X，Y相互独立时，p(x,y)=p(x)p(y)，I(X,Y)=0。同时有：I(X,Y)=I(Y,X)与离散信道情况相似，有相应的概率关系：p(x,y)=p(x)p(y/x)=p(y)p(x/y)第四十二张，PPT共六十三页，创作于2022年6月3.3.2 连续信道的熵速率与信道容量熵速率在一个高斯白噪声连续

17、信道中，接收随机变量Y为发送消息状态X于噪声n之和。即为加性高斯白噪声（GAWN）信道，关系如图所示。第四十三张，PPT共六十三页，创作于2022年6月定义：接收熵速率为（不考虑符号速率，r=1）首先考虑X,n的联合熵，由于X与n相互独立。即。所以有：联合熵（等于独立熵之和）第四十四张，PPT共六十三页，创作于2022年6月注意：由于Y=X+n，有p(x,n)=p(x)p(n)，即X与n独立，并且有：对于给定的xi, p(y/x)=p(n/x)=p(n) 因为Y=X+n；且x与n独立。所以有第四十五张，PPT共六十三页，创作于2022年6月山农公式说明加性高斯白噪声信道的输入信号X与噪声n相加

18、得到输出的接收信号Y，如图所示。根据概率论的相关知识，如果X为N维随机变量，Y为N维随机变量，并且X与Y有函数关系，Yi=gi(X); Xi=fi(Y); (如Y=X+n)，则他们的联合概率密度函数存在关系：第四十六张，PPT共六十三页，创作于2022年6月其中J为雅可比行列式。对于加性高斯白噪声信道，坐标变换为：X=X (f1)；n=Y-X (f2)。第四十七张，PPT共六十三页，创作于2022年6月因此： （X与n相互独立）另外：则：最终得到：第四十八张，PPT共六十三页，创作于2022年6月就是说：加性高斯白噪声连续信道的条件概率密度函数p(y/x)就是噪声n的概率密度函数p(n)，这是

19、加性高斯噪声信道的一个重要特征。则有: 可得：熵速率为：R=H(X)-H(X/Y)=H(Y)-H(n)结论：在连续有噪声信道上，接收熵速率等于接收得总信息速率H(Y)减去噪声信息速率H(n)。第四十九张，PPT共六十三页，创作于2022年6月信道容量（Shannon公式）与离散信道的信道容量的概念一样，在连续信道中，对于给定的信道p(y/x)，最大的接收熵速率为信道容量。当考虑到随机变量X的符号速率为r时：已知X与n相互独立，则H(n)与p(x)无关。第五十张，PPT共六十三页，创作于2022年6月三点假设：信道为加性高斯白噪声信道，功率谱均匀，平均功率为N。信道带宽满足信号频谱要求，为W，符

20、号速率为r=2W。信源为平均功率受限，信号功率为P。由于Y=X+n。为了使H(Y)为最大，Y应为高斯分布。若Y为高斯分布，同时已知n为高斯分布，则X也应为高斯分布。(Y=X+n)由此得知：对于高斯白噪声信道，当信源为高斯分布时，接收熵速率为最大。第五十一张，PPT共六十三页，创作于2022年6月推导：设Y为在接收端的一个平均功率受限的信源，功率为P+N；则有：若把信道噪声看成一个平均功率为N的噪声源，则有：这样由信道容量的关系式可得：这样就得到了Shannon公式, 单位为net/s。第五十二张，PPT共六十三页，创作于2022年6月Shannon公式的理解：在加性高斯信道上，其信道容量C与信

21、号带宽W和信号噪声功率比P/N有关。在加性高斯信道上，当信源信号为高斯分布时，信道熵速率等于信道容量。对于连续信源来说，高斯白噪声信道危害最大，因为H(n)大使熵速率R减小。本公式给出了信道容量的理论极限值，目前还很难实现，因为信源不可能为高斯分布。信道容量的计算比较复杂，一些简单情况下是可以计算的。第五十三张，PPT共六十三页，创作于2022年6月3-3-3 Shannon公式的参数互换由Shannon公式可知：（注意：这时的单位可以为比特，因为它是两个熵函数之差，不同单位的信道容量表达式是相同的。）如果考虑通信时间为T，在T秒钟传输的总的信息量为：保持总的信息量不变，T、W、P/N之间的互

22、换关系。当信噪比P/N一定时：WT，TW，当传输时间T一定时：WP/N，WP/N，当带宽W一定时：TP/N，TP/N，第五十四张，PPT共六十三页，创作于2022年6月3.4 关于连续信源熵和山农公式1连续信源的剩余度平均功率为N的非高斯信源的熵为HN(X)；令则HN(X)的熵功率为： 是HN(X)的熵功率。 是这个非高斯信源的剩余度。第五十五张，PPT共六十三页，创作于2022年6月2关于信道噪声在通信系统中，我们把来自各方面的噪声都集中在一起，认为都是从信道加入的。实际系统的噪声分为外部噪声和内部噪声。外部噪声又分为人为噪声（火花）和自然噪声（大气噪声）。内部噪声包括热噪声（电子热运动）和

23、散粒噪声（器件中电流起伏）。按噪声性质对信道进行分类：高斯噪声信道；白噪声信道；高斯白噪声信道；有色噪声信道； 第五十六张，PPT共六十三页，创作于2022年6月3高斯噪声信道信道中的噪声为高斯分布（正态分布）的平稳、各态历经的随机过程。其幅度值的概率密度函数为高斯分布。内部噪声的热噪声和散粒噪声都是高斯噪声。高斯噪声的一维概率密度函数为：4白噪声信道白噪声信道就是信道中的噪声为白噪声过程，白噪声是一种平稳、各态历经的随机过程。它的功率谱密度在整个频域上为均匀分布，也就是说功率谱密度为常数。第五十七张，PPT共六十三页，创作于2022年6月白噪声幅度值的概率密度函数为任意的。其中的N0为单边功率谱密度（工程上谱的范围），N0/2为双边功率谱密度（数学上的谱