信息论2015-3

1、第三章 信道容量与高斯信道3.1 3.1 离散信道的信道容量离散信道的信道容量3.2 3.2 串联信道的交互信息量串联信道的交互信息量3.3 3.3 连续信源的熵连续信源的熵3.4 3.4 连续信源的最大熵连续信源的最大熵3.5 3.5 连续有噪声信道的信道容量连续有噪声信道的信道容量123.1 离散信道的信道容量3.1.1 熵速率与信道容量熵速率与信道容量n单符号离散无记忆信源与离散无记忆信道构成的通信系统模型如图。信道单符号离散无记忆信源与离散无记忆信道构成的通信系统模型如图。信道输入随机变量输入随机变量X，信道数出随机变量，信道数出随机变量Y，描述信道特性的参数是信道转移概，描述信道特性

2、的参数是信道转移概率矩阵。率矩阵。n平均交互信息量平均交互信息量I(X,Y)是这个通信系统是这个通信系统X, P(Y/X), Y输出一个符号传输的平输出一个符号传输的平均信息量，也就是信宿的接收熵。均信息量，也就是信宿的接收熵。定义：单位时间内传递的平均信息量为定义：单位时间内传递的平均信息量为熵速率熵速率。当符号速率为r符号/秒时，单符号离散无记忆信道模型的熵速率为在信息论中，定义熵速率及信道容量的目的是研究通信能力与信源和信道特性的关系，因此参数r并没有多大理论意义，通常假定r=1，可表示为3)/()()/()();(XYHYHrYXHXHrYXIrR)/()()/()();(XYHYHY

3、XHXHYXIR3.1.1 熵速率与信道容量熵速率与信道容量n这样，从数学模型化的角度看，熵速率就是平均交互信息量。熵速率既是这样，从数学模型化的角度看，熵速率就是平均交互信息量。熵速率既是信源先验概率的函数，也是信道转移概率的函数。信源先验概率的函数，也是信道转移概率的函数。n为了专门描述某一个信道的统计特性对通信系统信息传输能力的影响，信为了专门描述某一个信道的统计特性对通信系统信息传输能力的影响，信息论又定义了信道容量。息论又定义了信道容量。定义：信道容量是在给定信道条件下（即一定的信道转移概率），对于所有可能的信源先验概率分布的最大熵速率。它表示为n根据平均交互信息量的性质我们知道，对

4、于给定的信道转移概率，平均交互信息量根据平均交互信息量的性质我们知道，对于给定的信道转移概率，平均交互信息量是信源先验概率的上凸函数，因此存在一种先验概率分布使平均交互信息量达到最是信源先验概率的上凸函数，因此存在一种先验概率分布使平均交互信息量达到最大值，这个最大值就是信道容量。大值，这个最大值就是信道容量。n根据信道容量的定义可以看到，信道容量与信源无关，它只是信道转移概率的函数根据信道容量的定义可以看到，信道容量与信源无关，它只是信道转移概率的函数，不同的信道就有不同的信道容量，它反映了信道本身的传信能力。，不同的信道就有不同的信道容量，它反映了信道本身的传信能力。4RCXP)(max)

5、/()(max);(max)()(YXHXHYXICXPXP)/()(max);(max)()(XYHYHYXICXPXP3.1.2 几种简单信道的信道容量计算几种简单信道的信道容量计算【例3-1】具有一一对应关系的无噪声信道。有这样一类离散无记忆信道，输入输出都是有n个符号状态的离散随机变量。例如，下面两个信道转移概率矩阵和信道状态图。这类信道的转移概率矩阵的元素均为0或1，根据定义其噪声熵H(Y/X)=0。其后验概率其可疑度因此有I(X,Y)=H(X)=H(Y)根据信道容量的定义有这类信道是最基本得无噪声信道，其信道容量就等于信源的最大熵，也等于信宿的最大熵。510000100001000

6、011P00010010010010002P 10)/()()/()()/(1niijiijijixypxpxypxpyxp0)/(log),()/(11 nimjjijiyxpyxpYXHnXHYXICXPXPlog)(max);(max)()(3.1.2 几种简单信道的信道容量计算几种简单信道的信道容量计算【例3-2】具有扩展性的无噪声信道具有扩展性的无噪声信道。有这样一类离散无记忆信道，输入随机变量的符号状态数n小于输出随机变量的符号状态数m，信道转移概率矩阵为在这类信道中，信道转移概率矩阵中每列只有一个非0元素，因此，其可疑度H(X/Y)=0。其信道容量为这种扩展性的无噪声信道的信道容

7、量等于信源的最大熵。6)/(0)/(00)/(0)/(0)/(2524131211xypxypxypxypxypPnXHYXICXPXPlog)(max);(max)()(3.1.2 几种简单信道的信道容量计算几种简单信道的信道容量计算【例3-3】具有归并性的无噪声信道具有归并性的无噪声信道。有这样一类离散无记忆信道，输入随机变量的符号状态数n大于输出随机变量的符号状态数m，其信道转移概率矩阵为在这类信道中，信道转移矩阵中的元素均为1和0，因此，噪声熵H(Y/X)=0。有I(X,Y)=H(Y)，根据信道容量的定义有这种归并性的无噪声信道的信道容量等于信宿的最大熵。可以看到，所谓的无噪声信道并不

8、完全是我们传统意义上的一一对应的无差错信道，而是在信息论意义上的无噪声信道，即可以实现最大平均交互信息量的信道。71010010101PmYHYXICXPXPlog)(max);(max)()(3.1.3 信道容量的一般计算方法信道容量的一般计算方法在上面介绍的几种简单情况中，只是根据信道转移概率矩阵的特殊性和最大熵定理就可以得到信道容量。如果对于相对比较复杂的情况，还可以利用数学上的拉格朗日乘数法来求得离散无记忆信道的信道容量问题。所谓拉格朗日乘数法就是一种将有n个变量与k个约束条件的最优化问题转换为一个有n+k个变量的方程组的极值问题。由信道容量的定义，信道容量就是在固定的信道条件下，对所

9、有可能的先验概率求平均交互由信道容量的定义，信道容量就是在固定的信道条件下，对所有可能的先验概率求平均交互信息量的最大值。已知单符号离散无记忆信道下平均交互信息量与信源先验概率分布的函数信息量的最大值。已知单符号离散无记忆信道下平均交互信息量与信源先验概率分布的函数关系及其约束条件为关系及其约束条件为实际上，平均交互信息量可以写成实际上，平均交互信息量可以写成可以看到，当信道转移概率一定时，平均交互信息量就是信源先验概率的函数。8)()/(log)/()();(11ijinimjijixpyxpxypxpYXIniixp11)()()/()()/()(log)/()();(111iniijii

10、jinimjijixpxypxpxypxpxypxpYXI3.1.3 信道容量的一般计算方法信道容量的一般计算方法利用拉格朗日法，构造一个关于先验概率的辅助函数其中的为待定系数，对辅助函数求关于概率分布p(xi)的导数，并使其为0，得到n个方程由辅助函数可知利用交互信息量关系（以e为底）得到方程组这n个方程加上约束方程共n+1个方程，求n+1个未知数，解这个方程组就可以求出获得信道容量时的信源先验概率分布。9 1)(),()(),.,(),(121niinxpYXIxpxpxpF0)(.0)(0)(21nxpFxpFxpFnixpYXIxpFii,.,2 , 1;)();()(nimjijij

11、imjjjxypxypxpypypXYHYHYXI111)/(ln)/()()(ln)()/()();(niypxypxypjijmjij,.2 , 1; 1)()/(ln)/(13.1.3 信道容量的一般计算方法信道容量的一般计算方法假设使I(X;Y)为最大值时的先验概率为p(x1),p(x2),.p(xn)，将它们分别乘到式（3-13）n个方程组的两边，然后求和可得则上式左边就是信道容量，即令可得方程组：这是一个含有m个未知数，n个方程的非齐次方程组。可以证明，如果n=m，信道转移矩阵为非奇异矩阵，则方程组有解。可得10nixypxypxpypypmjijijniijmjj,.2 , 1;

12、 1)/(ln)/()()(ln)(1111CmjypCjj,.,2 , 1);(lnmjjeC1lnmjijijmjjijnixypxypxyp11,.2 , 1);/(ln)/()/(3.1.3 信道容量的一般计算方法信道容量的一般计算方法【例3-4】已知一个离散无记忆信道的转移概率矩阵P，利用上面介绍的方法，求该信道的信道容量。解：由式得到两个方程可得可计算信道容量为11101Pmjijijmjjijnixypxypxyp11,.2 , 1);/(ln)/()/(00ln01ln10121)1ln()1 (ln)1 (2101)1ln(ln121lnlnln2211eeeeCmjj3.1

13、.3 信道容量的一般计算方法信道容量的一般计算方法信道容量计算方法看起来比较麻烦，实际上有些情况可以直接利用多元函数求极值的方法来求出信道容量，下面通过一个例题介绍信道容量求解的实质。【例3-5】已知信道输入单符号随机变量为X=x1, x2，输出随机变量为Y=y1, y2, y3，离散无记忆信道的转移概率矩阵P，求该信道的信道容量。解：设平均交互信息量达到信道容量时 信源最佳先验概率分布为P(X)=，1-。由下式可以计算信宿的概率分布这时可得平均交互信息量根据信道容量的定义，求 可得 即可得信道容量为12-100-1Pnjxypxpypniijij,.2 , 1; )/()()(1)1 ()(

14、1yp)(2yp)1)(1 ()(3yp)/()();(XYHYHYXI213131)/(log)/()()(log)(ijijijijjjxypxypxpypyp)1log()1 (log)1 (0);(YXI)1log(log.501);();(max5 . 0)(YXIYXICXP3.1.4对称信道和准对称信道的信道容量对称信道和准对称信道的信道容量（1）对称信道的信道容量）对称信道的信道容量对于这类对称信道，可以利用信道转移概率的对称性来求得信道容量。这时可以利用熵函数的对称性考察噪声熵 H(Y/X)，可见这是噪声熵与信源分布无关根据信道容量的定义有最大熵定理可知13 1) 1/()

15、1/() 1/(1) 1/() 1/() 1/(1nnnnnnPninjijijixypxypxpXYH11)/(log)/()()/()1log(log)1log()1(n) 1log()(nH)/()(max);(max)()(XYHYHYXICXPXP) 1log()()(max)(nHYHXP) 1log()(lognHnC3.1.4对称信道和准对称信道的信道容量对称信道和准对称信道的信道容量（2）准对称信道的信道容量）准对称信道的信道容量如果一个离散无记忆信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的，并且每一列也是由这一组元素组成的，则称为准对称信道，例如下面两个信道

16、转移矩阵。考虑到P每行都由同一元素集合构成，利用熵函数的对称性，可得因此信道容量为分析表明，对于准对称信道，当信宿随机变量为等概率分布可以得到信道容量，同样可以发现信宿随机变量为等概率分布意味着信源的先验概率也是等概分布的。143/16/13/16/16/13/16/13/11P2/13/16/16/12/13/13/16/12/12PninjijijixypxypxpXYH11)/(log)/()()/(niiinjijijniixYHxpxypxypxp111)/()( )/(log)/( )()/(),.,/(),/(21imiixypxypxypH)/(),.,/(),/()(max2

17、1)(imiiXPxypxypxypHYHC)/(),.,/(),/(log21imiixypxypxypHm 3.2 串联信道的交互信息量3.2 串联信道交互信息量串联信道交互信息量串联信道也称级联信道，可以看成是两个离散无记忆信道的串联，这时组合信道的信道转移概率矩阵是两个信道转移概率矩阵的乘积。如果X，Y，Z为三个单符号离散随机变量，P1和P2为两个离散无记忆信道的转移概率矩阵，其串联信道的模型如图所示下面给出串联信道的平均交互信息量的有关特性。n I(X,Y;Z)表示从随机变量表示从随机变量Z中获得的关于联合随机变量中获得的关于联合随机变量X,Y的平均信息量。的平均信息量。n I(Y;

18、Z)表示从随机变量表示从随机变量Z中获得的关于随机变量中获得的关于随机变量Y的平均信息量。的平均信息量。n I(X;Y)和和I(X;Z)分别表示随机变量分别表示随机变量X和和Y以及以及X和和Z之间的平均交互信息量。之间的平均交互信息量。16,.,:21nxxxX,.,:21myyyY,.,:21LzzzZ3.2 串联信道交互信息量串联信道交互信息量定理定理3-1：对于两个离散无记忆信道组成的串联信道，如果X，Y，Z为相应的离散随机变量，则有只有当 时 ，才有等号成立。n这个定理说明，对于串联信道，从这个定理说明，对于串联信道，从Z中获得关于中获得关于Y的平均交互信息量一定小的平均交互信息量一定

19、小于等于从于等于从Z中获得关于联合随机变量中获得关于联合随机变量XY的平均交互信息量。的平均交互信息量。n只有当变量只有当变量Z只决定于随机变量只决定于随机变量Y，而与，而与X无关，等号才成立。无关，等号才成立。n当当 时，称随机变量序列时，称随机变量序列XYZ构成一个马尔柯夫链。这构成一个马尔柯夫链。这时有时有17);();,(ZYIZYXI)/(),/(jkjikyzpyxzp)/(),/(jkjikyzpyxzp)/()/()(),/(),(),(yzpxypxpyxzpyxpzyxp概率关系概率关系马尔柯夫链马尔柯夫链概率关系概率关系3.2 串联信道交互信息量串联信道交互信息量定理定理

20、3-2：对于两个离散无记忆信道组成的串联信道，如果X，Y，Z为相应的离散随机变量，则有只有当 时，才有等号成立。n这个定理说明，对于串联信道，从这个定理说明，对于串联信道，从Z中获得关于中获得关于X的平均交互信息量一定小的平均交互信息量一定小于等于从于等于从Z中获得关于联合随机变量中获得关于联合随机变量XY的平均交互信息量。的平均交互信息量。n只有当随机变量只有当随机变量Z只决定于随机变量只决定于随机变量X，而与，而与Y无关时，等号才成立。无关时，等号才成立。n当当 时，随机变量序列时，随机变量序列YXZ构成一个马尔柯夫链，这时构成一个马尔柯夫链，这时有有18);();,(ZXIZYXI)/(

21、),/(ikjikxzpyxzp)/(),/(ikjikxzpyxzp)/()/()(),/()/()(),(xzpxypxpyxzpxypxpzyxp3.2 串联信道交互信息量串联信道交互信息量定理定理3-3：对于两个离散无记忆信道组成的串联信道，如果X，Y，Z为相应的离散随机变量，并且随机序列XYZ构成一个马尔柯夫链时，有只有当 时，才有等号成立。n如果如果XYZ构成一个马尔柯夫链，说明构成一个马尔柯夫链，说明Z只取决于只取决于Y，所以，所以I(Y;Z)大于大于I(X,Z)n如果同时如果同时YXZ也构成一个马尔柯夫链，则等号成立。这时说明也构成一个马尔柯夫链，则等号成立。这时说明X与与Y完

22、全相完全相关，信道关，信道1为无噪声信道。为无噪声信道。19);();(ZYIZXI)/(),/(ikjikxzpyxzp3.2 串联信道交互信息量串联信道交互信息量定理定理3-4：对于两个离散无记忆信道组成的串联信道，如果X，Y，Z为相应的离散随机变量，并且随机序列XYZ构成一个马尔柯夫链时，有n这个定理也称为这个定理也称为数据处理定理数据处理定理；n如果我们把两个串联信道理解为数据处理系统，例如是取样、量化、编码如果我们把两个串联信道理解为数据处理系统，例如是取样、量化、编码、译码等，经过一次数据处理的交互信息量、译码等，经过一次数据处理的交互信息量I(X;Y)小于等于信源熵小于等于信源熵

23、H(X)，经过两次数据处理的交互信息量经过两次数据处理的交互信息量I(X;Z)小于等于小于等于I(X;Y)。n因此，数据处理定理说明，无论经过何种数据处理，都不会增加信息量，因此，数据处理定理说明，无论经过何种数据处理，都不会增加信息量，只会减少。只会减少。20);();(ZXIYXI3.2 串联信道交互信息量串联信道交互信息量下面看一个串联信道下平均交互信息量的计算问题。如果随机变量序列XYZ构成一个马尔柯夫链，根据上一章介绍的马尔柯夫链特性，其两步转移概率等于一步转移概率的乘积，即有21Lkniyzpxypxzpmjjkijik,.,2 , 1,.,2 , 1; )/()/()/(Isls

24、jkislkijnijktptptptp)()()()()()()()( )/()/()/()/()/()/()/()/()/(2122221112111nmnnmmxypxypxypxypxypxypxypxypxypP )/()/()/()/()/()/()/()/()/(2122221112112mLmmLLyzpyzpyzpyzpyzpyzpyzpyzpyzpP3.2 串联信道交互信息量串联信道交互信息量则串联组合信道的转移概率矩阵为这时，定义从随机变量Z中获得的关于X和Y的平均交互信息量为【例3-8】假定串联信道随机序列XYZ构成马尔柯夫链，给定两个离散无记忆信道的转移概率矩阵如下，

25、设离散随机变量X的先验概率分布为P(X)=0.5，0.5，考察其平均交互信息量。22 )/()/()/()/()/()/()/()/()/(21222211121121nLnnLLxzpxzpxzpxzpxzpxzpxzpxzpxzpPPPnimjLkkjikkjikjikzyxzpyxzpzyxpzpyxzpEZYXI111,)(),/(log),()(),/(log);,(.30.40.20.30.50.301P.30.50.80.70.50.202P3.2 串联信道交互信息量串联信道交互信息量解：利用概率关系可以得到根据概率关系可以计算可以计算交互信息量23),(),()/()(YXPy

26、xpxypxp)(),()(YPyxpypi),(),()/()(ZYPzypyzpyp)(),()(ZPzypzpj)/()/()/(21PPYZPXYPXZP),(),()/()(ZXPzxpxzpxp75.00)()/(log),();(2131jijijjiypxypyxpYXI45.10)()/(log),();(3121kjkjkkjzpyzpzypZYI046.00)()/(log),();(2121kikikkizpxzpzxpZXI3.2 串联信道交互信息量串联信道交互信息量【例3-9】串联信道随机序列XYZ构成马尔柯夫链，给定两个离散无记忆信道的转移概率矩阵P1和P2如下，

27、求串联组合信道的信道转移概率矩阵，并分析。解：随机序列XYZ构成马尔柯夫链，组合信道的转移概率矩阵为当第二个信道矩阵为一个单位矩阵时，组合信道矩阵就等于第一个信道矩阵。同时根据概率关系在这种情况下，无论信源X的先验概率如何分布，都存在I(X;Y)=I(X;Z)。实际上从第二个信道的转移概率矩阵可以看出，第二个信道是一个一一对应的无噪声信道。也就是说，从Z中获得的X的信息量就等于从Y中获得的X的信息量，第二个信道没有信息损失。242/13/12/13/103/11P1000100012P2/13/12/13/103/11000100012/13/12/13/103/1121PPPP)/()/(x

28、ypxzpxxypxpxypxpyxp)/()()/()()/(xxzpxpxzpxpzxp)/()()/()()/()/()/(yxpzxp3.3 连续信源的熵3.4 连续信源的熵26n 我们前面讨论了几种离散信源和离散信道的信息论基本问题，包括我们前面讨论了几种离散信源和离散信道的信息论基本问题，包括信源的熵，交互信息量和信道容量。信源的熵，交互信息量和信道容量。n 在实际应用中，还有一类信源称为连续信源，这种信源的消息符号在实际应用中，还有一类信源称为连续信源，这种信源的消息符号在时间上和状态取值上都是连续的，例如语音信号，视觉图像信号在时间上和状态取值上都是连续的，例如语音信号，视觉图

29、像信号都是连续信号。都是连续信号。n 时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连时间离散状态连续的信源熵可以用连续信源熵表示，相当于一个连续随机变量。续随机变量。n 而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以而时间连续的信源，为一个随机过程，只要信号频谱有限，则可以根据采样定理，将其变为时间离散信源。根据采样定理，将其变为时间离散信源。n 如果一个信道的输入输出都是连续随机变量或随机过程，则称这个如果一个信道的输入输出都是连续随机变量或随机过程，则称这个信道为连续信道。信道为连续信道。3.3.1 连续信源熵的定义连续信源熵的定义连续信源的状态概率用概率密度来表示

30、。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则按照概率归一化条件，有如果X的取值为一个有限实数域a, b，则这时，连续随机变量X在某一状态x1的概率分布函数为：那么，这个连续信源的数学模型可以表示为连续变量可以看作离散变量的极限情况，因此，可以利用离散信源熵的概念来定义连续信源熵，首先，看一个在a, b区间取值的连续随机变量X，如图27Rdxxp1)(badxxp1)(1-1)(xdxxpxXPbadxxpxpbaXPXPX1)()(,);(;: ,3.3.1 连续信源熵的定义连续信源熵的定义如果把X的取值区间a, b分割为n个小区间，则各小区间宽度为根据概率分布为概率密度

31、函数曲线的区间面积的关系，X取值为xi的概率分布为这样，可以得到一个等效离散信源Xn的信源空间为当n趋无穷时，有28nab)(iixpP)()()()(: )(:,2211nniinnnxpxxpxxpxxpxXPXPXbaniinniindxxpxpP1)()(limlim113.3.1 连续信源熵的定义连续信源熵的定义根据离散信源熵的定义，可得这个等效离散信源Xn的熵当n趋于无穷时这里我们定义连续信源的熵H(X)为连续信源有无穷多个状态，因此，根据香农熵的定义必然为无穷大。与离散信源熵比，连续信源熵不等于一个消息状态的平均信息量，其熵是有限的，而信息量是无限的。连续信源熵不具有非负性，熵可以为负值。29niiiniiinxpxpPPXH11)(log)(log)(niiniiixpxpxp11)(log)(log)(niniinncxpxipxipXHXH10)(log