第五章：信道与信道容量-z

1、n 了解信息论研究信道的目的、内容了解信息论研究信道的目的、内容n 了解信道的基本分类并掌握信道的基本描述方法了解信道的基本分类并掌握信道的基本描述方法n 掌握信道容量掌握信道容量/信道容量代价函数的概念，以及与互信息、信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系信道输入概率分布、信道转移函数的关系n 能够计算简单信道的信道容量能够计算简单信道的信道容量/信道容量代价函数（对称离信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）散信道、无记忆加性高斯噪声信道）n 了解信道容量了解信道容量/容量代价函数在研究通信系统中的作用容量代价函数在研究通信系统中的作用n

2、 理解香农第一定理又称无噪信道编码的物理意义理解香农第一定理又称无噪信道编码的物理意义n 进一步从信息论的角度理解香农公式及其用途进一步从信息论的角度理解香农公式及其用途 熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用 互互 信息与信道输入概率分布的关系信息与信道输入概率分布的关系性质性质1 1 ：I(X; Y)是信道输入概率分布p(x)的上凸函数.信道PXY1Y2YQ1X2X1P2P 互信息与信道转移概率分布的关系互信息与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x)的下凹函数.信道1信道2信道PXY1Y2Y1Q2QQ 互信息与信道输入符

3、号相关性的关系互信息与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的,12121( )(.)() (). ()( )NNNiipp x xxp x p xp xp xx1( ;)(;)NiiiII X YX Y即：则： 互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 性质4: 信道是离散无记忆的,121211221( / )(./.)(/) (/). (/)(/)NNNNNiiipp y yyx xxp yx p yxp yxp yxy x1( ;)(;)NiiiII X YX Y即：则： 性质性质3、性质、性质4的推论：的推论： 信道的输入和信道本身都是离散无

4、记忆的1( ;)(;)NiiiII X YX Y 信息论对信道研究的内容 信道的建模：用恰当的输入/输出两个随机过程来描述 信道容量 不同条件下充分利用信道容量的各种办法 什么是信道？ 信道的作用 研究信道的目的 什么是信道？什么是信道？ 信道是传送信息的载体信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。 信道的作用信道的作用在信息系统中信道主要用于传输与存储信息，而在通在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。信系统中则主要用于传输。 信道传输信息的速率：信

5、道传输信息的速率：与物理信道本身的特性与物理信道本身的特性、载荷载荷信息的信号形式信息的信号形式和和信源输出信号的统计特性信源输出信号的统计特性有关。有关。 信道容量研究内容：信道容量研究内容：在什么条件下，通过信道的信息在什么条件下，通过信道的信息量最大量最大。 研究信道的目的研究信道的目的 实现信息传输的实现信息传输的有效性有效性和和可靠性可靠性 有效性：充分利用信道容量，使传输的信息量尽可有效性：充分利用信道容量，使传输的信息量尽可能大能大 可靠性：通过信道编码降低误码率可靠性：通过信道编码降低误码率 结合通信系统研究信道，主要是为了描述、度量、分结合通信系统研究信道，主要是为了描述、度

6、量、分析不同类型信道，计算其容量，即极限传输能力，并析不同类型信道，计算其容量，即极限传输能力，并分析其特性。分析其特性。 通信技术研究信号在信道中传输的过程所遵循通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性的物理规律，即传输特性 信息论研究信息的传输问题（假定传输特性已信息论研究信息的传输问题（假定传输特性已知）知） 信道分类 信道描述 信道分类信道分类 从工程物理背景从工程物理背景传输媒介类型传输媒介类型； 从数学描述方式从数学描述方式信号与干扰描述方式信号与干扰描述方式； 从信道本身的参数类型从信道本身的参数类型恒参与变参恒参与变参； 从用户类型从用户类型单用户与多用户

7、单用户与多用户；光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴（长途）小同轴（长途）对称平衡电缆（市内）电缆明线固体介质传输媒介类型15.2:信道分类与描述2码间干扰衰落交调乘性干扰脉冲噪声有源散弹噪声无源热噪声线性叠加干扰有干扰略；无干扰：干扰少到可忽干扰类型有记忆无记忆半连续半离散连续离散信号类型信号与干扰类型25.2:信道分类与描述3信源信源干扰干扰编码编码译码译码信宿信宿传输传输媒介媒介ABCDABCCDCADC其中： 为狭义的传输型信道，研究调制解调理论或模拟通信时常引用它，为连续信道；ABC 为广义的传输型信道，研究数字通信、编码解码时常引

8、用它，为离散信道；CDCCBC 为半离散半连续的传输型信道CBC变参信道（时变信道）恒参信道（时不变信道信道参量类型3多用户信道（通信网）信）二用户信道（点对点通用户类型4 信道描述信道描述 信道可以引用信道可以引用三组变量三组变量来描述：来描述：信道输入概率空间：信道输入概率空间：信道输出概率空间：信道输出概率空间：信道概率转移矩阵：信道概率转移矩阵：即：即：它可简化为：它可简化为： ),(,KKYPX, ( )KXp x, ( )KYq y( / )p y x, ( ), ( / ), ( )KKXppYqxy xy其中：其中： 而而 1111.( )( )kkkkKKnmnmXYppqq

9、pqxxyyxy入出信道KiXx, 2 , 1kniKjYy, 2 , 1kmj1111()()()()kkkknmmnPPPPyxyxPyxyx 当K=1时，退化为单个消息（符号）信道单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对二进制单消息对称信道称信道BSC：0101( )Xppp x1()1P10,1,0)(qqyqY且：输入输入输出输出0,1x0,1y0101ePeP11eP 11eP 离散无记忆信道及其信道容量离散无记忆信道及其信道容量一般离散无记忆信道容量的计算一般离散无记忆信道容量的计算离散无

10、记忆信道的信道容量定理离散无记忆信道的信道容量定理对称的离散无记忆信道容量的计算对称的离散无记忆信道容量的计算香农第一定理的物理意义香农第一定理的物理意义 离散消息序列信道 有记忆信道平稳，有限状态有记忆信道有干扰无记忆无干扰信道无记忆信道离散消息序列信道 : 信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感电容、无线信道中电波传布的衰落现象等。信道的任务信道的任务 尽可能有效且可靠地传输信源的信息离散通信信道离散通信信道X=x1,x2,xr信息流信息流通过特定信道（信道容量和噪声特性已定）信息流通过特定信道（信道容量和噪声特性已定）传输可靠性传输可靠性 信道噪声信道容量信道容量 传

11、输有效性H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪声熵信道疑义度（损失熵）Transmitted part of informationH(X/Y) 信道疑义度信道疑义度/损失熵。损失熵。 Y关于关于X的后验不确定度的后验不确定度。表示收到变。表示收到变量量Y后，对随机变量后，对随机变量X仍然存在的不确定度。代表了在信道中损失的仍然存在的不确定度。代表了在信道中损失的信息。信息。H(X) X的先验不确定度的先验不确定度/无条件熵无条件熵。I(X;Y)收到收到Y前、后前、后关于关于X的不确定度减少的量。的不确定度减少的量

12、。从从Y获得的关于获得的关于X的平均信息量的平均信息量。H(Y/X)噪声熵。噪声熵。表示表示发出随机变量发出随机变量X后，对随机变量后，对随机变量Y仍然存在的仍然存在的平均不确定度平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出确定的对应关系，发出X后必能确定对应的后必能确定对应的Y，而现在不能完全确定，而现在不能完全确定对应的对应的Y，这显然是由信道噪声所引起的。，这显然是由信道噪声所引起的。 如果信源熵为如果信源熵为H(X)，希望在信道输出端接收的信息量就是，希望在信道输出端接收的信息量就是H(X)，由于干扰的

13、存在，一般只能接收到，由于干扰的存在，一般只能接收到I(X;Y)。 信道的信息传输率信道的信息传输率： 就是平均互信息就是平均互信息 R=I(X;Y)。 输出端输出端Y往往只能获得关于输入往往只能获得关于输入X的部分信息，这是由于的部分信息，这是由于平均互信息性质决定的：平均互信息性质决定的：I(X;Y)H(X)。引出引出数据处理定理数据处理定理 信道容量信道容量 串联信道串联信道 数据处理定理数据处理定理 在一些实际通信系统中，常常出现串联信道。例如在一些实际通信系统中，常常出现串联信道。例如 微波中继接力通信就是一种串联信道。微波中继接力通信就是一种串联信道。 信宿收到数据后再进行数据处理

14、，数据处理系统可看成一信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它与前面传输数据的信道构成串联信道。种信道，它与前面传输数据的信道构成串联信道。 下图表示两个单符号离散信道串联的情况。下图表示两个单符号离散信道串联的情况。信道1P(Y/X)信道2P(Z/Y)XYZ12 ,.XKAa aa12 ,. ZLAc cc12 ,. YJAb bb 信道信道1的输出的输出Y与其输入与其输入X统计相关，信道统计相关，信道2的输出的输出Z与其与其输入输入Y统计相关，一般来讲，统计相关，一般来讲，Z与与X统计相关。统计相关。 级联的结构决定了级联的结构决定了Z的取值在给定的取值在给定Y以后与以

15、后与X将不再有关将不再有关 在概率论中称在概率论中称XYZ的这种关系为的这种关系为XYZ组成马尔科夫链。组成马尔科夫链。信道1P(Y/X)信道2P(Z/Y)XYZ信道1P(Y/X)信道2P(Z/Y)XYZ(|)( |) ( |)jjjp xz ybp x yb p z yb(;| )(| )(| )(| )0I X Z YH XZ YH X YH Z Y(;)(; )(;|)()(|)()(|)(|)(|)(;)(;|)I X YZI X YI X Z YH XH X YZH XH X ZH X ZH X YZI X ZI X Y Z(; )(;)(;|)I X YI X ZI X Y Z(;

16、 )(; )I X ZI X Y(;|)0I X Y Z 数据处理定理数据处理定理：当消息经过多级处理后，随着处理当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均器数目的增多，输入消息与输出消息之间的平均互信息互信息量趋于变小。即量趋于变小。即I(X;Z)I(X;Y)I(X;Z)I(Y;Z)结论：结论： 两级串联信道输入与输出消息之间的平均互信息量既不会两级串联信道输入与输出消息之间的平均互信息量既不会超过第超过第级信道输入与输出消息之间的平均互信息量，也级信道输入与输出消息之间的平均互信息量，也不会超过第不会超过第级信道输入与输出消息之间的平均互信息量。级信道输入与输

17、出消息之间的平均互信息量。 当对信号当对信号/数据数据/消息消息进行多级处理时，每处理一次，就有可进行多级处理时，每处理一次，就有可能能损失损失一部分信息，也就是说数据处理会把信号一部分信息，也就是说数据处理会把信号/数据数据/消息消息变成更有用的形式，但是变成更有用的形式，但是绝不会创造出新的信息绝不会创造出新的信息。这就是。这就是所谓的所谓的信息不增原理信息不增原理。 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以

18、后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。 I(X;Y)是信源无条件概率是信源无条件概率p(xi)和信道转移概率和信道转移概率p(yj /xi)的二元函数：的二元函数： n当信道特性当信道特性p(yj /xi)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布p(xi)的变化的变化而变化。而变化。n调整调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的，在接收端就能获得不同的信息量。由平均互信息的性质已知，性质已知，I(X;Y)是是p(xi)的上凸函数，因此总能找到一种概率的上凸函数，因此总能找到一种概率分布分布p(xi)（即某一种信源），

19、使信道所能传送的信息率为最大。（即某一种信源），使信道所能传送的信息率为最大。 nimjxypxpxypijinimjypxypjiijijiniijijniijiijjijxypxpyxpYXIxypxpyxpxypxpyp11)/()()/(211)()/(211log)/()(log)();()/()()()/()()( 信道容量信道容量C C：在信道中在信道中最大的最大的信息传输速率，信息传输速率， 单位：单位： 比特比特/信道符号信道符号。 单位时间的信道容量单位时间的信道容量Ct： 若信道平均传输一个符号需要若信道平均传输一个符号需要t秒钟，则单位时间的信秒钟，则单位时间的信道容量

20、为道容量为 Ct实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。)/();(maxmax)()(信道符号比特YXIRCiixpxp)/();(max)(1秒比特YXICixptt C和Ct都是求平均互信息I(X;Y)的条件极大值条件极大值问题，当输入信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。 离散无记忆信道及其信道容量离散无记忆信道及其信道容量k1()() P ()KkkkyyPPxxYX无记忆平稳()I X;Y1

21、()(;)KkkkII XYX;Y( )( )1max ()max(,)KkkxxkCII XYppX;Y由消息序列互信息由消息序列互信息 性质性质 对离散无记忆信道，有：对离散无记忆信道，有： （性质（性质4）则则1 max (,)iKkkpkI XY1 KkkkCKC平稳当且仅当信源(信道入)无记忆时，“等号”成立（性质（性质3、4推推论）论） 离散无记忆信道及其信道容量的进一步离散无记忆信道及其信道容量的进一步理解理解 Cmax存在存在互信息性质互信息性质1，上凸函数极值存在，上凸函数极值存在 达到达到Cmax时的两个条件：时的两个条件： 信道输入（信源）是离散无记忆的信道输入（信源）是

22、离散无记忆的 信道输入的概率分布是使信道输入的概率分布是使I(X,Y)达到最大的分布达到最大的分布()P y / x C的值不是由信源的的值不是由信源的p(x)决定的，而是由决定的，而是由 决定的决定的 C是是信道信道作为信息传输通道的作为信息传输通道的性能度量性能度量 只有信道输入（信源）只有信道输入（信源）X（x1x2xn)满足一定条件时，才满足一定条件时，才能充分能充分利用利用信道传输信息的能力信道传输信息的能力 一般离散无记忆信道容量的计算一般离散无记忆信道容量的计算 思路：将问题转化为：有界闭区域上求约束极值 方法：1、求区域内极值 2、求边界极值 3、求前两者的最大值 具体实现：

23、1、简单情况下直接求解（如单符号信道、对称信道） 2、解方程 3、迭代法（见朱雪龙2001版p124页）信道容量信道容量约束条件：约束条件：求信道容量转化为求求信道容量转化为求 对信源概率分布对信源概率分布 的的条件极值。条件极值。 ()max(; )P XCI X Y(; )I X Y()P X( )1iip x( )0,1, 2,ip xir解：解： 引入辅助函数引入辅助函数 1(;)()1riiFI X Yp x（ 为待定系数）1(; )()1(1,., )()()(; )()riiiiiFI X Yp xirp xp xI X Yp x用拉格朗日乘子法求解11(|)(; )() (|)

24、log()rsjiijiijjp yxI X Yp xp yxp y1()() (|)rjijiip yp xp yx()(|)( )log()(|)log( )()jjiijjiijp yp yxp xp yp yxep xp y(; )()iI X Yp x111()(|)log(|)()log()rssijijijjijjp xp yxp yxp yp y111(|)log(|)(|)log()(|)logsssjijijijjijjjp yxp yxp yxp yp yxe1(|)(|)loglog()sjijijjp yxp yxep y令令 0()iFp x1(|)(|)loglo

25、g0()()sjijijijp yxFp yxep xp y则则 1(|)(|)loglog1,2,()sjijijjp yxp yxeirp y111(|)()(|)log()(log)()rsrjiijiiijijp yxp xp yxp xep ylogCe在某些条件下利用这个方法可以计算C：(|)(|)loglog()jijijjp yxp yxeCp y(|)log(|)(|)log()jijijijjjp yxp yxp yxp yClog()jjp yC令令(|)(|)log (|)jijjijijjp yxp yxp yx(|)log()jijjp yxp yC(|)1jijp

26、 yx这是一个含有s个未知数、由r个方程组成的方程组。当当r= =s，且信道矩阵是可逆矩阵时，该方程组有唯一解。，且信道矩阵是可逆矩阵时，该方程组有唯一解。 log()jjp yC()2jCjp ylog2jjC()( ) (|)jijiip yp x p yx21jCj( )(1,2, )ip xirj()2jCjp y()1jjp y 一般离散信道容量的计算步骤（傅祖芸第二版p107）。求由；，求由；，求由；，求由)(, )/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj

27、注意：注意： 在第步信道容量在第步信道容量C被求出后，计算并没有结束，必须解被求出后，计算并没有结束，必须解出相应的出相应的p(xi) ，并确认所有的，并确认所有的p(xi)0时，所求的时，所求的C才存在。才存在。 在对在对I(X;Y)求偏导时，仅限制求偏导时，仅限制 ，并没有限制，并没有限制p(xi)0 ，所以求出的，所以求出的p(xi)有可能为负值，此时有可能为负值，此时C就不存在，就不存在，必须对必须对p(xi)进行调整，再重新求解进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。近年来人们一般采用计算机，运用迭代算法求解。niixp11)( 定理：定理：(Kuhn-

28、Tucker条件)设 是定义在N维无穷凸集S则 在 达到S上极大值的充要条件是：( )f x( )f x*xx*( )0,0nnfxxx xx当时*( )0,0nnfxxx xx当时上的可微上凸函数，设12(.):0,1,2,. NiSx xxxiNx*12(.)Nx xxSx*12*(.),0,0,Nnnx xxxSxSxxx注：当时为 的内点时为 边界点。 离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理 定理定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是*(; )|, ()0(; )|, ()0kkkkI x

29、a YCp aI xa YCp ap=pp=p当当1(|)(; )(|)log()Jjkkjkjjp baI xa Yp bap b其中： 是信源字母ak传送的平均互信息，C就是这一信道的信道容量。);()(),(YaxIapYXIkkk(; )kI xa Y(, )I X Y 是 的平均值。即：(; )kI xa Y()kp a 但提高 ，又使 降低(; )kI xa Y()kp a 反复调整 ，使 相等且都等于C(, )I X YC 定理只给出了可使 的p(x)的充要条件 ，并无具体分布及C的值，但可以帮助求解简单情况部分信道的Cn求解信道容量过程实际信源的概率分布进行调节的过程。n通过不

30、断调节信源的概率分布，找到信道对应的最大信息传输速率()kp a(, )kI xa Y 找到 最大的 ，提高ka 对称的离散无记忆信道对称的离散无记忆信道信道容量信道容量对称的离散无记忆信道 矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。 定理定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。 对称信道11111336611116633 P2111236111623111362P1/31/31/31/31/61/61/61/61/31/21/31/31/21/21/61/61/6( |)( )( |)iiiH Y Xp x H Y x( )

31、(|)log(|)ijijiijp xp yxp yx(|)log(|)( )jijiijip yxp yxp x (|)log(|)ijijijxp yxp yx对每个 而言是固定的(|)log(|)jijijp yxp yx (|)iH Y x对称信道性质对称信道性质(|)(|)iH Y XH Y x 对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必必为等概分布。 aaPaaP行对称行对称信道信道a1a2b1b2ba1a2b1b2b0.20.

32、70.2 BSC信道信道容量的计算1211aPaa1a2b1b211由定理由定理5.2，当输入等概分布时，互信息达到信道容量，当输入等概分布时，互信息达到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有： 2111121221( )() (|); ()( )kkkp bp ap b ap bp b21(|)(; )(|)log()jkkjkjjp baCI xa Yp bap b1(1)loglog1/ 21/ 21( )H 于是：于是：( )log(1)log(1)H 这里：这里：12log(,)sCsH pppr个输入个输入s个输出的个输出的对称离散信道的信道容量：对称离散信道的

33、信道容量：其中其中 是信道矩阵中的任意一行中的元素。是信道矩阵中的任意一行中的元素。,12,sp pp12( |)( |)(,)isH Y XH Y xH p pp12(; )( )(|)( )(,)sI X YH YH Y XH YH ppp若若r=s，且对于每一个输入符号，正确传输概率都相等，且对于每一个输入符号，正确传输概率都相等，且错误传输概率且错误传输概率 p 均匀地分配到均匀地分配到 r-1 个符号，则称此信个符号，则称此信道为道为强对称信道或均匀信道强对称信道或均匀信道。prprprprprpprprprprpp111111111P0101ppppP强对称离散信道的信道容量：强对

34、称离散信道的信道容量：loglog(1)( )CrprH p强对称信道具备四个特征：强对称信道具备四个特征： 1. 1. 矩阵中的每一行都是第一行的排列；矩阵中的每一行都是第一行的排列；( (行对称行对称) ) 矩阵中的每一列都是第一列的排列。矩阵中的每一列都是第一列的排列。( (列对称列对称) ) 2. 2. 信道输入与输出消息（符号）数相等，即信道输入与输出消息（符号）数相等，即 r=s。 3. 3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到错误传输概率均匀地分配到r-1个符号上。个符号上。 4. 4. 不

35、仅每一行元素之和为不仅每一行元素之和为1 1，每一列元素之和也为，每一列元素之和也为1 1。显然，对称性的基本条件是显然，对称性的基本条件是1 1，而，而2 2、3 3、4 4是加强条件。是加强条件。 二元删除信道信道容量的计算a1a2b1b3b2121001aPa11 由定理由定理5.2，当输入等概分布时，互信息达到信道容量，当输入等概分布时，互信息达到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有：21111()()(|)(1)2kkkp bp ap ba31(|)(; )(|)log()jkkjkjjp baCI xa Yp bap b于是：于是：222131()()(|)(

36、1)2()kkkp bp ap bap b1(1) loglog1(1)21准对称离散信道的信道容量：准对称离散信道的信道容量：121log(,)lognskkkCrH pppNM设信道矩阵可划分为设信道矩阵可划分为n n个子矩阵，其中个子矩阵，其中Nk是第是第k个子矩阵个子矩阵中某行元素之和，中某行元素之和，Mk是第是第k个子矩阵中某列元素之和。个子矩阵中某列元素之和。121001aPa11221,1,2NMNM 121log(,)lognskkkCrH pppNM1log2(1)log(1)loglognkkkNMlog2(1)log(1)log(1)log(1)log21 0.51.00

37、0.51.0cbaCa=Cb=)(1H1a:BSC信道的信道容量曲线信道的信道容量曲线 b:二进制删除信道的信道容量曲线二进制删除信道的信道容量曲线1-1-1-1-例例1、已知信道转移概率矩阵如下，求此信道的信道容量。已知信道转移概率矩阵如下，求此信道的信道容量。 YX 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 21111( )() (|)4kkkp bp a q ba41(|)(; )(|)log0.04()jkkjkjjq baCI xa Yq babitp b解：由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=

38、1/2；有： 22211()() (|)3kkkp bp a q ba23311( )() (|)6kkkp bp a q ba24411()() (|)4kkkp bp a q ba 香农第一定理（变长无失真信源编码定理）的物理意香农第一定理（变长无失真信源编码定理）的物理意义义 ()()/(/HXHXRkk比特 信源符号）比特 码符号）码符号 信源符号logRs()logHXsks代表码元个数从信道编码的角度看，用从信道编码的角度看，用 个码元表示一个原始信个码元表示一个原始信源符号，信道的信息传输率为：源符号，信道的信息传输率为：k 香农第一定理（无失真信源编码定理）的物理意义香农第一定

39、理（无失真信源编码定理）的物理意义 无噪无损信道的信道容量：无噪无损信道的信道容量：C=H(X)=H(Y)=logC=H(X)=H(Y)=logs 再看当平均码长达到极限值时再看当平均码长达到极限值时R=logR=logs 此时信道的信息传输率此时信道的信息传输率R R无噪信道的信道容量无噪信道的信道容量C C 无失真信源编码的实质：无失真信源编码的实质： 对离散信源进行适当变换，使变换后新的码符号信源（信道的输对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大

40、，从而使信道的信息传输率的信息量达到最大，从而使信道的信息传输率R R达到信道容量达到信道容量C C，实现信源与信道理想的统计匹配。实现信源与信道理想的统计匹配。 又称：无噪信道编码定理又称：无噪信道编码定理 若信道的信息传输率若信道的信息传输率R R不大于信道容量不大于信道容量C C，总能对信源的输出进行，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率率C C传输信息；但要使信道的信息传输率传输信息；但要使信道的信息传输率R R大于大于C C而无差错地传输信而无差错地传输信息则是不可能的。息则是不可能的。

41、达到信道容量达到信道容量C的时候，输入字母分布唯一吗？的时候，输入字母分布唯一吗？反例：反例：a1a2b1b211令0.5则1( )0CH 输入任何分布，输出都达到C又一例：又一例：1/ 21/ 20001/ 21/ 20001/ 21/ 21/ 2001/ 2P令输入分布(0.5,0,0.5,0）(; )I X YC令输入分布(0.25,0.25,0.25,0.25）(; )I X YC输出字母的唯一性输出字母的唯一性 定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。证明见朱雪龙2001版信息论p132页。例如：对称信道，达到信道

42、容量时输出唯一（等概）输入字母在什么条件下唯一？ 定理：在达到信道容量时，如果输入概率分布中具有零概率的字母总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。定理不是说具有最大数目零概率的最佳分布是唯一的。定理只说明概率分布由同一组包含零的数字的不同排列构成。证明见朱雪龙2001版信息论p134页。信道1信道2信道N.1Y2YNYYX输入并接信道信道1信道2信道N.YX和信道 信道1信道2信道N.1Y2YNYYX并用信道1X2XNX输入并接信道输入并接信道可以看成一个单输入多输出的输出为X1 2(.)NYYYY1 21211 2121231 21 21121

43、11 2(;.)(;)(;|). . (;|.)(;)(;|)(;|). . (;|.).(;)(;|)(;|). . (;|.)NNNNNNNNNNI X YYYI X YI X YYI X YYYYI X YI X Y YI X Y YYI X YYYYI X YI X Y YI X YYYI X YYYY信道,其输入为性质：输入并联信道的容量大于任何一个单独的信道，小于max H(X)。1 21 2(;.)()(|.)()NNI X YYYH XH X YYYH X思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X) 通信中的分集，就是典型的输入并联信道通信中的

44、分集，就是典型的输入并联信道1 2( )( )max (;.)max()NNp xp xCI X YYYH X121112210(|)(|).()NNNNH XX XXH XX XXH X1 2(|.)0NNH X YYY( ),max()Np xNCH X 并用信道并用信道是是多输入，多输出。X和和Y由彼此独立的由彼此独立的N个信道传输。个信道传输。性质并用信道的容量12121(.|.)(|)NNNnnnp y yyx xxp yx通信中的复用，就是典型的并用信道通信中的复用，就是典型的并用信道( )11max ( ;)max(;)NNnnnp xnnCII XYCX Y现代通信技术：MIM

45、O和CMIMO(Cooperative MIMO )SISO 单入单出“真正的自利行为就是协作”无线网络的协作,FrankTxRxSISOTx.Rx.MIMOTx1TxN.Rx1RxN.CMIMOMIMO多入多出CMIMO 节点通过协同形成MIMO和信道和信道随机应用N 个信道中的一个，构成一输入/一输出信道。性质：和信道的容量是， Vision Vision 一种新型的通信技术一种新型的通信技术机会通信机会通信（Opportunistic Comm.Opportunistic Comm.）信道的使用概率1log2nNCnC()( )2nCCnp C机会通信（David Tse, 2001）p

46、衰落是无线信道的固有特征，需要克服p但是在无线网络中，衰落可能带来增益Base StationFading ChannelMobileUser1User2UserN多用户广播信道广播信道容量衰落信道为什么会提高容量？ 在一个多用户独立衰落信道里，每一时刻总可能找到一个拥有较好信道的用户如果总是服务较好的用户，总体容量会增加传统分集技术的主要目的是改善慢衰落信道中通信的可靠性多用户分集的作用是增加快衰落信道中总的吞吐量事实上，当衰落不足的时候，还可以人为引入衰落制造出随机波动范围大的信道，来提高系统总的吞吐量n 连续信道连续信道p时间依旧离散p但是取值：离散连续n引发的问题引发的问题p离散随机变

47、量的互信息非负、有限p取I(p,Q)最大值得到离散信道的容量p连续随机变量互信息非负，但不一定有限p这样互信息最大值为信道容量的定义就失去了意义问题出在什么地方？问题出在什么地方？n连续随机变量的信息量无穷大（无理数具有无穷多的细节）n但是实际上我们无法生成信息量为无穷大的变量n总存在物理的约束：能量受限b(x)=x2n因此，连续信道输入输出互信息的优化是在这些约束前提下进行的。, ( | ), X q y x Y, ( | ), X q y x Y定义：设对于连续无记忆信道 ，有一个函数 ，对每一个输入序列 。称 为 的费用。设随机矢量 的联合分布为 ，则平均费用为：(.)b12., ( )

48、0Nx xxbxx12.NX XXX( )p xbx ( )( ) ( )E bpbxXxx 连续随机变量的熵微分熵连续随机变量的熵微分熵 连续随机变量最大熵分布依赖于约束条件连续随机变量最大熵分布依赖于约束条件 峰值功率受限条件下峰值功率受限条件下均匀分布均匀分布的随机变量具有最大微分熵的随机变量具有最大微分熵 平均功率受限条件下平均功率受限条件下高斯分布高斯分布的随机变量具有最大微分熵的随机变量具有最大微分熵 连续信道的输入所取的值域不足以完全表示对信道输入的限连续信道的输入所取的值域不足以完全表示对信道输入的限制制还有约束条件还有约束条件 Cmaxh(Y)-h(n) C取决于信道的取决于

49、信道的统计特性统计特性（加性信道即噪声的统计特性）（加性信道即噪声的统计特性） 输入随机矢量输入随机矢量X所受的所受的限制条件限制条件（一般考虑平均功率受限时）（一般考虑平均功率受限时） C的的单位单位为：比特为：比特/N个自由度个自由度 连续信道信道容量容量费用函数描述连续信道信道容量容量费用函数描述 研究连续信道容量的方法研究连续信道容量的方法 基本、简单的信道：无记忆加性噪声信道基本、简单的信道：无记忆加性噪声信道 信道噪声为高斯时信道噪声为高斯时 何种分布输入能达到对信道的充分利用何种分布输入能达到对信道的充分利用 信道输入为高斯时信道输入为高斯时 何种分布噪声对信道传输信息影响最大何

50、种分布噪声对信道传输信息影响最大 一些基础知识：一些基础知识： 对于加性信道对于加性信道Y=X+N X：信道输入：信道输入 N：信道噪声：信道噪声 Y：信道输出：信道输出 信道的转移概率分布函数就是信道的转移概率分布函数就是N的分布函数的分布函数 b(x)是信道输入为是信道输入为x时对应的费用时对应的费用 如果如果X、Y、N中有两个是高斯分布，另一个也是高斯分中有两个是高斯分布，另一个也是高斯分布的布的 高斯分布的随机变量的微分熵高斯分布的随机变量的微分熵h(XG) 高斯分布的连续随机变量的微分熵高斯分布的连续随机变量的微分熵h(XG)的值只与方差的值只与方差 有关，与均值无关有关，与均值无关

51、22212loge 在费用约束的前提下，求输入输出互信息的最大值，得到容量-费用函数。连续信道的连续信道的“容量容量- -费用函数费用函数” 定义：设连续信道的N维联合输入输出分别为X和Y，则其容量-费用函数定义为：( )1( )limsup ( ,); ( )NpCIE bNNxX YX若若 存在最大值时存在最大值时( ,)I X Y( )1( )limmax ( ,); ( )NpCIE bNNxX YX 当输入和信道无记忆稳恒时，因为当输入和信道无记忆稳恒时，因为( ,)(, )INI X YX Y( )1( )limmax ( ,); ( )NpCIE bNNxX YX( )max (

52、, ); ()pI X YE b Xx 无记忆加性噪声信道的信道容量费用函数无记忆加性噪声信道的信道容量费用函数 无记忆加性噪声信道的前向转移概率密度函数就是噪声无记忆加性噪声信道的前向转移概率密度函数就是噪声N N的概率密度函数，即：的概率密度函数，即： 其中其中 )()()|(xypnpxyqNN)|()();(XYhYhYXIdxdyxyqxyqxpXYhx)|(log)|()()|(dxdyxypxypxpNNx)(log)()(dxdnnpnpxpNNx)(log)()()(NhdxdnnpnpxpNNx)(log)()( 于是有：于是有： 取信道输入信号的平均功率取信道输入信号的平

53、均功率E(X2)作为信息传输的费用作为信息传输的费用 则有：无记忆加性噪声信道的信道容量费用函数为：则有：无记忆加性噪声信道的信道容量费用函数为： 因因h(N)与与px(x)无关，求解无关，求解C(PS)问题转化为只需对问题转化为只需对h(Y)进进行行)()();(NhYhYXI)();(sup)(2)(SxpSPXEYXIPCx)();()(sup2)(SxpPXENhYhx 无记忆加性高斯噪声信道的信道容量费用函数（朱雪无记忆加性高斯噪声信道的信道容量费用函数（朱雪龙龙p139） 条件条件：NZG 问题问题：求使C(PS)最大时的X的概密分布函数 求解步骤求解步骤：2( )()sup (

54、)();()xSSpxC Ph Yh NE XP12()log(1)SNPSPC P 因为： 要使C(PS) 最大使h(Y)最大 在PS约束条件下，当YYG时h(Y)达到最大 XXG，则： 结论结论：当信道输入输入信号为高斯高斯分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。换句话说：在无记忆加性高斯噪声信道高斯噪声信道中传输信息时，高斯分布的信号高斯分布的信号是最有效有效的-即在同样信号功率下，信道可以传输最多的信息 无记忆加性噪声信道对高斯分布的输入信号的影响无记忆加性噪声信道对高斯分布的输入信号的影响 条件：条件：XXG，约束条件PS 问题：问题：考察何种概密分布的N使I(

55、X;Y)最小 求解步骤：求解步骤： 因为 而当NNG时，YYG 此时： 可以证明：朱雪龙p140页 结论：结论：无记忆加性高斯噪声高斯噪声信道对高斯分布的输入信号具有 最大的破坏力最大的破坏力。)()();(NhYhYXI)()();();(NhYhYXIYXIGGGG)()();(NhYhYXIG0);();(GGGYXIYXI 高斯分布特性：-作为信道输入信号的概密分布时，有利于信息传输-作为加性信道噪声概密分布时，不利于信息传输-共同说明高斯分布的随机变量具有最大微分熵 一般无记忆加性噪声信道的信道容量费用函数)1log();()(21NSPPGGSYXIPC)(2log)(21NSPP

56、eYh)()(2log)(21NhPPePCNSS2( )()sup ( )();()xSSpxC Ph Yh NE XP-无法给出解析形式的解，但可以给出其上下界表达式-下界下界：根据前面的讨论很容易得-上界上界： 当输入信号功率限制在PS以下，噪声功率限制在PN以下 则输出信号功率将= PS PN。 此时 所以有： 输入输出均正态输入为正态分布最佳输入分布( )1max (; )(; )log(1)2SNp xNPCI X YIX YP( )1121 2( )1()sup ( ;);sup (.;.);nnNSSSpnNNNSSpnC PIPPI X XXYYYPPxxX Y 无记忆加性高

57、斯噪声信道的并联无记忆加性高斯噪声信道的并联 信道1信道2信道N.1Y2YNYYX并用信道1X2XNX1,0nnNSSSnPP P1( ;)(;)NnnnII XYX Y等号是在各分量统计独立时才成立( )11()maxlog(1)2nnNSSpnNPC PPx 这又是凸函数在约束下求极值的问题这又是凸函数在约束下求极值的问题12nnNSPP111log(1)02iiniNNSSinSNPPPP若极值不发生在边缘上，若极值不发生在边缘上，11,nnNNSSNNnnPPPPnnSNSNPPPPN1,02nnnNSSPPP当时111log(1)0,02iinniNNSSSinSNPPPPP当时若极

58、值发生在边缘上，若极值发生在边缘上，注水功率注水功率PN1PS1PN2PS2PS3PS4PS5PN3PN4PN5PN6PN7PN8PN9PS7PS99N 12345678912功率功率68681,02NNSSPPPP,n模拟信道：在时间和取值上都连续的信道模拟信道：在时间和取值上都连续的信道 光纤，电缆，电磁波空间传播光纤，电缆，电磁波空间传播n我们仅研究非常特殊的一类模拟信道：我们仅研究非常特殊的一类模拟信道：AWGNp带宽有限：带宽有限：Wp加性噪声：加性噪声：y(t) = x(t)+z(t)p白色噪声：平稳遍历随机过程，功率谱密度均匀分布于白色噪声：平稳遍历随机过程，功率谱密度均匀分布于

59、整个频域，即功率谱密度（单位带宽噪声功率）为一常数整个频域，即功率谱密度（单位带宽噪声功率）为一常数p高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数服从高斯分布服从高斯分布 广义平稳的限频广义平稳的限频(F)、限时、限时(T)、限功率、限功率(P)白白色高斯信道及其容量色高斯信道及其容量C 对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：参见傅祖芸第二版p140页 现将2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。sin2()12( ,)()22()2FTnFTnF tnFX t fXnFFtF Shanno

60、n公式公式 定理定理5.3：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,f)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式公式。则单位时间T=1时的容量为：log(1)sNPCFTPlog(1)sNPCFP 证明：前面已求得单个连续消息（第证明：前面已求得单个连续消息（第k个）通过高斯信道以个）通过高斯信道以后的容量值为：后的容量值为： 1log(1)2sNPCP1( ;)(;)NnnnIIXYX Y( )( )1( ,)(,)maxmaxNnnp xp xnCIIXYX Y同时，在消息序列的互信息中已证明当同时，在消息序列的互信息中已证明当信