第五章信道与信道容量zppt课件

1、n 理解信息论研究信道的目的、内容理解信息论研究信道的目的、内容n 理解信道的根本分类并掌握信道的根本描绘方法理解信道的根本分类并掌握信道的根本描绘方法n 掌握信道容量掌握信道容量/信道容量代价函数的概念，以及与互信息、信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系信道输入概率分布、信道转移函数的关系n 可以计算简单信道的信道容量可以计算简单信道的信道容量/信道容量代价函数对称离信道容量代价函数对称离散信道、无记忆加性高斯噪声信道散信道、无记忆加性高斯噪声信道n 理解信道容量理解信道容量/容量代价函数在研究通信系统中的作用容量代价函数在研究通信系统中的作用n 理解香

2、农第一定理又称无噪信道编码的物理意义理解香农第一定理又称无噪信道编码的物理意义n 进一步从信息论的角度理解香农公式及其用处进一步从信息论的角度理解香农公式及其用处 熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用 互互 信息与信道输入概率分布的关系信息与信道输入概率分布的关系 性质性质1 ：I(X; Y)是信道输入概率分布是信道输入概率分布p(x)的上凸函的上凸函数数.信道PXY1Y2YQ1X2X1P2P 互信息与信道转移概率分布的关系互信息与信道转移概率分布的关系 性质性质2 ：I(X; Y)是信道转移概率分布是信道转移概率分布p(y/x)的下凹的下凹函数函数.信道1信道

3、2信道PXY1Y2Y1Q2QQ 互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 性质性质3: 信道的输入是离散无记忆的信道的输入是离散无记忆的,12121( )(.)() (). ()( )NNNiipp x xxp x p xp xp xx1( ;)(;)NiiiII X YX Y即：那么： 互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 性质性质4: 信道是离散无记忆的信道是离散无记忆的,121211221( / )(./.)(/) (/). (/)(/)NNNNNiiipp y yyx xxp yx p yxp yxp yxy x1( ;)(;)Nii

4、iII X YX Y即：那么： 性质性质3、性质、性质4的推论：的推论： 信道的输入和信道自身都是离散无记忆的信道的输入和信道自身都是离散无记忆的1( ;)(;)NiiiII X YX Y 信息论对信道研究的内容 信道的建模：用恰当的输入/输出两个随机过程来描绘 信道容量 不同条件下充沛利用信道容量的各种方法 什么是信道？ 信道的作用 研究信道的目的 什么是信道？什么是信道？信道是传送信息的载体信道是传送信息的载体信号所通过信号所通过的通道。的通道。信息是笼统的，信道那么是详细的。比信息是笼统的，信道那么是详细的。比如：二人对话，二人间的空气就是信道；如：二人对话，二人间的空气就是信道；打打

5、， 线就是信道；看电视，听收音机，线就是信道；看电视，听收音机，收、发间的空间就是信道。收、发间的空间就是信道。 信道的作用信道的作用在信息系统中信道主要用于传输与存储在信息系统中信道主要用于传输与存储信息，而在通信系统中那么主要用于传输信息，而在通信系统中那么主要用于传输。 信道传输信息的速率：与物理信道自身的信道传输信息的速率：与物理信道自身的特性、载荷信息的信号形式和信源输出信特性、载荷信息的信号形式和信源输出信号的统计特性有关。号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道容量研究内容：在什么条件下，通过信道的信息量最大。信道的信息量最大。 研究信道的目的研究信道的目的

6、实现信息传输的有效性和可靠性实现信息传输的有效性和可靠性 有效性：充沛利用信道容量，使传输的信息量尽有效性：充沛利用信道容量，使传输的信息量尽可能大可能大 可靠性：通过信道编码降低误码率可靠性：通过信道编码降低误码率 结合通信系统研究信道，主要是为了描绘、度量结合通信系统研究信道，主要是为了描绘、度量、分析不同类型信道，计算其容量，即极限传输、分析不同类型信道，计算其容量，即极限传输才干，并分析其特性。才干，并分析其特性。 通信技术研究信号在信道中传输的过程所遵通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性循的物理规律，即传输特性 信息论研究信息的传输问题假定传输特性信息论研究

7、信息的传输问题假定传输特性知知 信道分类 信道描绘 信道分类信道分类从工程物理背景从工程物理背景传输媒介类型；传输媒介类型；从数学描绘方式从数学描绘方式信号与干扰描绘方信号与干扰描绘方式；式；从信道自身的参数类型从信道自身的参数类型恒参与变参恒参与变参；从用户类型从用户类型单用户与多用户；单用户与多用户；光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴（长途）小同轴（长途）对称平衡电缆（市内）电缆明线固体介质传输媒介类型1 5.2:信道分类与描绘2码间干扰衰落交调乘性干扰脉冲噪声有源散弹噪声无源热噪声线性叠加干扰有干扰略；无干扰：干扰少到可忽干扰类型有记

8、忆无记忆半连续半离散连续离散信号类型信号与干扰类型25.2:信道分类与描绘3信源信源干扰干扰编码编码译码译码信宿信宿传输传输媒介媒介ABCDABCCDCADC其中： 为狭义的传输型信道，研究调制解调理论或模仿通信时常引用它，为连续信道；ABC 为广义的传输型信道，研究数字通信、编码解码时常引用它，为离散信道；CDCCBC 为半离散半连续的传输型信道CBC变参信道（时变信道）恒参信道（时不变信道信道参量类型3多用户信道（通信网）信）二用户信道（点对点通用户类型4 信道描绘信道描绘 信道可以引用三组变量来描绘：信道可以引用三组变量来描绘： 信道输入概率空间：信道输入概率空间： 信道输出概率空间：信

9、道输出概率空间： 信道概率转移矩阵：信道概率转移矩阵： 即：即： 它可简化为：它可简化为： ),(,KKYPX, ( )KXp x, ( )KYq y( / )p y x, ( ), ( / ), ( )KKXppYqxy xy其中： 而 1111.( )( )kkkkKKnmnmXYppqqpqxxyyxy入出信道KiXx, 2 , 1kniKjYy, 2 , 1kmj1111()()()()kkkknmmnPPPPyxyxPyxyx 当K=1时，退化为单个消息符号信道；进一步当n=m=2时，退化为二进制单个消息信道。假设它满足对称性，即构成最常用的二进制单消息对称信道BSC：0101( )

10、Xppp x1()1P10,1,0)(qqyqY且：输入输入输出输出0,1x0,1y0101ePeP11eP 11eP 离散无记忆信道及其信道容量离散无记忆信道及其信道容量一般离散无记忆信道容量的计算一般离散无记忆信道容量的计算离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理对称的离散无记忆信道容量的计算对称的离散无记忆信道容量的计算香农第一定理的物理意义香农第一定理的物理意义 离散消息序列信道 有记忆信道平稳，有限状态有记忆信道有干扰无记忆无干扰信道无记忆信道离散消息序列信道 : 信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感电容、无线信道中电波传布的衰落现象等。信道的任

11、务信道的任务 尽可能有效且可靠地传输信源的信息离散通信信道离散通信信道X=x1,x2,xr信息流信息流通过特定信道信道容量和噪声特性已定信息流通过特定信道信道容量和噪声特性已定传输可靠性传输可靠性 信道噪声信道噪声信道容量信道容量 传输有效性传输有效性H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪声熵信道疑义度损失熵Transmitted part of information H(X/Y) 信道疑义度信道疑义度/损失熵。损失熵。 Y关于关于X的后验不确定度。的后验不确定度。表示收到变量表示收到变量Y后，对随机变量后，对随

12、机变量X仍然存在的不确定度。仍然存在的不确定度。代表了在信道中损失的信息。代表了在信道中损失的信息。 H(X) X的先验不确定度的先验不确定度/无条件熵。无条件熵。 I(X;Y)收到收到Y前、后关于前、后关于X的不确定度减少的量。从的不确定度减少的量。从Y获获得的关于得的关于X的平均信息量。的平均信息量。 H(Y/X)噪声熵。表示发出随机变量噪声熵。表示发出随机变量X后，对随机变量后，对随机变量Y仍然存在的平均不确定度。假如信道中不存在任何噪声，仍然存在的平均不确定度。假如信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出发送端和接收端必存在确定的对应关系，发出X后必能确后必能确定

13、对应的定对应的Y，而如今不能完全确定对应的，而如今不能完全确定对应的Y，这显然是由，这显然是由信道噪声所引起的。信道噪声所引起的。 假如信源熵为假如信源熵为H(X)，希望在信道输出端接收的信息量就，希望在信道输出端接收的信息量就是是H(X)，由于干扰的存在，一般只能接收到，由于干扰的存在，一般只能接收到I(X;Y)。 信道的信息传输率：信道的信息传输率： 就是平均互信息就是平均互信息 R=I(X;Y)。 输出端输出端Y往往只能获得关于输入往往只能获得关于输入X的部分信息，这是由于的部分信息，这是由于平均互信息性质决定的：平均互信息性质决定的：I(X;Y)H(X)。引出数据处置定理引出数据处置定

14、理 信道容量信道容量 串联信道串联信道 数据处置定理数据处置定理 在一些实际通信系统中，常常呈现串联信道。例如在一些实际通信系统中，常常呈现串联信道。例如 微波中继接力通信就是一种串联信道。微波中继接力通信就是一种串联信道。 信宿收到数据后再进展数据处置，数据处置系统可看成信宿收到数据后再进展数据处置，数据处置系统可看成一种信道，它与前面传输数据的信道构成串联信道。一种信道，它与前面传输数据的信道构成串联信道。 以下图表示两个单符号离散信道串联的情况。以下图表示两个单符号离散信道串联的情况。信道1P(Y/X)信道2P(Z/Y)XYZ12 ,.XKAa aa12 ,. ZLAc cc12 ,.

15、YJAb bb 信道信道1的输出的输出Y与其输入与其输入X统计相关，信道统计相关，信道2的输出的输出Z与其与其输入输入Y统计相关，一般来讲，统计相关，一般来讲，Z与与X统计相关。统计相关。 级联的构造决定了级联的构造决定了Z的取值在给定的取值在给定Y以后与以后与X将不再有关将不再有关 在概率论中称在概率论中称XYZ的这种关系为的这种关系为XYZ组成马尔科夫链。组成马尔科夫链。信道1P(Y/X)信道2P(Z/Y)XYZ信道1P(Y/X)信道2P(Z/Y)XYZ(|)( |) ( |)jjjp xz ybp x yb p z yb(;|)(|)(|)(|)0I X Z YH XZ YH X YH

16、Z Y(;)(; )(;|)()(|)()(|)(|)(|)(;)(;|)I X YZI X YI X Z YH XH X YZH XH X ZH X ZH X YZI X ZI X Y Z(; )(; )(;|)I X YI X ZI X Y Z(;)(; )I X ZI X Y(;|)0I X Y Z 数据处置定理：当消息经过多级处置后，随着数据处置定理：当消息经过多级处置后，随着处置器数目的增多，输入消息与输出消息之间处置器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。即的平均互信息量趋于变小。即I(X;Z)I(X;Y)I(X;Z)I(Y;Z)结论：结论：两级串联信道输入与输

17、出消息之间的平均互信息量既两级串联信道输入与输出消息之间的平均互信息量既不会超越第不会超越第级信道输入与输出消息之间的平均互级信道输入与输出消息之间的平均互信息量，也不会超越第信息量，也不会超越第级信道输入与输出消息之级信道输入与输出消息之间的平均互信息量。间的平均互信息量。当对信号当对信号/数据数据/消息进展多级处置时，每处置一次，消息进展多级处置时，每处置一次，就有可能损失一部分信息，也就是说数据处置睬把就有可能损失一部分信息，也就是说数据处置睬把信号信号/数据数据/消息变成更有用的形式，但是绝不会发消息变成更有用的形式，但是绝不会发明出新的信息。这就是所谓的信息不增原理。明出新的信息。这

18、就是所谓的信息不增原理。 当已用某种方式获得当已用某种方式获得Y后，不论怎样对后，不论怎样对Y进展进展处置，所获得的信息不会超越处置，所获得的信息不会超越I(X;Y)。每处置一次。每处置一次，只会使信息量减少，至多不变。也就是说在任何，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丧失了一些信息，提供的信息。一旦在某一过程中丧失了一些信息，以后的系统不论怎样处置，假如不能接触到丧失信以后的系统不论怎样处置，假如不能接触到丧失信息的输入端，就不能再恢复已丧失的信息。息的输入端，就不能再

19、恢复已丧失的信息。 I(X;Y)是信源无条件概率是信源无条件概率p(xi)和信道转移概率和信道转移概率p(yj /xi)的二元函数：的二元函数： n当信道特性当信道特性p(yj /xi)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布p(xi)的变的变化而变化。化而变化。n调整调整p(xi)，在接收端就能获得不同的信息量。由平均互信息，在接收端就能获得不同的信息量。由平均互信息的性质知，的性质知，I(X;Y)是是p(xi)的上凸函数，因而总能找到一种概率的上凸函数，因而总能找到一种概率分布分布p(xi)即某一种信源，使信道所能传送的信息率为最即某一种信源，使信道所能传送的信息率为最大。

20、大。 nimjxypxpxypijinimjypxypjiijijiniijijniijiijjijxypxpyxpYXIxypxpyxpxypxpyp11)/()()/(211)()/(211log)/()(log)();()/()()()/()()( 信道容量信道容量C：在信道中最大的信息传输速率，：在信道中最大的信息传输速率， 单位：单位： 比特比特/信道符号。信道符号。 单位时间的信道容量单位时间的信道容量Ct： 假设信道平均传输一个符号需要假设信道平均传输一个符号需要t秒钟，那么单位时秒钟，那么单位时间的信道容量为间的信道容量为 Ct实际是信道的最大信息传输速率。实际是信道的最大信息

21、传输速率。)/();(maxmax)()(信道符号比特YXIRCiixpxp)/();(max)(1秒比特YXICixptt C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描绘信道特性的参量；信道容量是信道可以传送的最大信息量。 离散无记忆信道及其信道容量离散无记忆信道及其信道容量k1()() P ()KkkkyyPPxxYX无记忆平稳()I X;Y1()(;)KkkkII XYX;Y( )( )1max ()max(,)KkkxxkCII XYppX;

22、Y由消息序列互信息由消息序列互信息 性质性质 对离散无记忆信道，有：对离散无记忆信道，有： 性质性质4那那么么1 max (,)iKkkpkI XY1 KkkkCKC平稳当且仅当信源(信道入)无记忆时，“等号成立性质3、4推论 离散无记忆信道及其信道容量的进一步理解离散无记忆信道及其信道容量的进一步理解 Cmax存在存在互信息性质互信息性质1，上凸函数极值存在，上凸函数极值存在 到达到达Cmax时的两个条件：时的两个条件： 信道输入信源是离散无记忆的信道输入信源是离散无记忆的 信道输入的概率分布是使信道输入的概率分布是使I(X,Y)到达最大的分布到达最大的分布()P y / x C的值不是由信

23、源的的值不是由信源的p(x)决定的，而是由决定的，而是由 决定的决定的 C是信道作为信息传输通道的性能度量是信道作为信息传输通道的性能度量 只要信道输入信源只要信道输入信源Xx1x2xn)满足一定条件时，才满足一定条件时，才干充沛利用信道传输信息的才干干充沛利用信道传输信息的才干 一般离散无记忆信道容量的计算一般离散无记忆信道容量的计算 思路：将问题转化为：有界闭区域上求约束思路：将问题转化为：有界闭区域上求约束极值极值 方法：方法：1、求区域内极值、求区域内极值 2、求边境极值、求边境极值 3、求前两者的最大值、求前两者的最大值 详细实现：详细实现： 1、简单情况下直接求解如单符号信道、简单

24、情况下直接求解如单符号信道、对称信道对称信道 2、解方程、解方程 3、迭代法见朱雪龙、迭代法见朱雪龙2019版版p124页页信道容量信道容量约束条件：约束条件：求信道容量转化为求求信道容量转化为求 对信源概率分布对信源概率分布 的的条件极值。条件极值。 ()max(; )P XCI X Y(; )I X Y()P X( )1iip x( )0,1, 2,ip xir解：解： 引入辅助函数引入辅助函数 1(;)()1riiFI X Yp x（ 为待定系数）1(; )()1(1,., )()()(; )()riiiiiFI X Yp xirp xp xI X Yp x用拉格朗日乘子法求解11(|)

25、(; )() (|)log()rsjiijiijjp yxI X Yp x p yxp y1()() (|)rjijiip yp xp yx()(|)( )log()(|)log( )()jjiijjiijp yp yxp xp yp yxep xp y(; )()iI X Yp x111()(|)log(|)()log()rssijijijjijjp xp yxp yxp yp y111(|)log(|)(|)log()(|)logsssjijijijjijjjp yxp yxp yxp yp yxe1(|)(|)loglog()sjijijjp yxp yxep y令令 0()iFp x1

26、(|)(|)loglog0()()sjijijijp yxFp yxep xp y那么那么 1(|)(|)loglog1,2,()sjijijjp yxp yxeirp y111(|)()(|)log()(log)()rsrjiijiiijijp yxp xp yxp xep ylogCe在某些条件下利用这个方法可以计算C：(|)(|)loglog()jijijjp yxp yxeCp y(|)log(|)(|)log()jijijijjjp yxp yxp yxp yClog()jjp yC令令(|)(|)log (|)jijjijijjp yxp yxp yx(|)log()jijjp y

27、xp yC(|)1jijp yx这是一个含有s个未知数、由r个方程组成的方程组。当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。 log()jjp yC()2jCjp ylog2jjC()( ) (|)jijiip yp x p yx21jCj()(1,2, )ip xirj()2jCjp y()1jjp y 一般离散信道容量的计算步骤傅祖芸第二版p107。求由；，求由；，求由；，求由)(, )/()()()(2)(2log)/(log)/()/(112121iniijijjCjmjjmjijijmjjijxpxypxpypypypCCxypxypxypjj 注意：注意： 在第步信道容量在

28、第步信道容量C被求出后，计算并没有完被求出后，计算并没有完毕，必需解出相应的毕，必需解出相应的p(xi) ，并确认所有的，并确认所有的p(xi)0时，所求的时，所求的C才存在。才存在。 在对在对I(X;Y)求偏导时，仅限制求偏导时，仅限制 ，并，并没有限制没有限制p(xi)0 ，所以求出的，所以求出的p(xi)有可能为有可能为负值，此时负值，此时C就不存在，必需对就不存在，必需对p(xi)进展调整进展调整，再重新求解，再重新求解C。 近年来人们一般采用计算机，运用迭代算法近年来人们一般采用计算机，运用迭代算法求解。求解。niixp11)( 定理：定理：(Kuhn-Tucker条件条件)设 是定

29、义在N维无穷凸集S那么 在 到达S上极大值的充要条件是：( )f x( )f x*xx*( )0,0nnfxxx xx当时*( )0,0nnfxxx xx当时上的可微上凸函数，设12(.):0,1,2,. NiSx xxxiNx*12(.)Nx xxSx*12*(.),0,0,Nnnx xxxSxSxxx注：当时为 的内点时为 边界点。 离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理 定理定理5.1：对前向转移概率矩阵为：对前向转移概率矩阵为Q的离散无记忆的离散无记忆信道，其输入字母的概率分布信道，其输入字母的概率分布p*能使互信息能使互信息I(p,Q)取取最大值的充要条件是最大值的

30、充要条件是*(; )|, ()0(; )|, ()0kkkkI xa YCp aI xa YCp ap=pp=p当当1(|)(; )(|)log()Jjkkjkjjp baI xa Yp bap b其中： 是信源字母ak传送的平均互信息，C就是这一信道的信道容量。);()(),(YaxIapYXIkkk(; )kI xa Y(, )I X Y 是 的平均值。即：(; )kI xa Y()kp a 但进步 ，又使 降低(; )kI xa Y()kp a 反复调整 ，使 相等且都等于C(, )I X YC 定理只给出了可使 的p(x)的充要条件 ，并无详细分布及C的值，但可以协助求解简单情况部分信

31、道的Cn求解信道容量过程实际信源的概率分布进展调节的过程。n通过不时调节信源的概率分布，找到信道对应的最大信息传输速率()kp a(, )kI xa Y 找到 最大的 ，进步ka 对称的离散无记忆信道信道容量对称的离散无记忆信道信道容量 对称的离散无记忆信道对称的离散无记忆信道 矩阵中的每一行都是第一行的重排列；矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。矩阵中的每一列都是第一列的重排列。 定理定理5.2：对于对称的离散无记忆信道，当信道：对于对称的离散无记忆信道，当信道输入字母为等概率分布时到达信道容量。输入字母为等概率分布时到达信道容量。 对称信道11111336

32、611116633 P2111236111623111362P1/31/31/31/31/61/61/61/61/31/21/31/31/21/21/61/61/6( |)( )( |)iiiH Y Xp x H Y x( )(|)log(|)ijijiijp xp yxp yx(|)log (|)( )jijiijip yxp yxp x (|)log (|)ijijijxp yxp yx对每个 而言是固定的(|)log(|)jijijp yxp yx (|)iH Y x对称信道性质对称信道性质(|)(|)iH Y XH Y x 对于对称信道，当信道输入概率分布为等概分布时，对于对称信道，当

33、信道输入概率分布为等概分布时，输出概率分布必为等概分布。输出概率分布必为等概分布。 120.70.10.20.10.70.2aaP120.70.10.20.20.70.1aaP行对称行对称信道信道a1a2b1b2b30.70.10.10.20.70.2a1a2b1b2b30.70.10.10.20.70.2 BSC信道信道容量的计算1211aPaa1a2b1b211 由定理由定理5.2，当输入等概分布时，互信息到达信道容量，当输入等概分布时，互信息到达信道容量 即：即：p(a1)=p(a2)=1/2；有：；有： 2111121221( )() (|); ()( )kkkp bp ap b ap

34、 bp b21(|)(; )(|)log()jkkjkjjp baCI xa Yp bap b1(1)loglog1/ 21/ 21( )H 于是：于是：( )log(1)log(1)H 这里：这里：12log(,)sCsH pppr个输入个输入s个输出的对称离散信道的信道容量：个输出的对称离散信道的信道容量：其中其中 是信道矩阵中的任意一行中的元素。是信道矩阵中的任意一行中的元素。,12,sp pp12(|)(|)(,)isH Y XH Y xH p pp12(; )( )(|)( )(,)sI X YH YH Y XH YH p pp假设假设r=s，且对于每一个输入符号，正确传输概率都相等

35、，且对于每一个输入符号，正确传输概率都相等，且错误传输概率且错误传输概率 p 均匀地分配到均匀地分配到 r-1 个符号，那么称此个符号，那么称此信道为强对称信道或均匀信道。信道为强对称信道或均匀信道。prprprprprpprprprprpp111111111P0101ppppP强对称离散信道的信道容量：强对称离散信道的信道容量：loglog(1)( )CrprH p强对称信道具备四个特征：强对称信道具备四个特征： 1. 1. 矩阵中的每一行都是第一行的排列；矩阵中的每一行都是第一行的排列；( (行对称行对称) ) 矩阵中的每一列都是第一列的排列。矩阵中的每一列都是第一列的排列。( (列对称列

36、对称) ) 2. 2. 信道输入与输出消息符号数相等，即信道输入与输出消息符号数相等，即 r=s r=s。 3. 3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到错误传输概率均匀地分配到r-1r-1个符号上。个符号上。 4. 4. 不只每一行元素之和为不只每一行元素之和为1 1，每一列元素之和也为，每一列元素之和也为1 1。显然，对称性的根本条件是显然，对称性的根本条件是1 1，而，而2 2、3 3、4 4是加强条件。是加强条件。 二元删除信道信道容量的计算a1a2b1b3b2121001aPa11 由定理由定理

37、5.2，当输入等概分布时，互信息到达信道容量，当输入等概分布时，互信息到达信道容量 即：即：p(a1)=p(a2)=1/2；有：；有：21111()()(|)(1)2kkkp bp ap ba31(|)(; )(|)log()jkkjkjjp baCI xa Yp bap b于是：于是：222131()()(|)(1)2()kkkp bp ap bap b1(1) loglog1(1)21准对称离散信道的信道容量：准对称离散信道的信道容量：121log(,)lognskkkCrH pppNM设信道矩阵可划分为设信道矩阵可划分为n n个子矩阵，其中个子矩阵，其中NkNk是第是第k k个子矩阵个子

38、矩阵中某行元素之和，中某行元素之和，MkMk是第是第k k个子矩阵中某列元素之和。个子矩阵中某列元素之和。121001aPa11221,1,2NMNM 121log(,)lognskkkCrH pppNM1log2(1)log(1)loglognkkkNMlog2(1)log(1)log(1)log(1)log21 0.51.000.51.0cbaCa=Cb=)(1H1a:BSC信道的信道容量曲线信道的信道容量曲线 b:二进制删除信道的信道容量曲线二进制删除信道的信道容量曲线1-1-1-1-例例1、知信道转移概率矩阵如下，求此信道的信道容、知信道转移概率矩阵如下，求此信道的信道容量。量。 YX

39、 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3 21111( )() (|)4kkkp bp a q b a41(|)(; )(|)log0.04()jkkjkjjq baCI xa Yq babitp b解：由定理5.2，当输入等概分布时，互信息到达信道容量 即：p(a1)=p(a2)=1/2；有： 22211()() (|)3kkkp bp a q ba23311( )() (|)6kkkp bp a q ba24411()() (|)4kkkp bp a q ba 香农第一定理变长无失真信源编码定理的物理意香农第一定理变长无失真信源编码定理的物理

40、意义义 ()()/(/HXHXRkk比特 信源符号）比特 码符号）码符号 信源符号logRs()logHXsks代表码元个数从信道编码的角度看，用从信道编码的角度看，用 个码元表示一个原始信个码元表示一个原始信源符号，信道的信息传输率为：源符号，信道的信息传输率为：k 香农第一定理无失真信源编码定理的物理意义香农第一定理无失真信源编码定理的物理意义 无噪无损信道的信道容量：无噪无损信道的信道容量：C=H(X)=H(Y)=logsC=H(X)=H(Y)=logs 再看当平均码长到达极限值时再看当平均码长到达极限值时R=logsR=logs 此时信道的信息传输率此时信道的信息传输率R R无噪信道的

41、信道容量无噪信道的信道容量C C 无失真信源编码的实质：无失真信源编码的实质： 对离散信源进展适当变换，使变换后新的码符号信对离散信源进展适当变换，使变换后新的码符号信源信道的输入信源尽可能为等概分布，以使新源信道的输入信源尽可能为等概分布，以使新信源的每个码符号平均所含的信息量到达最大，从信源的每个码符号平均所含的信息量到达最大，从而使信道的信息传输率而使信道的信息传输率R R到达信道容量到达信道容量C C，实现信源，实现信源与信道理想的统计匹配。与信道理想的统计匹配。 又称：无噪信道编码定理又称：无噪信道编码定理 假设信道的信息传输率假设信道的信息传输率R R不大于信道容量不大于信道容量C

42、 C，总能对，总能对信源的输出进展适当的编码，使得在无噪无损信道信源的输出进展适当的编码，使得在无噪无损信道上能无过失地以最大信息传输率上能无过失地以最大信息传输率C C传输信息；但要使传输信息；但要使信道的信息传输率信道的信息传输率R R大于大于C C而无过失地传输信息那么而无过失地传输信息那么是不可能的。是不可能的。到达信道容量到达信道容量C C的时候，输入字母分布唯一吗？的时候，输入字母分布唯一吗？反例：反例：a1a2b1b211令0.5那么1( )0CH 输入任何分布，输出都到达C又一例：又一例：1/ 21/ 20001/ 21/ 20001/ 21/ 21/ 2001/ 2P令输入分

43、布(0.5,0,0.5,0(; )I X YC令输入分布(0.25,0.25,0.25,0.25(; )I X YC输出字母的唯一性输出字母的唯一性 定理：到达信道容量时的输出分布是唯定理：到达信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都一的。任何导致这一输出分布的输入分布都是最正确分布，可以使互信息到达信道容量。是最正确分布，可以使互信息到达信道容量。证明见朱雪龙2019版信息论p132页。例如：对称信道，到达信道容量时输出唯一等概输入字母在什么条件下唯一？ 定理：在到达信道容量时，假如输入概率分布中具有零概率的字母总数到达最大，那么此时非零概率可被唯一地确定，且非零概率分

44、量的数目不超越输出字母的总数。定理不是说具有最大数目零概率的最正确分布是唯一的。定理只说明概率分布由同一组包含零的数字的不同排列构成。证明见朱雪龙2019版信息论p134页。信道1信道2信道N.1Y2YNYYX输入并接信道信道1信道2信道N.YX和信道 信道1信道2信道N.1Y2YNYYX并用信道1X2XNX输入并接信道可以看成一个单输入多输出的输入并接信道可以看成一个单输入多输出的输出为X1 2(.)NYYYY1 21211 2121231 21 2112111 2(;.)(;)(;|). . (;|.)(;)(;|)(;|). . (;|.).(;)(;|)(;|). . (;|.)NNN

45、NNNNNNNI X YYYI X YI X YYI X YYYYI X YI X Y YI X Y YYI X YYYYI X YI X Y YI X YYYI X YYYY信道,其输入为性质：输入并联信道的容量大于任何一个单独的信道，小于max H(X)。1 21 2(;.)()(|.)()NNI X YYYH XH X YYYH X考虑：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X) 通信中的分集，就是典型的输入并联信道1 2( )( )max (;.)max()NNp xp xCI X YYYH X121112210(|)(|).()NNNNH XX XXH

46、XX XXH X1 2(|.)0NNH X YYY( ),max()Np xNCH X 并用信道是多输入，多输出。并用信道是多输入，多输出。X X和和Y Y由彼此独立的由彼此独立的N N个信道传输。个信道传输。性质并用信道的容量12121(.|.)(|)NNNnnnp y yyx xxp yx通信中的复用，就是典型的并用信道通信中的复用，就是典型的并用信道( )11max ( ;)max(;)NNnnnp xnnCII XYCX Y现代通信技术：MIMO和CMIMO(Cooperative MIMO )SISO 单入单出“真正的自利行为就是协作,FrankTxRxSISOTx.Rx.MIMOT

47、x1TxN.Rx1RxN.CMIMOMIMO多入多出CMIMO 节点通过协同形成MIMO和信道随机应用和信道随机应用N N 个信道中的一个，构成一输入个信道中的一个，构成一输入/ /一输一输出信道。出信道。性质：和信道的容量是， Vision 一种新型的通信技术时机通信Opportunistic Comm.信道的使用概率1log2nNCnC()( )2nCCnp C时机通信David Tse, 2019p衰落是无线信道的固有特征，需要抑制p但是在无线网络中，衰落可能带来增益Base StationFading ChannelMobileUser1User2UserN多用户广播信道广播信道容量衰

48、落信道为什么会进步容量？ 在一个多用户独立衰落信道里，每一时刻总可能找到一个拥有较好信道的用户假如总是效劳较好的用户，总体容量会增加传统分集技术的主要目的是改善慢衰落信道中通信的可靠性多用户分集的作用是增加快衰落信道中总的吞吐量事实上，当衰落缺乏的时候，还可以人为引入衰落制造出随机动摇范围大的信道，来进步系统总的吞吐量n 连续信道n时间照旧离散n但是取值：离散连续n引发的问题n离散随机变量的互信息非负、有限n取I(p,Q)最大值得到离散信道的容量n连续随机变量互信息非负，但不一定有限n这样互信息最大值为信道容量的定义就失去了意义问题出在什么地方？问题出在什么地方？n连续随机变量的信息量无穷大无

49、理数具有无穷多的细节n但是实际上我们无法生成信息量为无穷大的变量n总存在物理的约束：能量受限b(x)=x2n因而，连续信道输入输出互信息的优化是在这些约束前提下进展的。, ( | ), X q y x Y, ( | ), X q y x Y定义：设对于连续无记忆信道 ，有一个函数 ，对每一个输入序列 。称 为 的费用。设随机矢量 的结合分布为 ，那么平均费用为：(.)b12., ( )0Nx xxbxx12.NX XXX( )p xbx ( )( ) ( )E bpbxXxx 连续随机变量的熵微分熵连续随机变量的熵微分熵 连续随机变量最大熵分布依赖于约束条件连续随机变量最大熵分布依赖于约束条件

50、 峰值功率受限条件下均匀分布的随机变量具有最大微分峰值功率受限条件下均匀分布的随机变量具有最大微分熵熵 平均功率受限条件下高斯分布的随机变量具有最大微分平均功率受限条件下高斯分布的随机变量具有最大微分熵熵 连续信道的输入所取的值域缺乏以完全表示对信道输入的限连续信道的输入所取的值域缺乏以完全表示对信道输入的限制制还有约束条件还有约束条件 Cmaxh(Y)-h(n) C取决于信道的统计特性加性信道即噪声的统计特性取决于信道的统计特性加性信道即噪声的统计特性 输入随机矢量输入随机矢量X所受的限制条件一般考虑平均功率受限时所受的限制条件一般考虑平均功率受限时 C的单位为：比特的单位为：比特/N个自在

51、度个自在度 连续信道信道容量容量费用函数描绘连续信道信道容量容量费用函数描绘 研究连续信道容量的方法研究连续信道容量的方法 根本、简单的信道：无记忆加性噪声信道根本、简单的信道：无记忆加性噪声信道 信道噪声为高斯时信道噪声为高斯时 何种分布输入能到达对信道的充沛利用何种分布输入能到达对信道的充沛利用 信道输入为高斯时信道输入为高斯时 何种分布噪声对信道传输信息影响最大何种分布噪声对信道传输信息影响最大 一些根底知识：一些根底知识： 对于加性信道对于加性信道Y=X+N X：信道输入：信道输入 N：信道噪声：信道噪声 Y：信道输出：信道输出 信道的转移概率分布函数就是信道的转移概率分布函数就是N的

52、分布函数的分布函数 b(x)是信道输入为是信道输入为x时对应的费用时对应的费用 假如假如X、Y、N中有两个是高斯分布，另一个也是高中有两个是高斯分布，另一个也是高斯分布的斯分布的 高斯分布的随机变量的微分熵高斯分布的随机变量的微分熵h(XG) 高斯分布的连续随机变量的微分熵高斯分布的连续随机变量的微分熵h(XG)的值只与的值只与方差方差 有关，与均值无关有关，与均值无关22212loge 在费用约束的前提下，求输入输出互信息的最大值，得到容量-费用函数。连续信道的连续信道的“容量容量- -费用函数费用函数 定义：设连续信道的N维结合输入输出分别为X和Y，那么其容量-费用函数定义为：( )1(

53、)limsup ( ,); ( )NpCIE bNNxX YX假设假设 存在最大值时存在最大值时( ,)I X Y( )1( )limmax ( ,); ( )NpCIE bNNxX YX 当输入和信道无记忆稳恒时，因为当输入和信道无记忆稳恒时，因为( ,)(, )INI X YX Y( )1( )limmax ( ,); ( )NpCIE bNNxX YX( )max (, ); ()pI X YE b Xx 无记忆加性噪声信道的信道容量费用函数无记忆加性噪声信道的信道容量费用函数 无记忆加性噪声信道的前向转移概率密度函数就无记忆加性噪声信道的前向转移概率密度函数就是噪声是噪声N N的概率密

54、度函数，即：的概率密度函数，即： 其中其中 )()()|(xypnpxyqNN)|()();(XYhYhYXIdxdyxyqxyqxpXYhx)|(log)|()()|(dxdyxypxypxpNNx)(log)()(dxdnnpnpxpNNx)(log)()()(NhdxdnnpnpxpNNx)(log)()( 于是有：于是有： 取信道输入信号的平均功率取信道输入信号的平均功率E(X2)作为信息传输的费用作为信息传输的费用 那么有：无记忆加性噪声信道的信道容量费用函数为：那么有：无记忆加性噪声信道的信道容量费用函数为： 因因h(N)与与px(x)无关，求解无关，求解C(PS)问题转化为只需对

55、问题转化为只需对h(Y)进展进展)()();(NhYhYXI)();(sup)(2)(SxpSPXEYXIPCx)();()(sup2)(SxpPXENhYhx 无记忆加性高斯噪声信道的信道容量费用函数朱雪无记忆加性高斯噪声信道的信道容量费用函数朱雪龙龙p139 条件：条件：NZG 问题：求使问题：求使C(PS)最大时的最大时的X的概密分布函数的概密分布函数 求解步骤：求解步骤：2( )()sup ( )();()xSSpxC Ph Yh NE XP12()log(1)SNPSPC P 因为： 要使C(PS) 最大使h(Y)最大 在PS约束条件下，当YYG时h(Y)到达最大 XXG，那么： 结

56、论：当信道输入信号为高斯分布信号时，无结论：当信道输入信号为高斯分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充记忆加性高斯噪声信道的信道容量可以得到充沛利用。沛利用。换句话说：在无记忆加性高斯噪声信道中传输信息时，高斯分布的信号是最有效的-即在同样信号功率下，信道可以传输最多的信息 无记忆加性噪声信道对高斯分布的输入信号的影响无记忆加性噪声信道对高斯分布的输入信号的影响 条件：条件：XXG，约束条件，约束条件PS 问题：考察何种概密分布的问题：考察何种概密分布的N使使I(X;Y)最小最小 求解步骤：求解步骤： 因为因为 而当而当NNG时，时，YYG 此时：此时： 可以证明：朱雪龙可以证

57、明：朱雪龙p140页页 结论：无记忆加性高斯噪声信道对高斯分布的输入信号具有结论：无记忆加性高斯噪声信道对高斯分布的输入信号具有 最大的破坏力。最大的破坏力。)()();(NhYhYXI)()();();(NhYhYXIYXIGGGG)()();(NhYhYXIG0);();(GGGYXIYXI 高斯分布特性：-作为信道输入信号的概密分布时，有利于信息传输-作为加性信道噪声概密分布时，不利于信息传输-共同说明高斯分布的随机变量具有最大微分熵 一般无记忆加性噪声信道的信道容量费用函数)1log();()(21NSPPGGSYXIPC)(2log)(21NSPPeYh)()(2log)(21NhP

58、PePCNSS2( )()sup ( )();()xSSpxC Ph Yh NE XP-无法给出解析形式的解，但可以给出其上下界表达式-下界：根据前面的讨论很容易得下界：根据前面的讨论很容易得-上界：上界： 当输入信号功率限制在PS以下，噪声功率限制在PN以下 那么输出信号功率将= PS PN。 此时 所以有： 输入输出均正态输入为正态分布最正确输入分布( )1max (; )(; )log(1)2SNp xNPCI X YIX YP( )1121 2( )1()sup ( ;);sup (.;.);nnNSSSpnNNNSSpnC PIPPI X XXYYYPPxxX Y 无记忆加性高斯噪声

59、信道的并联无记忆加性高斯噪声信道的并联 信道1信道2信道N.1Y2YNYYX并用信道1X2XNX1,0nnNSSSnPP P1( ;)(;)NnnnII XYX Y等号是在各分量统计独立时才成立( )11()maxlog(1)2nnNSSpnNPC PPx 这又是凸函数在约束下求极值的问题这又是凸函数在约束下求极值的问题12nnNSPP111log(1)02iiniNNSSinSNPPPP假设极值不发生在边缘上，假设极值不发生在边缘上，11,nnNNSSNNnnPPPPnnSNSNPPPPN1,02nnnNSSPPP当时111log(1)0,02iinniNNSSSinSNPPPPP当时假设极

60、值发生在边缘上，假设极值发生在边缘上，注水功率注水功率PN1PS1PN2PS2PS3PS4PS5PN3PN4PN5PN6PN7PN8PN9PS7PS99N 12345678912功率功率68681,02NNSSPPPP,n模仿信道：在时间和取值上都连续的信道模仿信道：在时间和取值上都连续的信道n 光纤，电缆，电磁波空间传播光纤，电缆，电磁波空间传播n我们仅研究非常特殊的一类模仿信道：我们仅研究非常特殊的一类模仿信道：AWGNAWGNn带宽有限：带宽有限：WWn加性噪声：加性噪声：y(t) = x(t)+z(t)y(t) = x(t)+z(t)n白色噪声：平稳遍历随机过程，功率谱密度均匀分布于整