信息论与编码

1、2022年6月4日Channel and Channel Capacity2022年6月4日-2 什么是信道？什么是信道？信道是传送信息的载体信道是传送信息的载体信号所通过的通道信号所通过的通道信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。信道的作用信道的作用在信息系统中信道主要用于传输与存储信息传输与存储信息，而在通信系统中则主要用于传输传输。第三章第三章 信道与信道容量信道与信道容量2022年6月4日3 研究信道的目的研究信道的目的实现信息传输的有效性和可靠性 有效性：充分利用信道容量 可靠性：通过信道

2、编码降低误码率在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性传输特性 信息论研究信息的传输问题（假定传输特性已知）第三章第三章 信道与信道容量信道与信道容量2022年6月4日-4 信息论对信道研究的内容：信息论对信道研究的内容：信道的建模信道的建模：用恰当的输入/输出两个随机过程来描述信道容量信道容量：通过信道的最大信息量不同条件下充分利用信道容量的各种办法不同条件下充分利用信道容量的各种办法第三章第三章 信道与信道容量信道与信道容量输入X输出Y信道转移概率p(y|x)20

3、22年6月4日-5 第三章第三章 信道与信道容量信道与信道容量主要内容提要：主要内容提要：信道的数学模型及分类 单符号离散信道容量的计算离散序列信道容量的计算连续信道容量的计算信源与信道的匹配基本术语：基本术语：信道转移矩阵、信道容量2022年6月4日-6 本章的教学基本要求本章的教学基本要求 本章要求本章要求熟练掌握熟练掌握简单信道（对称离简单信道（对称离散信道、无记忆加性高斯噪声信道）的信散信道、无记忆加性高斯噪声信道）的信道容量的计算；道容量的计算；熟练掌握熟练掌握香农公式及其应香农公式及其应用；用； 掌握掌握信道的基本描述方法；信道的基本描述方法；掌握掌握信道信道容量的概念，以及与平均

4、互信息、信道输容量的概念，以及与平均互信息、信道输入概率分布、信道转移函数的关系；入概率分布、信道转移函数的关系；理解理解香农第一定理（无噪信道编码）的物理意香农第一定理（无噪信道编码）的物理意义；义；了解了解信道的基本分类；信道的基本分类；了解了解信道容量信道容量在研究通信系统中的作用。在研究通信系统中的作用。2022年6月4日7 3. 1 信源的数学模型及分类信源的数学模型及分类信道的分类信道的分类离散信道的数学模型离散信道的数学模型单符号离散信道的数学模型单符号离散信道的数学模型离散序列信道的数学模型离散序列信道的数学模型连续信道的数学模型连续信道的数学模型2022年6月4日-8 3.1

5、.1 信道的分类信道的分类根据信道的用户数量分为：根据信道的用户数量分为：单用户信道（两端信道、单路信道）多用户信道（多端信道）根据信道输入端和输出端的关系分为：根据信道输入端和输出端的关系分为：无反馈信道：输出端信号对输入端信号无影响反馈信道：输出端信号反馈到输入端，对输入端信号起作用，影响输入地信号发生变化根据信道参数与时间的关系分为：根据信道参数与时间的关系分为：恒参信道（固定参数信道、平稳信道）随参信道（时变参数信道）2022年6月4日9 3.1.1 信道的分类信道的分类根据信道中所受噪声种类的不同分为：根据信道中所受噪声种类的不同分为：随机差错信道：噪声独立随机地影响所传信元突发差错

6、信道：噪声、干扰的影响是前后关联的，出现成串错误混合差错信道：两种差错都出现的信道根据输入输出信号的特点分为：根据输入输出信号的特点分为： 离散信道：输入输出信号在时间和幅度上均离散；连续信道：输入输出信号在幅度上是连续的，在时间上是离散的；半离散半连续信道：在输入和输出两个信号中有一个是离散的，另一个是连续的；波形信道：输入输出信号在时间和幅度上均连续；2022年6月4日10 3.1.1 信道的分类信道的分类根据信道是否存在干扰分为：根据信道是否存在干扰分为：无扰信道：干扰小到可以忽略有扰信道：干扰不可忽略根据信道有无记忆分为：根据信道有无记忆分为：无记忆信道（Memoryless chan

7、nel ）：在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与前面时刻的信道输入或输出消息无关。有记忆信道（Memory channel）：在任意时刻信道的输出消息不仅与当时的信道输入消息有关，而且还与以前时刻的信道输入消息和（或）输出消息有关。2022年6月4日11 3.1.1 信道的分类信道的分类根据传输媒质（狭义信道）的不同分为：根据传输媒质（狭义信道）的不同分为：光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴（长途）小同轴（长途）对称平衡电缆（市内）电缆明线固体介质传输媒介类型2022年6月4日12 3.1.1 信道的分类信道的分类根据研

8、究问题的侧重点不同，广义信根据研究问题的侧重点不同，广义信道分为：道分为：调制信道编码信道编码信道调制信道编编码码器器 解调器解调器 发送设备接收设备 译译码码器器噪声源噪声源输输入入输输出出传输媒质传输媒质调制器调制器2022年6月4日13 描述信道信道可以引用三组变量来描述：信道输入概率空间：信道输入概率空间：信道输出概率空间：信道输出概率空间：信道概率转移矩阵：信道概率转移矩阵：即： ， ， ，它可简化为： 。)(,xpXK)(,yqYK)(xyP)(,xpXK)(xyP)(,yqYK),(,KKYPX2022年6月4日14 离散信道的数学模型如上图所示离散信道的数学模型如上图所示输入和

9、输出信号都用随机矢量表示输入和输出信号都用随机矢量表示条件概率条件概率p(Y|X)描述了输入信号和输出信号描述了输入信号和输出信号之间的统计依赖关系，反映了信道的统计之间的统计依赖关系，反映了信道的统计特性。特性。3.1.2 离散信道的数学模型离散信道的数学模型输入X=输出Y=信道转移概率p(Yj|Xi)(X1,X2,Xi,Xn)(Y1,Y2,Yj,Ym)2022年6月4日15 3.1.2 离散信道的数学模型离散信道的数学模型1( )1riip aa1a2arb1b2bsX=(a1,a2,ar)输入符号集Y=(b1,b2,bs)输出符号集P(ai)表示输入某符号的概率，有表示输入某符号的概率，

10、有 P(bj)表示输出某符号的概率，有表示输出某符号的概率，有 P(bj|ai)表示发送表示发送ai而接收到而接收到bj概率，有概率，有注：下标r与s可能相等也可能不等11(|)1ssjiijjjp bap 可以用条件（转移）概率可以用条件（转移）概率 或者或者 表示信道的噪声干扰特性。表示信道的噪声干扰特性。1()1sjjp b(|)jip baijp2022年6月4日16 3.1.2 离散信道的数学模型离散信道的数学模型根据信道的统计特性即条件概率根据信道的统计特性即条件概率 P(y/x)的不同，的不同，离散信道又可分成三种情况：离散信道又可分成三种情况：无干扰（无噪）信道无干扰（无噪）信

11、道：信道中没有随机性的干扰或者干：信道中没有随机性的干扰或者干扰很小，输出信号与输入信号之间有确定的一一对应的扰很小，输出信号与输入信号之间有确定的一一对应的关系。关系。有干扰无记忆信道有干扰无记忆信道：信道中有干扰（噪声），输入与输：信道中有干扰（噪声），输入与输出之间没有确定的对应关系。信道输入和输出之间的条出之间没有确定的对应关系。信道输入和输出之间的条件概率是一般的概率分布。件概率是一般的概率分布。 有干扰有记忆信道有干扰有记忆信道：信道中某一瞬间的输出符号不但与：信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信对应时刻的输入符号有关，而且还与此以前其他时

12、刻信道的输入符号及输出符号有关。道的输入符号及输出符号有关。 2022年6月4日17 3.1.2 离散信道的数学模型离散信道的数学模型无干扰（无噪）信道无干扰（无噪）信道：信道中没有随机性的干扰或者干扰很小，输出信号与输入信号之间有确定的一一对应的关系。即典型的示例：1 ( )( )( | )0 ( )yf xyf xP y xyf x并且a1a2aNb1b2bNP(bi|ai)=1XY2022年6月4日18 3.1.2 离散信道的数学模型离散信道的数学模型有干扰无记忆信道有干扰无记忆信道：有干扰（噪声）：有干扰（噪声）：输入与输出之间没有确定的对应关系。信道输入和输出之间的条件概率P(y|x

13、)是一般的概率分布。无记忆：无记忆：信道在任一时刻的输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其它任意时刻的输出符号无关。满足满足离散无记忆信道离散无记忆信道DMC的充分必要条件充分必要条件为： 对于任意N值和任意x、y的取值上式都成立。12121( | )(.|.)(|)NNNiiiP y xP y yyx xxP yx离散无记忆信道2022年6月4日19 有干扰信道的示例：有干扰信道的示例： 强干扰强干扰 弱干扰弱干扰a1a2aNb1b2bNP(bi|ai)XYa3b3a1a2aNb1b2bNP(bi|ai)XYa3b33.1.2 离散信道的数学模型离散信道的数学模

14、型2022年6月4日20 3.1.2 离散信道的数学模型离散信道的数学模型有干扰无记忆信道有干扰无记忆信道离散无记忆信道Discrete Memoryless Channel离散无记忆信道离散无记忆信道DMCa1a2aNb1b2bMXYb31211121121222212 . (|)(|).(|)(|)(|).(|).(|)(|).(|)MMMNNNMNbbbap bap bap baap bap bap baPap bap bap ba信道转移矩阵信道转移矩阵2022年6月4日21 3.1.2 离散信道的数学模型离散信道的数学模型有干扰无记忆信道有干扰无记忆信道DMC的特例的特例二进制离散信

15、道二进制离散信道 N=M=2其中最典型的是二进制对称信道其中最典型的是二进制对称信道Binary Symmetric Channel(简称简称BSC) 0 10111ppppp二进制对称信道二进制对称信道BSC01011-P1-PPP(0|0)(1|1)1(1|0)(0|1)pppppp 2022年6月4日22 3.1.2 离散信道的数学模型离散信道的数学模型有干扰无记忆信道有干扰无记忆信道DMC的推广的推广离散时间无记忆信道，即离散输离散时间无记忆信道，即离散输入、连续输出信道入、连续输出信道其中，其中，N是某个有限的整数，但是是某个有限的整数，但是M无限无限 用条件概率密度函数用条件概率密

16、度函数 来描述信道来描述信道转移特性转移特性例：加性高斯白噪声信道例：加性高斯白噪声信道( |)YiP y xa12 ,.,(,)NXAa aaY XY=X+G+均值为零、方差 的高斯噪声G2当当X=ai给定后，给定后，Y是一个均值为是一个均值为ai方差方差为为 的高斯随机变量的高斯随机变量222()221( |)2iy aYipy xae2022年6月4日23 3.1.2 离散信道的数学模型离散信道的数学模型有干扰无记忆信道有干扰无记忆信道DMC的进一步推广的进一步推广波形信道波形信道其中，其中，N ，M无限无限可以对可以对X(t)、Y(t)两个平稳随机过程信号离散化成两个平稳随机过程信号离

17、散化成L=2fmtB个时间离散、取值连续的平稳随机序列个时间离散、取值连续的平稳随机序列X=X1,X2,XL和和Y=Y1,Y2,YL。 波形信道变成了波形信道变成了多维连续信道多维连续信道，此时信道转移概率密，此时信道转移概率密度函数为度函数为 且满足且满足 若信道为连续无记忆信道则若信道为连续无记忆信道则 而一般信道为连续有记忆信道，上式不成立。而一般信道为连续有记忆信道，上式不成立。1212( | )(.|.)YYLLpy xpy yyx xx(,),(,)XY 121212.(.|.)d d.d1YLLLR RRpy yyx xxy yy 12121(.|.)(|)LYLLiiipy y

18、yx xxp yx2022年6月4日24 3.1.2 离散信道的数学模型离散信道的数学模型有干扰有记忆信道有干扰有记忆信道：信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关。实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类型。又有记忆的这种类型。 例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。之间的干扰。 处理有干扰有记忆信道的两种方法：处理有干扰有记忆信道的两种方法： 最直观的方法是把记忆较强的N个符号当作一个N维矢量，而把各矢量之

19、间认为是无记忆的，这样就转化成无记忆信道的问题。当然，这样处理会引入误差：N ，误差 。 另一种处理方法是把 P(y/x) 看成马尔可夫链的形式，这是有限记忆信道的问题。此时，信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的状态的条件下，信道的输出符号和所处的状态的联合条件概率来描述，即用P(yn, Sn/xn,Sn-1)来描述。2022年6月4日25 3.1.3 单符号离散信道的数学模型单符号离散信道的数学模型 单符号离散信道单符号离散信道信道输入和输出都取值信道输入和输出都取值于离散集合，且都用一个随机变量来表示于离散集合，且都用一个随机变量来表示的信道。的信道。 可以采用三种方法

20、描述：可以采用三种方法描述：图示法概率空间法信道矩阵法2022年6月4日26 3.1.3 单符号离散信道的数学模型单符号离散信道的数学模型 图示法：图示法： 用概率空间用概率空间X, P(y/x) ,Y描述描述X：输入符号，取值范围输入符号，取值范围a1,a2, ,arY：输出符号，取值范围输出符号，取值范围b1,b2, ,bs 条件概率条件概率：P(y/x)P(y=bj/x=ai)P(bj/ai)=Pij 也也称为称为信道的传递概率或转移概率信道的传递概率或转移概率，可以用来描述信道干，可以用来描述信道干扰影响的大小扰影响的大小2022年6月4日27 3.1.3 单符号离散信道的数学模型单符

21、号离散信道的数学模型一般离散单符号信道的传递概率可用一般离散单符号信道的传递概率可用矩阵形式矩阵形式表表示，即示，即 )a|P(b.)a|P(b)a|P(b.)a|P(b.)a|P(b)a|P(b)a|P(b.)a|P(b)a|P(ba.aab . b b rsr2r12s22211s1211r21s21111212122212. P.ssrrrsppppppppp简记为1 (|)01ijjisijjpp bap其中并且即各行元素之和为即各行元素之和为12022年6月4日28 矩阵矩阵P完全描述了信道的特性，可用它作为完全描述了信道的特性，可用它作为单符号离散信道的另一种数学模型的形式。单符号

22、离散信道的另一种数学模型的形式。矩阵矩阵P中有些是信道干扰引起的错误概率，中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵有些是信道正确传输的概率。所以该矩阵P又称为又称为信道矩阵信道矩阵（转移矩阵转移矩阵）。）。3.1.3 单符号离散信道的数学模型单符号离散信道的数学模型2022年6月4日29 一般单符号离散信道的一些概率关系：一般单符号离散信道的一些概率关系：设信道的输入概率空间为：信道输出Y的符号集为B=b1,b2,bs。给定信道矩阵为： 12111.( )1,0( )1() ()()( ).rriiiraaaXp ap ap ap ap aP x且111212122

23、212. .ssrrrspppppppppP3.1.3 单符号离散信道的数学模型单符号离散信道的数学模型2022年6月4日30 3.1.3 单符号离散信道的数学模型单符号离散信道的数学模型一般单符号离散信道的一些概率关系：一般单符号离散信道的一些概率关系：输入和输出符号的联合概率为: 其中，P(bj|ai) 前向概率前向概率（发ai收bj 的概率），描述了信道噪声的特性；P(ai|bj) 后向后向（后验后验）概率概率（收到bj后发为ai的可能性） ，描述了信道引起的疑义性；P(ai) 先验概率先验概率，接收到一个输出符号以前输入符号概率；P(bj) 输出某符号的概率输出某符号的概率 。(,)(

24、)( ) (|)() (|)ijijijijijP xa ybP abP a P baP b P a b2022年6月4日-兰州大学信息科学与工程学院电信、通信工程系-31 3.1.3 单符号离散信道的数学模型单符号离散信道的数学模型一般单符号离散信道的一些概率关系：一般单符号离散信道的一些概率关系：根据条件概率可得输出符号的概率为 ： 对j=1,2,s都成立输出/输入符号与转移概率关系的矩阵形式为:1()( ) (|)rjijiiP bP a P ba1122T( )()()().()()srP bP aP bP aP bP aP2022年6月4日32 3.1.3 单符号离散信道的数学模型单

25、符号离散信道的数学模型一般单符号离散信道的一些概率关系：一般单符号离散信道的一些概率关系：根据贝叶斯定律贝叶斯定律可得后验概率为:()(|) ( ()0)()ijijjjP abP a bP bP b也说明：信道矩阵的信道矩阵的各行元素之和等于各行元素之和等于11( ) (|) ( ) (|)ijirijiiP a P baP a P ba1(|)1 (1,N2,.o):,t.erijiP a bjs1(|)1 (1,2,., )sjijP bair在信道输出端接收到任一在信道输出端接收到任一符号符号bj，一定是输入符号，一定是输入符号a1,a2,ar中的某一个送入中的某一个送入到信道。到信道

26、。(1,2,., 1,2,., )irjs输入输入X=ai一定，输出一定，输出y是那一个符号还不确定，是那一个符号还不确定，但一定是符号集但一定是符号集b1,b2,bs中的某一个中的某一个2022年6月4日33 特别说明：分析问题时用何种信道模型完特别说明：分析问题时用何种信道模型完全取决于分析者的目的。例如：全取决于分析者的目的。例如：对设计和分析离散信道编解码器的性能感兴趣，工程上常用DMC模型，或者更简化的BSC模型；若分析性能的理论极限，则多选用离散输入、连续输出信道模型；若想设计和分析数字调制解调器的性能，则可采用波形信道模型。本书后面侧重讨论编解码，所以DMC信道用的最多。2022

27、年6月4日34 3. 2 单符号离散信道容量及其计算单符号离散信道容量及其计算如果信源熵为如果信源熵为H(X)H(X)，我们希望在信道传输端接收的信息量，我们希望在信道传输端接收的信息量就是就是H(X)H(X) 。但由于噪声的存在，一般情况下在输出端只能。但由于噪声的存在，一般情况下在输出端只能收到收到I(X;Y) I(X;Y) 。平均互信息平均互信息I(X;Y)就是接收到符号就是接收到符号Y后平均每个符号获得的后平均每个符号获得的关于关于X的信息量的信息量平均意义上每传送一个符号流经信道的平均意义上每传送一个符号流经信道的平均信息量。平均信息量。可以把可以把I(X;Y)理解为信道的理解为信道

28、的信息传输率信息传输率（或（或信息率信息率）R 即即R = I(X;Y) = H(X) H(X|Y) (比特比特/信道符号信道符号)信道中每秒平均传输的信息量信道中每秒平均传输的信息量-单位时间的信息传输速率单位时间的信息传输速率Rt： Rt I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒） 2022年6月4日35 推导过程推导过程,(; )( )(|)()log ()( ,)log (|)jjijjiji jI X YH YH Y Xp yp yp x yp yx ,( ,)log( ,)( ,)log (|)ijijijjii jii jp x yp x yp

29、x yp yx ( ,)( )(|)ijijiiijp x yp xp yxp p简记,(; )loglogiijiijiijiji jii jI X Yp pp pp pp ,logiijiiiji jijp pp pp 是先验概率是先验概率 和信道转移概率和信道转移概率 的函数。的函数。( ; )I X Y(|)jip yx( )ip x2022年6月4日36 因为因为I(X;Y)=f p(xi),p(yj|xi)，当信道特性，当信道特性p(yj|xi)输固定后，是信源概率分布输固定后，是信源概率分布p(xi)的的型凸型凸函数函数定理定理 。所以，对一固定的信道，总能找到一种概率分布所以，

30、对一固定的信道，总能找到一种概率分布p(xi)（即存在一种信源），使信道所传送的信息（即存在一种信源），使信道所传送的信息率最大。率最大。 定义这个最大的信息传输率为定义这个最大的信息传输率为信道信道容量容量，记为，记为C 使信道传输率达到最大的输入信源概率分布称为使信道传输率达到最大的输入信源概率分布称为最佳输入分布最佳输入分布。 ()max (; )(/)p XCI X Ybit channel symbol3. 2 单符号离散信道容量及其计算单符号离散信道容量及其计算2022年6月4日37 若平均传输一个符号需要若平均传输一个符号需要 T 秒钟，则信道在单位秒钟，则信道在单位时间内平均传

31、输的最大信息量（时间内平均传输的最大信息量（单位时间的信道单位时间的信道容量容量）为）为Ct：Ct：实际是信道的最大信息传输速率。：实际是信道的最大信息传输速率。显然，显然， C和和Ct都是求平均互信息都是求平均互信息I(X;Y)的的条件极条件极大值的大值的问题。当输入信源概率分布问题。当输入信源概率分布p(xi)调整好以调整好以后，后， C和和Ct已与已与p(xi)无关而仅仅是信道转移概率无关而仅仅是信道转移概率的函数，只与信道的统计特性有关。的函数，只与信道的统计特性有关。 信道容量是完全描述信道特性的参量，是信道能信道容量是完全描述信道特性的参量，是信道能够传送的最大信息量。够传送的最大

32、信息量。(/ )tCCbit sT3. 2 单符号离散信道容量及其计算单符号离散信道容量及其计算2022年6月4日38 特别强调：特别强调： 对于特定的信道，信道容量是个定值，对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供其最大传输但在传输信息时信道能否提供其最大传输能力，则取决于输入端的概率分布。能力，则取决于输入端的概率分布。本小节内容：本小节内容：无干扰单符号离散信道容量计算对称DMC信道容量的计算准对称DMC信道容量的计算一般DMC信道容量的计算（了解）3. 2 单符号离散信道容量及其计算单符号离散信道容量及其计算几种特殊的单符几种特殊的单符号离散信道号离散信道2022年

33、6月4日39 3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量离散无噪信道满足：离散无噪信道满足：无噪无噪1个输入只对应个输入只对应1个输出，个输出，噪声熵噪声熵H(Y|X)=0；无损无损 1个输出只对应个输出只对应1个输入，个输入，损失熵损失熵H(X|Y)=0 ；1 ( )( )( | )0 ( )yf xyf xP y xyf x并且2022年6月4日40 信道中熵的信息流图信道中熵的信息流图信道散布度（噪声熵）信道散布度（噪声熵）信道含糊度（疑义度）信道含糊度（疑义度）损失熵损失熵()max (; )(/)p XCI X Ybit channel symbolH(X)H(Y)

34、I(X;Y)H(X|Y)H(Y|X)2022年6月4日41 3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量无噪无损信道示例：无噪无损信道示例： 转移概率为：转移概率为： 信道矩阵为单位阵：信道矩阵为单位阵： 无噪无损无噪无损 I(X;Y)=H(X)=H(Y)0 (|)(|) ( ,1,2,3)1 jiijijp bap a bi jija1a2a3b1b2b3P(b1|a1)=1XYP(b2|a2)=1P(b3|a3)=1100010001P( )max (; )loglogp xCI X Yrs2022年6月4日42 3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量

35、有噪无损信道：有噪无损信道： 特点特点：一个X对应多个Y（有噪）；各个X对应的Y值不重合（无损），接收到符号Y后，X完全确定。 信道矩阵中每列每列有也仅有一个非零元素非零元素有噪有噪1个输入对应多个输出，噪声熵H(Y|X) 0无损无损1个输出只对应1个输入，损失熵H(X|Y)=0有噪无损：I(X;Y)=H(X)H(Y)( )( )max (; )max()logp xp xCI X YH Xr2022年6月4日43 3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量有噪无损信道示例：有噪无损信道示例： 1100002233100051010000001pa1a2a3b1b2b31/2

36、XY1/21b4b5b63/53/101/10112132425263111223242536(|)(|)1/2;(|)3/5; (|)3/10;(|)1/10; (|)1(|)(|)1;(|)(|)(|)1;(|)1p b ap bap bap bap bap bap abp abp abp abp abp ab( )max (; )log3p xCI X Y2022年6月4日44 3.2.1 3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量无噪有损信道无噪有损信道(确定信道确定信道) ：无噪无噪1个X只对应1个Y，前向概率P(y/x)非0即1，噪声熵H(Y|X)=0；有损有损

37、1个Y对应多个X，损失熵H(X|Y) 0 ；接收到符号Y后不能完全消除对X的不确定性I(X;Y)=H(Y)H(X) 100010010010001001p1a1b1b2b3输出输出Y11a2a3输入输入Xa4a5a6111( )( )max (; )max( )log3p xp xCI X YH Y2022年6月4日45 ( )H Y()H X(| )H X Y( |)H Y X( ; )I X Y用用维拉图维拉图来表述来表述无噪无损信道无噪无损信道、有噪无损信道有噪无损信道和和无噪无噪有损信道有损信道中中平均互信息平均互信息、损失熵损失熵、噪声熵噪声熵以及以及信源熵信源熵之间的关系。之间的关

38、系。 3.2.1 无干扰离散信道的信道容量2022年6月4日46 3.2.1 3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量用用维拉图维拉图来表述来表述无噪无损信道无噪无损信道、有噪无损信道有噪无损信道和和无噪有无噪有损信道损信道中中平均互信息平均互信息、损失熵损失熵、噪声熵噪声熵以及以及信源熵信源熵之间之间的关系。的关系。 (; )()( )I X YH XH Y无噪无损无噪无损信道信道(; )()I X YH X有噪无损有噪无损信道信道( )H Y( ; )I X Y(|)H Y X(; )( )I X YH Y无噪有损无噪有损信道信道()H X( ; )I X Y(|)H

39、X Y这三种信道的这三种信道的C 只决定于信道的输入符号数只决定于信道的输入符号数r 或输出符号数或输出符号数s2022年6月4日47 信道名称信道名称信道特征信道特征信息传输情况信息传输情况全损信道全损信道p(xy)=p(x)p(y)H(X|Y)=H(X)I(X;Y)=0无损无噪无损无噪信道信道p(x|y)=0 or 1且p(y|x)=0 or 1H(X|Y)= H(Y|X)=0I(X;Y)=H(X)=H(Y)无损信道无损信道p(x|y)=0 or 1H(X|Y)= 0I(X;Y)=H(X)无噪信道无噪信道p(y|x)=0 or 1H(Y|X)=0I(X;Y)=H(Y)特殊信道总结：特殊信道

40、总结：2022年6月4日48 损失熵损失熵 H(X/Y) = 0 的信道称为的信道称为无损信道无损信道，其信道容量为：其信道容量为： 其中，r为输入信源X的符号个数，等概率分布时H(X)最大噪声熵噪声熵 H(Y/X) = 0 的信道称为的信道称为无噪信道无噪信道，其信道容量为：其信道容量为： 其中， s为输出信源Y的符号个数，等概率分布时H(Y)最大( )max()log (/)p xCH Xr bit symbol( )max( )log (/)p yCH Ys bit symbol3.2.1 无干扰离散信道的信道容量无干扰离散信道的信道容量2022年6月4日49 3.2.2 对称对称DMC

41、信道的信道容量信道的信道容量对称性对称性：信道矩阵：信道矩阵P的每一行都是由同一集的每一行都是由同一集合合p1，p2，ps中的诸元素不同排中的诸元素不同排列组成（列组成（输入对称性输入对称性）；每一列也都是由）；每一列也都是由q1，q2，qr 中的诸元素不同排列中的诸元素不同排列组成（组成（输出对称性输出对称性） 。对称离散信道对称离散信道：具有对称信道矩阵的信道。：具有对称信道矩阵的信道。对称的离散无记忆信道对称的离散无记忆信道（DMC） ：信道矩阵中的每一行都是第一行的重排列；信道矩阵中的每一列都是第一列的重排列。2022年6月4日50 3.2.2 对称对称DMC信道的信道容量信道的信道容

42、量对称离散信道示例：对称离散信道示例：31316161616131311P31316161616131313121616121613131212161313121616131212pa1a2a1a2a3b1b2b3b1b2b3b42022年6月4日51 以下示例以下示例不是不是对称离散信道：对称离散信道：2 . 07 . 01 . 02 . 01 . 07 . 021aaQa1a2b1b2b30。70。10。10。20。7a1a2b1b2b31/3b41/31/61/31/31/61/61/61/61/31/31/61/66/13/13/1Q3.2.2 对称对称DMC信道的信道容量信道的信道容

43、量2022年6月4日52 3.2.2 对称对称DMC信道的信道容量信道的信道容量由于对称信道转移概率矩阵中每行的元素都相同，由于对称信道转移概率矩阵中每行的元素都相同，所以所以 与与 i 无关，则条件熵无关，则条件熵 与信道输入符号的概率分布与信道输入符号的概率分布p(ai)无关。无关。因此对称离散信道的信道容量：因此对称离散信道的信道容量： (|)( )(|)log(|)(|)log(|)(|), 1,2,.,ijijiijjijiijH Y XP ap bap bap bap baH Y air ()()max ( ; )max ( )( |)iip ap aCI X YH YH Y X(

44、|)log (|)jijijp bap ba常数()max( )(|)ip aH YH Y X2022年6月4日53 3.2.2 对称对称DMC信道的信道容量信道的信道容量如果信道输入符号等概率分布如果信道输入符号等概率分布p(ai)=1/r，则根据，则根据信道矩阵的列对称性可知信道矩阵的列对称性可知 与与j 无关，无关，即信道输出符号也等概率分布；反之，若信道输即信道输出符号也等概率分布；反之，若信道输出符号等概率分布，对称信道的输入符号必定也出符号等概率分布，对称信道的输入符号必定也是等概率分布的。是等概率分布的。因此对称因此对称DMC信道的信道容量：信道的信道容量： 1()( ) (|)

45、(|)jijijiiip bp a p bap bar()max( )( |)ip aCH YH Y X要使要使H(Y)达到最大，只达到最大，只有信道输出符号等概率有信道输出符号等概率分布，此时的输入符号分布，此时的输入符号也等概率分布。也等概率分布。1log logsijijjspplog -(|)is H Y a2022年6月4日54 计算对称计算对称DMC信道容量的例子信道容量的例子已知某对称已知某对称DMC信道，求信道容量。信道，求信道容量。31316161616131311P3131616161613131a1a2b1b2b3b41122log loglog(,.)1 1 1 1lo

46、g 4( , )3 3 6 60.0817()sijijjsCsppsH p ppH比特/信道符号 只有当输入符号等概分布时可以达到最大只有当输入符号等概分布时可以达到最大传输能力，平均每个信道符号传送的最大信息传输能力，平均每个信道符号传送的最大信息量为量为0.0817bit2022年6月4日55 计算对称计算对称DMC信道信道容量的例子信道信道容量的例子强对称信道（或均匀信道）强对称信道（或均匀信道）1.111.11.111n nnnnnnnP正确传正确传输概率输概率错误概率被均匀分错误概率被均匀分配到配到(n-1)个输出端个输出端2222log(1,.,)11log(1)log (1)l

47、og1CnHnnnn当当n=2时？时？2022年6月4日56 3.2.2 对称对称DMC信道的信道容量信道的信道容量二元对称信道二元对称信道BSC的信道容量：的信道容量： ()1,P Xaa0101XYpp1-p1-p设输入符号的概率分布为设输入符号的概率分布为 p(0)=p(0)=a a, p(1)=1-, p(1)=1-a a, , 条件概率条件概率 p(0|0)=p(1|1)=p(0|0)=p(1|1)=p p, p(1|0)=p(0|1)=1-, p(1|0)=p(0|1)=1-p p, , 则有则有1( |)1ppP Y Xpp(1)(, )(1)(1)(1)pap aP X Ypa

48、pa2022年6月4日57 3.2.2 对称对称DMC信道的信道容量信道的信道容量 从而可以计算出：从而可以计算出：又因为又因为 但是但是 仅发生在仅发生在 下，下，故故BSC的信道容量为：的信道容量为：(|) log(1)log(1) H Y Xpppp max (; )max( )(|)max( )(|)I X YH YH Y XH YH Y Xmax( )1H Y(1)(0)1/2p Yp Ymax (; )max( )(|)1 log(1)log(1) CI X YH YH Y Xpppp 2022年6月4日58 当当p=1/2时，二元对称信道的信道容量时，二元对称信道的信道容量C=0

49、，不，不管输入概率分布如何都能达到信道容量。管输入概率分布如何都能达到信道容量。该信道输入端不能传递任何信息到输出端。该信道输入端不能传递任何信息到输出端。这种信道是没有任何实际意义的，但它从理论上这种信道是没有任何实际意义的，但它从理论上说明了信道的最佳输入分布不一定是惟一的。说明了信道的最佳输入分布不一定是惟一的。0.51.000.51.0cp3.2.2 对称对称DMC信道的信道容量信道的信道容量2022年6月4日59 3.2.3 准对称准对称DMC信道的信道容量信道的信道容量准对称准对称DMC信道：信道：信道矩阵P是输入对称输入对称而输出不对称输出不对称，即P的每一行都包含同样的元素，而

50、各列的元素可以不同例如：2 . 07 . 01 . 02 . 01 . 07 . 021aaQa1a2b1b2b30.70.10.10.20.7a1a2b1b2b31/3b41/31/61/31/31/61/61/61/61/31/31/61/66/13/13/1Q2022年6月4日60 3.2.3 准对称准对称DMC信道的信道容量信道的信道容量准对称准对称DMC信道的信道容量：信道的信道容量：由于信道矩阵P的每行元素都相同，但各列的元素不相同，所以信道的输入和输出分布概率可能不等，此时H(Y)的最大值可能小于Y等概时的最大熵，因而准对称DMC信道的容量：因为互信息I是输入符号概率的上上凸函数

51、凸函数，根据信道容量的定义式可引入拉格朗日乘子法求解极值问题，便求得输入符号概率和最大互信息（信道容量）。方法一1loglogsijijjCspp2022年6月4日61 3.2.3 准对称准对称DMC信道的信道容量信道的信道容量准对称准对称DMC信道的信道容量的计算信道的信道容量的计算方方法一的例子：法一的例子：2022年6月4日62 3.2.3 准对称准对称DMC信道的信道容量信道的信道容量准对称准对称DMC信道的信道容量信道的信道容量方法二：方法二： 将信道矩阵P划分成若干个互不相交的对称子集Pk，即p1p2pn=（空集）， p1p2pn=p,可以证明，当输入分布为等概率时，达到准对称DM

52、C信道的容量为 式中，r为输入符号集个数；p1,p2,ps是P中一行的元素，即H(p1,p2,ps)=H(Y|ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和；n为互不相交的子集个数。121log(,.)lognskkkCrH p ppNM对称信道的信道容量2022年6月4日63 3.2.3 准对称准对称DMC信道的信道容量信道的信道容量方法二的例子：方法二的例子：设信道矩阵为 将P分解为：信道容量为：1P1pqqppqpq01011-p-qpqp21-p-qq121P P1pqpqppqq 12121 ,1 ,2Nq NqMq Mq log2(1- , , )(1)lo

53、g(1)log22log(1- )log(1- )(1- )log1-CHp q q pqqqqppp qp qqq2022年6月4日64 3.2.3 准对称准对称DMC信道的信道容量信道的信道容量上例中，如果矩阵上例中，如果矩阵P中中p=0，则信道传递矩阵为，则信道传递矩阵为 称为称为二元对称删除信道二元对称删除信道。计算得信道容量为：计算得信道容量为：C=1-q（比特（比特/符号）符号）0210 101 01qqqq01011-qq21-qq0.51.000.51.0cqBSC二元对称删除信道二元对称删除信道2022年6月4日65 一般离散信道的平均互信息一般离散信道的平均互信息I(X;Y

54、)达到极达到极大值大值(即等于信道容量即等于信道容量)的的充要条件充要条件是输入概是输入概率分布率分布Pi满足：满足： 3.2.4 一般离散信道的信道容量一般离散信道的信道容量2022年6月4日66 从上述从上述充要条件充要条件可得出一个结论：可得出一个结论： 当信道平均互信息达到信道容量时，除概率为零当信道平均互信息达到信道容量时，除概率为零的符号外，输入信源符号集中每一个信源符号的符号外，输入信源符号集中每一个信源符号x对对输出端输出端Y提供相同的互信息。提供相同的互信息。上式只给出了达到信道容量是输入符号概上式只给出了达到信道容量是输入符号概率分布的充要条件，并未给出具体值。率分布的充要

55、条件，并未给出具体值。对于一般的离散信道，有时很难利用上述对于一般的离散信道，有时很难利用上述充要条件来寻求信道容量和对应的输入概充要条件来寻求信道容量和对应的输入概率分布。因此只能利用求解线性方程组的率分布。因此只能利用求解线性方程组的方法，通过计算机，运用迭代算法求解。方法，通过计算机，运用迭代算法求解。 3.2.4 一般离散信道的信道容量一般离散信道的信道容量2022年6月4日67 例例1、已知信道转移概率矩阵如下，求此信道的信道容量。已知信道转移概率矩阵如下，求此信道的信道容量。 XY 0 1 2 3XY 0 1 2 3 0 1/3 1/3 1/6 1/6 0 1/3 1/3 1/6

56、1/6 1 1/6 1/3 1/6 1/3 1 1/6 1/3 1/6 1/3解：解：由充要定理可知，当输入等概分布时，互信息达到信道容量由充要定理可知，当输入等概分布时，互信息达到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有： 211141212231213361214441()() (|)()() (|)()() (|)()() (|)kkkkkkkkkkkkp bp aq bap bp aq bap bp aq bap bp aq ba4(|)()1(; )(|)log0.04/jkjq b akjkp bjCI xa Yq babit s2022年6月4日68 3. 3

57、离散序列信道及其容量离散序列信道及其容量离散序列信道模型：无记忆无记忆离散序列信道的信道转移概率为根据平均互信息的定义111(|)( ,.,|,.,)(|)LLLiiipp YYXXp YXY X输入X=输出Y=(X1,X2,Xi,Xn)(Y1,Y2,Yj,Ym)Xi a1,a2,anYi b1,b2,bmP(Y|X)(|)( ;)()(|)( ;)log( )(|)()(|)( ;)log( )LLLLLLpIH XH XYpppH YH YXppX YX YX YXY XX YY2022年6月4日69 3. 3 离散序列信道及其容量离散序列信道及其容量如果信道无记忆信道无记忆，则如果输入矢

58、量X中的各个分量相互独立各个分量相互独立，则如果输入矢量X独立独立且信道无记忆信道无记忆，则取等号：当输入矢量X达到最佳分布时，当信道平稳信道平稳（即时不变信道时不变信道）时，一般情况下，1( ;)(;)LiiiII X YX Y1(;)(;)LiiiII X YX Y1( ;)(;)LiiiII X YX Y111max ( ;)max(;)max (;)( )XXXLLLLiiiiPPPiiiCII X YI X YC iX Y1LCLC1( ;)ILCX Y2022年6月4日70 3. 3 离散序列信道及其容量离散序列信道及其容量离散无记忆离散无记忆N次扩展信道次扩展信道 最典型的无记忆

59、离最典型的无记忆离散序列信道散序列信道信道输入序列为信道输出序列为信道的序列转移概率为例例: BSC的二次扩展无记忆信道的二次扩展无记忆信道LLXYXY0000010111111010XY22(00|00)(0|0) (0|0)(1)(01|00)(0|0) (1|0)(1)(10|00)(1|0) (0|0)(1)(11|00)(1|0) (1|0).PPPpPPPppPPPppPPPp1 (|)(|)Liiipp YXY X2022年6月4日71 3. 3 离散序列信道及其容量离散序列信道及其容量例如，例如，BSC的二次扩展无记忆信道的二次扩展无记忆信道这是一个对称DMC信道，当输入序列等

60、概率分当输入序列等概率分布时布时，其信道容量为： 是BSC单符号信道的容量C1的两倍。22222222(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)(1)ppppppppppppppppppppppppP0000010111111010XY2221log4(1) , (1), (1),21(1)2CHppppppHppC，2022年6月4日72 3. 3 离散序列信道及其容量离散序列信道及其容量独立并联信道独立并联信道 L个相互独立的信道进行并联，每个信道的输出Yi只与本信道的输入Xi有关，此序列的转移概率可见，此并联信道为无记忆序列信道无记忆序列信道，则联合平均互信息不大