信道及信道容量

1、信息工程学院通信工程系信息工程学院通信工程系第第3章章 信道与信道容量信道与信道容量3.0 引言引言3.1 信道分类和描述信道分类和描述3.2 离散信道及数学模型离散信道及数学模型3.3 信道容量信道容量3.4 离散信道的信道容量离散信道的信道容量3.5 多用户信道及信道容量多用户信道及信道容量3.6 连续信道及信道容量连续信道及信道容量信息工程学院通信工程系信息工程学院通信工程系 信道作为通信系统中的重要组成部分，是传输信息信道作为通信系统中的重要组成部分，是传输信息的媒介和通道，其任务是以信号的形式传输和存储信息。的媒介和通道，其任务是以信号的形式传输和存储信息。 在物理信道一定的情况下，

2、总是希望传输的信息越在物理信道一定的情况下，总是希望传输的信息越多越好。这不仅仅与多越好。这不仅仅与物理信道本身特性物理信道本身特性有关，还与有关，还与载荷载荷信息的信号形式信息的信号形式和和信源输出信号的统计特性信源输出信号的统计特性有关。有关。 本章讨论本章讨论“什么条件下，通过信道的信息量最大什么条件下，通过信道的信息量最大”。信息工程学院通信工程系信息工程学院通信工程系n信道分类信道分类1、根据信道两端输入和输出集合的个数，分为：、根据信道两端输入和输出集合的个数，分为：两端信道两端信道( (单用户信道单用户信道)-)-输入、输出均只有一个输入、输出均只有一个多端信道多端信道( (多用

3、户信道多用户信道)-)-输入、输出有多个输入、输出有多个2、根据输入、输出随机变量的个数，分为：根据输入、输出随机变量的个数，分为：单符号信道单符号信道-输入、输出用输入、输出用随机随机变变量量表示表示多符号信道多符号信道-输入、输出用输入、输出用随机随机矢矢量量表示表示3、根据信道上有无噪声、根据信道上有无噪声( (干扰干扰) )，分为：，分为：有噪有噪( (扰扰) )信道信道无噪无噪( (扰扰) )信道信道信息工程学院通信工程系信息工程学院通信工程系4、根据信道有无记忆特性，分为：、根据信道有无记忆特性，分为：无记忆信道无记忆信道-输出仅与当前输入有关，与先前输入输出仅与当前输入有关，与先

4、前输入 无关无关有记忆信道有记忆信道-输出不仅与当前输入有关，还与先前输出不仅与当前输入有关，还与先前 输入有关输入有关5、根据输入输出信号的特点，分为：、根据输入输出信号的特点，分为：离散信道离散信道( (数字信道数字信道)-)-输入、输出随机变量均为离散输入、输出随机变量均为离散 取值，取值可有限或无限。取值，取值可有限或无限。连续信道连续信道( (模拟信道模拟信道)-)-输入、输出随机变量均为连续输入、输出随机变量均为连续 取值取值半离散半离散( (连续连续) )信道信道- - 一个为离散，一个为连续一个为离散，一个为连续信息工程学院通信工程系信息工程学院通信工程系n信道描述信道描述 所

5、有信道都有输入集和输出集，当输入集的信号经过信所有信道都有输入集和输出集，当输入集的信号经过信道输出为输出集时，噪声或干扰会从信道引入，它们使信号道输出为输出集时，噪声或干扰会从信道引入，它们使信号在通过信道后产生错误和失真。信道的输入和输出信号之间在通过信道后产生错误和失真。信道的输入和输出信号之间不是确定的函数关系，而是统计依赖的关系，因此只要知道不是确定的函数关系，而是统计依赖的关系，因此只要知道信道的信道的输入信号输入信号，输出信号输出信号以及它们之间以及它们之间统计关系统计关系，则能够，则能够确定信道的全部特性。确定信道的全部特性。 由于实际信道的带宽总是有限的，所以输入信号和输出由

6、于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成随机序列来研究，信道整体描述包含以下信号总可以分解成随机序列来研究，信道整体描述包含以下三要素：三要素： （1） 信道输入统计概率空间：信道输入统计概率空间： （2） 信道输出统计概率空间：信道输出统计概率空间： （3） 信道的统计特性，即信道转移概率矩阵：信道的统计特性，即信道转移概率矩阵：, ()X p X,()Yp Y)|(xyp信息工程学院通信工程系信息工程学院通信工程系条件概率为条件概率为该条件概率称为该条件概率称为信道的传递概率或转移概率信道的传递概率或转移概率。 X Yn离散信道数学模型离散信道数学模型12 ,nXx

7、xx,1,2,ipin12 ,mYy yy,1,2,jqjm设离散信道的输入空间为设离散信道的输入空间为输出空间为输出空间为概率分布为概率分布为概率分布为概率分布为( |)(|),(1,2, ;1,2,)jiP Y Xp yxin jm1xnx1ymy(|)jip yx信息工程学院通信工程系信息工程学院通信工程系将所有转移概率以矩阵方式列出，得：将所有转移概率以矩阵方式列出，得：其中其中该矩阵完全描述了信道在干扰作用下的统计特性，称该矩阵完全描述了信道在干扰作用下的统计特性，称为为信道矩阵信道矩阵(n行行m列列)。112111222212(|)(|).(|)(|)(|).(|)(|).(|)(

8、|).(|)mmnnmnp yxp yxp yxp yxp yxp yxP Y Xp yxp yxp yx1(|)0,(|)1mjijijp yxp yx信息工程学院通信工程系信息工程学院通信工程系反信道矩阵反信道矩阵(m行行n列列)其中其中112111222212(|)(|).(|)(|)(|).(|)(|).(|)(|).(|)nnmmnmp xyp xyp xyp xyp xyp xyP X Yp xyp xyp xy1(|)0,(|)1nijijip xyp xy信息工程学院通信工程系信息工程学院通信工程系（1）联合概率）联合概率()( ) (|)() (|)ijijijijp x y

9、p x p yxp yp xy(|)jip yx其中其中称为称为前向概率前向概率，描述信道的噪声特性。，描述信道的噪声特性。(|)ijp xy称为称为后向概率，后向概率，后验概率后验概率。称为称为先验概率先验概率。( )ip x（2）输出符号的概率）输出符号的概率1()( ) (|)njijiip yp x p yx（3）后验概率）后验概率(|)()/()ijijjp xyp x yp y1(|)1nijip xy表明输出端收到任一符号，必定是输入端某一符号输入所致。表明输出端收到任一符号，必定是输入端某一符号输入所致。 离散信道中的概率关系离散信道中的概率关系信息工程学院通信工程系信息工程学

10、院通信工程系n单符号离散信道单符号离散信道 单符号离散信道是最简单的离散信道，即信道的输入单符号离散信道是最简单的离散信道，即信道的输入输出都只是单个随机变量的，单符号离散信道的输入变量输出都只是单个随机变量的，单符号离散信道的输入变量为为 ，输出为，输出为 。 条件概率为条件概率为 满足满足12 ,nXx xx12 ,mYy yy(|)(|)(|)(1,2, ;1,2,)jijiP Y Xp YyXxp yxin jm1(|)1, (1,2, )mjijp yxin(|)0(1,2, ;1,2,)jip yxin jm信息工程学院通信工程系信息工程学院通信工程系典型的单符号离散信道典型的单符

11、号离散信道 1. 1. 二进制对称信道二进制对称信道 二进制对称信道也称二元对称信道或二进制对称信道也称二元对称信道或BSC信道，它的输入信道，它的输入为为 ，输出为，输出为 ，其转移概率矩阵为，其转移概率矩阵为 且有且有 1(|)1ppppP Y Xpppp21(|)1,(1,2)jijp yxip1-p110XY0p1-p二进制对称信道线图二进制对称信道线图0,1X 0,1Y 信息工程学院通信工程系信息工程学院通信工程系 2. 二进制删除信道二进制删除信道 二进制删除信道的输入为二进制删除信道的输入为 ，输出为，输出为 ，其转移概率矩阵为其转移概率矩阵为 且有且有1-q0YX0?1p1-p

12、1q10(|) 01ppP Y Xqq31(|)1,(1,2)jijp yxi0,1X 0,?,1Y 二进制删除信道线图二进制删除信道线图信息工程学院通信工程系信息工程学院通信工程系n多符号离散信道多符号离散信道(N次扩展信道次扩展信道) 如果在不同时刻有多个来自于同一信源的随机变量（多符如果在不同时刻有多个来自于同一信源的随机变量（多符号信源）通过离散信道传输，则称该信道为多符号离散信道。号信源）通过离散信道传输，则称该信道为多符号离散信道。 多符号离散信源多符号离散信源 在在N个不同时刻分别通过单个不同时刻分别通过单符号离散信道符号离散信道 X P(Y/X) Y，在输出端出现，在输出端出现

13、 ，形成，形成一个新的信道，此即一个新的信道，此即多符号离散信道。多符号离散信道。 由于新信道相当于单符号离散信道在由于新信道相当于单符号离散信道在N个不同的时刻连续个不同的时刻连续运用了运用了N次，也称为次，也称为单符号离散信道的单符号离散信道的N次扩展信道。次扩展信道。 12NXX XX1 2NYYYY信息工程学院通信工程系信息工程学院通信工程系多符号离散信道数学模型多符号离散信道数学模型Xk取值取值: x1, x2, , xn， 则则X共有共有nN 种种 , i=1nNYk取值取值: y1, y2, , ym， 则则Y共有共有mN种种 , j=1mNP(Y|X)p(yj|xi)X=X1X

14、2 Xk .XNY=Y1Y2Yk .YN 121212121212(), ,(), ,NNNNiiiiiiinjjjjjjjnx xxxxxx xxy yyyyyy yyij信息工程学院通信工程系信息工程学院通信工程系112111222212(|)(|)(|)(|)(|)(|)(|)(|)(|)(|)NNNNNNmmnnmnpppppppppP Y X信道矩阵为信道矩阵为注意注意：每行元素之和等于：每行元素之和等于1 1。12121122(|)(|)(|) (|)(|)NNNNjijjjiiijijijipp y yyx xxp yxp yxp yx其中其中信息工程学院通信工程系信息工程学院通

15、信工程系n信道组合信道组合假设信道假设信道1和信道和信道2如下：如下：下面介绍三种基本的信道组合方式。下面介绍三种基本的信道组合方式。111( | )jkYbXap j k 信道222(|)jkYbXap j k 信道信息工程学院通信工程系信息工程学院通信工程系1. 并行信道（积信道）并行信道（积信道） 若信道若信道1和信道和信道2同时分别传送消息，并且两个信道相互独同时分别传送消息，并且两个信道相互独立，则组合信道的输入集由所有有序对立，则组合信道的输入集由所有有序对 组成，组成， 即组合信道输入集即组合信道输入集 ，输出集由，输出集由 组组成，即输出集成，即输出集 。由。由 到到 的转移概

16、率为：的转移概率为：称这样组合成的信道为信道称这样组合成的信道为信道1和信道和信道2的独立并行信道或积信道。的独立并行信道或积信道。以以 来表示，信道来表示，信道1和信道和信道2称为积信道的分信道。称为积信道的分信道。易推广到易推广到N个独立信道构成并行信道。个独立信道构成并行信道。12(,)kX kX12XXX12(,)jY jY12*YYYkkjj(|)( | ) (|)p jjkkp j k p jkPP P12(|)( |)p j kp jk 信道 信道信息工程学院通信工程系信息工程学院通信工程系2. 和信道和信道 若任一单位时间可随机的选用信道若任一单位时间可随机的选用信道1或信道或

17、信道2中的一个（两中的一个（两者不能同时选用）。选用信道者不能同时选用）。选用信道1的概率为的概率为 ，选用信道，选用信道 2 的概的概率为率为 ，且，且 。 组合信道的输入空间组合信道的输入空间 ，输出空间，输出空间 转移概率分布为：转移概率分布为： 称此组合信道为和信道，以称此组合信道为和信道，以 表示。表示。1P2P121PP12XXX12YYY1212 ( | ), (|),p j kp jkkX kXjY jY12PPP12( | )(|)p j kp jk 信道 信道信息工程学院通信工程系信息工程学院通信工程系3. 级联信道级联信道 若将信道若将信道1的输出作为信道的输出作为信道2

18、的输入，信道的输入，信道1的输入集就是组的输入集就是组合信道的输入集，信道合信道的输入集，信道2的输出集就是组合信道的输出集，称这的输出集就是组合信道的输出集，称这样组成的信道为级联信道又称为串行信道。样组成的信道为级联信道又称为串行信道。若信道若信道1和信道和信道2级联，则要求信道级联，则要求信道1的输出集和信道的输出集和信道2的输入集的输入集相同。给定信道相同。给定信道1和信道和信道2的转移概率的转移概率 和和 ， 则则级联信道的转移概率为级联信道的转移概率为这样就得到了一个新的离散信道，输入集为这样就得到了一个新的离散信道，输入集为 ，输出集为，输出集为 ，转移概率矩阵为转移概率矩阵为

19、。1212( | )(|)PPPp j kp jk 信道 信道(| )( | ) (|)jp jkjjpkpkj 1X2Y (| )P jk( | )p j k(|)p jk信息工程学院通信工程系信息工程学院通信工程系 研究信道的目的研究信道的目的：讨论信道中平均每个符号所能传：讨论信道中平均每个符号所能传输的信息量，即信道的信息传输率输的信息量，即信道的信息传输率R。 在通信系统中，如果信源熵为在通信系统中，如果信源熵为 ，希望在信道的，希望在信道的输出端接收的信息量就是输出端接收的信息量就是 。然而由于信道干扰的存。然而由于信道干扰的存在，在接收端只能接收到在，在接收端只能接收到 。 由平

20、均互信息的物理意义可知，由平均互信息的物理意义可知， 表示接收到表示接收到Y后平均每个符号获得关于后平均每个符号获得关于X的信息量。因此，的信息量。因此，信道的信息信道的信息传输率就是平均互信息量。传输率就是平均互信息量。同时由平均互信息性质可知，同时由平均互信息性质可知， ，意味着输出，意味着输出端端Y往往只能获得关于输入往往只能获得关于输入X的部分信息。的部分信息。()H X()H X(; )I X Y(; )I X Y|(/);H XHI XRXYY比特 符号;I X YH X信息工程学院通信工程系信息工程学院通信工程系信道容量的定义信道容量的定义()max (; )()ip xCI X

21、 Y比特/符号 信道容量含义包含信道容量含义包含2点：点： 给定信道时，在各种信源分布下求出最大平均互信息。给定信道时，在各种信源分布下求出最大平均互信息。 给定信道时，理论上能传输最大平均信息量，表征信道传给定信道时，理论上能传输最大平均信息量，表征信道传送信息的最大能力。送信息的最大能力。 信道容量定义为平均互信息量的最大值：信道容量定义为平均互信息量的最大值： 平均互信息平均互信息 是信源分布是信源分布 的上凸函数。对于一个的上凸函数。对于一个固定的信道，总存在一种信源，使传输每个符号平均获得的信固定的信道，总存在一种信源，使传输每个符号平均获得的信息量息量 最大。最大。 信道容量信道容

22、量C 只与信道的统计特性只与信道的统计特性 有关，而与信源的有关，而与信源的分布分布 无关。信道容量是完全描述信道特征的参数，反应的无关。信道容量是完全描述信道特征的参数，反应的是信道的最大的信息传输能力。是信道的最大的信息传输能力。(; )I X Y()p X(; )I X Y( | )p y x()p X信息工程学院通信工程系信息工程学院通信工程系1(; )/=/tRI X Yt符号 秒 比特 符号 比特 秒信息传输信息传输速率速率Rt: 单位时间内平均传输的信息量，若平均传输单位时间内平均传输的信息量，若平均传输一个符号需要一个符号需要t秒，则信道每秒平均传输的信息量为：秒，则信道每秒平

23、均传输的信息量为：信息传输信息传输率率R: 信道中平均每个符号所能传送的信息量。由于信道中平均每个符号所能传送的信息量。由于平均互信息平均互信息 的含义是接收到符号的含义是接收到符号Y后，平均每个符号获后，平均每个符号获得的关于得的关于X的信息量，因此的信息量，因此信道信息传输率信道信息传输率R就是平均互信息就是平均互信息。(; )()(|)/RI X YH XH X Y比特 符号最大信息传输速率最大信息传输速率Ct: 若平均传输一个符号需要若平均传输一个符号需要t秒，则信道秒，则信道单位时间内平均传输的最大信息量为：单位时间内平均传输的最大信息量为：(; )I X Y()1max (; )i

24、tp xCCI X Ytt信息工程学院通信工程系信息工程学院通信工程系n离散对称信道的信道容量离散对称信道的信道容量 矩阵相关定义：矩阵相关定义： 行可排列行可排列矩阵每行各元素都来自同一集合矩阵每行各元素都来自同一集合 中元素的不同排列。中元素的不同排列。 列可排列列可排列矩阵每列各元素都来自同一集合矩阵每列各元素都来自同一集合 中元素的不同排列。中元素的不同排列。 矩阵可排列矩阵可排列矩阵的行、列皆可排列。矩阵的行、列皆可排列。 对称信道对称信道：信道矩阵具有可排列性，称为对称信道。：信道矩阵具有可排列性，称为对称信道。12 ,mQq qq12,nPp pp (1) 时，时， 为同一集合。

25、为同一集合。 时，时， 中，其中一个必为另一个子集。中，其中一个必为另一个子集。 (2) 输入等概输入等概输出等概。输出等概。,Q P,Q Pmnmn性质：性质：信息工程学院通信工程系信息工程学院通信工程系离散对称输入信道离散对称输入信道( (行可排列行可排列) )如果一个离散无记忆信如果一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，则称此类信道为离散输入对称信道。排列，则称此类信道为离散输入对称信道。离散对称输出信道离散对称输出信道( (列可排列列可排列) )如果一个离散无记忆信如果一个离散无记忆信道的信道矩阵中，每

26、一列都是其它列的同一组元素的不同道的信道矩阵中，每一列都是其它列的同一组元素的不同排列，则称此类信道为离散输出对称信道。排列，则称此类信道为离散输出对称信道。1/31/31/61/61/61/61/31/3P0.40.60.60.40.50.5P信息工程学院通信工程系信息工程学院通信工程系 离散对称信道离散对称信道 如果一个离散无记忆信道的信道矩阵中，每一行都是其如果一个离散无记忆信道的信道矩阵中，每一行都是其它行的同一组元素的不同排列，并且每一列都是其它列的同它行的同一组元素的不同排列，并且每一列都是其它列的同一组元素的不同排列，则称此类信道为离散对称信道。一组元素的不同排列，则称此类信道为

27、离散对称信道。21/21/31/61/61/21/31/31/61/2P11/31/31/61/61/61/61/31/3P31/31/3 1/61/61/61/3 1/61/3P40.70.20.10.20.10.7P信息工程学院通信工程系信息工程学院通信工程系 定理：如果一个离散对称信道具有定理：如果一个离散对称信道具有n个输入符号，个输入符号，m个输个输 出符号，则当输入等概分布时，达到信道容量出符号，则当输入等概分布时，达到信道容量C。由于对称信道的特点，输入等概率分布由于对称信道的特点，输入等概率分布输出等概率分布。输出等概率分布。当输出等概分布时，即当输出等概分布时，即 时达到信道

28、容量。时达到信道容量。矩阵行中的所有元素的熵矩阵行中的所有元素的熵( )logH Ym1()()11()112()1max( )(|)max( )( ) (|)log(|)max( )(|)log(|) max( )(|)log(|)log(,(,)iiiinnmijijip xp xijmjijip xjmjijimp xjiiCH YH Y XH Yp x p yxp yxH Yp yxp yxH Yp yxp yxmH q qqp xn离散对称信道的信道容量离散对称信道的信道容量信息工程学院通信工程系信息工程学院通信工程系例例 设一个对称信道的信道转移矩阵为设一个对称信道的信道转移矩阵为

29、 求其信道容量。求其信道容量。1/31/31/61/61/61/61/31/3P信息工程学院通信工程系信息工程学院通信工程系解解 由对称离散信道的信道容量公式得：由对称离散信道的信道容量公式得：12log(,)11111111log4loglogloglog333366660.0817(/mCmH q qq比特 符号)信息工程学院通信工程系信息工程学院通信工程系n准对称离散信道的信道容量准对称离散信道的信道容量 如果单符号离散信道矩阵的如果单符号离散信道矩阵的行可排列，列不可排列行可排列，列不可排列；但矩阵中按列分为不相交的子集，各个子集组成矩阵是可但矩阵中按列分为不相交的子集，各个子集组成矩

30、阵是可排列的，则称这样的信道为准对称信道。排列的，则称这样的信道为准对称信道。 由行可排列知由行可排列知:n 输入个数输入个数m输出个数输出个数12(|)(,)mH Y XH q qq信道容量信道容量12()()max;max( )(,)iimp xp xCI X YH YH q qq11112488 11114288n m P信息工程学院通信工程系信息工程学院通信工程系 只要使输出变量只要使输出变量Y呈等概率分布，上式第一项达到最大值，呈等概率分布，上式第一项达到最大值，从而得出信道容量从而得出信道容量C。 由于由于P中各列不具可排列性，为了使中各列不具可排列性，为了使 ，则输入，则输入概率

31、分布概率分布 的某些概率必须出现负值。（的某些概率必须出现负值。（不合理不合理） 如何在如何在 非负的条件下，使非负的条件下，使H(Y)达到其最大值？达到其最大值？1()jp ym( )ip x( )ip x信息工程学院通信工程系信息工程学院通信工程系 可将可将 中的中的m项分成项分成s个子集。各子集个子集。各子集 分别有分别有 个元素个元素 则则( )H Y12,sM MM12,sm mm12(),smmmm111()()()log()()log()()log()()log( )jsjkjp ymsjjjjjkjjjjpMyMp yMp yp yp yp yp yp yHpp yYy 令第令

32、第k个集合的概率平均值为个集合的概率平均值为 ()()()jkjp yMkkp yp ym1,2,ks因为因为 ，且，且()0()kjp yp yln1(0)loglnlogxxxxxe信息工程学院通信工程系信息工程学院通信工程系()()()()()log()(lnlog()()()()1 loglog0()()()jkkjkkjkjjp yMp yMjjjjp yMkkj Mjjjp yp yp yep yp yp yp yeep yp y mp yp y()()()log ()()log ()jkjkjkjjp yMp yMp yp yp yp y()()log()log()(jkjkjp

33、 ykyMMjjpp yppyyp y()()l log()ogkkkkkkp ym p ypyym p()()()jkjp yMkkp yp ym信息工程学院通信工程系信息工程学院通信工程系 把子集把子集 中的中的 变成其均值变成其均值 ，将使第，将使第k个子集个子集中的熵中的熵 达到最大。达到最大。 由于子矩阵具有可排列性，只要信源呈等概率分布即由于子矩阵具有可排列性，只要信源呈等概率分布即可使第可使第k个子集中的输出概率相等，即达到其均值个子集中的输出概率相等，即达到其均值 。 kM()jp y()kp y()()log()jkjjp yMp yp y()kp y111()()()( )

34、()log()()log()()log()()log()jkjjsmsjjjjjkp yMjjjjp yMp yMH Yp yp yp yp yp yp yp yp y 1( )()log()skkkkH Ym p yp y 信息工程学院通信工程系信息工程学院通信工程系相应的准对称信道容量为相应的准对称信道容量为1,21()log()(,)skkkmkCm p yp yH q qq 例例 信道矩阵的信道容量信道矩阵的信道容量 1111248811114288P 信息工程学院通信工程系信息工程学院通信工程系解解：分成可排列的子矩阵分成可排列的子矩阵 (1)(2)1111882411114288P

35、P (1)1 113()2 248p y(2)1 111()2 888p y0.0612()C 比特/符号()()()jkjp yMkkp yp ym信息工程学院通信工程系信息工程学院通信工程系n强对称离散信道的信道容量强对称离散信道的信道容量 信道特点：信道特点：信道输入、输出取值均为信道输入、输出取值均为n个不同的符号组成个不同的符号组成每个符号正确传输概率均为每个符号正确传输概率均为其他其他(n-1)符号错误传输概率为符号错误传输概率为 矩阵特点矩阵特点: :nn阶对称阵阶对称阵每行和为每行和为1,1,每列和为每列和为1 11pp /1p n111111pppnnpppnnpppnnP信

36、息工程学院通信工程系信息工程学院通信工程系()()11()11()1max( )(|)max( )( ) (|)log(|)max( )( )(|)log(|) max( )(|)log(|)iiiinmijijip xp xijnmijijip xijmjijip xjCH YH Y XH Yp x p yxp yxH Yp xp yxp yxH Yp yxp yx11log(1)log11ppppnnn问题：求一种分布问题：求一种分布 使得使得H(Y)最大？最大？( )ip x信息工程学院通信工程系信息工程学院通信工程系 输出符号集输出符号集Y共有共有n个符号，当输出等概率分布时个符号，当

37、输出等概率分布时 ，H(Y)达到最大值达到最大值 。 要得到最大值，由公式要得到最大值，由公式寻求相应的输入概率分布。寻求相应的输入概率分布。 一般情况下，不一定存在一种输入符号的概率分布一般情况下，不一定存在一种输入符号的概率分布 ，使，使输出符号概率输出符号概率 等概率分布，从而使等概率分布，从而使H(Y)最大。最大。1()jp ynlogn1()( ) (|)1,2,njijiip yp x p yxjn()jp y( )ip x信息工程学院通信工程系信息工程学院通信工程系 对于强对称离散信道，其输入和输出符号概率关系可用矩阵对于强对称离散信道，其输入和输出符号概率关系可用矩阵表示为表示

38、为111222.11()()()()()(). 11.()()().11Tn nnnnpppnnp yp xp xppp yp xp xpPnnp yp xp xpppnn由对称矩阵可知由对称矩阵可知 Tn nn nPP信息工程学院通信工程系信息工程学院通信工程系 信道矩阵中的每一行都是由同一个集合信道矩阵中的每一行都是由同一个集合 中的中的元素不同排列组成，所以保证了当输入符号元素不同排列组成，所以保证了当输入符号X等概率时，输出等概率时，输出Y也也一定等概率分布，此时一定等概率分布，此时 。 ,11pppnn( )logH Yn强对称信道的信道容量强对称信道的信道容量()max( )(|)

39、logloglog/1ip xCH YH Y Xpnpppn比特 符号 结论结论 对强对称信道，对强对称信道，输入等概输入等概输出等概，从而达到输出等概，从而达到C。信息工程学院通信工程系信息工程学院通信工程系n离散无噪信道的信道容量离散无噪信道的信道容量 无损确定信道无损确定信道：一对一一对一 (n=m)信道矩阵信道矩阵：单位矩阵：单位矩阵损失熵损失熵: : 噪声熵噪声熵: : 0,()(|)(|)1,()jiijijp yxp xyijx1x2x3 xny1y2y3 yn 1000010000100001P(|)0H X Y (|)0H Y X (; )()(|)( )( /)()( )I

40、 X YH XH X YH YH YXH XH Y()()()max (; )max()max( )loglogiiip xp xp xCI X YH XH Ynm信息工程学院通信工程系信息工程学院通信工程系 无损信道无损信道：一对多一对多 (nm)具有扩展性的无噪信道具有扩展性的无噪信道信道矩阵信道矩阵：每列只有一个非：每列只有一个非0元素，不元素，不 全是全是0、1110000,()00110 , (|)1,()00001jiijjiyBp xyyBP损失熵损失熵 噪声熵噪声熵x1x2x3y1y2y3y4 y5(|)0H X Y (|)0H Y X (; )()(|)( )( /)()(

41、)I X YH XH X YH YH YXH XH Y()()max (; )max()logiip xp xCI X YH Xn信息工程学院通信工程系信息工程学院通信工程系 确定信道确定信道：多对一多对一 (nm)具有归并性的无噪信道具有归并性的无噪信道信道矩阵信道矩阵：每行只有一个元素：每行只有一个元素“1”，其其 它全是它全是0损失熵损失熵 噪声熵噪声熵y1y2y3x1x2x3x4 x51001000,(), (|)0101, ()010001ijjiijxAp yxxAP(|)0H X Y (|)0H Y X (; )()(|)( )(|)( )/()( )I X YH XH X YH

42、 YH Y XH YbitH XH Y符号()()max (; )max( )logiip xp xCI X YH Ym信息工程学院通信工程系信息工程学院通信工程系n一般离散无记忆信道的信道容量一般离散无记忆信道的信道容量 根据离散无记忆信道的信道容量的定义可知信道容量的根据离散无记忆信道的信道容量的定义可知信道容量的计算就是在固定信道的条件下，即计算就是在固定信道的条件下，即 条件下，条件下，求函数求函数 的极大值。已知输入概率分布的极大值。已知输入概率分布 的上凸函的上凸函数，极大值一定存在。具体使用拉格朗日法实现：数，极大值一定存在。具体使用拉格朗日法实现： 首先引入一个新函数，首先引入

43、一个新函数， 是拉格朗日乘子，解方程组是拉格朗日乘子，解方程组 可得一般信道容量可得一般信道容量C。1( )1, ( )0niiip xp x1;( )niifI X Yp x 1;0niiiiI X Yp xfp xp x;I X Y( )ip x信息工程学院通信工程系信息工程学院通信工程系由贝叶斯公式可知由贝叶斯公式可知:1()()( ) (|)(|)( )njjijijiiidp yp yp x p yxp yxdp x由由11111(; )( )( |)()log( ) (|)log()(|)mnmjijijijjjiI X YH YH Y Xp yp x p yxp yp yx带入方

44、程组可得带入方程组可得 11111()log( ) (|)log (|)( ) 10()mnmnjijijiijijiijp yp x p yxp yxp xp xp y11(|)log()log(|)log(|(|)0)mmjijjijijijjp yp yxp yep yxp yxx求偏导数可得求偏导数可得1log()ln()log ,(|)1mjjjijp yp yep yx信息工程学院通信工程系信息工程学院通信工程系整理可得整理可得1(|)(|)loglog()mjijijjp yxp yxep y1(|)1mjijp yx同乘同乘 并求和并求和( )ip x 111|logloglo

45、gnmnjijiijijiip yxp yxeypp xexp则平均互信息的最大值，即信道容量则平均互信息的最大值，即信道容量logCe带入带入111|log|log|logmmjijijijjjmjijjp yxp yxp yxp yCp yxp yC信息工程学院通信工程系信息工程学院通信工程系令令log()jjp yC则则 可由信道矩阵求出可由信道矩阵求出11(|)log(|)(|)mmjijijijjjp yxp yxp yxj()2jCjp y两边对两边对j求和可得求和可得111()2122jjmmmCCjjjjp y信道容量信道容量1log2jmjC信息工程学院通信工程系信息工程学院

46、通信工程系一般离散信道容量的计算步骤如下：一般离散信道容量的计算步骤如下：（1）由）由 ，求出，求出 。（2）由）由 ，求出，求出C。（3）由）由 ，求出，求出 。（4）由）由 ，求出，求出 。强调强调：在第：在第2步信道容量步信道容量C 被求出后，必须解出相应的被求出后，必须解出相应的 ，并确认所有的并确认所有的 时，时，C才存在，否则，对才存在，否则，对 调整，再调整，再重新求解重新求解C。1()( ) (|)njijiip yp x p yx()2jCjp y1log(2 )jmjC11|log|mmjijjijijjp yxp yxp yxj()jp y( )ip x( )ip x(

47、)0ip x( )ip x信息工程学院通信工程系信息工程学院通信工程系例：例： 求信道矩阵的信道容量求信道矩阵的信道容量C。101信息工程学院通信工程系信息工程学院通信工程系解：由公式解：由公式 可知可知211|log|mmjijjijijjp yxp yxp yx1012(1)log(1)log(1) 1120,loglog(1)log (1)1 11log2log 1 (1)jmjC 信息工程学院通信工程系信息工程学院通信工程系1111()21 (1)Cp y 21211(1)()21()1 (1)Cp yp y 112()()()p yp xp x22()()(1)p yp x11111

48、()1 (1)p x 121()1 (1)p x 01从而导致从而导致 保证保证C的存在。的存在。12( ), ()0p xp x信息工程学院通信工程系信息工程学院通信工程系n多符号多符号(单符号扩展单符号扩展)离散无记忆信道的信道容量离散无记忆信道的信道容量Xk取值取值: x1, x2, , xn， 则则X共有共有nN 种种 , i=1nNYk取值取值: y1, y2, , ym， 则则Y共有共有mN种种 , j=1mNP(Y|X) p(yj|xi) X=X1X2 Xk .XNY=Y1Y2Yk .YN 121212121212(), ,(), ,NNNNiiiiiiinjjjjjjjnx x

49、xxxxx xxy yyyyyy yyij信息工程学院通信工程系信息工程学院通信工程系 若若多符号离散信道多符号离散信道的转移概率满足的转移概率满足 则称为则称为离散无记忆信道的离散无记忆信道的N次扩展信道。次扩展信道。即在即在k时刻，输出随时刻，输出随机变量机变量 只与对应的输入随机变量只与对应的输入随机变量 有关。有关。 离散无记忆离散无记忆N次扩展信道两端的平均互信息次扩展信道两端的平均互信息: :离散无记忆信道的离散无记忆信道的N次扩展信道的平均互信息，不大于次扩展信道的平均互信息，不大于N个随个随机变量机变量 单独通过信道的平均互信息之和。当且仅当单独通过信道的平均互信息之和。当且仅

50、当 信源信源 无记忆无记忆, ,或信源或信源X是离散无记忆信源是离散无记忆信源X的的N次次扩展信源时，等号成立。扩展信源时，等号成立。1 21211221(|)(|)(|) (|)(|)(|)NNNNNkkkP YYYX XXP YX P YXP YXp YXP Y XkYkX1(;)(;)NkkkII XYX Y12NX XX12NX XXX =信息工程学院通信工程系信息工程学院通信工程系 离散无记忆信道的离散无记忆信道的N次扩展信道，次扩展信道， 当输入端的当输入端的N个输入随个输入随机变量机变量统计独立统计独立时，信道的总平均互信息等于这时，信道的总平均互信息等于这N个变量单独个变量单独

51、通过信道的平均互信息量之和。通过信道的平均互信息量之和。 离散无记忆信源的离散无记忆信源的N次扩展信源输入端次扩展信源输入端X= =X1X2XN任一个任一个随机变量取自同一个符号集合随机变量取自同一个符号集合 通过同一个离散无记忆信道信道；通过同一个离散无记忆信道信道； 输出端输出端Y= =Y1Y2YN任一随机变量任一随机变量Yk 取自同一个符号集合取自同一个符号集合可知，可知，因此，因此，1212 , (), (), ()knnXx xxp xp xp x1212 , (), (), ()kmmYy yyp yp yp y1122(;)(;)(;)(; )NNI X YI XYI XYI X

52、 Y1(;)(;)(; )NkkkII XYI X YNX Y1(;)(;)NkkkII XYX Y信息工程学院通信工程系信息工程学院通信工程系 离散无记忆信道的离散无记忆信道的N次扩展信道，如果信源也是离散无记忆次扩展信道，如果信源也是离散无记忆信源的信源的N次扩展信源，则信道总的平均互信息量是单符号离散无次扩展信源，则信道总的平均互信息量是单符号离散无记忆信道的平均互信息量的记忆信道的平均互信息量的N倍。倍。 如果用如果用 和和 分别表示离散无记忆信道及分别表示离散无记忆信道及N次扩展信道的信次扩展信道的信道容量，则道容量，则 此式说明离散无记忆的此式说明离散无记忆的N 次扩展信道的信道容

53、量等于原单个次扩展信道的信道容量等于原单个符号离散信道的信道容量的符号离散信道的信道容量的N 倍，只有当输入信源是无记忆的及倍，只有当输入信源是无记忆的及每个输入随机变量的分布各自达到最佳分布时，才达到信道容量每个输入随机变量的分布各自达到最佳分布时，才达到信道容量NC 。CNCNCN C信息工程学院通信工程系信息工程学院通信工程系n组合信道的信道容量组合信道的信道容量 并行信道并行信道( (积信道积信道) )的信道容量的信道容量 并行信道的特点是所有信道并联使用，组合后信道的转并行信道的特点是所有信道并联使用，组合后信道的转移概率为移概率为:各个并行信道互信息为：各个并行信道互信息为：由于由

54、于所以所以当且仅当当且仅当 相互独立时才有相互独立时才有所以，并行信道的信道容量为所以，并行信道的信道容量为即整个并行信道的信道容量是各组成信道的信道容量之和。即整个并行信道的信道容量是各组成信道的信道容量之和。12121(|)(|)NNNnnnp y yyx xxp yx1(; )( )(|)( )(|)NnnnI X YH YH Y XH YH YX1211 211( )(|)( )|)()NNNnnH YH YYH YYYYH YH YnX11( )(), (; )(;)NNnnnnnH YH YI X YI XY 11max (; )max(;)NNnnnp xnnCI X YI XY

55、C11(; )()(|)(;)NNnnnnnnnI X YH YH YXI XY信息工程学院通信工程系信息工程学院通信工程系 和信道的信道容量和信道的信道容量选用信道选用信道1的概率为的概率为 ，选用信道，选用信道 2 的概率为的概率为 ，且，且信道转移概率分布为信道转移概率分布为和信道的平均互信息为和信道的平均互信息为令令信道容量为信道容量为1P2P121PP1212 ( | ), (|),P j kP jkkX kXjY jY1122( )loglogH PPPPP 111222;I X YI X Y PI XYPH P 121212,12,12maxmaxmax (; )m(ax (;

56、)( )ma; )()xp p pppxpxpCI X Y PI X Y PI X YPCPCH PH P 211PP 信息工程学院通信工程系信息工程学院通信工程系令令即即信道容量为：信道容量为：12log 22CCC12121(; )loglog0dI X YCCPPdP1122loglogCPCP121PP1212222(22 )1CCCC12222CC1122log,logCP CPC 1122maxpCPCPCH P12122,2CCPP带入带入121PP12log22 CC信息工程学院通信工程系信息工程学院通信工程系 N 个独立信道的和信道，即各信道输入、输出、转移个独立信道的和信道

57、，即各信道输入、输出、转移概率和信道容量为概率和信道容量为 ， 则和信道的信道容量为则和信道的信道容量为 。 每个信道被使用的概率为每个信道被使用的概率为 。1log2nNCnC,nnnnXY P C2nCCnP信息工程学院通信工程系信息工程学院通信工程系 级联信道的信道容量级联信道的信道容量 级联信道的信道容量不可能大于其中某个组成信道的信级联信道的信道容量不可能大于其中某个组成信道的信道容量。道容量。 实际上，当信道不断级联时，级联信道的信道容量一般实际上，当信道不断级联时，级联信道的信道容量一般将趋于零。将趋于零。信息工程学院通信工程系信息工程学院通信工程系 单符号（多符号）信道中都是一

58、个输入端和一个输出端单符号（多符号）信道中都是一个输入端和一个输出端的信道，称该信道为的信道，称该信道为单用户信道单用户信道，相应通信的系统称为，相应通信的系统称为单路单路通信系统通信系统。单路通信系统解决两个用户之间的信息传递问题。单路通信系统解决两个用户之间的信息传递问题。如果多个用户之间需要相互传递信息，就要用多个单用户信如果多个用户之间需要相互传递信息，就要用多个单用户信道构成道构成信道群信道群，继而形成，继而形成通信网通信网。 为了提高通信效率，通信网中的信道往往允许多个输入为了提高通信效率，通信网中的信道往往允许多个输入端和多个输出端，该信道称为端和多个输出端，该信道称为多用户信道

59、多用户信道，相应的通信系统，相应的通信系统称为称为多路通信系统多路通信系统。研究多路通信系统的信息传递理论，称。研究多路通信系统的信息传递理论，称为为多用户信息论多用户信息论或或网络信息论网络信息论。单用户信道是多用户信道的。单用户信道是多用户信道的基础，而实际的信道大部分是多用户信道。如计算机通信、基础，而实际的信道大部分是多用户信道。如计算机通信、卫星通信、广播通信等。卫星通信、广播通信等。 多用户信道主要包含：多址接入信道多用户信道主要包含：多址接入信道 广播信道广播信道 相关信源的多用户信道相关信源的多用户信道信息工程学院通信工程系信息工程学院通信工程系n多址接入信道（多元接入信道）多

60、址接入信道（多元接入信道） 多址接入信道指多个用户的信息用多个编码器分别编码后，多址接入信道指多个用户的信息用多个编码器分别编码后，用同一个信道传输，在接收端用一个译码器译码，然后分送给用同一个信道传输，在接收端用一个译码器译码，然后分送给不同的用户。即多个输入端，一个输出端的多用户信道。不同的用户。即多个输入端，一个输出端的多用户信道。 多址接入信道模型多址接入信道模型信息工程学院通信工程系信息工程学院通信工程系 最简单的多址接入信道是只有两个输入端和一个输出端的最简单的多址接入信道是只有两个输入端和一个输出端的二址接入信道，二址接入信道， 二址接入信道二址接入信道信息工程学院通信工程系信息