信息论与编码第3章

1、信道与信道容量信道与信道容量第第3章章2022-6-423.1 信道分类和表示参数信道分类和表示参数3.2 离散单个符号信道及其容量离散单个符号信道及其容量3.3 离散序列信道及其容量离散序列信道及其容量3.4 连续信道及其容量连续信道及其容量主主 要要 内内 容容2022-6-43本章重点本章重点n离散单个符号信道及其容量离散单个符号信道及其容量 本章难点本章难点n连续信道及其容量连续信道及其容量 2022-6-44数字通信系统的一般模型数字通信系统的一般模型等效信道等效信道 干扰源干扰源 物理信道物理信道 解调器解调器 编码器编码器 译码器译码器 信宿信宿 信源信源 调制器调制器 实际信道

2、实际信道 编码信道编码信道 2022-6-453.1 3.1 信道分类和表示参数信道分类和表示参数2022-6-46信信 道道n信道信道：信息传输的通道信息传输的通道 在通信中在通信中, ,信道按其物理组成常被分成微波信道、信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律过程遵循不同的物理规律, , 通信技术必须研究信号通信技术必须研究信号在这些信道中传输时的特性。在这些信道中传输时的特性。信息论信息论不研究不研究信号在信道中传输的信号在信道中传输的物理过程物理过程, ,并假并假定信道的传输特性已知

3、定信道的传输特性已知, ,这样信息论就可以抽象地这样信息论就可以抽象地将信道用下图所示的模型来描述。将信道用下图所示的模型来描述。信信 道道输入量输入量X(随机过程随机过程)输出量输出量Y(随机过程随机过程)p(Y|X)2022-6-473.1.1 3.1.1 信道分类信道分类1. 1.根据根据用户数量用户数量分分单用户信道单用户信道多用户信道多用户信道2. 2.根据根据输入和输出输入和输出关系分关系分无反馈信道无反馈信道反馈信道反馈信道输出信号对输入信号没有影响输出信号对输入信号没有影响输出信号反馈到输入端输出信号反馈到输入端2022-6-483. 3.根据根据信道参数和时间信道参数和时间关

4、系分关系分固定参数信道固定参数信道时变参数信道时变参数信道信道参数（统计特性）不随时间而变化，如光纤信道参数（统计特性）不随时间而变化，如光纤信道参数（统计特性）随时间而变化，如无线信道信道参数（统计特性）随时间而变化，如无线信道4. 4.根据信道中根据信道中噪声种类噪声种类分分随机差错信道随机差错信道突发差错信道突发差错信道噪声独立随机的影响每个传输码元，如高斯噪声噪声独立随机的影响每个传输码元，如高斯噪声噪声的影响前后相关，错误成串出现，如衰落信噪声的影响前后相关，错误成串出现，如衰落信道道3.1.1 信道分类信道分类2022-6-493.1.1 3.1.1 信道分类信道分类 n5. 按输

5、入按输入/ /输出信号在输出信号在和和上的上的取值取值: :n离散信道离散信道：输入和输出的随机序列取值都是输入和输出的随机序列取值都是离散离散的信道的信道n连续信道连续信道：输入和输出的随机序列取值都是输入和输出的随机序列取值都是连续连续的信道的信道n半离散半离散( (半连续半连续) )信道信道：输入变量取值输入变量取值离散离散而输出变量取值而输出变量取值连续连续输入变量取值输入变量取值连续连续而输出变量取值而输出变量取值离散离散n波形信道波形信道：信道的输入和输出都是一些信道的输入和输出都是一些时间上连续时间上连续的随机信号的随机信号 2022-6-4103.1.1 3.1.1 信道分类信

6、道分类n6. 按输入按输入/ /输出之间关系的输出之间关系的来划分：来划分： n无记忆信道无记忆信道：信道的输出只与信道该时刻的输入有关信道的输出只与信道该时刻的输入有关, ,而与其他而与其他时刻的输入无关时刻的输入无关n有记忆信道有记忆信道：信道的输出不但与信道现时的输入有关而且还与信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关以前时刻的输入有关2022-6-4113.1.1 3.1.1 信道分类信道分类n7. 按输入输出信号之间的关系是否是按输入输出信号之间的关系是否是确定确定关系关系: :n无干扰信道无干扰信道：输入输入/ /输出符号之间有确定的输出符号之间有确定的一一对应

7、一一对应关系关系n有干扰信道有干扰信道：输入输入/ /输出之间关系是一种输出之间关系是一种的关系的关系n输入输入/ /输出的输出的统计关系统计关系：离散无记忆信道：离散无记忆信道：n用用条件概率矩阵条件概率矩阵来描述。来描述。离散有记忆信道：离散有记忆信道：n可像有记忆信源中那样引入可像有记忆信源中那样引入状态状态的概念。的概念。2022-6-4123.1.2 3.1.2 信道参数信道参数n设信道的输入设信道的输入X=(X1, X2 Xi, ), Xi a1 an 输出输出Y= (Y1, Y2 Yj,), Yj b1 bmn信道转移概率矩阵信道转移概率矩阵p(Y|X)：描述输入描述输入/输出的

8、统计依赖关系输出的统计依赖关系,反映信道统计关系反映信道统计关系信信 道道XYp(Y|X)n无干扰信道，无干扰信道，有干扰无记忆信道有干扰无记忆信道，有干扰有记忆信道，有干扰有记忆信道2022-6-413无干扰无干扰(无噪声无噪声)信道信道(1)n无干扰无干扰(无噪声无噪声)信道信道信道的输出信号信道的输出信号Y与输入信号与输入信号X之间有确定的关系之间有确定的关系Y=f (X),已知已知X后就确知后就确知Y转移概率转移概率:)f()f(pXYXYXY, 0, 1)|(2022-6-414有干扰无记忆信道有干扰无记忆信道(2)n有干扰无记忆信道有干扰无记忆信道信道的输出信号信道的输出信号Y与输

9、入信号与输入信号X之间没有确定的关之间没有确定的关系系,但转移概率满足但转移概率满足:)|()|()|()|(2211LLxypxypxyppXYn有干扰无记忆信道可分为有干扰无记忆信道可分为:二进制离散信道二进制离散信道离散无记忆信道离散无记忆信道离散输入、连续输出信道离散输入、连续输出信道波形信道波形信道2022-6-415离散无记忆信道离散无记忆信道DMC(Discrete memoryless channel)n信道输入是信道输入是n元符号元符号 Xa1, a2, , ann信道输出是信道输出是m元符号元符号 Yb1, b2, , bmn转移矩阵转移矩阵nnmnnmmmaaappppp

10、ppppPbbb2121222211121121a1a2anb1b2bm:p11p12p21p22pnmpij=p(bj|ai)2022-6-416nP:已知已知X,信道输出信道输出Y表现出来的统计特性表现出来的统计特性完全描述了信道的完全描述了信道的统计特性统计特性,其中有些概率是信其中有些概率是信道干扰引起的错误概率道干扰引起的错误概率,有些是正确传输的概率有些是正确传输的概率niabpmjij, 2 , 11)|(1)|()|()|()|()|()|()|()|()|(2122221112112121nmnnmmnmabpabpabpabpabpabpabpabpabpaaaPbbb转移

11、概率矩阵转移概率矩阵2022-6-417n反信道转移概率矩阵反信道转移概率矩阵 已知已知Y,信道输入信道输入X表现出来的统计特性表现出来的统计特性)|()|()|()|()|()|()|()|()|(2122221112112121mnmmnnmnbapbapbapbapbapbapbapbapbapbbbPaaanp(ai|bj):后向概率后向概率已知信道输出端接收到符号已知信道输出端接收到符号bj但发送的输入但发送的输入符号为符号为ai的概率。的概率。转移概率矩阵转移概率矩阵2022-6-418离散信道中的一般概率关系离散信道中的一般概率关系n先验概率先验概率 ( )(), 1,2,3,.

12、,iip xP Xxinn联合概率联合概率 n前向概率（信道转移概率）前向概率（信道转移概率） n后验概率（后向概率后验概率（后向概率 ）n输出符号概率输出符号概率 ()(,) 1,2,., ; 1,2,., ()( ) (|)() (|)ijijijijijijp x yP Xx Yyin jmp x yp x p yxp yp xy(|)(|)jijip yxP YyXx(|)(|)ijijp xyP Xx Yy1()( ) (|)(|)()( ) (|)ijijiijnjijiip x yp x p yxp xyp yp x p yx()(), 1,2,3,.,jjp yP Yyjm20

13、22-6-419二进制离散信道二进制离散信道BSC(Binary symmetric channel)n二进制离散信道二进制离散信道BSC输入符号输入符号X取值取值0,1；输出符号输出符号Y取值取值0,1 n很重要的一种特殊信道很重要的一种特殊信道n信道转移概率信道转移概率： p(0|0) = 1p p(1|1) = 1p p(0|1) = p p(1|0) = p0101pp1-p1-p101110ppppP无错误传输的概率无错误传输的概率传输发生错误的概率传输发生错误的概率2022-6-420二元删除信道二元删除信道BEC(Binary erasure channel) n二元删除信道二元

14、删除信道BEC 输入符号输入符号X取值取值0,1； 输出符号输出符号Y取值取值0,1,? n转移矩阵转移矩阵10?01p1-pq1-qqqppP10012022-6-421离散输入、连续输出信道离散输入、连续输出信道n输入一个有限的、离散符号，输出未经量化，是一输入一个有限的、离散符号，输出未经量化，是一个个连续量连续量，这样的信道叫，这样的信道叫离散时间无记忆离散时间无记忆信道。信道。 + X Y G 222/)(21)/(iayiYeayp加性高斯白噪声信道：加性高斯白噪声信道：Y=X+GG是一个是一个均值为均值为0 、方差为、方差为2的的高斯随机变量高斯随机变量。输入输入输出输出转移特性

15、由一组条件概率密度函数转移特性由一组条件概率密度函数12,nXa aa,Y ,1,2,iYpyXain 2022-6-422波形信道波形信道n当输入、输出都是当输入、输出都是随机过程随机过程时，该信道叫做时，该信道叫做波形信道波形信道 + x(t) y(t) n(t) )()(),()(),()/(),/,()/(,2121npxpnxpxpyxpxypxxxyyypxypnxyxxyxYLLYYn即信道的转移概率密度函数等于噪声的概率密度函数。即信道的转移概率密度函数等于噪声的概率密度函数。则条件熵则条件熵Hc(Y|X)=Hc(n)，噪声熵，噪声熵2022-6-423n说明条件熵是由噪声引起

16、的，等于噪声信源熵说明条件熵是由噪声引起的，等于噪声信源熵 ，所以称为噪声熵。，所以称为噪声熵。 ,logloglogCX YYRXYYRRXnnRRCHY Xpx ypy x dxdypx dx py xpy x dypx dx pnpn dyHn CHnn根据噪声对信道中信号的作用不同，可将噪声分为两类：根据噪声对信道中信号的作用不同，可将噪声分为两类：加性噪声，信号与噪声是相加；加性噪声，信号与噪声是相加；乘性噪声，信号与噪声是相乘。乘性噪声，信号与噪声是相乘。波形信道波形信道2022-6-424有干扰有记忆信道有干扰有记忆信道(3)n在实际数字通信中，信道特性不理想，存在在实际数字通信

17、中，信道特性不理想，存在码间干码间干扰扰，输出符号不但与当前的输入信号有关，还与以，输出符号不但与当前的输入信号有关，还与以前的输入信号有关。前的输入信号有关。n其方法：其方法：将记忆很强的将记忆很强的L个符号当作矢量符号，矢量符号间个符号当作矢量符号，矢量符号间认为无记忆认为无记忆转移概率转移概率 看成马尔可夫链的形式看成马尔可夫链的形式 p X Y 1,nnnnp ys xs2022-6-425信道模型的使用说明信道模型的使用说明n若设计和分析离散信道编、解码器的性能，从若设计和分析离散信道编、解码器的性能，从工程工程角度出发角度出发，最常用的是，最常用的是DMC信道模型或其简化形式信道模

18、型或其简化形式BSC信道模型；信道模型；n若若分析性能的理论极限分析性能的理论极限，则多选用，则多选用离散输入、连续离散输入、连续输出输出信道模型；信道模型；n如果我们是想要如果我们是想要设计和分析数字调制器和解调器设计和分析数字调制器和解调器的的性能，则可采用性能，则可采用波形信道波形信道模型。模型。n以后的研究目的是设计和分析离散信道编码、解码以后的研究目的是设计和分析离散信道编码、解码的性能，所以常用的是的性能，所以常用的是DMC信道信道模型。模型。2022-6-4263.2 3.2 离散单个符号信道及离散单个符号信道及其容量其容量2022-6-427n研究信道的研究信道的目的目的是要讨

19、论信道中平均每个符号是要讨论信道中平均每个符号所能传送的信息量所能传送的信息量-信息传输率信息传输率Rn平均互信息平均互信息I(X;Y)就是接收到符号就是接收到符号Y后平均每后平均每个符号获得的关于个符号获得的关于X的信息量。的信息量。n则则 R = I(X;Y) = H(X) H(X|Y) (比特比特/符号符号)信息传输率信息传输率n信道中每秒平均传输的信息量信道中每秒平均传输的信息量-信息信息传输速率传输速率RtRt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/秒）秒）2022-6-428平均互信息平均互信息(|)(; )() ( ;)()log( )(

20、|)( ) (|)log()ijijijijjijiijiijijijp xyI X Yp x y I x yp x yp xp yxp x p yxp yn当当p(xi)一定时，一定时，I(X,Y)是关于是关于p(yj|xi)的的型凸函数，型凸函数，存在极小值，存在极小值，而当而当p(yj|xi)一定时，一定时， I(X,Y)是关于是关于p(xi) 的的型凸函数，存在极大值型凸函数，存在极大值。（证明可参考王。（证明可参考王育民育民“信息论与编码理论信息论与编码理论”P39）()( ) (|)jijiip yp x p yx2022-6-429信道容量信道容量n由于平均互信息由于平均互信息I

21、(X;Y)是输入随机变量的是输入随机变量的型凸函数型凸函数 ，所，所以对一固定的信道，总存在一种信源，使传输每个符号平以对一固定的信道，总存在一种信源，使传输每个符号平均获得的信息量最大。均获得的信息量最大。n即存在一个最大的信息传输率即存在一个最大的信息传输率 -定义为定义为信道容量信道容量Cn单位是信道上每传送一个符号（每使用一次信道）所能携单位是信道上每传送一个符号（每使用一次信道）所能携带的比特数，即带的比特数，即bit/符号或符号或bit/channel use。tCCt()()maxmax (; )iip ap aCRI X Y2022-6-430信道容量信道容量n对于特定信道，信

22、道容量是个定值，但在传输时，信对于特定信道，信道容量是个定值，但在传输时，信道能否提供其最大传输能力，则取决于输入端的概率道能否提供其最大传输能力，则取决于输入端的概率分布分布, ,即即最佳输入分布最佳输入分布。n信道容量并不是由输入符号的概率分布决定的，信道信道容量并不是由输入符号的概率分布决定的，信道容量容量只取决于信道的转移概率只取决于信道的转移概率，它代表了信道作为信，它代表了信道作为信息传输通道的一个重要性能指标，息传输通道的一个重要性能指标，是是信息传输率信息传输率R R的的上限上限，定量了，定量了信道信息的最大通过能力信道信息的最大通过能力。信源发出的信源发出的符号只有在满足一定

23、条件时，才能充分利用信道传输符号只有在满足一定条件时，才能充分利用信道传输信息的最大速率。信息的最大速率。n研究信道的核心问题是求研究信道的核心问题是求信道容量与最佳输入分布信道容量与最佳输入分布。2022-6-431信道容量的计算信道容量的计算 n对于一般信道对于一般信道, ,信道容量计算相当复杂信道容量计算相当复杂, ,我们只讨论某我们只讨论某些特殊类型的信道：些特殊类型的信道：n离散信道离散信道可分成：可分成： 无干扰无干扰信道信道n无噪无损信道无噪无损信道n有噪无损信道有噪无损信道 n无噪有损信道无噪有损信道 有干扰无记忆有干扰无记忆信道信道有干扰有记忆有干扰有记忆信道信道2022-6

24、-4322022-6-433离散信道中的几个概念离散信道中的几个概念n无噪无噪 1个输入只对应个输入只对应1个输出，噪声熵个输出，噪声熵H(Y|X)=0；n无损无损 1个输出只对应个输出只对应1个输入，损失熵个输入，损失熵H(X|Y)=0 。n无噪无损无噪无损 I(X;Y)=H(X)=H(Y)n有噪无损有噪无损：一个输入：一个输入X产生多个输出产生多个输出Y （有噪）；由于各（有噪）；由于各X对应对应的不同的的不同的Y（无损），接收到符号（无损），接收到符号Y后，后，X完全确定。完全确定。传递矩阵中每列有也仅有一个非零元素传递矩阵中每列有也仅有一个非零元素无损无损 H(X/Y)=0，有噪，有噪

25、H(Y/X)0 I(X;Y)=H(X)H(Y)n无噪有损无噪有损（确定）：一个（确定）：一个Y对应多个对应多个X，接收到符号，接收到符号Y后不能完后不能完全消除对全消除对X的不确定性的不确定性 H(X/Y) 0；I(X;Y)=H(Y) 0条件的条件的in I(ai;Y) C 对于所有满足对于所有满足p(ai ) = 0条件的条件的in这就是这就是1972年由年由R.Blahut和和A.Arimoto分别独立提出分别独立提出的一种算法，现在称为的一种算法，现在称为Blahut-Arimoto算法。上式说算法。上式说明明当信道平均互信息达到信道容量时，输入符号概率当信道平均互信息达到信道容量时，输

26、入符号概率集集p(ai)中每一个符号中每一个符号ai对输出端对输出端Y提供相同的互信息，提供相同的互信息，只是概率为零的符号除外。只是概率为零的符号除外。n一般情况下，最佳分布一般情况下，最佳分布不一定是唯一不一定是唯一的，只须满足结的，只须满足结论（上式），并使互信息最大即可。论（上式），并使互信息最大即可。3.2.4 一般离散信道的信道容量一般离散信道的信道容量2022-6-4703.3 3.3 离散序列信道及容量离散序列信道及容量2022-6-471离散序列信道及容量离散序列信道及容量n设信道的输入设信道的输入X=(X1, X2 Xi, ), Xi a1 an 输出输出Y= (Y1, Y

27、2 Yj,), Yj b1 bm信 道XYp(Y|X)n对于对于无记忆离散序列无记忆离散序列信道信道,其其信道转移概率信道转移概率为为)|(),|,()|(111llLlLLXYpXXYYppXY仅与当前输入有关。若信道是平稳的仅与当前输入有关。若信道是平稳的)|()|(xyppLXY2022-6-472离散序列信道及容量离散序列信道及容量：若信道的输入和输出分别是若信道的输入和输出分别是L长序列长序列X和和Y,且且信道信道是是无记忆无记忆的的,亦即信道传递概率为亦即信道传递概率为)|()|(1llLlXYppXY则则);();(1llLlYXII：若信道的输入和输出分别是若信道的输入和输出分

28、别是L长序列长序列X和和Y,且且信源信源是是无记忆无记忆的的,亦即亦即LllXpp1)()(X1(;)(;)LlllII X Y则则 n若若信源信源与与信道信道都是都是无记忆无记忆的的 );();(1llLlYXII2022-6-473离散序列信道及容量离散序列信道及容量n信源信源与与信道信道都是都是无记忆，无记忆，当输入矢量达到最佳分布时：当输入矢量达到最佳分布时：LlLlllPPLlCYXIICXX11)();(max);(maxn当信道平稳时当信道平稳时: 1LCCLn一般情况下一般情况下: 1);(LCI2022-6-474 当当信源无记忆、信道有记忆信源无记忆、信道有记忆时。时。信源

29、信源是无记忆的，信源的不确是无记忆的，信源的不确定度定度等于等于N倍的单符号信源不确定度，倍的单符号信源不确定度，信道信道是有记忆的，信道干扰是有记忆的，信道干扰造成的不确定度造成的不确定度小于小于N倍单符号信道的不确定度。因此，这两部分倍单符号信道的不确定度。因此，这两部分的的差值平均互信息量大于差值平均互信息量大于N倍的单符号平均互信息量倍的单符号平均互信息量。 当当信源有记忆、信道无记忆信源有记忆、信道无记忆时。时。信源信源是有记忆的，信源的不确是有记忆的，信源的不确定度定度小于小于N倍的单符号信源不确定度，倍的单符号信源不确定度，信道信道是无记忆的，信道干扰是无记忆的，信道干扰造成的不

30、确定度造成的不确定度等于等于N倍单符号信道的不确定度。因此，这两部分倍单符号信道的不确定度。因此，这两部分的的差值平均互信息量小于差值平均互信息量小于N倍的单符号平均互信息量倍的单符号平均互信息量。 当当信源无记忆、信道无记忆信源无记忆、信道无记忆时。时。信源信源是无记忆的，信源的不确是无记忆的，信源的不确定度定度等于等于N倍的单符号信源不确定度，倍的单符号信源不确定度，信道信道是无记忆的，信道干扰是无记忆的，信道干扰造成的不确定度造成的不确定度等于等于N倍单符号信道的不确定度。因此，这两部分倍单符号信道的不确定度。因此，这两部分的的差值平均互信息量等于差值平均互信息量等于N倍的单符号平均互信

31、息量倍的单符号平均互信息量. 离散序列信道及容量离散序列信道及容量(X;Y)(X)(X Y)IHH2022-6-475n如果对离散单符号信道进行如果对离散单符号信道进行L次扩展，就形成了次扩展，就形成了L次次离散无记忆序列信道。离散无记忆序列信道。 n由于输入随机序列由于输入随机序列 是在同一信道是在同一信道中传输，所以有中传输，所以有 Cl =C,（l=1,2,-L） 于是于是CL=LC。XX11maxX;Ymax;LLLlllppllCII X YC12X,LXXX离散无记忆离散无记忆L次扩展信道次扩展信道2022-6-476n例例3-7.BSC信道二次扩展信道二次扩展0 0X0 11 0

32、1 10 00 11 01 1Y22222222)1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 ()1 (ppppppppppppppppppppppppPn转移概率矩阵转移概率矩阵n2次扩展信道次扩展信道的信道容量的信道容量 ),1 (),1 ( ,)1(4log2222ppppHCn 若若 p = 0.1n 则则 C2=(20.938)bit/序列序列 = 1.062bit/序列序列 C1 = 0.531bit/序列序列 C2= 2C12022-6-477独立并联信道独立并联信道 n设有设有L个信道个信道,它们的输入、输出分别是：它们的输入、输出分别是

33、： X1,X2XL； Y1,Y2YLLllLLCCCCIC121, 2, 1);(maxYX信信 道道信信 道道信信 道道p(Y1|X1)p(YL|XL)p(Y2|X2)n每一个信道的输出每一个信道的输出Yl只与本信只与本信道的输入道的输入Xl有关有关,与其他信道与其他信道的输入、输出都无关。的输入、输出都无关。n独立并联信道的信道容量独立并联信道的信道容量 X1X2XLY1Y2YL2022-6-4783.4 3.4 连续信道及其容量连续信道及其容量2022-6-4793.4.1 连续单符号加性信道连续单符号加性信道n连续信道的容量不容易计算。连续信道的容量不容易计算。n当信道为加性连续信道时

34、当信道为加性连续信道时,情况简单一些。情况简单一些。n设信道的输入和输出信号是随机一维随机变量设信道的输入和输出信号是随机一维随机变量x和和y, y = x + nnn为信道的为信道的加性高斯白噪声（加性高斯白噪声（Additive White Gaussian Noise ）, pn(n)N(0, 2) 21( )log22cHne 信信 道道nx (x R) p(y/x) y (y R)2022-6-4803.4.1 3.4.1 连续单符号加性信道连续单符号加性信道n平均互信息平均互信息 I(X;Y)HC(X)HC (X/Y)HC (Y)HC (Y/X) HC (X)HC (Y)HC (X

35、Y)n信道容量：信道容量：( )( )( )2( )max (; )max( )( /)max( )( )1max( )log22CCp xp xCCp xCp xCI X YHYHYXHYHnHYe 2022-6-4813.4.1 连续单符号加性信道连续单符号加性信道pY(y)N(0,P)，pn(n)N(0, 2)，y=x+n，所以，所以pX(x)N(0,S) 22211111log2log2loglog(1)log(1)22222PSCePeSNR 也就是说：信道输入也就是说：信道输入X是均值为零、方差为是均值为零、方差为S的高斯分的高斯分布随机变量时，信息传输率达到最大值。布随机变量时，

36、信息传输率达到最大值。 若噪声是若噪声是加性非高斯加性非高斯，可以求出信道容量的上下界，可以求出信道容量的上下界 )(2log21)1log(212nHePCSC2022-6-4823.4.2 多维无记忆高斯加性连续信道多维无记忆高斯加性连续信道NiiNiiinpxypxypnp11)()/()/()(2111(; )(;)log 12NNiiiiiiSI X YI X Y2( )11max(; )log 12Nip xiiSCI X YX1Y1=X1 +n1n1XNYN=XN +nNnN2022-6-483 22log 12NSC2211log 12NiiiC0 00 )(xxxx2iiP2

37、11NNiiiiEXPP2iiP2022-6-4842iiP 2 2 2 2022-6-485)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP2022-6-486517. 06 . 0.2 . 01 . 01616161iniPP5 . 05 . 0.2 . 01 . 01515151iniPP5 . 04 . 0.2 . 01 . 01414141iniPP2022-6-48735. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC2022-6-

38、4883.4.3限时限频限功率加性高斯白噪声信道限时限频限功率加性高斯白噪声信道 1212,LLx txx xxy tyy yy s am pl es am pl e2022-6-4893.4.3限时限频限功率加性高斯白噪声信道限时限频限功率加性高斯白噪声信道n波形信道的平均互信息为波形信道的平均互信息为)()()(lim)/()(lim)/()(lim);(lim)();(XYYXXYYYXXYXCCCLCCLCCLLHHHHHHHItytxIsbitItCBtptB/);(1limmax)(YXxn信道容量为信道容量为2022-6-490n带限、加性高斯白噪声信道是频带限制在一定范围内、带

39、限、加性高斯白噪声信道是频带限制在一定范围内、受加性高斯白噪声干扰的波形信道。噪声按其功率谱受加性高斯白噪声干扰的波形信道。噪声按其功率谱密度的性质可分为两大类：白噪声和有色噪声。密度的性质可分为两大类：白噪声和有色噪声。n白噪声白噪声是功率谱密度是均匀的，如果白噪声是功率谱密度是均匀的，如果白噪声N(t)的频的频带限制为带限制为W，则称为带限白噪声，其功率谱密度为，则称为带限白噪声，其功率谱密度为 N0是常数，单位为是常数，单位为“W/Hz”。n如果功率谱密度均匀分布的频带范围远大于所研究的如果功率谱密度均匀分布的频带范围远大于所研究的系统的带宽，则此噪声也可认为是系统的带宽，则此噪声也可认为是白噪声白噪声，白噪声经，白噪声经滤波变为滤波变为带限白噪声带限白噪声。服从高斯分布的带限白噪声称。服从高斯分布的带限白噪声称为为带限高斯白噪声带限高斯白噪声。 02NNPfWfW3.4.3限时限频限功率加性高斯白噪声信道限时限频限功率加性高斯白噪声信道2022-6-491n带限高斯白噪声的相关函数为带限高斯白噪声的相关函数为n当当 即从这即从这些点上得到的所有随机变量些点上得到的所有随机变量 互不相关。互不相关。n带限为带限为W，限时为，限时为tB的随机信号的随机信号N(t)可用可用L2WtB个个相