信道与信道容量z

信道与信道容量z第一页，共一百二十四页，2022年，8月28日本章节达到的目的了解信息论研究信道的目的、内容了解信道的基本分类并掌握信道的基本描述方法掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）了解信道容量/容量代价函数在研究通信系统中的作用理解香农第一定理又称无噪信道编码的物理意义进一步从信息论的角度理解香农公式及其用途第二页，共一百二十四页，2022年，8月28日概念问题熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用第三页，共一百二十四页，2022年，8月28日回顾－互信息函数的性质1互信息与信道输入概率分布的关系性质1：I(X;Y)是信道输入概率分布p(x)的上凸函数.信道第四页，共一百二十四页，2022年，8月28日回顾－互信息函数的性质2互信息与信道转移概率分布的关系性质2：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.信道1信道2信道第五页，共一百二十四页，2022年，8月28日回顾－互信息函数的性质3互信息与信道输入符号相关性的关系

性质3:信道的输入是离散无记忆的,即：则：第六页，共一百二十四页，2022年，8月28日回顾－互信息函数的性质4

互信息与信道输入符号相关性的关系

性质4:信道是离散无记忆的,即：则：第七页，共一百二十四页，2022年，8月28日回顾－互信息函数的性质5性质3、性质4的推论：信道的输入和信道本身都是离散无记忆的第八页，共一百二十四页，2022年，8月28日信息论对信道研究的内容信道的建模：用恰当的输入/输出两个随机过程来描述信道容量不同条件下充分利用信道容量的各种办法什么是信道？信道的作用研究信道的目的§5.1:概述－1第九页，共一百二十四页，2022年，8月28日§5.1:概述－2什么是信道？ 信道是传送信息的载体——信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。第十页，共一百二十四页，2022年，8月28日§5.1:概述－3信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。第十一页，共一百二十四页，2022年，8月28日§5.1:概述－4研究信道的目的实现信息传输的有效性和可靠性有效性：充分利用信道容量，使传输的信息量尽可能大可靠性：通过信道编码降低误码率 结合通信系统研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。通信技术研究－－信号在信道中传输的过程所遵循的物理规律，即传输特性信息论研究－－信息的传输问题（假定传输特性已知）第十二页，共一百二十四页，2022年，8月28日§5.2:信道的分类与描述信道分类信道描述第十三页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－1信道分类 从工程物理背景——传输媒介类型； 从数学描述方式——信号与干扰描述方式； 从信道本身的参数类型——恒参与变参； 从用户类型——单用户与多用户；第十四页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－2第十五页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－3第十六页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－4

信道划分是人为的，比如信源干扰编码译码信宿传输媒介其中：为狭义的传输型信道，研究调制解调理论或模拟通信时常引用它，为连续信道；为广义的传输型信道，研究数字通信、编码解码时常引用它，为离散信道；为半离散半连续的传输型信道第十七页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－5第十八页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－6信道描述信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵：即：它可简化为：第十九页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－7其中：

而第二十页，共一百二十四页，2022年，8月28日§5.2:信道分类与描述－8当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC：且：输入输出第二十一页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量一般离散无记忆信道容量的计算离散无记忆信道的信道容量定理对称的离散无记忆信道容量的计算香农第一定理的物理意义第二十二页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-1离散消息序列信道

信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感电容、无线信道中电波传布的衰落现象等。第二十三页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-2信道的任务

尽可能有效且可靠地传输信源的信息离散通信信道X={x1,x2,…,xr}信息流信息流通过特定信道（信道容量和噪声特性已定）传输可靠性信道噪声信道容量

传输有效性第二十四页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-3H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪声熵信道疑义度（损失熵）Transmittedpartofinformation第二十五页，共一百二十四页，2022年，8月28日H(X/Y)—信道疑义度/损失熵。

Y关于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。H(X)—X的先验不确定度/无条件熵。I(X;Y)—收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。H(Y/X)—噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。§5.3:离散无记忆信道及其信道容量-4第二十六页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-5如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平均互信息R=I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)≤H(X)。引出数据处理定理

信道容量第二十七页，共一百二十四页，2022年，8月28日数据处理定理串联信道数据处理定理第二十八页，共一百二十四页，2022年，8月28日

串联信道在一些实际通信系统中，常常出现串联信道。例如微波中继接力通信就是一种串联信道。信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它与前面传输数据的信道构成串联信道。下图表示两个单符号离散信道串联的情况。信道1P(Y/X)信道2P(Z/Y)第二十九页，共一百二十四页，2022年，8月28日

串联信道信道1的输出Y与其输入X统计相关，信道2的输出Z与其输入Y统计相关，一般来讲，Z与X统计相关。级联的结构决定了Z的取值在给定Y以后与X将不再有关在概率论中称XYZ的这种关系为XYZ组成马尔科夫链。信道1P(Y/X)信道2P(Z/Y)第三十页，共一百二十四页，2022年，8月28日

串联信道信道1P(Y/X)信道2P(Z/Y)第三十一页，共一百二十四页，2022年，8月28日

数据处理定理

数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。即I(X;Z)≤I(X;Y)I(X;Z)≤I(Y;Z)第三十二页，共一百二十四页，2022年，8月28日结论：两级串联信道输入与输出消息之间的平均互信息量既不会超过第Ⅰ级信道输入与输出消息之间的平均互信息量，也不会超过第Ⅱ级信道输入与输出消息之间的平均互信息量。当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。

当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。第三十三页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-5I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数：

当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。

第三十四页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-6

信道容量C：在信道中最大的信息传输速率，单位：

比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为Ct实际是信道的最大信息传输速率。第三十五页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-7C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。第三十六页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-8离散无记忆信道及其信道容量由消息序列互信息性质对离散无记忆信道，有：（性质4）则当且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论）

第三十七页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-9离散无记忆信道及其信道容量的进一步理解Cmax存在互信息性质1，上凸函数极值存在达到Cmax时的两个条件：信道输入（信源）是离散无记忆的信道输入的概率分布是使I(X,Y)达到最大的分布C的值不是由信源的p(x)决定的，而是由决定的C是信道作为信息传输通道的性能度量只有信道输入（信源）X（x1x2…xn)满足一定条件时，才能充分利用信道传输信息的能力第三十八页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-10一般离散无记忆信道容量的计算思路：将问题转化为：有界闭区域上求约束极值方法：1、求区域内极值2、求边界极值3、求前两者的最大值具体实现：1、简单情况下直接求解（如单符号信道、对称信道）2、解方程3、迭代法（见朱雪龙2001版p124页）第三十九页，共一百二十四页，2022年，8月28日信道容量约束条件：求信道容量转化为求对信源概率分布的条件极值。§5.3:离散无记忆信道及其信道容量-11第四十页，共一百二十四页，2022年，8月28日解：引入辅助函数

用拉格朗日乘子法求解§5.3:离散无记忆信道及其信道容量-12第四十一页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-13第四十二页，共一百二十四页，2022年，8月28日令则§5.3:离散无记忆信道及其信道容量-14第四十三页，共一百二十四页，2022年，8月28日在某些条件下利用这个方法可以计算C：令§5.3:离散无记忆信道及其信道容量-15第四十四页，共一百二十四页，2022年，8月28日这是一个含有s个未知数、由r个方程组成的方程组。当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。

§5.3:离散无记忆信道及其信道容量-16第四十五页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-17一般离散信道容量的计算步骤（傅祖芸第二版p107）第四十六页，共一百二十四页，2022年，8月28日注意：在第②步信道容量C被求出后，计算并没有结束，必须解出相应的p(xi)，并确认所有的p(xi)≥0时，所求的C才存在。在对I(X;Y)求偏导时，仅限制，并没有限制p(xi)≥0，所以求出的p(xi)有可能为负值，此时C就不存在，必须对p(xi)进行调整，再重新求解C。近年来人们一般采用计算机，运用迭代算法求解。§5.3:离散无记忆信道及其信道容量-18第四十七页，共一百二十四页，2022年，8月28日定理：(Kuhn-Tucker条件)设是定义在N维无穷凸集S则在达到S上极大值的充要条件是：上的可微上凸函数，设§5.3:离散无记忆信道及其信道容量-19第四十八页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-20离散无记忆信道的信道容量定理

定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是其中：是信源字母ak传送的平均互信息，C就是这一信道的信道容量。第四十九页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-21是

的平均值。即：但提高

，又使

降低反复调整

，使

相等且都等于C定理只给出了可使

的p(x)的充要条件，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C求解信道容量过程实际信源的概率分布进行调节的过程。通过不断调节信源的概率分布，找到信道对应的最大信息传输速率找到最大的，提高第五十页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-22对称的离散无记忆信道信道容量对称的离散无记忆信道矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。第五十一页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-23对称信道第五十二页，共一百二十四页，2022年，8月28日对称信道性质

对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。§5.3:离散无记忆信道及其信道容量-24第五十三页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-25行对称信道a1a2b1b2b30.70.10.10.20.70.2a1a2b1b2b30.70.10.10.20.70.2第五十四页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-26BSC信道信道容量的计算a1a2b1b2第五十五页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-27由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：

于是：这里：第五十六页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-28r个输入s个输出的对称离散信道的信道容量：其中是信道矩阵中的任意一行中的元素。第五十七页，共一百二十四页，2022年，8月28日若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率

p

均匀地分配到r-1

个符号，则称此信道为强对称信道或均匀信道。§5.3:离散无记忆信道及其信道容量-29强对称离散信道的信道容量：第五十八页，共一百二十四页，2022年，8月28日强对称信道具备四个特征：

1.矩阵中的每一行都是第一行的排列；(行对称)

矩阵中的每一列都是第一列的排列。(列对称)2.信道输入与输出消息（符号）数相等，即r=s。

3.错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。

4.不仅每一行元素之和为1，每一列元素之和也为1。显然，对称性的基本条件是1，而2、3、4是加强条件。§5.3:离散无记忆信道及其信道容量-30第五十九页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-31二元删除信道信道容量的计算a1a2b1b3b2第六十页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-32由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：于是：第六十一页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-33准对称离散信道的信道容量：设信道矩阵可划分为n个子矩阵，其中Nk是第k个子矩阵中某行元素之和，Mk是第k个子矩阵中某列元素之和。第六十二页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-34第六十三页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-350.51.000.51.0cεbaCa=Cb=a:BSC信道的信道容量曲线

b:二进制删除信道的信道容量曲线1-ε1-εεε1-ε1-εεε第六十四页，共一百二十四页，2022年，8月28日例1、已知信道转移概率矩阵如下，求此信道的信道容量。

Y\X012301/31/31/61/611/61/31/61/3

解：由定理5.2，当输入等概分布时，互信息达到信道容量即：p(a1)=p(a2)=1/2；有：

第六十五页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-36香农第一定理（变长无失真信源编码定理）的物理意义

从信道编码的角度看，用个码元表示一个原始信源符号，信道的信息传输率为：第六十六页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-37香农第一定理（无失真信源编码定理）的物理意义无噪无损信道的信道容量：C=H(X)=H(Y)=logs再看当平均码长达到极限值时R=logs此时信道的信息传输率R＝无噪信道的信道容量C无失真信源编码的实质：对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。又称：无噪信道编码定理若信道的信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息；但要使信道的信息传输率R大于C而无差错地传输信息则是不可能的。第六十七页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-38达到信道容量C的时候，输入字母分布唯一吗？反例：a1a2b1b2令则输入任何分布，输出都达到C又一例：令输入分布(0.5,0,0.5,0）令输入分布(0.25,0.25,0.25,0.25）第六十八页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-39输出字母的唯一性定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。证明见朱雪龙2001版信息论p132页。例如：对称信道，达到信道容量时输出唯一（等概）第六十九页，共一百二十四页，2022年，8月28日§5.3:离散无记忆信道及其信道容量-40输入字母在什么条件下唯一？定理：在达到信道容量时，如果输入概率分布中具有零概率的字母总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。定理不是说具有最大数目零概率的最佳分布是唯一的。定理只说明概率分布由同一组包含零的数字的不同排列构成。证明见朱雪龙2001版信息论p134页。第七十页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量信道1信道2信道N…..输入并接信道信道1信道2信道N…..和信道

信道1信道2信道N…..并用信道第七十一页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量输入并接信道可以看成一个单输入多输出的输出为信道,其输入为性质：输入并联信道的容量大于任何一个单独的信道，小于maxH(X)。第七十二页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X)

通信中的分集，就是典型的输入并联信道第七十三页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量并用信道是多输入，多输出。X和Y由彼此独立的N个信道传输。性质并用信道的容量通信中的复用，就是典型的并用信道第七十四页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量现代通信技术：MIMO和CMIMO(CooperativeMIMO

)SISO

单入单出“真正的自利行为就是协作”——《无线网络的协作》,FrankTxRxSISOTxRxMIMOTx1TxNRx1RxNCMIMOMIMO多入多出CMIMO

节点通过协同形成MIMO第七十五页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量和信道随机应用N个信道中的一个，构成一输入/一输出信道。性质：和信道的容量是，

Vision一种新型的通信技术——机会通信（OpportunisticComm.）信道的使用概率第七十六页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量机会通信（DavidTse,2001）衰落是无线信道的固有特征，需要克服但是在无线网络中，衰落可能带来增益BaseStationFadingChannelMobileUser1User2UserN多用户广播信道广播信道容量第七十七页，共一百二十四页，2022年，8月28日§5.4:并联信道及其信道容量衰落信道为什么会提高容量？在一个多用户独立衰落信道里，每一时刻总可能找到一个拥有较好信道的用户如果总是服务较好的用户，总体容量会增加传统分集技术的主要目的是改善慢衰落信道中通信的可靠性多用户分集的作用是增加快衰落信道中总的吞吐量事实上，当衰落不足的时候，还可以人为引入衰落制造出随机波动范围大的信道，来提高系统总的吞吐量第七十八页，共一百二十四页，2022年，8月28日§5.5：连续信道

连续信道时间依旧离散但是取值：离散－>连续引发的问题离散随机变量的互信息非负、有限取I(p,Q)最大值得到离散信道的容量连续随机变量互信息非负，但不一定有限这样互信息最大值为信道容量的定义就失去了意义第七十九页，共一百二十四页，2022年，8月28日§5.5：连续信道问题出在什么地方？连续随机变量的信息量无穷大（无理数具有无穷多的细节）但是实际上我们无法生成信息量为无穷大的变量总存在物理的约束：能量受限b(x)=x2因此，连续信道输入输出互信息的优化是在这些约束前提下进行的。定义：设对于连续无记忆信道

，有一个函数

，对每一个输入序列

。称

为

的费用。设随机矢量

的联合分布为

，则平均费用为：第八十页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－1

回顾连续随机变量的熵－微分熵连续随机变量最大熵分布－－依赖于约束条件峰值功率受限条件下－－均匀分布的随机变量具有最大微分熵平均功率受限条件下－－高斯分布的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限制还有约束条件C＝max[h(Y)-h(n)]C取决于信道的统计特性（加性信道即噪声的统计特性）输入随机矢量X所受的限制条件（一般考虑平均功率受限时）C的单位为：比特/N个自由度连续信道信道容量－－容量费用函数描述第八十一页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－2研究连续信道容量的方法基本、简单的信道：无记忆加性噪声信道信道噪声为高斯时何种分布输入能达到对信道的充分利用信道输入为高斯时何种分布噪声对信道传输信息影响最大第八十二页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－3一些基础知识：对于加性信道Y=X+NX：信道输入N：信道噪声Y：信道输出信道的转移概率分布函数就是N的分布函数b(x)是信道输入为x时对应的费用如果X、Y、N中有两个是高斯分布，另一个也是高斯分布的高斯分布的随机变量的微分熵h(XG)＝高斯分布的连续随机变量的微分熵h(XG)的值只与方差有关，与均值无关第八十三页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－4在费用约束的前提下，求输入输出互信息的最大值，得到容量-费用函数。连续信道的“容量-费用函数”定义：设连续信道的N维联合输入输出分别为X和Y，则其容量-费用函数定义为：若存在最大值时第八十四页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－5当输入和信道无记忆稳恒时，因为第八十五页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－6无记忆加性噪声信道的信道容量费用函数无记忆加性噪声信道的前向转移概率密度函数就是噪声N的概率密度函数，即：其中

第八十六页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－7于是有：取信道输入信号的平均功率E(X2)作为信息传输的费用则有：无记忆加性噪声信道的信道容量费用函数为：因h(N)与px(x)无关，求解C(PS)问题转化为只需对h(Y)进行第八十七页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－8无记忆加性高斯噪声信道的信道容量费用函数（朱雪龙p139）条件：NZG问题：求使C(PS)最大时的X的概密分布函数求解步骤：因为：要使C(PS)最大使h(Y)最大在PS约束条件下，当YYG时h(Y)达到最大XXG，则：第八十八页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－9结论：当信道输入信号为高斯分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。换句话说：在无记忆加性高斯噪声信道中传输信息时，高斯分布的信号是最有效的-即在同样信号功率下，信道可以传输最多的信息第八十九页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－10无记忆加性噪声信道对高斯分布的输入信号的影响条件：XXG，，约束条件PS问题：考察何种概密分布的N使I(X;Y)最小求解步骤：因为而当NNG时，YYG此时：可以证明：朱雪龙p140页结论：无记忆加性高斯噪声信道对高斯分布的输入信号具有最大的破坏力。第九十页，共一百二十四页，2022年，8月28日高斯分布特性：-作为信道输入信号的概密分布时，有利于信息传输-作为加性信道噪声概密分布时，不利于信息传输-共同说明高斯分布的随机变量具有最大微分熵第九十一页，共一百二十四页，2022年，8月28日§5.5:连续信道及其容量－11一般无记忆加性噪声信道的信道容量费用函数-无法给出解析形式的解，但可以给出其上下界表达式-下界：根据前面的讨论很容易得-上界：当输入信号功率限制在PS以下，噪声功率限制在PN以下则输出信号功率将<=PS＋PN。此时所以有：第九十二页，共一百二十四页，2022年，8月28日§5.5连续信道及其容量－12

输入输出均正态输入为正态分布最佳输入分布第九十三页，共一百二十四页，2022年，8月28日§5.5连续信道及其容量－13无记忆加性高斯噪声信道的并联

信道1信道2信道N…..并用信道等号是在各分量统计独立时才成立第九十四页，共一百二十四页，2022年，8月28日§5.5连续信道及其容量－14这又是凸函数在约束下求极值的问题若极值不发生在边缘上，第九十五页，共一百二十四页，2022年，8月28日§5.5连续信道及其容量－15若极值发生在边缘上，注水功率PN1PS1PN2PS2PS3PS4PS5PN3PN4PN5PN6PN7PN8PN9PS7PS9功率第九十六页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量模拟信道：在时间和取值上都连续的信道光纤，电缆，电磁波空间传播我们仅研究非常特殊的一类模拟信道：AWGN带宽有限：W加性噪声：y(t)=x(t)+z(t)白色噪声：平稳遍历随机过程，功率谱密度均匀分布于整个频域，即功率谱密度（单位带宽噪声功率）为一常数高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数服从高斯分布第九十七页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量－4广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C

对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：参见傅祖芸第二版p140页现将2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。第九十八页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量Shannon公式定理5.3：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,f)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式。则单位时间T=1时的容量为：第九十九页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量证明：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：

同时，在消息序列的互信息中已证明当信源、信道满足无记忆时，下列结论成立：由信道容量定义，有第一百页，共一百二十四页，2022年，8月28日例2、在图片传输中，每帧约为2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。高斯白噪声加性信道单位时间的信道容量：Ct=2.25×106×log16×30=2.7×108（bit/s)Ct=Flog(1+S/N)

而：10lg(S/N)=30dBS/N=103F=(2.7×108)/log(1+103)≈2.7×107

(HZ)第一百零一页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量它给出了在信道中传输信号的三个物理参量：F、T、之间的辩证关系。Shannon公式的物理意义TtFf三者的乘积是一个“可塑”性体积（三维）。三者间可以互换。第一百零二页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量－

信道与信息传输要求的匹配1预处理器（Ⅰ）限带加性白色高斯噪声信道（Ⅱ）后处理器（Ⅲ）第一百零三页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量－

信道与信息传输要求的匹配2在相同频带下用时间换取信噪比若则重传、弱信号累积接收基于这一原理。第一百零四页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量－

信道与信息传输要求的匹配3用时间换取频带或用频带换取时间扩频－－缩短时间：通信电子对抗、潜艇通信窄带－－增加时间：电话线路传准活动图象第一百零五页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量－

信道与信息传输要求的匹配4用频带换取信噪比：扩频通信原理。当称为扩频因子或或扩频系数其中

－雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。深空通信中（功率受能源限制，频谱资源相对丰富），采用两电平数字通信方式有效利用信道容量。第一百零六页，共一百二十四页，2022年，8月28日

用信噪比换取频带多进制多电平多维星座调制方式的基本原理卫星、数字微波中常采用的有：多电平调制、多相调制、高维星座调制(M-QAM)等等，它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。§5.6:模拟信道及其容量－

信道与信息传输要求的匹配5第一百零七页，共一百二十四页，2022年，8月28日在增加信道通带的宽度而不改变信号的平均功率的情况下增大信道容量的极限可实现区第一百零八页，共一百二十四页，2022年，8月28日在增加信号的平均功率而不改变信道通带的宽度的情况下增大信道容量的极限因为所以，随着Ps的增长，Ct的增长速度不断减少，直至趋于零。可实现区第一百零九页，共一百二十四页，2022年，8月28日

－Shannon公式另一种理解：设为噪声密度，即单位带宽的噪声强度；结论：Eb/N0的最小值是在带宽趋于无限时达到的，这一最小值称为香浓限，它表明传输1bit信息所需要的能量至少为0.693N0则：设Eb

表示同样噪声强度下传输1bit信息所需的最小能量，要使信道的传输速率达到信道容量Ct,则至少需要的平均功率PS=CtEb，第一百一十页，共一百二十四页，2022年，8月28日§5.6:模拟信道及其容量－Shannon公式5讨论信道容量及容量费用函数的目的：不是为了实现可靠传输（这是信道编码的目的）只是为了实现最大限度达到信道的信息传输能力关于Shannon公式条件是加性高斯白噪声（AWGN)信道下给出的是S、N、F与信道容量（最大信息传输速率）的关系没有给出S、N、F与差错概率的关系第一百一十一页，共一百二十四页，2022年，8月28日信道最大数据传输率：Nyquist&ShannonM

最大数据率(Ct)26000bps412000bps818000bps1624000bps3230000bps6436000bpsCt=2Flog2MF=带宽M=信号电平级数话音级线路的信道容量计算(3000Hz)Nyquist公式为估算已知带宽信道的最高速率提供了依据。Nyquist公式：用于理想低通信道第一百一十二页，共一百二十四页，2022年，8月28日非理想信道实际的信道上存在三类损耗：衰减、延迟、噪声。衰减信道的损耗引起信号强度减弱，导致信噪比S/N降低。延迟信号中的各种频率成分在信道上的延迟时间各不相同，在接收端会产生信号畸变。噪声

热噪声：由导体内的热扰动引起，又称为白噪声。串扰：信道间产生的不必要的耦合。例：多对双绞线脉冲噪声：非连续、随机、振幅较大。多由外部电磁干扰造成（闪电、大功率电机启动等）。噪声将破坏信号，产生误码。持续时间0.01s的干扰可以破坏约560个比特（56Kbps）。第一百一十三页，共一百二十四页，2022年，8月28日Shannel公式：高斯噪声干扰信道