第五章：信道与信道容量-z.ppt

1、第五章：信道与信道容量,本章节达到的目的,了解信息论研究信道的目的、内容 了解信道的基本分类并掌握信道的基本描述方法 掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系 能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道） 了解信道容量/容量代价函数在研究通信系统中的作用 理解香农第一定理又称无噪信道编码的物理意义 进一步从信息论的角度理解香农公式及其用途,概念问题,熵熵率无失真信源编码定理中的作用 互信息信道容量信道编码定理中的作用,回顾互信息函数的性质1,互 信息与信道输入概率分布的关系 性质1 ：I(X; Y)是信道输

2、入概率分布p(x)的上凸函数.,信道,回顾互信息函数的性质2,互信息与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x)的下凹函数.,回顾互信息函数的性质3,互信息与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的,即：,则：,回顾互信息函数的性质4,互信息与信道输入符号相关性的关系 性质4: 信道是离散无记忆的,即：,则：,回顾互信息函数的性质5,性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的,信息论对信道研究的内容 信道的建模：用恰当的输入/输出两个随机过程来描述 信道容量 不同条件下充分利用信道容量的各种办法 什么是信道？ 信道的作用

3、 研究信道的目的,5.1:概述1,5.1:概述2,什么是信道？ 信道是传送信息的载体信号所通过的通道。 信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。,5.1:概述3,信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。 信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。 信道容量研究内容：在什么条件下，通过信道的信息量最大。,5.1:概述4,研究信道的目的 实现信息传输的有效性和可靠性 有效性：充分利用信道容量，使传输的信息量尽可能大

4、可靠性：通过信道编码降低误码率 结合通信系统研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。 通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性 信息论研究信息的传输问题（假定传输特性已知）,5.2:信道的分类与描述,信道分类 信道描述,5.2:信道分类与描述1,信道分类 从工程物理背景传输媒介类型； 从数学描述方式信号与干扰描述方式； 从信道本身的参数类型恒参与变参； 从用户类型单用户与多用户；,5.2:信道分类与描述2,5.2:信道分类与描述3,5.2:信道分类与描述4信道划分是人为的，比如,信源,干扰,编码,译码,信宿,传输媒介,其

5、中： 为狭义的传输型信道，研究调制解调理论或模拟通信时常引用它，为连续信道；,为广义的传输型信道，研究数字通信、编码解码时常引用它，为离散信道；,为半离散半连续的传输型信道,5.2:信道分类与描述5,5.2:信道分类与描述6,信道描述 信道可以引用三组变量来描述： 信道输入概率空间： 信道输出概率空间： 信道概率转移矩阵： 即： 它可简化为：,5.2:信道分类与描述7,其中： 而,5.2:信道分类与描述8,当K=1时，退化为单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道BSC：,且：,5.3:离散无记忆信道及其信道容量,

6、离散无记忆信道及其信道容量 一般离散无记忆信道容量的计算 离散无记忆信道的信道容量定理 对称的离散无记忆信道容量的计算 香农第一定理的物理意义,5.3:离散无记忆信道及其信道容量-1,离散消息序列信道,信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感电容、无线信道中电波传布的衰落现象等。,5.3:离散无记忆信道及其信道容量-2,信道的任务,尽可能有效且可靠地传输信源的信息,离散通信信道 X=x1,x2,xr,信息流,信息流通过特定信道（信道容量和噪声特性已定）,传输可靠性 信道噪声,信道容量 传输有效性,5.3:离散无记忆信道及其信道容量-3,H(X/Y) 信道疑义度/损失熵。 Y关

7、于X的后验不确定度。表示收到变量Y后，对随机变量X仍然存在的不确定度。代表了在信道中损失的信息。 H(X) X的先验不确定度/无条件熵。 I(X;Y)收到Y前、后关于X的不确定度减少的量。从Y获得的关于X的平均信息量。 H(Y/X)噪声熵。表示发出随机变量X后，对随机变量Y仍然存在的平均不确定度。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出X后必能确定对应的Y，而现在不能完全确定对应的Y，这显然是由信道噪声所引起的。,5.3:离散无记忆信道及其信道容量-4,5.3:离散无记忆信道及其信道容量-5,如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存

8、在，一般只能接收到I(X;Y)。 信道的信息传输率： 就是平均互信息 R=I(X;Y)。 输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)H(X)。,引出数据处理定理,信道容量,数据处理定理,串联信道 数据处理定理,串联信道,在一些实际通信系统中，常常出现串联信道。例如 微波中继接力通信就是一种串联信道。 信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它与前面传输数据的信道构成串联信道。 下图表示两个单符号离散信道串联的情况。,信道1 P(Y/X),信道2 P(Z/Y),串联信道,信道1的输出Y与其输入X统计相关，信道2的输出Z与其输入Y统计相关

9、，一般来讲，Z与X统计相关。 级联的结构决定了Z的取值在给定Y以后与X将不再有关 在概率论中称XYZ的这种关系为XYZ组成马尔科夫链。,信道1 P(Y/X),信道2 P(Z/Y),串联信道,信道1 P(Y/X),信道2 P(Z/Y),数据处理定理,数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。即 I(X;Z)I(X;Y) I(X;Z)I(Y;Z),结论： 两级串联信道输入与输出消息之间的平均互信息量既不会超过第级信道输入与输出消息之间的平均互信息量，也不会超过第级信道输入与输出消息之间的平均互信息量。 当对信号/数据/消息进行多级处理时

10、，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。 当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。,5.3:离散无记忆信道及其信道容量-5,I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj /xi)的二元函数：,当信道特性p(yj /x

11、i)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。 调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。,5.3:离散无记忆信道及其信道容量-6,信道容量C：在信道中最大的信息传输速率， 单位： 比特/信道符号。 单位时间的信道容量Ct： 若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为 Ct实际是信道的最大信息传输速率。,5.3:离散无记忆信道及其信道容量-7,C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(x

12、i)调整好以后， C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关； 信道容量是完全描述信道特性的参量； 信道容量是信道能够传送的最大信息量。,5.3:离散无记忆信道及其信道容量-8,离散无记忆信道及其信道容量,由消息序列互信息 性质,对离散无记忆信道，有： （性质4）,则,当且仅当信源(信道入)无记忆时，“等号”成立（性质3、4推论）,5.3:离散无记忆信道及其信道容量-9,离散无记忆信道及其信道容量的进一步理解 Cmax存在互信息性质1，上凸函数极值存在 达到Cmax时的两个条件： 信道输入（信源）是离散无记忆的 信道输入的概率分布是使I(X,Y)达到最大的分布

13、,C的值不是由信源的p(x)决定的，而是由 决定的,C是信道作为信息传输通道的性能度量 只有信道输入（信源）X（x1x2xn)满足一定条件时，才能充分利用信道传输信息的能力,5.3:离散无记忆信道及其信道容量-10,一般离散无记忆信道容量的计算 思路：将问题转化为：有界闭区域上求约束极值 方法：1、求区域内极值 2、求边界极值 3、求前两者的最大值 具体实现： 1、简单情况下直接求解（如单符号信道、对称信道） 2、解方程 3、迭代法（见朱雪龙2001版p124页）,信道容量 约束条件：,求信道容量转化为求 对信源概率分布 的条件极值。,5.3:离散无记忆信道及其信道容量-11,解：,引入辅助函

14、数,用拉格朗日乘子法求解,5.3:离散无记忆信道及其信道容量-12,5.3:离散无记忆信道及其信道容量-13,令,则,5.3:离散无记忆信道及其信道容量-14,在某些条件下利用这个方法可以计算C：,令,5.3:离散无记忆信道及其信道容量-15,这是一个含有s个未知数、由r个方程组成的方程组。 当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。,5.3:离散无记忆信道及其信道容量-16,5.3:离散无记忆信道及其信道容量-17,一般离散信道容量的计算步骤（傅祖芸第二版p107）,注意： 在第步信道容量C被求出后，计算并没有结束，必须解出相应的p(xi) ，并确认所有的p(xi)0时，所求的C才

15、存在。 在对I(X;Y)求偏导时，仅限制 ，并没有限制p(xi)0 ，所以求出的p(xi)有可能为负值，此时C就不存在，必须对p(xi)进行调整，再重新求解C。 近年来人们一般采用计算机，运用迭代算法求解。,5.3:离散无记忆信道及其信道容量-18,定理：(Kuhn-Tucker条件),设 是定义在N维无穷凸集S,则 在 达到S上极大值的充要条件是：,上的可微上凸函数，设,5.3:离散无记忆信道及其信道容量-19,5.3:离散无记忆信道及其信道容量-20,离散无记忆信道的信道容量定理 定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充

16、要条件是,其中：,是信源字母ak传送的平均互信息，C就是这一信道的信道容量。,5.3:离散无记忆信道及其信道容量-21,是 的平均值。即：,但提高 ，又使 降低,反复调整 ，使 相等且都等于C,定理只给出了可使 的p(x)的充要条件 ，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C,求解信道容量过程实际信源的概率分布进行调节的过程。 通过不断调节信源的概率分布，找到信道对应的最大信息传输速率,找到 最大的 ，提高,5.3:离散无记忆信道及其信道容量-22,对称的离散无记忆信道信道容量 对称的离散无记忆信道 矩阵中的每一行都是第一行的重排列； 矩阵中的每一列都是第一列的重排列。,定理5

17、.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。,5.3:离散无记忆信道及其信道容量-23,对称信道,对称信道性质,对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。,5.3:离散无记忆信道及其信道容量-24,5.3:离散无记忆信道及其信道容量-25,行对称信道,5.3:离散无记忆信道及其信道容量-26,BSC信道信道容量的计算,5.3:离散无记忆信道及其信道容量-27,由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：,于是：,这里：,5.3:离散无记忆信道及其信道容量-28,r个输入s个输出的对称离散

18、信道的信道容量：,其中 是信道矩阵中的任意一行中的元素。,若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率 p 均匀地分配到 r-1 个符号，则称此信道为强对称信道或均匀信道。,5.3:离散无记忆信道及其信道容量-29,强对称离散信道的信道容量：,强对称信道具备四个特征： 1. 矩阵中的每一行都是第一行的排列；(行对称) 矩阵中的每一列都是第一列的排列。(列对称) 2. 信道输入与输出消息（符号）数相等，即 r=s。 3. 错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到r-1个符号上。 4. 不仅每一行元素之和为1，每一列元素之和也为1。 显然，对

19、称性的基本条件是1，而2、3、4是加强条件。,5.3:离散无记忆信道及其信道容量-30,5.3:离散无记忆信道及其信道容量-31,二元删除信道信道容量的计算,a1,a2,b1,b3,b2,5.3:离散无记忆信道及其信道容量-32,由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：,于是：,5.3:离散无记忆信道及其信道容量-33,准对称离散信道的信道容量：,设信道矩阵可划分为n个子矩阵，其中Nk是第k个子矩阵中某行元素之和，Mk是第k个子矩阵中某列元素之和。,5.3:离散无记忆信道及其信道容量-34,5.3:离散无记忆信道及其信道容量-35,0.5,1

20、.0,0,0.5,1.0,c,b,a,Ca= Cb=,a:BSC信道的信道容量曲线 b:二进制删除信道的信道容量曲线,例1、已知信道转移概率矩阵如下，求此信道的信道容量。 YX 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3,解：由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：,5.3:离散无记忆信道及其信道容量-36,香农第一定理（变长无失真信源编码定理）的物理意义,从信道编码的角度看，用 个码元表示一个原始信源符号，信道的信息传输率为：,5.3:离散无记忆信道及其信道容量-37,香农第一定理（无失真信源编码

21、定理）的物理意义 无噪无损信道的信道容量：C=H(X)=H(Y)=logs 再看当平均码长达到极限值时R=logs 此时信道的信息传输率R无噪信道的信道容量C 无失真信源编码的实质： 对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。 又称：无噪信道编码定理 若信道的信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息；但要使信道的信息传输率R大于C而无差错地传输信息则是不可能的。

22、,5.3:离散无记忆信道及其信道容量-38,达到信道容量C的时候，输入字母分布唯一吗？,反例：,令,则,输入任何分布， 输出都达到C,又一例：,令输入分布(0.5,0,0.5,0）,令输入分布(0.25,0.25,0.25,0.25）,5.3:离散无记忆信道及其信道容量-39,输出字母的唯一性 定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。,证明见朱雪龙2001版信息论p132页。,例如：对称信道，达到信道容量时输出唯一（等概）,5.3:离散无记忆信道及其信道容量-40,输入字母在什么条件下唯一？ 定理：在达到信道容量时，如果输入

23、概率分布中具有零概率的字母总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。,定理不是说具有最大数目零概率的最佳分布是唯一的。 定理只说明概率分布由同一组包含零的数字的不同排列构成。,证明见朱雪龙2001版信息论p134页。,5.4:并联信道及其信道容量,5.4:并联信道及其信道容量,输入并接信道可以看成一个单输入多输出的,输出为,信道,其输入为,性质：输入并联信道的容量大于任何一个单独的信道，小于max H(X)。,5.4:并联信道及其信道容量,思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X) 通信中的分集，就是典型的输入并联

24、信道,5.4:并联信道及其信道容量,并用信道是多输入，多输出。X和Y由彼此独立的N个信道传输。,性质并用信道的容量,通信中的复用，就是典型的并用信道,5.4:并联信道及其信道容量,现代通信技术：MIMO和CMIMO(Cooperative MIMO ),SISO 单入单出,“真正的自利行为就是协作” 无线网络的协作,Frank,MIMO多入多出,CMIMO 节点通过协同形成MIMO,5.4:并联信道及其信道容量,和信道随机应用N 个信道中的一个，构成一输入/一输出信道。,性质：和信道的容量是，,Vision 一种新型的通信技术机会通信（Opportunistic Comm.）,信道的使用概率,

25、5.4:并联信道及其信道容量,机会通信（David Tse, 2001）,衰落是无线信道的固有特征，需要克服 但是在无线网络中，衰落可能带来增益,多用户广播信道,广播信道容量,5.4:并联信道及其信道容量,衰落信道为什么会提高容量？,在一个多用户独立衰落信道里，每一时刻总可能找到一个拥有较好信道的用户 如果总是服务较好的用户，总体容量会增加 传统分集技术的主要目的是改善慢衰落信道中通信的可靠性 多用户分集的作用是增加快衰落信道中总的吞吐量 事实上，当衰落不足的时候，还可以人为引入衰落制造出随机波动范围大的信道，来提高系统总的吞吐量,5.5：连续信道,连续信道 时间依旧离散 但是取值：离散连续

26、引发的问题 离散随机变量的互信息非负、有限 取I(p,Q)最大值得到离散信道的容量 连续随机变量互信息非负，但不一定有限 这样互信息最大值为信道容量的定义就失去了意义,5.5：连续信道,问题出在什么地方？,连续随机变量的信息量无穷大（无理数具有无穷多的细节） 但是实际上我们无法生成信息量为无穷大的变量 总存在物理的约束：能量受限b(x)=x2 因此，连续信道输入输出互信息的优化是在这些约束前提下进行的。,定义：设对于连续无记忆信道 ，有一个函数 ，对每一个输入序列 。称 为 的费用。设随机矢量 的联合分布为 ，则平均费用为：,5.5:连续信道及其容量1回顾,连续随机变量的熵微分熵 连续随机变量

27、最大熵分布依赖于约束条件 峰值功率受限条件下均匀分布的随机变量具有最大微分熵 平均功率受限条件下高斯分布的随机变量具有最大微分熵 连续信道的输入所取的值域不足以完全表示对信道输入的限制还有约束条件 Cmaxh(Y)-h(n) C取决于信道的统计特性（加性信道即噪声的统计特性） 输入随机矢量X所受的限制条件（一般考虑平均功率受限时） C的单位为：比特/N个自由度 连续信道信道容量容量费用函数描述,5.5:连续信道及其容量2,研究连续信道容量的方法 基本、简单的信道：无记忆加性噪声信道 信道噪声为高斯时 何种分布输入能达到对信道的充分利用 信道输入为高斯时 何种分布噪声对信道传输信息影响最大,5.

28、5:连续信道及其容量3,一些基础知识： 对于加性信道Y=X+N X：信道输入 N：信道噪声 Y：信道输出 信道的转移概率分布函数就是N的分布函数 b(x)是信道输入为x时对应的费用 如果X、Y、N中有两个是高斯分布，另一个也是高斯分布的 高斯分布的随机变量的微分熵h(XG) 高斯分布的连续随机变量的微分熵h(XG)的值只与方差 有关，与均值无关,5.5:连续信道及其容量4,在费用约束的前提下，求输入输出互信息的最大值，得到容量-费用函数。,连续信道的“容量-费用函数”,定义：设连续信道的N维联合输入输出分别为X和Y，则其容量-费用函数定义为：,若 存在最大值时,5.5:连续信道及其容量5,当输

29、入和信道无记忆稳恒时，因为,5.5:连续信道及其容量6,无记忆加性噪声信道的信道容量费用函数 无记忆加性噪声信道的前向转移概率密度函数就是噪声N的概率密度函数，即： 其中,5.5:连续信道及其容量7,于是有： 取信道输入信号的平均功率E(X2)作为信息传输的费用 则有：无记忆加性噪声信道的信道容量费用函数为： 因h(N)与px(x)无关，求解C(PS)问题转化为只需对h(Y)进行,5.5:连续信道及其容量8,无记忆加性高斯噪声信道的信道容量费用函数（朱雪龙p139） 条件：NZG 问题：求使C(PS)最大时的X的概密分布函数 求解步骤：,因为：,要使C(PS) 最大使h(Y)最大,在PS约束条

30、件下，当YYG时h(Y)达到最大,XXG，则：,5.5:连续信道及其容量9,结论：当信道输入信号为高斯分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。,换句话说：在无记忆加性高斯噪声信道中传输信息时，高斯分布的信号是最有效的-即在同样信号功率下，信道可以传输最多的信息,5.5:连续信道及其容量10,无记忆加性噪声信道对高斯分布的输入信号的影响 条件：XXG，约束条件PS 问题：考察何种概密分布的N使I(X;Y)最小 求解步骤： 因为 而当NNG时，YYG 此时： 可以证明：朱雪龙p140页 结论：无记忆加性高斯噪声信道对高斯分布的输入信号具有 最大的破坏力。,高斯分布特性：,-作

31、为信道输入信号的概密分布时，有利于信息传输 -作为加性信道噪声概密分布时，不利于信息传输 -共同说明高斯分布的随机变量具有最大微分熵,5.5:连续信道及其容量11,一般无记忆加性噪声信道的信道容量费用函数,- 无法给出解析形式的解，但可以给出其上下界表达式,-下界：根据前面的讨论很容易得,-上界：,当输入信号功率限制在PS以下，噪声功率限制在PN以下 则输出信号功率将= PS PN。 此时 所以有：,5.5连续信道及其容量12,输入输出均正态,输入为正态分布,最佳输入分布,5.5连续信道及其容量13,无记忆加性高斯噪声信道的并联,等号是在各分量统计独立时才成立,5.5连续信道及其容量14,这又

32、是凸函数在约束下求极值的问题,若极值不发生在边缘上，,5.5连续信道及其容量15,若极值发生在边缘上，,注水功率,5.6:模拟信道及其容量,模拟信道：在时间和取值上都连续的信道 光纤，电缆，电磁波空间传播 我们仅研究非常特殊的一类模拟信道：AWGN 带宽有限：W 加性噪声：y(t) = x(t)+z(t) 白色噪声：平稳遍历随机过程，功率谱密度均匀分布于整个频域，即功率谱密度（单位带宽噪声功率）为一常数 高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数服从高斯分布,5.6:模拟信道及其容量4,广义平稳的限频(F)、限时(T)、限功率(P)白色高斯信道及其容量C 对限频(F)、限时(T)的连续过

33、程信源可展成下列取样函数序列：参见傅祖芸第二版p140页 现将2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。,5.6:模拟信道及其容量,Shannon公式 定理5.3：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,f)，当它通过一个功率受限(P)的白色高斯信道，其容量为： 这就是著名的Shannon公式。 则单位时间T=1时的容量为：,5.6:模拟信道及其容量,证明：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：,同时，在消息序列的互信息中已证明当信源、信道满足无记忆时，下列结论成立：,由信道容量定义，有,例2、在图片传输中，每帧约为2.25106

34、个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。,高斯白噪声加性信道单位时间的信道容量：,Ct= 2.25106log1630=2.7108（bit/s),Ct=F log(1+S/N),而：10lg(S/N)=30dBS/N=103,F=(2.7108 )/log(1+103) 2.7107 (HZ ),5.6:模拟信道及其容量,它给出了在信道中传输信号的三个物理参量：F、T、 之间的辩证关系。,Shannon公式的物理意义,T,t,F,f,三者的乘积是一个“可塑”性体积（三维）。,三者间可以互换。

35、,5.6:模拟信道及其容量 信道与信息传输要求的匹配 1,预处理器 （）,限带加性白色 高斯噪声信道 （）,后处理器 （）,5.6:模拟信道及其容量 信道与信息传输要求的匹配 2,在相同频带下用时间换取信噪比,若,则,重传、弱信号累积接收基于这一原理。,5.6:模拟信道及其容量 信道与信息传输要求的匹配 3,用时间换取频带或用频带换取时间,扩频缩短时间：通信电子对抗、潜艇通信 窄带增加时间：电话线路传准活动图象,5.6:模拟信道及其容量 信道与信息传输要求的匹配 4,用频带换取信噪比：扩频通信原理。,当,雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。 数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。 深空通信中（功率受能源限制，频谱资源相对丰富），采用两电平数字通信方式有效利用信道容量。,用信噪比换取频带 多进制多电平多维星座调制方式的基本原理 卫星、数