第四章：信道与信道容量

1、第四章：信道与信道容量信道与信道容量 本章节达到的目的n了解信息论研究信道的目的、内容n了解信道的基本分类并掌握信道的基本描述方法n掌握信道容量/信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系n能够计算简单信道的信道容量/信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）n了解信道容量/容量代价函数在研究通信系统中的作用概念问题n熵熵率无失真信源编码定理中的作用n互信息信道容量信道编码定理中的作用回顾互信息函数的性质1n互 信息与信道输入概率分布的关系性质1 ：I(X; Y)是信道输入概率分布p(x)的上凸函数.I(X; Y)p(x)回顾互信息函数的性质2n

2、信息量与信道转移概率分布的关系 性质2 ：I(X; Y)是信道转移概率分布p(y/x)的下凹函数.I(X; Y)p(y/x)回顾互信息函数的性质3n信息量与信道输入符号相关性的关系 性质3: 信道的输入是离散无记忆的,回顾互信息函数的性质4 信息量与信道输入符号相关性的关系 性质4: 信道是离散无记忆的,回顾互信息函数的性质5n性质3、性质4的推论： 信道的输入和信道本身都是离散无记忆的信道与信道容量 n概述概述n信道的分类与描述信道的分类与描述 n离散无记忆信道及其容量离散无记忆信道及其容量 n连续信道及其容量连续信道及其容量 n容量代价函数容量代价函数C(F) 4.1:概述n信息论对信道研

3、究的内容n什么是信道？n信道的作用n研究信道的目的5.1:概述1n信息论对信道研究的内容：n信道的建模：用恰当的输入/输出两个随机过程来描述n信道容量n不同条件下充分利用信道容量的各种办法5.1:概述2n什么是信道？n信道是传送信息的载体信号所通过的通道。n信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。5.1:概述3n信道的作用n在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。5.1:概述4n 研究信道的目的n实现信息传输的有效性和可靠性n有效性：充分利用信道容量n可靠性：通过信道编码

4、降低误码率n在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。n通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性n信息论研究信息的传输问题（假定传输特性已知）4.2:信道的分类与描述n信道分类 n信道描述 4.2:信道分类与描述1n信道分类信道分类n从工程物理背景传输媒介类型；n从数学描述方式信号与干扰描述方式；n从信道本身的参数类型恒参与变参；n从用户类型单用户与多用户；光缆波导混合介质光波卫星电离层对流层散射视距接力移动微波超短波短波中波长波空气介质中同轴（长途）小同轴（长途）对称平衡电缆（市内）电缆明线固体介质传输媒介类

5、型14.2:信道分类与描述2码间干扰衰落交调乘性干扰脉冲噪声有源散弹噪声无源热噪声线性叠加干扰有干扰略；无干扰：干扰少到可忽干扰类型有记忆无记忆半连续半离散连续离散信号类型信号与干扰类型24.2:信道分类与描述3变参信道（时变信道）恒参信道（时不变信道信道参量类型34.2:信道分类与描述44.2:信道分类与描述5多用户信道（通信网）信）二用户信道（点对点通用户类型44.2:信道分类与描述6n信道描述信道描述n信道可以引用三组变量来描述：信道输入概率空间：信道输出概率空间：信道概率转移矩阵： P即： P ，它可简化为： 。)(,xpXK)(,yqYK)(xy)(,xpXK)(xy)(,yqYK)

6、,(,KKYPX4.2:信道分类与描述7其中： 而 而 kkkkmmKnnKqqyyyqYppxxxpX1111)()(出入信道KiXx , 2 , 1kniKjYy , 2 , 1kmj)()/()()(11111kkkknmnmxyPxyPxyPxyPP4.2:信道分类与描述8n当K=1时，退化为单个消息（符号）信道单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对称信道二进制单消息对称信道BSC：且 , , 0 00 01 11 11-Pe1-PePePe输输入入 1 1 , 0 x输输出出 1 , 0 y

7、 110,1,0)(ppxpX1 ,1)(P10,1,0)(qqyqY4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道容量的计算离散无记忆信道容量的计算离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理对称的离散无记忆信道容量对称的离散无记忆信道容量香农第一定理的物理意义香农第一定理的物理意义4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-1n离散消息序列信道 有记忆信道平稳，有限状态有记忆信道平稳无记忆一般无记忆无记忆信道离散消息序列信道 :4.3:离散无记忆信道及其信道容量离散无记忆信道及其信

8、道容量-2n离散无记忆信道及其信道容量离散无记忆信道及其信道容量 由消息序列互信息由消息序列互信息 性质性质 对离散无记忆信道，有：对离散无记忆信道，有： （性质性质4）则则 )()()(1xyxyPxyPKkkkkP 平稳无记忆);(YXI);();(1kKkkYXIYXIkKkKkkkkpkkKkxpxpKCCYXIYXIYXIci111)()( ),(max ),(max);(max平稳当且仅当信源(信道入)无记忆时，“等号”成立（性质（性质3、4推论）推论） 4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-3n离散无记忆信道及其信道容量的进一步离散无记忆信道及其信道容量的

9、进一步理解理解nCmax存在存在互信息性质互信息性质1，上凸函数极值存在，上凸函数极值存在n达到达到Cmax时的两个条件：时的两个条件：n信道输入（信源）是离散无记忆的信道输入（信源）是离散无记忆的n信道输入的概率分布是使信道输入的概率分布是使I(X,Y)达到最大的分布达到最大的分布nC的值不是由信源的的值不是由信源的p(x)决定的，而是由决定的，而是由p 决定的决定的 nC是是信道信道作为信息传输通道的作为信息传输通道的性能度量性能度量n只有信道输入（信源）只有信道输入（信源）X（x1x2xn)满足一定条件时，满足一定条件时，才能充分才能充分利用利用信道传输信息的能力信道传输信息的能力 )(

10、xy4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-4n离散无记忆信道容量的计算离散无记忆信道容量的计算n思路：问题转化为：有界闭区域上求约束极值n方法：1、求区域内极值 2、求边界极值 3、求前两者的最大值n具体实现：n1、简单情况下求解（如单符号信道、对称信道）n2、解方程n3、迭代法n4、其他4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-5n离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理 定理定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是 其中： 是信源字母ak传送的平均互信息

11、，C就是这一信道的信道容量。0)( ,| );(0)( ,| );(*当当kppkkppkapCYaxIapCYaxI)()|(1log)|();(jkjbpabqkJjjkabqYaxI4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-6n离散无记忆信道的信道容量定理理解离散无记忆信道的信道容量定理理解n在这种分布下，每个概率0的字母提供的互信息C，每个概率0的字母提供的互信息Cn当且仅当这种分布时，可使I(p,Q)达到最大值CnI(X,Y)是I(x=ak;Y)的平均值。即：n想提高I(X,Y)，可以提高p(ak)n但提高p(ak)，又使I(x=ak;Y)降低n反复调整p(ak)

12、，使I(x=ak;Y)相等且都等于Cn此时I(X,Y) Cn定理只给出了可使I(X,Y) C的p(x)的充要条件 ，并无具体分布及C的值，但可以帮助求解简单情况部分信道的C);()(),(YaxIapYXIkkk4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-7n对称的离散无记忆信道对称的离散无记忆信道信道容量信道容量n对称的离散无记忆信道输出字母的集合可以划分为若干子集，对每个子集有：n矩阵中的每一行都是第一行的重排列；n矩阵中的每一列都是第一列的重排列。n定理定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。4.3:离散无记忆信道及其信道容量离散

13、无记忆信道及其信道容量-8n对称信道31316161616131311P31316161616131313121616121613131212161313121616131212p4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-92 . 07 . 01 . 02 . 01 . 07 . 021aaQa1a2b1b2b30。70。10。10。20。7a1a2b1b2b30。20。70。70。10。10。21 . 07 . 02 . 02 . 01 . 07 . 021aaQ4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-10nBSC信道信道容量的计算a1a2b1b21

14、-1-4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-11n由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有： 于是： 这里：2112211211)()()|()()(bpbpabqapbpkkk)()|(21log)|();(jkjbpabqjkjkabqYaxIC)(1loglog)1 (2/12/11H)1log()1 (log)(H应用举例3.2(18)、3.6(23)4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-12n二元删除信道信道容量的计算a1a2b1b21-1-b34.3:离散无记忆信道及其信道容量离散无记

15、忆信道及其信道容量-13n由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有： 于是： )()1 ()|()()()1 ()|()()(3212212211211bpabqapbpabqapbpkkkkkk)()|(31log)|();(jkjbpabqjkjkabqYaxIC1loglog)1 ()1(1214.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-140.51.000.51.0cbaCa=Cb=)(1H1a:BSC信道的信道容量曲线 b:二进制删除信道的信道容量曲线 求对称信道离散矩阵P的信道的容量 1/2 1/3 1/6 P=

16、1/6 1/2 1/3 1/3 1/6 1/2 C=logs-H(p1,p2,p3)=log3-H(1/2,1/3,1/6)=log3+1/2log1/2+1/3log1/3+1/6log1/6=1.126 bit/s 结果表明:只有输入等概率分布,信道容量达到最大,平均每个符号传输最大信息量为1.126比特1 无损信道一个输入对多个互不相交的输出,因为损失熵H(X/Y)=0故 I(X,Y)=H(X) C=logr r为输入个数2 确定信道一个输出对多个互不相交的输入,因为噪声熵H(Y/ X)=0故 I(X,Y)=H(Y) C=logs s为输出个数3 无损确定信道 一个输入对一个输出,因为损

17、失熵H(X/Y)=0 噪声熵H(Y/ X)=0 故 I(X,Y)=H(X)= H(Y) C=logr r为输入个数离散无噪信道4.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-15n香农第一定理（变长无失真信源编码定理）的物香农第一定理（变长无失真信源编码定理）的物理意义理意义n （达到极限时等号成立）（达到极限时等号成立） 从信道的角度看，信道的信息传输率从信道的角度看，信道的信息传输率 （达到极限时等号成立）（达到极限时等号成立） MUHllog)(码符号）比特）（信源符号码符号信源符号比特/(/)(lUHlUHRMRlog4.3:离散无记忆信道及其信道容量离散无记忆信道及其信

18、道容量-16n香农第一定理（变长无失真信源编码定理）的物理意义香农第一定理（变长无失真信源编码定理）的物理意义n无噪无损信道的信道容量：无噪无损信道的信道容量：C=logMn再看当平均码长达到极限值时再看当平均码长达到极限值时n此时信道的信息传输率此时信道的信息传输率R无噪信道的信道容量无噪信道的信道容量Cn无失真信源编码的实质：无失真信源编码的实质：n对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到

19、最大，从而使信道的信息传输率达到最大，从而使信道的信息传输率R达到信道容量达到信道容量C，实现信源与，实现信源与信道理想的统计匹配。信道理想的统计匹配。n又称：无噪信道编码定理又称：无噪信道编码定理n若信道的信息传输率若信道的信息传输率R不大于信道容量不大于信道容量C，总能对信源的输出进行适，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传传输信息；但要使信道的信息传输率输信息；但要使信道的信息传输率R大于大于C而无差错地传输信息则是而无差错地传输信息则是不可能的。不可能的。MRlog4.5:信道容量In

20、formation source,1qssSEncoderS XDiscrete Communication ChannelX=x1,x2,xrDecoderX SInformation receiver,1qssS连续信道模拟信道n连续信道：n特点1：时间离散、幅度连续n特点2 ：每个时刻是取值连续的单个随机变量（vs离散序列)n研究方法：N个自由度的随机变量，取 研究平均在每个自由度上的Cn模拟信道：n特点1：时间连续、幅度连续n特点2：一族时间样本函数，每个时间样本函数都是时间、幅度取值连续的n研究方法：1、限频、限时时离散、量化为离散随机矢量 2、为避免有记忆随机矢量研究的困难，找到一

21、组正交完备函 数集，展开为级数，使所得到系数组成的随机矢量相互独 立或线性无关。n注意：1、限时频谱无限，限频时间无限。 2、认为函数在F以上或T以外取值很小，限时、限频不会引起函数的严重 失真NAnalog source模拟通信系统SourcecodingChannelcodingAnalogchannelChanneldecodingSourcedecodingDestinationA/DconverterModulationDemodulationD/Aconverter0 1 1 0 1 0 1 1 1 0 0 1 0 0 1 1 1 1 0 1 0 0 1 1 0 1 5.4:连续信

22、道及其容量1回顾n连续随机变量的熵微分熵（VS离散随机变量）n连续随机变量最大熵分布依赖于约束条件（VS离散随机变量）n峰值功率受限条件下均匀分布的随机变量具有最大微分熵n平均功率受限条件下高斯分布的随机变量具有最大微分熵n连续信道的输入所取的值域不足以完全表示对信道输入的限制还有约束条件nCmaxh(Y)-h(n)nC取决于信道的统计特性（加性信道即噪声的统计特性）n输入随机矢量X所受的限制条件（一般考虑平均功率受限时）nC的单位为：比特/N个自由度n连续信道信道容量容量费用函数描述5.4:连续信道及其容量2nC.F 吴&朱& 傅信道容量n吴：n信道容量：离散信道容量、连续信

23、道容量n容量代价函数：离散信道、连续信道n朱：n信道容量：离散信道n容量费用函数：连续信道&模拟信道n傅：n信道容量：离散信道容量、连续信道容量5.4:连续信道及其容量3n研究连续信道容量的方法n基本、简单的信道：无记忆加性噪声信道n信道噪声为高斯时n何种分布输入能达到对信道的充分利用n信道输入为高斯时n何种分布噪声对信道传输信息影响最大5.4:连续信道及其容量4n一些基础知识： 对于加性信道Y=X+NnX：信道输入nN：信道噪声nY：信道输出n信道的转移概率分布函数就是N的分布函数nb(x)是信道输入为x时对应的费用n如果X、Y、N中有两个是高斯分布，另一个也是高斯分布的n高斯分布的

24、随机变量的微分熵h(XG)n高斯分布的连续随机变量的微分熵h(XG)的值只与方差 有关，与均值无关22212loge加性信道Error Source+EXOutputInputEXY5.5:模拟信道及其容量n模拟信道下的信道容量费用函数及其计算模拟信道下的信道容量费用函数及其计算n广义平稳的限频广义平稳的限频(F)、限时、限时(T)、限功率、限功率(P)白白色高斯信道及其容量色高斯信道及其容量C。nShannon公式公式 nShannon公式的物理意义公式的物理意义nShannon公式的用途公式的用途),(lim)(),(YXItYtXIN5.5:模拟信道及其容量4n广义平稳的限频广义平稳的限

25、频(F)、限时、限时(T)、限功率、限功率(P)白色高斯信道及其容量白色高斯信道及其容量C n对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：n现将这2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。FTFTnFntFntFFnXFwtX)2()2(2sin)2(21),(5.5:模拟信道及其容量 Shannon公式公式1nShannon公式公式n定理定理5.3：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,w)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式公式。则单位时间T=1时的容量为：)1log()1log(

26、2SFTPPFTCNs)log(21SFC 5.5:模拟信道及其容量 Shannon公式公式2n证明：前面已求得单个连续消息（第k个）通过高斯信道以后的容量值为：同时，在消息序列的互信息中已证明当信源、信道满足无记忆时，下列结论成立：由信道容量定义，有)1log()1log(2SFTPPFTCNs);();(1NnnnYXIYXI)1log()1log(212 ),(max),(max2211)()(SFTSFTCNCYXIYXICnNnnnnNnxpxp平稳5.5:模拟信道及其容量 Shannon公式公式3nShannon公式的物理意义公式的物理意义n它给出了决定信道容量它给出了决定信道容量

27、C的是三个信号物理参量：的是三个信号物理参量：F、T、 之间的辩证关系。之间的辩证关系。n三者的乘积是一个三者的乘积是一个“可塑可塑”性体积（三维）。性体积（三维）。n三者间可以互换。三者间可以互换。2S)1log(2STtFf)1log(2SFTC)log(21S 5.5:模拟信道及其容量 Shannon公式公式4Shannon公式的用途一公式的用途一 用频带换取信噪比：扩频通信原理。用频带换取信噪比：扩频通信原理。n雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调雷达信号设计中的线性调频脉冲，模拟通信中，调频优于调幅，且频带越宽，抗干扰性就越强。幅，且频带越宽，抗干扰性就越强。n数字通

28、信中，伪码数字通信中，伪码(PN)直扩与时频编码等，带宽越宽，扩频直扩与时频编码等，带宽越宽，扩频增益越大，抗干扰性就越强。增益越大，抗干扰性就越强。n深空通信中（功率受能源限制，频谱资源相对丰富），采用深空通信中（功率受能源限制，频谱资源相对丰富），采用两电平数字通信方式有效利用信道容量。两电平数字通信方式有效利用信道容量。 注意：有极限注意：有极限02log(1)log(1)log(1)CSWN WSSCFTWN归一化信道容量归一化信道容量关于带宽W的关系图归一化信道带宽归一化信道带宽关于信噪比SNR的关系图 Shannon公式公式另一种形式： 其中， 为噪声密度，即单位带宽的噪声强度，2

29、=N0F; Eb 表示单位符号信号的能量，Eb=STb=S/F； Eb/N0 称为归一化信噪比.也称为能量信噪比能量信噪比.当Eb/N01时， Eb/N0 (nat) (bit)200log(1) log(1) log(1)bbSCFTE FFTFNEFTNN00log(1)bECFTN01/ln2bEN结论：低信噪比时，信道容量近似地决定于能量信噪比的值结论：低信噪比时，信道容量近似地决定于能量信噪比的值5.5:模拟信道及其容量 Shannon公式公式5Shannon公式的用途二公式的用途二 用信噪比换取频带用信噪比换取频带多进制多电平多维星座调制方式的基本原理 卫星、数字微波中常采用的有：

30、卫星、数字微波中常采用的有： 多电平调制、多相调制、高维星座调制(M-QAM)等 等，它利用高质量信道中富裕的信噪比换取频带，以提高传输有效性。5.5:模拟信道及其容量 Shannon公式公式6nShannon公式的用途三公式的用途三 用时间换取信噪比用时间换取信噪比 重传、弱信号累积接收基于这一原理。t=T0 为分界线。信号功率S有规律随时间线性增长，噪声功率2无规律，随时间呈均方根增长。Tt0S2S2t=0S2Pt5.5:模拟信道及其容量 Shannon公式公式7nShannon公式的用途四公式的用途四 用时间换取频带或用频带换取时间用时间换取频带或用频带换取时间 扩频缩短时间：通信电子对

31、抗、潜艇通信扩频缩短时间：通信电子对抗、潜艇通信 窄带增加时间：电话线路传准活动图象窄带增加时间：电话线路传准活动图象5.5:模拟信道及其容量 Shannon公式公式8n讨论信道容量及容量费用函数的目的：n不是为了实现可靠传输（这是信道编码的目的）n只是为了实现最大限度达到信道的信息传输能力n可以给出信道编码的界n关于Shannon公式n条件是加性高斯白噪声（AWGN)信道下n给出的是S、N、W与信道容量（最大信息传输速率）的关系n没有给出S、N、W与差错概率的关系-3-2-1012345678910111210-610-510-410-310-210-1误码率pb信噪比Eb/N0(dB)shanno限仅内码（4，1，15）未编码仅内码（2，1，7）码级连级连1.59dBn例2、在图片传输中，每帧约为2.25106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽(信噪功率比为30dB)。 信噪比（S/N）通常用分贝（dB）表示， 分贝数=10log10（S/N） 解：高斯白噪声加性信道单位时间的信道容量： (比特/秒） 要求的信息传输率为：