第五章 数字通信(信道容量和信道编码)_xie

1、南京理工大学南京理工大学电光学院通信工程系电光学院通信工程系Nanjing University of Science and TechnologyDepartment of Communication Engineering5 5信道容量和信道编码信道容量和信道编码Digital Communications2本章的主要内容本章的主要内容t 5.1 调制与编码的权衡调制与编码的权衡t 5.2 信道容量信道容量t 5.3 随机编码随机编码Digital Communications3本章的主要内容本章的主要内容t 5.1 调制与编码的权衡调制与编码的权衡t 5.2 信道容量信道容量t 5.3

2、随机编码随机编码Digital Communications4调制与编码的权衡调制与编码的权衡t 通信系统设计目标通信系统设计目标t 差错概率平面差错概率平面t 带宽效率平面带宽效率平面t 调制与编码的权衡调制与编码的权衡Digital Communications5通信系统设计目标通信系统设计目标t Nyquist最小带宽要求最小带宽要求(WRs/2=1/2Ts)t Shannon-Hartley容量理论容量理论(以及以及Shannon极限极限)t 管理规则管理规则(频率分配频率分配)t 技术限制技术限制(元器件当前发展水平元器件当前发展水平)t 其他系统需求其他系统需求(卫星轨道卫星轨道)

3、Digital Communications6差错概率平面差错概率平面t 差错概率平面：差错概率性能曲线族所在平面。差错概率平面：差错概率性能曲线族所在平面。t 等效带宽曲线：对于给定的系统信息速率，差错概率平面的等效带宽曲线：对于给定的系统信息速率，差错概率平面的每条曲线都与一个不同的额定最小带宽需求相关联。每条曲线都与一个不同的额定最小带宽需求相关联。Digital Communications7差错概率平面差错概率平面在在PB和和Eb/N0间权衡间权衡在在PB和和W间间权衡权衡在在W和和Eb/N0间权衡间权衡Digital Communications8带宽效率平面带宽效率平面t 带宽效

4、率平面：归一化信道带宽带宽效率平面：归一化信道带宽R/W (b/s/Hz)与与Eb/N0的关系的关系曲线。曲线。t 相关相关MPSK调制信号的带宽效率：调制信号的带宽效率： R/W=log2M，注意，注意BPSK和和QPSK需要相同的需要相同的Eb/N0值，且值，且BPSK的带宽效率为的带宽效率为1 b/s/Hz ，而，而QPSK的带宽效率为的带宽效率为2 b/s/Hz ，这是由于，这是由于QPSK是由两路是由两路BPSK信号有效的正交合成的。信号有效的正交合成的。t 非相关正交非相关正交MFSK调制信号的带宽效率调制信号的带宽效率(log2M)/M.注意注意BFSK和和QFSK有相同的带宽效

5、率，尽管在相同的误比特率下前者有相同的带宽效率，尽管在相同的误比特率下前者比后者需要更大的比后者需要更大的Eb/N0。因为。因为BFSK带宽效率为带宽效率为1 b/s/2Hz，而而QFSK带宽效率为带宽效率为2 b/s/4Hz。Digital Communications9带宽效率平面带宽效率平面在在PB和和Eb/N0间权衡间权衡在在PB和和W间间权衡权衡在在W和和Eb/N0间权衡间权衡Digital Communications10调制与编码的权衡调制与编码的权衡t 在在功率受限系统功率受限系统（ power-limited system ）：通过改变调制）：通过改变调制和编码方式，和编码方

6、式，以牺牲带宽为代价节约能量以牺牲带宽为代价节约能量。(多维正交调制方多维正交调制方式，增大式，增大M)t 在在带宽受限系统带宽受限系统（ bandwidth-limited system ）：使用频带）：使用频带高效调制方式，高效调制方式，以牺牲功率为代价来减少所需带宽以牺牲功率为代价来减少所需带宽。(多进制多进制调制，调制，PAM、PSK)Digital Communications11调制与编码的权衡调制与编码的权衡t 调制与编码的权衡调制与编码的权衡:l权衡参数：权衡参数：PB，W，R/W，P(或或S/N)。l标识标识G，C，F表示表示“GAIN”， “COST”， “FIX”。l差错

7、概率平面对功率受限系统更有效差错概率平面对功率受限系统更有效，当工作点在曲线间移动时，误，当工作点在曲线间移动时，误比特性能一目了然，而带宽要求只能推算，其上箭头表示工作点向香比特性能一目了然，而带宽要求只能推算，其上箭头表示工作点向香农极限方向移动，以牺牲带宽为代价，改善农极限方向移动，以牺牲带宽为代价，改善PB或降低所需传输功率。或降低所需传输功率。l带宽效率平面对带宽受限系统更有效带宽效率平面对带宽受限系统更有效，当工作点在曲线间移动时，带，当工作点在曲线间移动时，带宽要求一目了然，而误比特性能只能推算，其上箭头表示工作点向容宽要求一目了然，而误比特性能只能推算，其上箭头表示工作点向容量

8、极限方向移动，以功率增大或量极限方向移动，以功率增大或PB性能下降为代价，提高带宽效率。性能下降为代价，提高带宽效率。l最感兴趣是固定误比特性能（由系统要求限制）的箭头。最感兴趣是固定误比特性能（由系统要求限制）的箭头。Digital Communications12调制与编码的权衡调制与编码的权衡Digital Communications13本章的主要内容本章的主要内容t 5.1 调制与编码的权衡调制与编码的权衡t 5.2 信道容量信道容量t 5.3 随机编码随机编码Digital Communications14本章的主要内容本章的主要内容t 5.1 调制与编码的权衡调制与编码的权衡t

9、5.2 信道容量信道容量t 5.3 随机编码随机编码Digital Communications15信道容量信道容量t 信道模型信道模型t 信道容量信道容量t 以正交信号获取信道容量以正交信号获取信道容量t 信道可靠性函数信道可靠性函数Digital Communications16信道模型信道模型t 二进制离散信道（二进制离散信道（BSC：Binary Symmetric Channal ）t 离散无记忆信道离散无记忆信道 (MDC: Discrete Memoryless Channel)t 离散输入、连续输出信道离散输入、连续输出信道t 波形信道波形信道Digital Communica

10、tions17二进制离散信道二进制离散信道t 输入符号集输入符号集 X = 0 , 1 , 输出符号集输出符号集 Y = 0 , 1 t 转移概率矩阵转移概率矩阵ppppP11Digital Communications18离散无记忆信道离散无记忆信道t 输入符号集输入符号集 X = x1 , x2 , , xq ，输出符号集，输出符号集 Y = y1 , y2 , , yQ 。t 信道的输出符号仅对应时刻的一个输入符号有关信道的输出符号仅对应时刻的一个输入符号有关 , 而与以前而与以前的输入无关的输入无关 , 这种信道称为这种信道称为无记忆信道或随机信道无记忆信道或随机信道。t 转移概率矩阵

11、转移概率矩阵)|()|()|()|()|()|()|()|()|(212222111211qQqqQQxypxypxypxypxypxypxypxypxypP1)|(1 QjijxypDigital Communications19离散无记忆信道离散无记忆信道Digital Communications20离散输入、连续输出信道离散输入、连续输出信道t AWGN信道信道t 无记忆条件无记忆条件GXY222)(21)|(kxykexXypniiiinnnuXypuXuXuXyyyp1221121)|(),|,(Digital Communications21波形信道波形信道t 输入是波形，输出也

12、是波形。输入是波形，输出也是波形。t 无记忆条件无记忆条件t 实际上，可以实际上，可以Nyquist采样速率采样速率2W样值样值/s采样，在时间采样，在时间T内存内存在在N=2WT个样值。个样值。)()()(tntxtyiiitfyty)()(iiitfxtx)()(iiitfntn)()(iiinxy222)(21)|(iiixyiiiexypNiiiNNxypxxxyyyp12121)|(),|,(f(t)为标准正交集为标准正交集Digital Communications22信息论信息论t 熵：平均信息量或平均不确定度熵：平均信息量或平均不确定度t 条件熵条件熵t 互信息互信息 iiai

13、xpxpXHlog)(jijiajijjjyxyxpyYXHypYXH)|(log),()|()()/()/()();(YXHXHYXIijiajijyxyxpyYXH)|(log)|()|(Digital Communications23t 互信息的解释互信息的解释信息论信息论)/()();(YXHXHYXIDigital Communications24信息论信息论t 信源压缩（有效性）信源压缩（有效性）lH（X）：压缩前）：压缩前X中含有的信息量（不确定度）中含有的信息量（不确定度）lH（X|Y）：收到）：收到Y的条件下，的条件下， 关于关于X的信息量（不确定度）的信息量（不确定度）lI

14、（X；Y）：信源压缩目的是使压缩码流）：信源压缩目的是使压缩码流Y中含有关于中含有关于X的信息量的信息量I（X；Y）最小（满足一定失真度条件），便于节省传输带宽，即）最小（满足一定失真度条件），便于节省传输带宽，即H（X|Y）最大。）最大。l设计信源压缩编码信道设计信源压缩编码信道P（Y|X） 。Digital Communications25信息论信息论t 信道传输（可靠性）信道传输（可靠性）lH（X）：传输前）：传输前X中含有的信息量（不确定度）中含有的信息量（不确定度）lH（X|Y）：收到）：收到Y的条件下，的条件下， 关于关于X的信息量（不确定度）的信息量（不确定度）lI（X；Y）：通

15、信传输目的就是使接收信号）：通信传输目的就是使接收信号Y中含有关于中含有关于X的信息量的信息量I（X；Y）最大，即在已知）最大，即在已知Y的条件下，关于的条件下，关于X的不确定度的不确定度H（X|Y）最）最小。小。l通过波形编码调制和信道编码来设计发送信息通过波形编码调制和信道编码来设计发送信息X的概率分布的概率分布P（X） 。Digital Communications26信道容量信道容量t 考虑考虑DMC信道，输入符号集信道，输入符号集 X = x1 , x2 , , xq ，输出符，输出符号集号集Y = y1 , y2 , , yQ 。信道转移概率。信道转移概率 p( yj | xi )

16、 , 则信则信道容量为道容量为t 若信道平均传输一个符号需要若信道平均传输一个符号需要t秒种，则单位时间的信道容秒种，则单位时间的信道容量记为量记为Ct=C/t，单位，单位:bit/S)()|(log)|()(max);(max11)()(jijqiQjijixpxPypxypxypxpYXICii0)(, 1)(1iqiixpxp信道容量的单位：信道容量的单位：bit/信道符号或信道符号或bit/符符号号Digital Communications信道容量信道容量t 为使为使I(x;y)最大化以便求取最大化以便求取DMC容量，输入概率集容量，输入概率集p(xi)必须必须满足充分和必要条件如下

17、：满足充分和必要条件如下： t I(xi;y)=C，对于所有满足，对于所有满足p(xi)0的的i。t I(xi;y)C，对于所有满足，对于所有满足p(xi)0的的i 。t 此处此处C是信道容量，且是信道容量，且 )()|(log1)|();(jypixjypQjixjyPYixIDigital Communications带限带限AWGN波形信道波形信道t 信道容量信道容量t 离散表示互信息离散表示互信息t 由信息论知，当由信息论知，当xi是统计独立且服从零均值的高斯分布时，是统计独立且服从零均值的高斯分布时，I(XN,YN)达到最大。达到最大。);(1maxlim)(YXITCxpTiiNi

18、iiiiiiNNdxdyypxypxpxypI 1)()|(log)()|();(YX02)(021)|(NxyiiiieNxyp22221)(xixxiexpDigital Communications带限带限AWGN波形信道波形信道t 最大互信息最大互信息t 平均功率限制平均功率限制t 所以所以0202102)(21log21log221log21);(maxNWTNNNIxxNixNNxpYXWPNTPTNxETdttxETPavavxxNiiTav2)(1)(12212020)(1log);(maxWNPWTIavNNxpYXDigital Communications带限带限AWGN

19、波形信道波形信道t 信道容量信道容量t 如果将容量作为信号功率与噪声功率之比的函数。容量随着如果将容量作为信号功率与噪声功率之比的函数。容量随着SNR的增加而单调增加。因此，对于一个固定的带宽，波形的增加而单调增加。因此，对于一个固定的带宽，波形信道的容量随着传输信号功率的增大而增加。信道的容量随着传输信号功率的增大而增加。01logWNPWCavDigital Communications带限带限AWGN波形信道波形信道t 如果如果 Pav固定，容量随着带宽的增加而增加。注意：当固定，容量随着带宽的增加而增加。注意：当W趋趋于无穷大时，信道容量趋于一个渐进值于无穷大时，信道容量趋于一个渐进值

20、 )/(2lnlog020sbNPeNPCavavexxx/10)1 (limDigital Communications带限带限AWGN波形信道波形信道t 归一化信道容量归一化信道容量)1 (log02NEWCWCbWCNEWCb/12/0bavCEP )0( 1, 10dBNEWCb当呈指数增长当,ln2lnexp/2,/0WCWCWCNEWCWCb)6 . 1(2ln/12lim, 0/0/0dBWCNEWCWCWCb当香农极限香农极限Digital Communications噪声信道编码定理噪声信道编码定理t 只要传输速率只要传输速率RC ，不，不可能有任何一种编码能使差错概率趋于零

21、。可能有任何一种编码能使差错概率趋于零。Digital Communications以正交信号获取信道容量以正交信号获取信道容量t M元正交信号的错误概率元正交信号的错误概率t 联合边界，当有联合边界，当有yy0时比较紧密。时比较紧密。t 当当y较小且较小且M较大时，联合边界超过一个单位量，不太准确。较大时，联合边界超过一个单位量，不太准确。又因为又因为t M元正交信号错误概率的上界元正交信号错误概率的上界2122,0211111 ()exp() 222xyMse McEPPedxydyN 2/12)() 1()(1 1yMMeyQMyQ1)(1 11MyQdyeeMdyePyyyyyM022

22、022/)2(2/2/)2(221Digital Communications以正交信号获取信道容量以正交信号获取信道容量t最优的最优的y0t不等式放缩不等式放缩tM元正交信号的错误概率元正交信号的错误概率2ln2log2ln2ln2202/20kMMyMey)22/( ,2)2/0( , 2 02/)2()2/(2/ )(2/)2(02/ )(2/ )(2/)2(20202020202020yeeeeyeeePyyyyyyyM)2ln42)(lnln41( ,2)2ln4)(41(ln,22)2ln(2/ )2ln2(bkbkMMeMePbbbkDigital Communications以

23、正交信号获取信道容量以正交信号获取信道容量t 无限带宽无限带宽AWGN信道的容量信道的容量2ln22ln20RTky)41( ,2)(2*2)410( ,)21(2*2CRCRCTCRRCTMP2ln0NavPC2ln0TCNavTPDigital Communications信道可靠性函数信道可靠性函数t 无限带宽无限带宽AWGN信道上的信道上的M元正交信号差错概率的指数边界元正交信号差错概率的指数边界t 无限带宽无限带宽AWGN信道可靠性函数信道可靠性函数t 联合边界的指数边界联合边界的指数边界)(2*2RTEMP)41( ,2)()410( , 21)(CRCRCCRRCRE)210(

24、,)21(2*21CRRCTMP比较松弛比较紧密Digital Communications信道可靠性函数信道可靠性函数t 无限带宽无限带宽AWGN信道可靠性函数信道可靠性函数Digital Communications39本章的主要内容本章的主要内容t 5.1 调制与编码的权衡调制与编码的权衡t 5.2 信道容量信道容量t 5.3 随机编码随机编码Digital Communications40本章的主要内容本章的主要内容t 5.1 调制与编码的权衡调制与编码的权衡t 5.2 信道容量信道容量t 5.3 随机编码随机编码Digital Communications随机编码随机编码t 在高效的

25、信息传输中，编码调制的设计存在两条基本路径：在高效的信息传输中，编码调制的设计存在两条基本路径：一是代数路径，主要运用代数编解码技术来设计特定的码，一是代数路径，主要运用代数编解码技术来设计特定的码，如循环分组码、卷积码等。另一条路径为采用概率方法，分如循环分组码、卷积码等。另一条路径为采用概率方法，分析一般编码信号的性能，在一定特性的信道上通信时，求出析一般编码信号的性能，在一定特性的信道上通信时，求出差错概率的上下边界。差错概率的上下边界。t 基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 基于基于M元多幅度信号的随机编码元多幅度信号的随机编码Digital Commun

26、ications随机编码随机编码t 基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 基于基于M元多幅度信号的随机编码元多幅度信号的随机编码t R0*与与AWGN信道容量的比较信道容量的比较Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 信号表示信号表示t 假设进入编码器的信息速率是假设进入编码器的信息速率是R b/s，一次将，一次将k比特块映射为比特块映射为M个编码波形之一。因此，个编码波形之一。因此，k=RT，共需要，共需要M=2k=2RT 种编码种编码波形。定义波形。定义D=n/T 维维/s。N=DT为信号空间

27、维数为信号空间维数.超立方体总超立方体总共有个共有个2n=2DT顶点，其中顶点，其中M个编码波形实际被用来传送信息个编码波形实际被用来传送信息。如果。如果DR，超立方体中用作编码波形的顶点数与顶点总数，超立方体中用作编码波形的顶点数与顶点总数之比为之比为1 , 0),(1ijiniicccCMicEcEstfstsijcijcijnjjiji, 1,0,1, )()(1Misssinii, 1),(1TRDDTRTnkF)(22222Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 问题：能否在全部问题：能否在全部2n=2DT个可用的

28、顶点中选出一个含个可用的顶点中选出一个含M=2RT个顶点的子集，使得当个顶点的子集，使得当T- （或（或n- ）时，差错概率趋于）时，差错概率趋于零。零。t 思路：不计算某个具体思路：不计算某个具体M编码波形的差错概率，而是从总体编码波形的差错概率，而是从总体上考虑超立方体的上考虑超立方体的2n=2DT个有效顶点中选取个有效顶点中选取M个的方法，每个的方法，每种选择都构成一种码集，共种选择都构成一种码集，共(2n)M种不同的选法。然后计算平种不同的选法。然后计算平均差错概率的上界，若平均差错概率当均差错概率的上界，若平均差错概率当T- （或（或n- ）时）时趋于零，则可断言趋于零，则可断言(2

29、n)M个码集中必存在好码。个码集中必存在好码。Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 假设假设M个编码波形随机等概选取个编码波形随机等概选取t 考虑一个考虑一个k比特消息比特消息Xk=x1 x2 x3 xk。条件差错概率在整个。条件差错概率在整个码集上的平均是码集上的平均是t 为第为第m个二进制通信系统利用两个信号矢量传输两个二进制通信系统利用两个信号矢量传输两个等概信号之一时的差错概率，所以个等概信号之一时的差错概率，

30、所以nMmisP 2)(nMnMmmienMmimmieesPsPsPP2121)(2)()()()()(mimikekesPsXPXP所有码，M12mssP)(kllklmikesXP），（，Mk12Mk12m,)()(llklllklmiekessPssPsPXP）（）（所有码），（klssP2mDigital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 表示在表示在(2n)M个码或通信系统上的集合平均。个码或通信系统上的集合平均。t 对于加性高斯白噪声信道，二进制差错概率对于加性高斯白噪声信道，二进制差错概率）（）（），（分量不同，个和设

31、0Nc2dQ02N2QP4)(2m1222ElkdkslsdEssssddsscnjkjljkllkkl）（klssP,2每个码字比每个码字比特能量特能量Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t二进制差错概率在所有码集上的集合平均二进制差错概率在所有码集上的集合平均002NcdEeNcdEQndNcdEQdnnndNcdEQdPkslsPdnndP00221002)(),(221)(nNcEenNcEenndNcdEednnkslsP)01 (21)01 (210021),(2Digital Communications基于基

32、于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 无条件平均差错概率无条件平均差错概率nNcEeMkslsPeP)01 (21Mkl1l,2)kX(）（nNcEeMkkXPnNcEeMkkXPkXePeP)01 (21)()01 (21)()(Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 截止速率（截止速率（cutoff rate）,单位比特单位比特/维，维，0 R0 1。)0N/ce1 (2log10N/ce122log0REEnkDTRTDRcRcRRnDRRnnkRnnRknRMeP)0(2)/0(2)/0(202

33、02020/122log2)0/1 (212log2)0/1 (21nRMNcEenMNcEenMnNcEeMePDigital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 结论：只要信息速率结论：只要信息速率RDR0，T时，平均差错概率趋于时，平均差错概率趋于零。只要码率零。只要码率RcR0，当码块长度，当码块长度n 时，平均差错概率趋时，平均差错概率趋于零。于零。 由于由于n 时平均差错概率可以任意小，因此在时平均差错概率可以任意小，因此在2nM个个码集中一定存在若干个码，它们的差错概率不大于平均差错码集中一定存在若干个码，它们的差错概率不

34、大于平均差错概率。概率。t 注意，差错概率超过平均差错概率的码不一定是坏码。总之注意，差错概率超过平均差错概率的码不一定是坏码。总之好码是很多的，即使用随机选择的方法也很容易找到。好码是很多的，即使用随机选择的方法也很容易找到。Digital Communications基于基于M元二进制编码信号的随机编码元二进制编码信号的随机编码t 比特信噪比表示（比特信噪比表示（ 0为归一化为归一化信噪比），只要信噪比），只要 b 0 ，当，当k 时，平均差错概率趋于零。时，平均差错概率趋于零。 1/,/,cEbEcRcEbkEnbkEcnEE)1 (2log100,) 10/(2bcRebcRbRcRbkePDigital Communications基于基于M元多幅度信号的随机编码元多幅度信号的随机编码t 进行非二进制编码，码字码元进行非二进制编码，码字码元Cij选自集合选自集合0，1，.，q-1，每个码元映射到，每个码元映射到q个可能的幅度电平之一，与码元个可能的幅度电平之一，与码元0，1，.，q-1对应的对应的q个幅度可表达为个幅度可表达为a1 a2 a3 aq，假设他们，假设他们按照某种指定的概率按照某种指定的概率pi选取的。幅值