第6章信道容量和编码

第六章信道容量和信道编码6.5信道模型和信道容量6.6用正交信号集获取信道容量6.8信道截止速率1当波形数M

时，只要每比特信噪比大于-1.6dB，就能使得正交的信号波形差错概率最小。但是，这时，所需带宽随k

的增加而指数增加，从而造成带宽利用率极低。本章讨论由二进制或非二进制序列产生的信号波形，其带宽扩展因子仅随k

的增加而线性增加，具有更高的带宽效率。既适用于功率受限系统，也适用于带宽受限系统。6.5信道模型和信道容量2

最简单的信道模型，应用于M=2，检测器采用硬判决的情况。把调制、解调、检测看成信道的一个部分四种信道模型1.二进制对称信道BSC——合成信道一组可能输入和可能输出之间关系的条件概率:离散二进制输出离散二进制输入6.5信道模型和信道容量32.离散无记忆信道DMC

输入X、输出Y的

联合概率：无记忆条件条件概率P(yj|xi)可以表示成矩阵形式P=[pji]，称为信道的概率转移矩阵。输入q元符号输出Q元符号更广义的离散输入、离散输出信道；信道的输入输出特性（无记忆信道和调制时）用qQ个条件概率描述：6.5信道模型和信道容量43.离散输入、连续输出信道调制器输入信号为离散字符，检测器的输出未经量化。一组条件概率密度函数：P(y|x

)例：AGWN信道：信道为无记忆的条件为：连续输出Y离散输入XN：零均值，方差为2的高斯随机变量6.5信道模型和信道容量54.离散时间AWGN信道信道模型信道输入的功率限制条件输入到信道的序列是位于以原点为中心、以为半径的n维球体之内。6.5信道模型和信道容量65.AWGN波形信道把调制器和解调器从物理信道中分离出来单独研究。将x(t)、y(t)和n(t)展开成一个正交函数的完备集：波形信道被简化成一个等效的每秒使用2W次的离散时间信道：处理：利用展开式中的系数描述信道特征：输出也是波形输入是波形6.5信道模型和信道容量7几种信道模型小结选用何种信道模型完全取决于研究的目的；当设计和分析离散信道编、译码器的性能时——可以将调制、解调器归并为复合信道的一部分；当设计和分析数字调制、解调器的性能时——可采用波形信道模型。6.5信道模型和信道容量8信道容量考虑一个DMC信道：●输入字符集：●输出字符集：●转移概率集合：由事件Y=yj

的发生而提供的关于X=xi

的互信息：假如传输的信号是xi，接收到的信号是yj输出Y为输入X提供的平均互信息：由信道特征决定

对于一组输入符号概率p(xi)，I(X,Y)的最大值仅仅取决于由条件概率P(yj|xi)决定的DMC信道的特性！6.5信道模型和信道容量9I(X,Y)的最大值称为信道容量其中:如果以s秒输入一个符号，则信道容量为：C/sC的单位：●比特/符号；●奈特/符号单位：●bit/s；●奈特/秒6.5信道模型和信道容量10例6-5-1：BSC信道转移概率：BSC信道容量：H(p)：二进熵函数p是SNR的单调函数，所以C也是SNR的单调函数。当输入概率时，平均互信息最大。6.5信道模型和信道容量112.离散时间二进制输入AWGN信道的容量离散输入连续输出信道容量：当P(X=A)=P(X=-A)=1/2时，平均互信息I(X,Y)最大。信道容量：特例，二进制输入时，离散时间的AWGN无记忆信道：6.5信道模型和信道容量12注意：当比值增大时，C从0到1比特/符号单调增大归纳：对于上述两种信道，可以通过选择等概的输入符号能使平均互信息最大；如何分配输入概率才能使平均互信息最大，目前还没有一个通用的解法；但只要信道转移概率矩阵对称，就可以使I(X,Y)最大化。但等概条件下不一定能从信道容量公式得到解；6.5信道模型和信道容量133.对称信道容量如果信道的转移概率矩阵P的每一行是任何其它行的置换、每一列是任何其它列的置换。●转移概率集合：●概率质量函数6.5信道模型和信道容量144.受输入功率限制的离散时间AWGN信道的容量比特/传输假设{xj}是统计独立，均值为零的高斯随机变量，其PDF为:6.5信道模型和信道容量15连续时间信道容量：比特/秒Shannon信道容量公式5.受输入功率限制的带限波形AWGN信道的容量输入功率限制，噪声方差的AWGN信道的容量：6.5信道模型和信道容量16讨论:如果带宽固定，波形信道的容量随传输信号功率的增加而增加。如果P

固定，容量随带宽W的增加而增加。注意:时，信道容量趋于一个渐近值:容量随SNR的增加而单调增加。对带宽归一化后的信道容量曲线结论：信噪比和带宽可以互换！比特/秒6.5信道模型和信道容量17讨论：当时，将C/W表示成信噪比的函数:C的单位：bit/sP：平均功率每比特能量C/W→时，b/N0呈指数增加当时，当时，6.5信道模型和信道容量18信道模型、信道容量小结离散输入、离散输出信道（特例：DSC）离散输入、连续输出、无记忆加性高斯白噪声信道波形信道及信道容量信道带宽受限信号受加性高斯噪声损伤发送机平均功率受限约束条件：信道容量：噪声编码定理：

只要传输速率R<C，总存在一种信道编码，以所要求的任意小的差错概率实现可靠通信。反之，如果R>C,不可能有任何一种编码能使差错概率趋近于零。信道容量公式的意义:为在噪声信道中可靠通信确定传输速率的上限值。6.6用正交信号集获取信道容量19当速率且时，正交波形集能达到信道容量的边界。只要，若使（R固定时有）差错概率就可以任意小。只要，对于正交信号，通过增加波形数M可以使差错概率PM任意小。以正交信号获取信道容量回顾：在无限带宽的AWGN信道上，M元正交信号PM的边界值:（推导从略）C

：无限带宽AWGN信道容量

R：比特率6.6用正交信号集获取信道容量20E(R)称为无限带宽AWGN信道的信道可靠性函数。其中：

在M较大时，可靠性函数E(R)决定了数字信号在无限带宽AWGN信道传输时，差错概率呈指数变化。将前面的式子表示为：6.6用正交信号集获取信道容量21注意：该差距是寻找更有效的信号波形的源动力采用编码的波形能可观地减小这个差距！R<C时，增加正交信号数目M可以使Pe任意小。但实际得到的性能与信道容量公式算出的性能之间存在较大差距例如：相干检测：M=16的正交信号，Pe=10-5时，需要SNR=7.5dB信道容量公式结果：C/W=0.5条件下，SNR为-0.8dB就能可靠传输。两者之间存在8.3dB/比特的差距！6.8信道截止速率假设信道无记忆：输入序列：长度为n

的可能序列的个数有，从其中选择个的一个子集，定义为22输出序列：对差错概率：6.8信道截止速率23对差错概率：Chernov边界Bhattacharyya边界对于无记忆信道有6.8信道截止速率24二进制BSC信道（假设两个二进制码字有n个比特不同）：注意，当码元相同时，即当码元不同时，即6