第3章信道与信道容量

第3章信道与信道容量吴晓青目录3.1信道分类3.2单符号离散信道及其容量

3.2.1数学模型

3.2.2信道容量

3.2.3离散信道容量的迭代算法3.3离散序列信道及其容量

3.4信源与信道的匹配3.5连续信道及其容量

3.5.1连续单符号加性信道

3.5.2多维无记忆加性连续信道

3.5.3加性高斯白噪声波形信道信道：信息传输的通道，是传输信息的载体，其主要任务是传输或者存储信息。通信的本质：就是通过信道传输信息，实现不同地点之间或者不同时间的信息交流。主要研究内容：在理论上能够传输或者存储的最大信息量，即信道容量。3.1信道分类

信息论研究信道，一般认为已经知道信道的传输特性，即输入、输出之间的统计依赖关系已知。离散无记忆信道模型根据统计特性分类：恒参信道：信道的统计特性不随时间而变化。比如，幅度衰减倍数等参数恒定。如电话线、光纤、高斯白噪声信道、卫星信道一般视为恒参信道。随参信道：信道的统计特性随时间而变化。统计特性随着环境、温度、湿度等参数而变化。如短波信道随电离层变化而变化；微波信道，移动电话在高速列车上可能因多普勒效应发生频移等。根据信道用户量多少分类：单用户信道：也称两端信道，该信道只有一个输入端和一个输出端，而且只能进行单方向的通信。点对点应用。

多用户信道：也称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并且可以实现双向通信。目前大多数信道都是多端信道。广播信道、通信网络等。根据输入、输出的取值特性分类：离散信道：也称为数字信道，该类信道中输入空间、输出空间均为离散事件集合，集合中事件数量是有限的，或者有限可数的，随机变量取值都是离散的。连续信道：也称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的、或者不可数的。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。波形信道：也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的。根据信道中信号所受噪声的统计特性分类：

随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现，最具有代表性的是高斯白噪声信道。（无记忆信道）

突发差错信道：信道中噪声或者干扰对传输码元的影响具有关联性，相互之间并不独立，从而使得码元错误往往成串出现，常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现，如移动通信的信道、光盘存储等都属于该类信道。（有记忆信道）3.2单符号离散信道及其容量

3.2.1数学模型单符号无记忆信道：信道的输入符号之间、输出符号之间都不存在关联性，即无记忆的，此时输入、输出可以看作是单符号的，称这类信道为单维信道或者单符号信道。单符号离散无记忆信道进一步，如果信道的输入、输出随机变量都是离散的，则该信道为单符号离散无记忆信道。输入符号集合X、输出符号集合Y内部不存在关联性，集合X和集合Y之间有关联。

离散无记忆信道模型条件转移概率用来描述信道特性。输入x=ai，输出y=bj对应的条件转移概率为信道转移矩阵用矩阵来表示信道输入、输出符号之间的条件转移关系：又称为条件转移矩阵或者信道转移矩阵。条件转移矩阵是一个r×s的矩阵，当输入、输出集合的元素数量相等(r=s)时，是一个方阵。

信道的条件转移概率p(bj|ai)通常称为前向概率，表示在输入为ai时，通过信道后接收为bj的概率，描述了信道噪声的特性。p(ai|bj)称为后向概率，表示当接收符号为bj时，信道输入为ai的概率，所以也称为后验概率。

后验概率求法前向概率、后验概率由公式由公式3.2.2信道容量

信道的信息传输率R含义：1、表示在单符号离散信道中，平均每个符号传送的信息量。2、由于信道中存在干扰，信道输出端接收的符号与输入符号之间并不是一一对应的;从信息传输的角度而言，信道输入符号X所携带的平均信息量H(X)并不等于信道输出端接收到的信息量H(Y)；3、信道的干扰或者噪声总是有限的，从统计角度而言，总有部分信息能够准确传输。信息传输速率t:传输一个符号所需时间

的单位：bit/符号÷s/符号=bit/s定义3.1设某信道的平均互信息量为I(X;Y)，信道输入符号的先验概率为p(x)，该信道的信道容量C定义为上述的极值问题实际是有约束条件的，先验概率分布应当满足下列条件

对于给定信道，前向概率p(x)是一定的，所以信道容量就是在信道前向概率一定的情况下，寻找某种先验概率分布，从而使得平均互信息量最大，这种先验分布概率称为最佳分布。几点讨论：1、对于给定信道最佳分布总是存在的。如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C；如果信道输入的先验分布不是最佳分布，那么信息传输率不能够达到信息容量。2、信道传输的信息量R必须小于信道容量C，否则传输过程中会造成信息损失，出现错误；如果R<C成立，可以通过信道编码方法保证信息能够几乎无失真地传送到接收端。几种特殊信道的信道容量1．无干扰离散信道理想信道。根据信道输入符号X与信道输出符号Y之间的关系，可以分为下列几种：（1）无噪无损信道的信道容量该信道的输入、输出集合符号数量相等，即r=s，此时输入X与输出Y之间是一一对应的。对于给定ai，由于只有一个为1，其余都为0，所以可得信道容量（2）无噪有损信道的信道容量信道输出符号Y集合的数量小于信道输入符号X集合的数量，即r>s，形成多对一的映射关系，可得：信道容量此时使得最佳分布不唯一，满足上述条件即可。无噪有损信道矩阵特点每行只有一个元素为1，其余元素都为0。

（3）有噪无损信道信道输出符号Y集合的数量大于信道输入符号X集合的数量，即r<s，形成一对多的映射关系，可得：信道容量输入符号分布等概时，即I(X;Y)最大，达到信道容量信道概率转移矩阵中每列只有一个非零元素有噪无损信道矩阵特点2．对称离散信道的信道容量定义3.2

如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。矩阵中第二行的元素与第一行的元素完全相同，所以该信道为输入对称的。由定义：假设转移矩阵首行元素为(p1,p2,…pr)，则有输入对称信道的容量为所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。求该信道的容量C解：设信道输入的概率空间为信道输出的概率分布为例3.1信道的转移矩阵为取得极值的条件为解上述方程，可以得到取得极值的条件为p=0.5，即当信道输入为等概率分布时，取得最大值，所以比特/符号比特/符号比特/符号显然,，所以，当信道只是输入对称时,应当首先假设信道输入分布，然后解决极值问题。信道容量不能够简单认为是定义3.3如果信道转移概率矩阵中所有列矢量都是第一列的某种置换，则称信道关于输出是对称的，这种信道称为输出对称离散信道。如果信道是输出对称的，那么当信道输入符号为等概率分布时，信道输出也是等概率分布的。

当信道输出对称时为常数输入等概率分布时

，输出由于信道转移矩阵是已知的，可以使用下列公式

只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量。定义3.4如果信道转移矩阵按列可以划分为几个互不相交的子集，每个子矩阵满足下列性质：(1)每行都是第一行的某种置换；(2)每列都是第一列的某种置换；则称该信道为准对称信道。显然，准对称信道是输入对称的。特别地，当这种划分只包含一个矩阵，该信道称为对称信道，此时信道既是输入对称的，也是输出对称的。因为输入对称，有

且满足H(Y|X)与信道输入的分布无关，只与条件概率分布有关，所以对称信道容量计算对称信道的信道容量为：对称信道最佳分布，信道输入应当满足等概率分布。求信道容量C。解：观察信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为例3.2设某信道转移矩阵为比特/符号定理3.1准对称离散信道容量在信道输入为等概率分布时达到。例3.4设某信道的转移矩阵为求其信道容量。解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以将之分解为两个互不相交的子集，而每个子集都是对称信道形式，对应参数分别为

行元素之和列元素之和根据准对称离散信道的信道容量计算公式求解

特别地，如果p＝0，则信道转移矩阵为该信道即二元纯对称删除信道，其信道容量为比特/符号对应的参数分别为例3.5信道转移矩阵为求信道容量C。解：通过观测可知，该信道是准对称信道，可以分解为三个互不相交的子集，分别为，，，，，，，所以信道容量为

比特/符号模K加性噪声信道的信道容量DMC的输入为X，X的所有事件为｛0,1,2…K-1}DMC的输出为Y，Y的所有事件为｛0,1,2…K-1}DMC的输入为Z，Z的所有事件为｛0,1,2…K-1}X与Z相互独立，求信道容量C。输入输出干扰k-=0列坐标行坐标3．一般离散信道的容量符号数量较少信道容量的计算：首先假设信道的输入概率分布，根据信道容量的定义和输入概率分布的约束条件，直接求解极值问题即可得到最佳分布；然后根据最佳分布计算信道输入、输出之间的平均互信息量，从而得到信道容量如果信道输入、输出。例3.6信道转移矩阵为

求信道输入最佳分布和信道容量。解：观察信道转移矩阵可知，该信道不是对称，信道的输入输出符号数量都为2，假设信道输入符号的概率分别为p,1-p求得：平均互信息量C=0.415比特/符号从该例可以看出，1、即使是简单的非对称二元信道，其最佳分布的求解也十分复杂。2、所以一般离散信道的信道容量的求解通过计算机求解。一般离散信道达到信道容量时，输入概率分布应满足的定理定理3.2设有一般离散信道，它有r个输入符号，s个输出符号，其平均互信息I(X;Y)达到极大值（即等于信道容量）的充要条件是输入概率分布p(x)满足：常数C就是所求的信道容量对所有的的ai对所有的的ai上述定理的几点讨论1、上述定理只是给出了达到信道容量时，信道输入符号分布的充要条件；2、不能够给出信道输入的最佳概率分布，也没有给出信道容量的计算公式；3、达到信道容量的最佳分布一般不是唯一的，只要输入分布满足概率的约束条件，并且使得达到最大值即可。4、一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的。但是对于某些特殊信道，可以使用上述定理求解信道容量。

可逆矩阵信道容量假定所有输入字母的概率为Qk,则输出概率分布由可得即：令：得：可看成是有J个未知数的线性方程组。由假设P是非奇异矩阵，故线性方程组有唯一解。令｛｝为其解，由又可得特别注意Qk>0,对上面的解进行验证。计算，计算Qk,解方程组验证。若Qk>0,则所得到的解释正确的。否则满足条件的解在边界上，令某个Qk=0,再进行试解。特别，J>K多解，有时要令多个Qk为0进行试解。例题：DMC信道转移矩阵为试求信道容量C。根据，列方程组得从而根据求得再根据得到方程组可得，输入分布经验证，Qk>0,因此结果正确。C=log5-1最佳分布为例3.7设某信道转移矩阵为求该信道的容量和信道输入的最佳概率分布。解：该信道不是对称信道，所以不能直接使用对称信道计算其信道容量。但是通过观察发现，如果信道输入符号的概率p(a2)=0，该信道就是一个二元纯对称删除信道。这样就可以假设然后检查是否满足上述定理的条件，如果满足就可以计算出信道容量。首先根据假设求出相应的p(bj)，

然后计算互信息量显然满足定理3.2的条件，所以信道容量为对应的信道输入最佳概率分布为。3.2.3离散信道容量的迭代算法

基本思想：设后验概率p(ai|bj)为自变量，并且假设存在一个反向试验信道，反向信道的转移矩阵就是由p(ai|bj)构成的；这样平均互信息量就可以表示为信道转移矩阵和反向转移矩阵的函数，通过反向矩阵修正信道输入概率的分布，迭代计算I(X;Y)直到其趋向平稳为止。正向信道

引入反向试验信道后1.以反向转移概率分布为自变量首先假设信道输入概率分布保持不变,而是固定的，可以求出时对应的反向试验信道概率分布构造函数求偏导由即信道容量C可由函数的双重最大化得到2.以输入概率分布p(ai)为自变量构造函数求偏导简化得到其中由等式右边p(ai)是假设的初始信道输入概率，等式左边的p*(ai)是双重极大化求得的输入概率。经过整理后得到3.离散无记忆信道容量的逐步迭代算法任意选择初始输入概率分布。一般情况下，往往选择初始分布为等概率分布继续进行下一步计算，令迭代序号为在第n步迭代中，可得到其中这三个表达式就是迭代算法的基本公式。现在令

和

3.3离散序列信道及其容量信道离散序列信道模型对于离散无记忆信道（DMC):离散无记忆平稳信道单符号离散无记忆信道转移矩阵输入取自，输出取自信道转移矩阵N次扩展序列信道转移矩阵输入序列：输出序列：转移矩阵无记忆信道，有下式：一般离散信道的结论定理3.3离散信道输入序列，输出序列，信道转移概率，有（1）如果信道无记忆（2）如果信道输入序列无记忆，（3）上述两者均无记忆Xi与Yi表示随即序列X，Y中第i个分量无记忆信道当输入字母统计独立时，输出字母y也统计独立，此时取等号序列单个分量传递的信道容量两个序列的互信息量一般离散无记忆N次扩展信道容量平稳离散无记忆N次扩展信道容量如果输入序列符号都来自集合X输出序列符号都来自集合Y都服从独立同一分布信道平稳则：于是信道输入随机序列的变量在同一信道传输，则则单符号平均互信息量序列信道容量等于单符号信道容量之和例3.7某二元离散无记忆信道转移矩阵为对信道进行2次扩展，扩展后的信道转移矩阵为信道转移矩阵元素计算：信道容量串联信道容量信道1转移矩阵P1,信道2转移矩阵P2,串联信道转移矩阵P=P1P2平均互信息量信道容量信道1p(y|x)信道2p(z|xy)XZY并联信道容量…信道2p(Y2|X2)X2Y2信道1p(Y1|X1)X1Y1信道mp(Ym|Xm)XmYm1、序列转移概率：2、每个信道无记忆，总的信道无记忆，则3、并联信道容量当输入分布最佳时,达信道容量，类似离散无记忆序列信道3.4信源与信道的匹配信息传输速率R等于信源与信宿之间的平均互信息量当输入达最佳分布时，称为信源与信道达到匹配，否则信道有冗余。

定义3.5设信道的信息传输速率为R，信道容量为I(X,Y)，信道的剩余度定义为信道剩余度＝C-I(X,Y)而相对剩余度定义为讨论：1、离散信道是对称的或者接近对称时，信源输出符号分布尽可能接近信道要求的等概率分布，实现信源、信道的匹配。采用信源编码技术去除信源符号之间相关性，并且经过适当的变换后达到此要求。2、如果R<C，可以对信源输出进行适当的信道编码，实现无误差的信息传输；如果R>C，实现无差错信息传输是不可能的。

3.5连续信道及其容量对于连续信源：1、互信息量为信源的熵与条件熵之差2、信道容量定义为互信息量的最大值在形式上，连续信道的信道容量与离散信道的信道容量是相同的。

3.5.1连续单符号加性信道信道输入x(x∈R)输出y(y∈R)n连续单符号加性信道单符号连续信道平均互信息量信道容量根据限平均功率最大熵定理，输入X与噪声n相互独立，有x=y-n假设由高斯分布性质，当时，信道容量噪声的加性噪声信道容量的上、下界

信噪功率比3.5.2多维无记忆加性连续信道加性信道n1y1=x1+n1x1n2y2=x2+n2x2nNyN=xN+nNxN…输入序列x输入序列y噪声n，均值0的高斯序列多维无记忆加性噪声信道等价于N个独立并联加性信道输入、输出信号是幅度连续、时间离散信道无记忆，有因为是加性信道噪声分量输入分量因多维无记忆加性信道容量1、当各时刻噪声相同分布2、当各时刻噪声、输入不同分布输入同分布信道容量约束条件求作辅助函数对Psi(i=0,1,…N)求偏导，令其为0，得由约束条件，得求出信道容量为，当，该信道不分配能量当，该信道分配能量，分配到某时刻噪声、信号功率和例3.8各时刻，对应噪声为均值为0，方差为输入X满足，各分量统计独立，并满足求信道容量。先由约束条件，求得此时关闭信道7~10，N=6，求得此时关闭信道6，N=5，得关闭信道5，N=4,各信道分得功率大于0。

信道容量

=2.35比特/自由度功率注水法功率分配3.5.3加性高斯白噪声信道(AWGN)对波形信道作以下限制：输入、输出是平稳随机过程限频F、限时T在时间上离散为：输入输出波形信道平均互信息量3.5.3波形信道容量单位时间信息传输率信道容量噪声，方差即噪声功率，双边功率谱密度取序列长度（T时间内取N个样本，单位时间有2W个样本）波形信道转换为多维无记忆高斯加性信道，有下式：：每个信号样本平均功率：每个噪声分量的功率波形信道容量W：信号带宽(Hz)，Ps：输入信号平均功率(w)，N0:噪声功率谱密度(w/Hz)香农公式