北工大信息论第四章信道及信道容量

第四章离散信道及其信道容量信道

——信息传输的通道

信息论中与信源并列的另一个主要研究对象研究的主要内容:

★信道的建模

★信道容量

★不同条件下充分利用信道容量的方法一.数学模型

干扰信道输入信号x输出信号yp(y|x)第一节信道模型及其分类p(y|x)：反映信道的统计特性，即输入输出的依赖关系，又称信道的传递概率、转移概率或传输概率。信道的数学模型：

{X，p(y|x)，Y}1.按其输入/输出信号在幅度和时间上的取值是离散或连续来分：幅度时间信道名称离散离散离散信道(discretechannel)，也称数字信道(digitalchannel)连续离散连续信道(continuouschannel)连续连续模拟信道(analogchannel)，也称波形信道(waveformchannel)离散连续理论、实用价值很小二.分类2.按其输入/输出之间关系的记忆性划分：无记忆信道：有记忆信道：3.按其输入/输出信号之间是否是确定关系来分：有噪信道：无噪信道：在某一时刻信道的输出消息仅与当前信道的输入消息有关，而与之前时刻的信道输入无关在任一时刻信道的输出不仅与当前输入有关，而且还与以前时刻输入有关存在噪声，不存在确定关系

——实用价值大，研究的理想对象不存在噪声，存在确定关系

——实用价值小4.按其输入/输出信号个数来分：两端信道(两用户信道):只有一个输入端和一个输出端的单向通信的信道,又称为单路信道.多端信道(多用户信道):信道的输入输出至少有一个具有两个或两个以上的信号.多元接入信道广播信道5.按信道的统计特性分：恒参信道变参信道一.定义1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。2.数学模型：

离散信道对任意N长的输入、输出序列有如果有

，则信道为平稳的离散无记忆信道DMC。第二节离散无记忆信道DMC1.定义：2.传输概率

p(y|x)——可描述信道中干扰影响的大小，干扰存在，传输时可能发生错误。二.单符号离散无记忆信道——完全反映信道的特性3.信道矩阵P4.信道输出与输入之间的关系

例4-1：其中：p表示传输中发生错误的概率二元对称信道(BSC)(二进制对称信道)

其中：p、q表示正确传输的概率

二元删除信道(二进制删除信道)1.信道疑义度(损失熵)表示：由于信道的干扰，导致信道输出端收到Y后，对输入X仍然存在的平均不确定度。也可表示：由于信道干扰导致信息量的损失。信道X

Y三.信道疑义度和平均互信息信道H(X|Y)

X

YH(X)

I(X;Y)表示：接收端收到Y后获得的关于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X|Y)•定理1：

对于固定信道，I(X;Y)是信源概率分布p(x)的上凸函数。2.平均互信息定理2:

对于固定的信源分布，I(X;Y)是信道传递概率P(y|x)的下凸函数。

例4-2：考虑二元对称信道，其信源概率空间为

信道XY（0，1）（0，1）求其平均互信息解:应用全概率公式则有：则平均互信息：当信道固定，即p为一个固定常数时，可得到I(X;Y)是信源输出分布ω的上凸函数。

当信源固定，即ω是一个常数时,可得到I(X;Y)是信道传递概率p的下凸函数。当p=0.5时，I(X;Y)=0，在接收端未获得信息量。

当ω=1/2

时，即取极大值.例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到多少掷色子的信息量。解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为事件X=1；Y=0表示抛硬币出现0次正面,Y=1表示抛硬币出现1次正面,Y=2表示抛硬币出现2次正面。信源概率空间为信道矩阵为输出符号的概率空间为则有：四.离散无记忆信道的N次扩展信道N次扩展信道信道例4-4：求二元无记忆对称信道的二次扩展信道。解：输入扩展为：00，01，10，11输出扩展为：00，01，10，11传递矩阵扩展为：请问：与I（X；Y）之间的关系？

定理1:若信道的输入、输出分别为N长序列X和Y，且信道是无记忆的，即：用两个定理回答这个问题定理2：若信道的输入、输出分别为N长序列X和Y，且信源是无记忆的，即：由定理1和定理2当信源和信道都是无记忆时有：

当每个序列中的分量Xi取值于同一信源符号集，且具有同一种概率分布，则输出Y的分量Yi也取值同一符号集，则各I（Xi；Yi）是相等的。即：对于N次扩展，则有一.级联信道（串联信道）第三节信道组合消息依次通过几个信道串行传输：信道1信道2XYZp(y|x)p(z|xy)级联信道的平均互信息存在两个定理:

定理1:级联信道中的平均互信息满足以下关系

Y确定后,Z不再与X有关,只取决于信道2的转移概率矩阵,则I(X;Z|Y)=0,这意味着X,Y,Z构成一个一阶马尔可夫链.定理2:若随机变量X,Y,Z构成一个马尔可夫链,则有可得：在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦丢失信息，以后系统不管如何处理，如果不涉及到该信道过程的输入端，都不能恢复已丢失的信息——信息不增性原理。当信道不断级联时，信道的最终传输信息量趋于0串联信道的总信道矩阵定理2表明：通过串联信道的传输只会丢失信息，至多保持原来的信息量。例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信道矩阵。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：由图可知——多个信道联合起来使用12N并用信道

当待发送的消息比较多时，可用多个信道并行传送，香农称之为平行信道有各自的输入和输出，最后总和。二.并联信道信道1信道2信道N输入并接信道

一个输入多个输出，且为相同的输入。缺点是信道的利用率低，但可提高信息传输的可靠性。信道1信道2信道N和信道

传输信息时，每次只使用其中一个信道，它的信道矩阵：一.基本概念：

1.信道容量C：信道能无错误地传送的最大信息率第四节信道容量2.信道的信息传输率R

：信道中平均每符号所能传送的信息量3.信道的信息传输速率：信道在单位时间内平均传输信息量信道在单位时间内传输的最大信息量为

例4-6：考虑二元对称信道，其信源概率空间为求该信道的信道容量。解：信道的平均互信息

当ω=1-ω=1/2

时，I(X;Y)取极大值，即接收到的信息量最大，则信道容量为：C=maxI(X;Y)=1-H(p)由此可知：信道容量只是传递概率的函数1.无损信道：一个输入对应多个互不相交的输出二.几种特殊信道的信道容量H(Y|X)>0(称噪声熵)则：信道容量：2.确定信道：一个输出对应多个不相交的输入

信道疑义度H(X|Y)>0

单位：比特/符号3.无损确定信道：输入与输出一一对应

H(Y|X)=0H(X|Y)=0

则I(X;Y)=H(X)=H(Y)——信道中没有损失

单位：比特/符号

可知：对于无噪信道求C的问题已从求I(X;Y)极值问题退化成求H(X)或H(Y)极值问题。如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信道为行（列）对称信道。如果信道矩阵的每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但是可以按照矩阵的列将信道矩阵划分成或干对称的子矩阵，则称该信道为准对称信道。若信道矩阵中，每一行(或列)都是第一行(或第一列)的元素的不同排列，则称为离散对称信道。—对称信道—准对称信道三.离散对称信道—对称信道1.定义：则称此信道为均匀信道。（对称信道的特例）如果对称信道的输入输出符号个数相同，均为r，且信道中总的错误概率，平均分配给个输出符号，即信道矩阵为注意：一般信道的信道矩阵的各行之和为1，各列之和不一定为1，但是均匀信道的各列之和为12.离散对称信道的C

式中

为信道矩阵中任一行的元素。

若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概率分布时，达到信道容量C定理：证明：则有：结论:求离散对称信道的信道容量，实质上是求一种输入分布p(x)使输出熵H(Y)达最大。例4-7：求具有以下信道矩阵的信道的信道容量解：分析可知这是一个对称信道，则信道容量为

结论：在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为0.126bit，一般情况下每个符号平均传输的信息都是小于0.126bit

。例4-8：求均匀信道的信道容量。为正确传递概率为错误传递概率对于二元对称信道：r=2，则信道容量C：解：均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则

引理：对于一个离散对称信道，只有当信道输入分布p(x)为等概率分布时，输出分布才能为等概率分布。证明：设该信道有r个输入符号，当输入等概分布时，有

根据全概率公式，输出为

由对称信道可知，每列元素之和相等，设为则该矩阵所有元素之和为从矩阵的行可知所有元素之和为r，则所以有：表明：对于一个离散对称信道，当信道输入分布p(x)为等概率分布时，输出分布为等概率分布。3.准对称信道的C

求准对称信道的信道容量，首先将信道矩阵划分为若干个互不相交的对称子集，可以证明当输入等概分布时，达到信道容量为式中：n为输入符号个数；是信道矩阵中任一行元素求的信息；r是互不相交的子集个数。Nk是第k个子矩阵中行元素之和；Mk是第k个子矩阵中列元素之和；例4-9：求二元对称删除信道的信道容量。解：分析可知该信道分成对称的2个子信道则该信道是一个准对称信道

其信道容量为

其中输入符号个数n=2，则有：λ为拉格朗日乘子，待定常数根据高数知识,首先构造函数：设有一离散无记忆信道的输入X取值于在的约束条件下求I(X;Y)的极值.信道矩阵P=输出Y取值于四.一般离散无记忆信道的C对p(ai)

求偏导，并令偏导等于0，即：，代入I(X;Y)求出C根据约束条件，求出pi例4-10：设有扰离散信道的传输情况如图所示，求C以及达到C时的输入概率分布.利用对称信道的信道容量公式求得：解：I(X;Y)=H(Y)-H(Y|X)则有：达到C时的输入分布：解：N个二元对称信道级联后的总信道矩阵为例4-11：求N个相同的二元对称信道组成的级联信道容量

12N单个二元对称信道的信道矩阵为五.组合信道的C1.级联信道此时C=02.输入并接信道信道1信道2信道NC大于任意一个组成信道的信道容量。上界为3.并用信道(独立并联信道)12N4.和信道信道1信道2信道N

即C为各组成信道的信道容量之和六.N次扩展离散无记忆信道的信道容量

表示某时刻通过离散无记忆信道传输的最大信息量。则：

对于离散无记忆信道有：对于N次扩展信道，任何时刻是相同的。七.香农信道容量公式

限带、加性白色高斯噪声的信道容量

——著名的信道容量的香农公式S：输入信号平均功率B：信道通带带宽：噪声的边带功率谱密度：信噪比

在这种信道中，输入输出信号和噪声都被限制在一定的频带中，一般设此频带为［０，B］。信道传输的费用就是信号的功率。又设信道的噪声为加性的、高斯的且具有平坦的功率谱，均值为０。

例4-12:

已知信道的带宽B为3kHz,信号在信道传输中受到单边功率谱密度为的加性白高斯噪声的干扰,信号的平均功率S为9W.

(1)求信道的容量;(2)若信道带宽增加到原来的10倍,并保持信道容量不变,那么信号平均功率要改变多少dB?解:

(1)信道容量为(2)带宽变为10B,而C保持不变,假设此时对应的信号功率为则无损信道的剩余度第五节信源与信道匹配一.信道剩余度=C-I(X;Y)=C-R二.相对剩余度=1-R/C对于无损信道C=logr无损信道的相对剩余度信源的剩余度

对于无损信道，可通过信源编码，减小信源的剩余度，提高信道的信息传输率使之达到C。例4-13：有一个二元对称信道，其信道矩阵如图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(1)=p(0)=1/2。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真传送完。1000.980.020.98