第三离散信道及其信道容量

第三离散信道及其信道容量第一页，共六十五页，编辑于2023年，星期一第一节信道的数学模型及分类第二页，共六十五页，编辑于2023年，星期一第一节信道的数学模型及分类1、信道的分类：根据信道用户的多少：（1）单用户信道：只有一个输入端和一个输出端（2）多用户信道：至少有一端有两个以上的用户，双向通信根据输入端和输出端的关联：（1）无反馈信道（2）有反馈信道第三页，共六十五页，编辑于2023年，星期一根据信道参数与时间的关系：

（1）固定参数信道（2）时变参数信道根据输入输出信号的特点：（1）离散信道（2）连续信道（3）半离散半连续信道（4）波形信道以下我们只研究无反馈、固定参数的单用户离散信道。第一节信道的数学模型及分类第四页，共六十五页，编辑于2023年，星期一P(Y|X)XY根据这一模型，可对信道分类如下：设离散信道的输入为一个随机变量X，相应的输出的随机变量为Y，如图所示：规定一个离散信道应有三个参数：输入符号集：X={x1，x2，…，xn}输出符号集：Y={y1，y2，…，yn}信道转移概率：描述输入信号和输出信号之间统计依赖关系，反映了信道的统计特性。P(Y|X)={p(y1|x1),p(y2|x1),…p(ym|x1),……p(y1|xn)…p(ym|xn)}2、离散信道的数学模型第一节信道的数学模型及分类第五页，共六十五页，编辑于2023年，星期一（1）无干扰（无噪）信道：输入信号与输出信号有确定的一一对应关系。第一节信道的数学模型及分类第六页，共六十五页，编辑于2023年，星期一（2）有干扰无记忆信道：输入与输出无确定的对应关系，输出只与当前输入有关。

无记忆信道：信道任一时刻输出符号只统计依赖于对应时刻的输入符号，而与非对应时刻的输入符号及其他任何时刻的输出符号都无关。（3）有干扰有记忆信道：这是最一般的信道，实际信道往往是这种类型。有记忆信道：信道中某一瞬间的输出符号不但与对应时刻的输入符号有关，而与还与此前其他时刻的输入符号及输出符号有关。第一节信道的数学模型及分类第七页，共六十五页，编辑于2023年，星期一3、单符号离散信道的数学模型单符号离散信道的输入变量为X，取值于

输出变量为Y，取值于并有条件概率条件概率被称为信道的传递概率或转移概率。因为信道有干扰，若信道输入为x=ai，输出是哪一个符号y，事先无法确定，但信道输出一定是b1，b2，…，bs中的一个，即

第一节信道的数学模型及分类第八页，共六十五页，编辑于2023年，星期一

一般简单的单符号离散信道的数学模型可以用概率空间[X,P(y|x),Y]来描述。

X

Y第一节信道的数学模型及分类第九页，共六十五页，编辑于2023年，星期一[例1]二元对称信道（BSC）

X={0,1};Y={0,1};p(0|0)=p(1|1)=1-p;p(0|1)=p(1|0)=p;[P]=0101-pp1p1-p01-p0pp11-p1第一节信道的数学模型及分类第十页，共六十五页，编辑于2023年，星期一[例2]二元删除信道X={0,1};Y={0,2,1}[P]=02101-pp010p1-p

01-p0pp11-p12第一节信道的数学模型及分类第十一页，共六十五页，编辑于2023年，星期一

01-p0pp11-p12[P]=02101-pp010p1-p这种信道实际是存在的。假如有一个实际信道，它的输入是代表0和1的两个正、负方波信号，如图3.5(a)所示。那么，信道输出送入译码器的将是受干扰后的方波信号R(t),如图3.5(b)所示。我们可以用积分来判别发送的信号是“0”还是“1”。如果I是正的，且大于某一电平，那么判别发送的是“0”；若I是负的，且小于某一电平，则判别发送的是“1”。而若I的绝对值很小，不能作出确切的判断，就认为接收到的是特殊符号“2”，假如信道干扰不是很严重的话，那么10和01的可能性要比02和12的可能性小得多，所以假设是较合理的。第十二页，共六十五页，编辑于2023年，星期一[P]=y1y2…ymx1p(y1|x1)p(y2|x1)…p(ym|x1)x2p(y1|x2)p(y2|x2)…p(ym|x2)……………xnp(y1|xn)p(y2|xn)…p(ym|xn)

由此可见，一般单符号离散信道的传递概率可以用矩阵表示为：第一节信道的数学模型及分类第十三页，共六十五页，编辑于2023年，星期一

为了表述简便，可以写成下面推导几个关系式：第一节信道的数学模型及分类这个矩阵完全描述了信道的统计特性，其中有些概率是信道干扰引起的错误概率，有些概率是信道正确传输的概率。所以该矩阵称为信道矩阵。第十四页，共六十五页，编辑于2023年，星期一（2）输出符号的概率（1）联合概率其中称为前向概率，描述信道的噪声特性。称为后向概率，有时也把称为先验概率，把称为后验概率。（3）后验概率

表明输出端收到任一符号，必定是输入端某一符号输入所致。第一节信道的数学模型及分类第十五页，共六十五页，编辑于2023年，星期一第二节平均互信息第十六页，共六十五页，编辑于2023年，星期一第二节平均互信息复习：自信息的数学期望为信源的平均信息量。称为先验熵。1、信道疑义度第十七页，共六十五页，编辑于2023年，星期一第二节平均互信息信道疑义度定义：

这个条件熵称为信道疑义度，表示输出端在收到一个符号后，对输入符号尚存的不确定性，这是由信道干扰造成的，如果没有干扰，H(X|Y)=0，一般情况下H(X|Y)小于H(X)，说明经过信道传输，总能消除一些信源的不确定性，从而获得一些信息。

这是收到后关于X的后验熵，表示收到后关于输入符号的信息测度。第十八页，共六十五页，编辑于2023年，星期一简单的通信模型第二节平均互信息2、平均互信息从通信的角度引出互信息量的概念信源符号经过信道传输，信宿方接收到的符号信源信道信宿干扰信源符号集信宿符号集第十九页，共六十五页，编辑于2023年，星期一第二节平均互信息互信息定义：一个事件所给出（贡献）的关于另一个事件的信息量。比如今天下雨给出的关于明天下雨的信息量。事件是否发生具有不确定性，用度量。接收到信号后，事件是否发生仍保留有一定的不确定性，用度量。观察事件前后，这两者之差就是通信过程中所获得的信息量，用表示，成为事件和事件之间的互信息量。即已知这个消息后，所消除的那个事件的不确定性。第二十页，共六十五页，编辑于2023年，星期一第二节平均互信息互信息量的性质：对称性，即I(x;y)=I(y;x)；当x和y独立时，I(x;y)=0;注：和的区别在于：前者是事件和事件之间的互信息量，后者是二维空间XY上元素的自信息量。第二十一页，共六十五页，编辑于2023年，星期一第二节平均互信息I(X;Y)=H(X)-H(X|Y)

因为H(X)表示传输前信源的不确定性，而H(X|Y)表示收到符号后，对信源尚存的不确定性，所以二者之差是信道传递的信息量。

下面我们讨论一下互信息与其他的熵之间的关系。P(x)平均互信息定义：互信息I(x:y)在两个概率空间X和Y中求统计平均的结果；先验熵与信道疑义度之差。第二十二页，共六十五页，编辑于2023年，星期一

由3.34也可以看出，互信息I(X;Y)也表示输出端H(Y)的不确定性和已知X的条件下关于Y的不确定性之差，也等于发送前后关于Y的不确定性之差。

H(X|Y)即信道疑义度，也表示通过有噪信道造成的损失，故也称为损失熵，因此信源的熵等于收到的信息量加上损失的熵；而H(Y|X)表示已知输入的情况下，对输出端还残留的不确定性，这个不确定性是由噪声引起的，故也称之为噪声熵或散布度，它反映了信道中噪声源的不确定性。第二节平均互信息I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(XY)=H(Y)-H(Y|X)(3.34)也可以得到：H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)第二十三页，共六十五页，编辑于2023年，星期一

H(X|Y)H(Y|X)互信息与各类熵之间的关系可以用下图（维拉图）表示：H(XY)

H(X)H(Y)I(X;Y)

可以看出，联合熵等于两圆之和减去第三部分，也等于一个圆加上另外一部分。图1第二节平均互信息第二十四页，共六十五页，编辑于2023年，星期一

下面讨论两种极端情况：(1)无噪一一对应信道此时可以计算得：H(X|Y)=H(Y|X)=0，在图中表示就是两圆重合。(2)输入输出完全统计独立此时I(X;Y)=0H(X|Y)=H(X)H(Y|X)=H(Y)

第二节平均互信息第二十五页，共六十五页，编辑于2023年，星期一第三节平均互信息的特性第二十六页，共六十五页，编辑于2023年，星期一第三节平均互信息的特性1、平均互信息的非负性

I(X;Y)>=0

该性质表明，通过一个信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但绝不会失去已知的信息。2、平均互信息的极值性

I(X;Y)<=H(X)

一般来说，信道疑义度总是大于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵。

第二十七页，共六十五页，编辑于2023年，星期一3、平均互信息量的交互性

I(X;Y)=I(Y;X)

I(Y;X)表示从X中提取关于的Y的信息量，实际上I(X;Y)和I(Y;X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。4、平均互信息的凸状性第三节平均互信息的特性与两个因素有关：信源的P(x)分布信道P(y|x)情况第二十八页，共六十五页，编辑于2023年，星期一

定理3.1：平均互信息I(X;Y)是输入信源概率分布P(x)的型凸函数（又称上凸函数）。

这就是说，对于一定的信道转移概率分布，总可以找到某一个先验概率分布的信源X，使平均互信息量达到相应的最大值Imax，这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应不同的Imax。因此，当固定某信道时，选择不同的信源（其概率分布不同）与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。对于每一个固定的信道，一定存在一个某种概率分布的信源，使输出端获得的平均信息量为最大。第三节平均互信息的特性第二十九页，共六十五页，编辑于2023年，星期一例：对于二元对称信道,如果信源分布X={ω,1-ω}，则第三节平均互信息的特性I(X;Y)ω1/21-H(P)而：

01-p0pp11-p1所以第三十页，共六十五页，编辑于2023年，星期一

定理3.2平均互信息I(X;Y)信道传递概率P(y|x)的U型凸函数（又称下凸函数）。这就是说，对于一个已知先验概率为P(X)的离散信源，总可以找到某一个转移概率分布的信道，使平均互信息量达到相应的最小值Imin。可以说不同的信源先验概率对应不同的Imin。或者说Imin是P(X)的函数。即平均互信息量的最小值体现了信源本身的特性。因此，当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。对每一种信源都存在一种最差的信道，此信道的干扰（噪声）最大，而输出端获得的信息量最小。第三节平均互信息的特性第三十一页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法第三十二页，共六十五页，编辑于2023年，星期一我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信息传输率R。信道的信息传输率就是平均互信息I(X;Y)，即R=I(X;Y)=H(X)-H(X|Y)传输效率，与时间无关有时我们所关心的是信道在单位时间内平均传输的信息量，若平均传输一个符号需要t秒钟，则信道每秒钟平均传输的信息量为Rt=I(X;Y)/t=H(X)/t-H(X/Y)/t一般称此为信息传输速率，单位为比特/秒或奈特/秒。第四节信道容量及其一般计算方法第三十三页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法对于一个固定的信道，总存在一种信源（概率分布为P(x)），使传输每个符号平均获得的信息量最大，定义这个最大的信息传输率为信道容量C，单位是比特/符号，即

信道单位时间内平均传输的最大的信息量为一般仍称Ct为信道容量，单位是比特/秒。信道容量是完全描述信道特性的参量，是信道能够传输的最大信息量。

第三十四页，共六十五页，编辑于2023年，星期一例：对于二元对称信道，信源分布X={ω,1-ω}。其平均互信息为：

01-p0pp11-p1当ω=1/2时，存在极大值

I(X;Y)=H(1/2)-H(p)=1-H(p)因此二元对称信道的信道容量为

C=1-H(p)可见，信道容量只是信道传输概率p的函数，而与输入符号X的概率分布ω无关。I(X;Y)ω1/21-H(P)Cp1/2第四节信道容量及其一般计算方法第三十五页，共六十五页，编辑于2023年，星期一1、离散信道的信道容量（1）具有一一对应关系的无噪声信道x1y1x2y2x3y3此时由于信道完全可靠，其损失熵和疑义度都等于0，所以

I(X;Y)=H(X)=H(Y)

根据极值性，C=logr=logs第四节信道容量及其一般计算方法信道矩阵第三十六页，共六十五页，编辑于2023年，星期一(2)无损信道（具有扩展性能）

此时信道疑义度（损失熵）为0，而信道噪声熵不为0，从而

C=max{I(X;Y)}=max{H(X)-H(X|Y)}=max{H(X)}=logr

信道矩阵中每一列有且只有一个非零元素时，这个信道一定是有噪无损信道。因后向概率P(x|y)等于0或1，接收到符号Y后对发送的X符号是完全确定的。第四节信道容量及其一般计算方法x2x1y3y4y5y1y2x3y6第三十七页，共六十五页，编辑于2023年，星期一(3)无噪有损信道（确定信道）（具有归并性能）x1x2x3x4x5y1y2

在这类信道中接收到符号Y后不能完全消除对X的不确定性，信息有损失。但输出端Y的平均不确定性因噪声熵等于0而没有增加。因前向概率P(y|x)等于0或1，此时信道疑义度（损失熵）不为0，而信道噪声熵为0，从而

C=max{I(X;Y)}=max{H(Y)-H(Y|X)}=max{H(Y)}=logs第四节信道容量及其一般计算方法第三十八页，共六十五页，编辑于2023年，星期一用维拉图表示各类熵之间的关系：第四节信道容量及其一般计算方法损失熵等于零的信道称为无损信道；噪声熵等于零的信道称为无噪信道；一一对应的无噪信道称为无噪无损信道。有噪无损信道无噪有损信道第三十九页，共六十五页，编辑于2023年，星期一和2、对称离散信道的信道容量第四节信道容量及其一般计算方法但和不是对称信道。离散信道中有一类特殊的信道，其特点是信道矩阵具有很强的对称性。所谓对称性，就是指信道矩阵P中每一行都是由同一集的诸元素不同排列组成，并且每一列也都是由集的诸元素不同排列组成。即信道矩阵P中每一行是另一行的置换，以及每一列是另一列的置换。具有这种对称性信道矩阵的信道称为对称离散信道。一般，当时集集相同，若，集应是的子集，例如，信道矩阵第四十页，共六十五页，编辑于2023年，星期一如果离散信道的转移矩阵（强对称信道的信道矩阵一定是方阵）称此信道为强对称信道或均匀信道，它是对称离散信道的一种特例。这类信道中总的错误概率为p，对称地分配给r-1个输出符号。该信道的各列之和也为1。第四节信道容量及其一般计算方法第四十一页，共六十五页，编辑于2023年，星期一下面我们来计算对称离散信道的信道容量。I(X;Y)=H(Y)-H(Y|X)

而H(Y|X=x)是对矩阵的行求和，而由于对称信道定义，我们知道，此值是一个与x无关的一个常数，即因此

可以看出，当输出等概分布时，即H(Y)=logs时，可达到信道容量。第四节信道容量及其一般计算方法第四十二页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法它只与对称信道矩阵中行矢量和输出符号集的个数s有关。

那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，输入等概分布时，输出也等概分布。

......可以看出，信道的输出也是等概分布的。对称离散信道的信道容量为：第四十三页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法例：对于二元对称信道这个式子是很重要的。第四十四页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法例：对于强对称信道，其信道容量为：第四十五页，共六十五页，编辑于2023年，星期一3、准对称信道的信道容量：若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如：可划分为：第四节信道容量及其一般计算方法第四十六页，共六十五页，编辑于2023年，星期一又如：可分成：第四节信道容量及其一般计算方法第四十七页，共六十五页，编辑于2023年，星期一

可以证明达到信道容量的输入分布是等概分布，也可计算准对称信道的信道容量为：其中r是输入符号集的个数，为矩阵中的行元素，是第k个矩阵中的行元素之和，是第k个矩阵的列元素之和。第四节信道容量及其一般计算方法n是将准对称信道切成的块数。第四十八页，共六十五页，编辑于2023年，星期一例：可分成：第四节信道容量及其一般计算方法第四十九页，共六十五页，编辑于2023年，星期一定理3.3：一般离散信道达到信道容量的充要条件是输入概率分布满足

该定理说明，当平均互信息达到信道容量时，信源每一个符号都对输出端输出相同的互信息。第四节信道容量及其一般计算方法4、一般离散信道的信道容量第五十页，共六十五页，编辑于2023年，星期一可以利用该定理对一些特殊信道求得它的信道容量。例：输入符号集为：{0,1,2}假设输入概率分布P(0)=P(2)=1/2，P(1)=0，则：第四节信道容量及其一般计算方法所以：00112210.50.51第五十一页，共六十五页，编辑于2023年，星期一对于一般信道的求解方法，就是求解方程组若r=s，此方程有解，可以解出s各未知数，再根据移项得：令则得从而第四节信道容量及其一般计算方法第五十二页，共六十五页，编辑于2023年，星期一例：第一步，列方程组：第四节信道容量及其一般计算方法解之得：第五十三页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法第二步，求信道容量：第三步，求p(yi)如何分布才能取到上述信道容量：第四步，求p(xi)如何分布才能取到上述信道容量：第五十四页，共六十五页，编辑于2023年，星期一第四节信道容量及其一般计算方法结论：当p(xi)满足如下分布时，平均互信息达到最大值，即信道容量。第五十五页，共六十五页，编辑于2023年，星期一第五节离散无记忆扩展信道及其信道容量第五十六页，共六十五页，编辑于2023年，星期一

多符号有记忆信道的信道容量非常复杂，我们只学习多符号无记忆信道的信道容量。将某一信道矩阵中的信源和信道分别进行扩展后，采用乘法原则得到