信道与信道容量

1主要内容信道分类与表示方法信道容量的计算2第3章信道与信道容量信道分类和表示参数离散单个符号信道及其容量33.1信道分类和表示参数信道定义传输信息的载体，其任务是以信号形式传输、存储信息。信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固定参数、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、 波形信道43.1信道分类和表示参数信道参数信道可分为：53.1信道分类和表示参数信道种类1、无干扰（无噪声）信道2、有干扰无记忆信道信道的输出信号Y与输入信号X之间有确定的关系。转移概率信道的输出信号Y与输入信号X之间没有确定关系（有干扰），但转移概率满足：每个输出符号只与当前输入信号有转移概率关系，与其他时刻的信号无关，即无记忆。需分析单个符号的转移概率p(yj|xi).63.1信道分类和表示参数1）二进制对称信道（BSC）(输入输出符号数均为2)由于这种信道的输出比特仅与对应时刻的一个输入比特有关，而与以前的输入无关，所以这种信道是无记忆的;73.1信道分类和表示参数2)离散无记忆信道DMC(输入输出符号数大于2但有限)转移矩阵3）离散输入、连续输出信道

设信道输入符号是有限、离散的,其输入字符集信道输出称离散输入,连续输出信道.即

又称半离散或半连续信道。

（4）波形信道

若输入是模拟波形，输出也是模拟波形则该信道为波形信道.若分析性能的理论极限，多选用离散输入、连续输出的信道模型。

选择何种模型取决于我们目的.从工程上讲,最常用的DMC信道或BSC信道.10信息传输率：信道中平均每个符号所能传送的信息量。R=I(X;Y)=H(X)－H(X/Y)比特/符号信道在单位时间内平均传输的信息量定义为信息传输速率Rt=I(X;Y)/t比特/秒11信道容量对于某特定信道，若转移概率已经确定，则互信息就是关于输入符号分布函数型凸函数那么，可以找到某种概率分布p(ai),使得I(X;Y)最大：C被称为信道容量，表明信道的最大传输信息量；12信道容量单位：比特/符号（bits/symbol或bits/channeluse）

如果已知符号传送周期是T秒，也可以“秒”为单位来计算信道容量，此时Bit/s、nat/s注：对于特定的信道，信道容量是个定值，但在传输信息时信道能否提供最大传输能力，则取决于输入端的概率分布。1、信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.2、什么是信道容量？

互信息量I(X,Y)是输入符号X

概率分布的凸函数：对于一个给定的信道，总是存在某种概率分布p(xi),使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。

复习143.2离散单个符号信道及其容量3.2.1无干扰离散信道的信道容量X、Y一一对应C＝maxI(X;Y)＝logn（输入符号为等概率出现时）多个输入变成一个输出；噪声熵H(Y|X)=0;疑义度H(X|Y)≠0;C＝maxI(X;Y)＝maxH(Y)由于信道噪声，使一个输入对应多个输出；疑义度H(X|Y)=0;噪声熵H(Y|X)≠0;C＝maxI(X;Y)＝maxH(X)153.2离散单个符号信道及其容量对称DMC（离散无记忆）信道定义输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称对称的DMC信道如果输入、输出都对称163.2离散单个符号信道及其容量对称DMC信道例子如果一个矩阵的每一行都是同一集合中诸元素的不同排列，我们称矩阵的行是输入对称的；如果一个矩阵的每一列都是同一集合中诸元素的不同排列，我们称矩阵的列是输出对称的；如果一个信道的矩阵输入输出都是对称的，该信道称为对称信道。173.2离散单个符号信道及其容量输入对称183.2离散单个符号信道及其容量对称信道容量193.2离散单个符号信道及其容量若信道输入符号等概率分布p(ai)=1/n,由于符号的输出对称，则要使最大，只有信道的输出符号为等概率分布，输入符号也为等概率分布，因此，对称DMC信道的容量为：m为信道输出符号的数目203.2离散单个符号信道及其容量Eg.求信道容量解：根据公式：213.2离散单个符号信道及其容量Eg.求信道容量，信道转移矩阵如下：信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。223.2离散单个符号信道及其容量n=2时，即为：二进制对称信道，容量为C＝1－H（）23pC信道无噪声当ε

=0,C=1－0=1bit=H(X)当ε

=1/2,

信道强噪声，信道容量为0BSC信道容量3.2离散单个符号信道及其容量离散无记忆模K加性噪声信道取值范围：Z=X=Y={0,1,…,K-1}，X为信道输入，Y为信道输出，Z为信道干扰。y=x⊕zmodK例3-3离散无记忆模K加性噪声信道，X=Y={0,1,…,K-1}，

y=x⊕zmodK，求该信道容量。该信道具有对

称DMC信道特征，其概率转移概率为：

2501K-1012K-1信道示意图如右图所示：

利用公式得到

263.2离散单个符号信道及其容量串联信道C(1,2)=maxI(X;Z)，C(1,2,3)=maxI(X;W)…Q:信道容量与串联信道多少的关系？YWZ273.2离散单个符号信道及其容量Eg.设有两个离散BSC信道串接，两个BSC信道的转移矩阵如下，求信道容量；283.2离散单个符号信道及其容量信道容量I(X;Y)=1-H()，I(X;Z)=1-H[2(1-)]串联信道容量X00ZY111-ε1-εε1-εεBSC信道串联1-ε293.2离散单个符号信道及其容量准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道，例：303.2离散单个符号信道及其容量准对称DMC信道容量对于准对称DMC信道，当输入分布为等概分布时，互信息达到最大值。信道容量：证明：313.2离散单个符号信道及其容量Eg.

求信道容量方法一：信道的输入符号有两个，可设p(a1)＝，p(a2)＝1－信道的输出符号有三个，用b1、b2、b3表示，由得到联合概率矩阵：323.2离散单个符号信道及其容量Eg.

求信道容量方法一（续）：由333.2离散单个符号信道及其容量Eg.

求信道容量方法一（续）：由得求得α=1/2，343.2离散单个符号信道及其容量当p(a1)＝p(a2)＝1/2时，p(b1)＝p(b2)＝(1-0.2)/2＝0.4C=H(Y)-H(Y/X)=0.036bit/符号方法二：将转移概率矩阵划分成若干个互不相交的对称的子集，输入分布为等概率时，信道容量n为输入符号集中符号的个数；p1’，p2’，…ps’是转移概率矩阵P中一行的元素，即H(p1’，p2’，…ps’)＝H(Y/ai)；Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和，r是互不相交的子集个数；353.2离散单个符号信道及其容量方法二（续）363.2离散单个符号信道及其容量Eg.

求信道容量解：首先将P1分解成若干不相交的对称子集，如何分？373.2离散单个符号信道及其容量一般DMC信道以输入信号概率矢量Px求函数I(Px)的最大值（信道容量），可以看作是规划问题，最常用的方法是：1972年由R.Blahut和A.Arimoto分别独立提出的一种算法，现在称为Blahut-Arimoto算法。I(X;Y)最大化的充要条件为：I(ai;Y)=C

对于所有满足p(ai)>0条件的iI(ai;Y)

C

对于所有满足p(ai)=0条件的i当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只有概率为零的符号除外；383.2离散单个符号信道及其容量一般DMC信道参考文献：[1]S.Arimoto,“Analgorithmforcalculatingthecapacityofanarbitarydiscretememorylesschannel,”IEEETrans.Inform.Theory,vol.18,pp.14–20,1972.[2]R.E.Blahut.Computationofchannelcapacityandratedistortionfunction.IEEETrans.Inform.Theory,IT-18:460-473,1972.393.3离散序列信道及其容量

离散序列信道

信道

p(Y/X)

Y

X

X=(X1X2…XL)Xl{a1,a2,…,an}Y=(Y1Y2…YL)Yl{b1,b2,…,bm}403.3离散序列信道及其容量

离散无记忆序列信道，信道转移概率为：

11111进一步信道是平稳的

413.3离散序列信道及其容量

离散无记忆序列信道

11111如果信道无记忆如果输入矢量X中的各个分量相互独立当信道平稳时CL=LC1，一般情况下，I(X;Y)LC1如果信道无记忆且矢量X中的各分量独立423.3离散序列信道及其容量

11111BSC的二次扩展信道

X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p