信道与信道容量

信道与信道容量第一页，共六十页，2022年，8月28日1信道信道：信息传输的通道在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律,通信技术必须研究信号在这些信道中传输时的特性信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信道输入量X(随机过程)输出量Y(随机过程)p(Y|X)第二页，共六十页，2022年，8月28日3.1信道的基本概念3.1.1信道分类用户数量：单用户、多用户输入端和输出端关系：无反馈、有反馈信道参数与时间的关系：固参、时变参噪声种类：随机差错、突发差错输入输出特点：离散、连续、半离散半连续、 波形信道第三页，共六十页，2022年，8月28日5.按输入/输出信号在幅度和时间上的取值:离散信道：输入和输出的随机序列取值都是离散的信道连续信道：输入和输出的随机序列取值在幅度上连续、时间上离散的信道半离散(半连续)信道：输入变量取值离散而输出变量取值连续输入变量取值连续而输出变量取值离散波形信道：信道的输入和输出在时间上和幅度上均连续的随机信号。

第四页，共六十页，2022年，8月28日6.按输入/输出之间关系的记忆性来划分：

无记忆信道：信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关有记忆信道：信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关第五页，共六十页，2022年，8月28日7.按输入／输出信号之间的关系是否是确定关系:无干扰信道：输入/输出符号之间有确定的一一对应关系有干扰信道：输入/输出之间关系是一种统计依存的关系输入/输出的统计关系：离散无记忆信道：用条件概率矩阵来描述。离散有记忆信道：可像有记忆信源中那样引入状态的概念。第六页，共六十页，2022年，8月28日设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}

输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道转移概率矩阵p(Y|X)：描述输入/输出的统计依赖关系,反映信道统计关系信道XYp(Y|X)3.1.2信道参数第七页，共六十页，2022年，8月28日（1）无干扰(无噪声)信道无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系Y=f(X),已知X后就确知Y转移概率:第八页，共六十页，2022年，8月28日（2）有干扰无记忆信道有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为:二进制离散信道离散无记忆信道离散输入、连续输出信道波形信道第九页，共六十页，2022年，8月28日二进制离散信道BSC输入符号X取值{0,1}；输出符号Y取值{0,1}很重要的一种特殊信道信道转移概率：

p(0|0)=1－pp(1|1)=1－pp(0|1)=pp(1|0)=p0101pp1-p1-p无错误传输的概率传输发生错误的概率1)二进制对称信道（BSC）第十页，共六十页，2022年，8月28日102)离散无记忆信道（DMC）第十一页，共六十页，2022年，8月28日P:转移概率矩阵已知X,信道输出Y表现出来的统计特性完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率转移概率矩阵第十二页，共六十页，2022年，8月28日3)离散输入、连续输出信道假设信道输入符号选自一个有限的、离散的输入字符集X={a1，a2，…，an}，而信道（检测器）输出未经量化（m＝∞），这时的译码器输人可以是实轴上的任意值，即y={-∞，∞}。这样的信道模型为离散时间无记忆信道。加性高斯白噪声信道（AWGN）第十三页，共六十页，2022年，8月28日4)波形信道第十四页，共六十页，2022年，8月28日（3）有干扰有记忆信道（略）

说明：设计和分析离散信道编、解码器的性能，从工程角度出发，最常用的是DMC信道模型或其简化形式BSC信道模型；若分析性能的理论极限，则多选用离散输入、连续输出信道模型；如果我们是想要设计和分析数字调制器和解调器的性能，则可采用波形信道模型。

本书的主题是编、解码，因此主要使用DMC信道模型。第十五页，共六十页，2022年，8月28日15我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息3.1.3信道容量的定义第十六页，共六十页，2022年，8月28日16信道容量C：最大的信息传输率单位时间的信道容量：信息传输率R=I(X;Y)=H(X)－H(X/Y)比特/符号信息传输速率信道在单位时间内平均传输的信息量定义为Rt=I(X;Y)/t比特/秒第十七页，共六十页，2022年，8月28日173.2离散单个符号信道及其容量信息传输率信道在单位时间内平均传输的信息量定义为信息传输速率R=I(X;Y)=H(X)－H(X/Y)比特/符号Rt=I(X;Y)/t比特/秒信道容量比特/符号（bits/symbol）

第十八页，共六十页，2022年，8月28日3.2离散单个符号信道及其容量3.2.1无干扰离散信道的信道容量第十九页，共六十页，2022年，8月28日3.2.1无干扰离散信道设信道的输入X∈A={a1…an},输出Y∈B={b1…bm}无噪无损信道输入和输出符号之间有确定的一一对应关系X111a1b1a2b2a3

b3Y第二十页，共六十页，2022年，8月28日无干扰离散信道无噪无损信道Xa1b1a2

b2an-1bn-1an

bn11Y第二十一页，共六十页，2022年，8月28日无干扰离散信道无噪无损信道由计算得：噪声熵H(Y|X)=0疑义度H(X|Y)=0第二十二页，共六十页，2022年，8月28日无干扰离散信道无噪有损信道多个输入变成一个输出(n＞m)Xa1

Ya2

b1a3a4b2a511111输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。第二十三页，共六十页，2022年，8月28日无干扰离散信道无噪有损信道多个输入变成一个输出(n＞m)噪声熵H(Y|X)＝0疑义度H(X|Y)≠0信道中接收到符号Y后不能完全消除对X的不确定性,信息有损失。但输出端Y的平均不确定性因噪声熵等于零而没有增加。第二十四页，共六十页，2022年，8月28日无干扰离散信道有噪无损信道一个输入对应多个输出(n＜m)X

b1a1b2b3a2b4b51/31/31/31/43/4计算得同理由Y第二十五页，共六十页，2022年，8月28日无干扰离散信道有噪无损信道一个输入对应多个输出(n＜m)接收到符号Y后,对发送的X符号是完全确定的。噪声熵H(Y|X)≠0疑义度H(X|Y)=0第二十六页，共六十页，2022年，8月28日无干扰离散信道无噪无损信道：X、Y一一对应无噪有损信道：多个输入变成一个输出有噪无损信道：一个输入对应多个输出第二十七页，共六十页，2022年，8月28日3.2.2

对称DMC信道对称离散信道：对称性:每一行都是由同一符号集{q1,q2,…qm}的诸元素不同排列组成——输入对称每一列都是由{p1,p2,…pn}符号集的诸元素不同排列组成——输出对称满足对称性,所对应的信道是对称离散信道。第二十八页，共六十页，2022年，8月28日对称DMC信道信道矩阵

不具有对称性,因而所对应的信道不是对称离散信道。

第二十九页，共六十页，2022年，8月28日

对称DMC信道输入对称输出对称第三十页，共六十页，2022年，8月28日3.2.2对称DMC信道对称信道容量第三十一页，共六十页，2022年，8月28日例某对称离散信道的信道矩阵为信道容量为第三十二页，共六十页，2022年，8月28日323.2.2对称DMC信道例.求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－，错误概率被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例第三十三页，共六十页，2022年，8月28日C信道无噪声当

=0,C=1－0=1bit=H(X)当

=1/2,

信道强噪声BSC信道容量BSC信道容量C＝1－H（）第三十四页，共六十页，2022年，8月28日串联信道例设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:X00ZY111-p1-p1-pp串联信道的转移矩阵为:1-pp第三十五页，共六十页，2022年，8月28日35串联信道X00ZY11求得:在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。pp1-p1-p1-p1-p第三十六页，共六十页，2022年，8月28日36串联信道由信息不增原理信道2信道m信道1…可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ第三十七页，共六十页，2022年，8月28日3.2.3准对称DMC信道准对称DMC信道如果转移概率矩阵P是输入对称而输出不对称，即转移概率矩阵P的每一行都包含同样的元素而各列的元素可以不同，则称该信道是准对称DMC信道第三十八页，共六十页，2022年，8月28日38

准对称DMC信道准对称信道将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵[P]k是对称矩阵。它们满定对称性,所以P1所对应的信道为准对称信道。

第三十九页，共六十页，2022年，8月28日39准对称信道的信道容量准对称信道准对称信道容量第四十页，共六十页，2022年，8月28日40准对称信道的信道容量当输入分布为等概率时：其中n是输入符号集的个数,(p1,p2,…pm)为准对称信道矩阵中的行元素。设矩阵可划分成r个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。

第四十一页，共六十页，2022年，8月28日41例：设信道传递矩阵为

计算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4将它分成

第四十二页，共六十页，2022年，8月28日3.2.3准对称DMC信道例第四十三页，共六十页，2022年，8月28日3.2.3准对称DMC信道例.求信道容量第四十四页，共六十页，2022年，8月28日3.2.4一般DMC信道一般DMC信道

一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率{p(ai)}必须满足:I(ai;Y)=C

对于所有满足p(ai)>0条件的II(ai;Y)

C

对于所有满足p(ai)=0条件的I

当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外.第四十五页，共六十页，2022年，8月28日3.3离散序列信道及容量设信道的输入X=(X1,X2…Xi,…),Xi∈{a1…an}

输出Y=(Y1,Y2…Yj,…),Yj∈{b1…bm}信道XYp(Y|X)对于无记忆离散序列信道,其信道转移概率为仅与当前输入有关。若信道是平稳的第四十六页，共六十页，2022年，8月28日46定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为则存在

定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即则存在

第四十七页，共六十页，2022年，8月28日47若信源与信道都是无记忆的L次扩展信道的信道容量当信道平稳时:

一般情况下:

扩展信道:如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道第四十八页，共六十页，2022年，8月28日483.3离散序列信道及其容量

111X{00,01,10,11}，Y{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p2同理可得其他转移概率0010110100011011例.BSC信道二次扩展第四十九页，共六十页，2022年，8月28日493.3离散序列信道及其容量

1111若p＝0.1，则C2＝2－0.938＝1.062比特/序列

C1=0.531bit/序列

转移概率矩阵第五十页，共六十页，2022年，8月28日50独立并联信道

设有L个信道,它们的输入、输出分别是：

X1,X2…XL；Y1,Y2…YL信道信道信道p(Y1|X1)p(YL|XL)p(Y2|X2)…每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。独立并联信道的信道容量

X1X2XLY1Y2YL第五十一页，共六十页，2022年，8月28日513.4

连续信道及其容量连续信道的容量不容易计算。当信道为加性连续信道时,情况简单一些。设信道的输入和输出信号是随机过程x(t)和y(t)

y(t)=x(t)+n(t)n(t)：信道的加性高斯白噪声

一个受加性高斯白噪声干扰的带限波形信道的容量,由香农(1948)正式定义：信道n(t)x(t)y(t)第五十二页，共六十页，2022年，8月28日52高斯白噪声加性信道单位时间的信道容量这就是著名的香农公式

限时限频限功率加性高斯白噪声信道第五十三页，共六十页，2022年，8月28日533.4 连续信道及其容量

例电话信道的带宽为3.3kHz，若信噪功率比为20dB，即SNR＝100，求信道的容量

第五十四页，共六十页，2022年，8月28日例一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，