信息理论基础第四章信道及信道容量

信息理论基础第四章信道及信道容量第一页，共四十九页，2022年，8月28日信道

——信息传输的通道

与信源并列的另一个主要研究对象研究的主要内容:

★信道的建模

★信道容量

★不同条件下充分利用信道容量的方法第二页，共四十九页，2022年，8月28日一.数学模型

干扰信道输入信号x输出信号yp(y|x)第一节信道模型及其分类p(y|x)：反映信道的统计特性，即输入输出的依赖关系，又称信道的传递概率、转移概率或传输概率。信道的数学模型：

{X，p(y|x)，Y}第三页，共四十九页，2022年，8月28日1.按其输入/输出信号在幅度和时间上的取值是离散或连续来分幅度时间信道名称离散离散离散信道(discretechannel)，也称数字信道(digitalchannel)连续离散连续信道(continuouschannel)连续连续模拟信道(analogchannel)，也称波形信道(waveformchannel)离散连续理论、实用价值很小二.分类第四页，共四十九页，2022年，8月28日2.按其输入/输出之间关系的记忆性划分无记忆信道：有记忆信道：3.按其输入/输出信号之间是否是确定关系来分有噪信道：无噪信道：在某一时刻信道的输出消息仅与当前信道的输入消息有关，而与之前时刻的信道输入无关在任一时刻信道的输出不仅与当前输入有关，而且还与以前时刻输入有关存在噪声，不存在确定关系——实用价值大，研究的理想对象不存在噪声，存在确定关系——实用价值小第五页，共四十九页，2022年，8月28日4.按其输入/输出信号个数来分两端信道(两用户信道):只有一个输入端和一个输出端的单向通信的信道,又称为单路信道.多端信道(多用户信道):信道的输入输出至少有一个具有两个或两个以上的信号.多元接入信道广播信道5.按信道的统计特性分恒参信道变参信道第六页，共四十九页，2022年，8月28日一.定义如果有

，则信道为平稳的离散无记忆信道DMC。第二节离散无记忆信道DMC1.定义——输入/输出在幅度和时间上都是离散的，并且在某一时刻信道的输出消息只与当前信道的输入有关，而与之前时刻的信道输入无关。2.数学模型

离散信道对任意N长的输入、输出序列有第七页，共四十九页，2022年，8月28日1.定义2.传输概率

p(y|x)——描述信道中干扰影响的大小二.单符号离散无记忆信道第八页，共四十九页，2022年，8月28日——完全反映信道的特性3.信道矩阵P4.信道输出与输入之间的关系

第九页，共四十九页，2022年，8月28日例4-1：其中：p表示传输中发生错误的概率二元对称信道(BSC)(二进制对称信道)第十页，共四十九页，2022年，8月28日

其中：p、q表示正确传输的概率

二元删除信道(二进制删除信道)第十一页，共四十九页，2022年，8月28日1.信道疑义度(损失熵)表示：由于信道的干扰，导致信道输出端收到Y后，对输入X仍然存在的平均不确定度。也可表示：由于信道干扰导致信息量的损失。信道X

Y三.信道疑义度和平均互信息第十二页，共四十九页，2022年，8月28日信道H(X|Y)

X

YH(X)

I(X;Y)表示：接收端收到Y后获得的关于X的信息量(即接收到的信息量)I(X;Y)=H(X)-H(X|Y)•定理1：

对于固定信道，I(X;Y)是信源概率分布p(x)的上凸函数。2.平均互信息定理2:

对于固定的信源分布，I(X;Y)是信道传递概率P(y|x)的下凸函数。

第十三页，共四十九页，2022年，8月28日例4-2：考虑二元对称信道，其信源概率空间为信道XY（0，1）（0，1）求其平均互信息第十四页，共四十九页，2022年，8月28日解:应用全概率公式则有：第十五页，共四十九页，2022年，8月28日则平均互信息：当信道固定，即p为一个固定常数时，可得到I(X;Y)是信源输出分布ω的上凸函数。

当信源固定，即ω是一个常数时,可得到I(X;Y)是信道传递概率p的下凸函数。当p=0.5时，I(X;Y)=0，在接收端未获得信息量。

当ω=1/2时，即取极大值.第十六页，共四十九页，2022年，8月28日例4-3：掷色子，如果结果是1，2，3，4，则抛一次硬币；如果结果是5、6，则抛两次硬币。试计算从抛硬币的结果可以得到多少掷色子的信息量。解：设掷色子结果是1，2，3，4为事件X=0，结果是5、6为事件X=1；Y=0表示抛硬币出现0次正面,Y=1表示抛硬币出现1次正面,Y=2表示抛硬币出现2次正面。信源概率空间为信道矩阵为输出符号的概率空间为则有：第十七页，共四十九页，2022年，8月28日四.离散无记忆信道的N次扩展信道N次扩展信道信道第十八页，共四十九页，2022年，8月28日例4-4：求二元无记忆对称信道的二次扩展信道。解：输入扩展为：00，01，10，11输出扩展为：00，01，10，11传递矩阵扩展为：请问：与I（X；Y）之间的关系？第十九页，共四十九页，2022年，8月28日

定理1:若信道的输入、输出分别为N长序列X和Y，且信道是无记忆的，即：用两个定理回答这个问题定理2：若信道的输入、输出分别为N长序列X和Y，且信源是无记忆的，即：第二十页，共四十九页，2022年，8月28日由定理1和定理2当信源和信道都是无记忆时有：

当每个序列中的分量Xi取值于同一信源符号集，且具有同一种概率分布，则输出Y的分量Yi也取值同一符号集，则各I(Xi；Yi)是相等的。即：对于N次扩展，则有第二十一页，共四十九页，2022年，8月28日一.级联信道（串联信道）信道1信道2XYZp(y|x)p(z|xy)第三节信道组合消息依次通过几个信道串行传输：当信道不断级联时，信道的最终传输信息量趋于0串联信道的总信道矩阵第二十二页，共四十九页，2022年，8月28日例4-5：下图中的X、Y、Z满足马氏链，求该串联信道的总信道矩阵。b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/31解：由图可知第二十三页，共四十九页，2022年，8月28日——多个信道联合起来使用12N并用信道

当待发送的消息比较多时，可用多个信道并行传送，香农称之为平行信道有各自的输入和输出，最后总和。二.并联信道第二十四页，共四十九页，2022年，8月28日信道1信道2信道N输入并接信道

一个输入多个输出，且为相同的输入。缺点是信道的利用率低，但可提高信息传输的可靠性。信道1信道2信道N和信道

传输信息时，每次只使用其中一个信道，它的信道矩阵：第二十五页，共四十九页，2022年，8月28日一.基本概念：1.信道容量C：信道能无错误地传送的最大信息率第四节信道容量2.信道的信息传输率R

：信道中平均每符号所能传送的信息量3.信道的信息传输速率：信道在单位时间内平均传输信息量信道在单位时间内传输的最大信息量为

第二十六页，共四十九页，2022年，8月28日例4-6：考虑二元对称信道，其信源概率空间为求该信道的信道容量。解：信道的平均互信息

当ω=1-ω=1/2时，I(X;Y)取极大值，即接收到的信息量最大，则信道容量为：C=maxI(X;Y)=1-H(p)由此可知：信道容量只是传递概率的函数第二十七页，共四十九页，2022年，8月28日1.无损信道：一个输入对应多个互不相交的输出二.几种特殊信道的信道容量H(Y|X)>0(称噪声熵)则：信道容量第二十八页，共四十九页，2022年，8月28日2.确定信道：一个输出对应多个不相交的输入

信道疑义度H(X|Y)>0

单位：比特/符号第二十九页，共四十九页，2022年，8月28日3.无损确定信道：输入与输出一一对应

H(Y|X)=0H(X|Y)=0则I(X;Y)=H(X)=H(Y)——信道中没有损失

单位：比特/符号

可知：对于无噪信道求C的问题已从求I(X;Y)极值问题退化成求H(X)或H(Y)极值问题。第三十页，共四十九页，2022年，8月28日如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信道为行（列）对称信道。若信道矩阵中，每一行(或列)都是第一行(或第一列)的元素的不同排列，则称为离散对称信道。—对称信道三.离散对称信道—对称信道1.定义：第三十一页，共四十九页，2022年，8月28日则称此信道为均匀信道。（对称信道的特例）如果对称信道的输入输出符号个数相同，均为r，且信道中总的错误概率，平均分配给个输出符号，即信道矩阵为注意：一般信道的信道矩阵的各行之和为1，各列之和不一定为1，但是均匀信道的各列之和为1第三十二页，共四十九页，2022年，8月28日2.离散对称信道的C式中

为信道矩阵中任一行的元素。

若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概率分布时，达到信道容量C定理：第三十三页，共四十九页，2022年，8月28日证明：则有：结论:求离散对称信道的信道容量，实质上是求一种输入分布p(x)使输出熵H(Y)达最大。第三十四页，共四十九页，2022年，8月28日例4-7：求具有以下信道矩阵的信道的信道容量解：分析可知这是一个对称信道，则信道容量为

结论：在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为0.126bit，一般情况下每个符号平均传输的信息都是小于0.126bit。第三十五页，共四十九页，2022年，8月28日例4-8：求均匀信道的信道容量。为正确传递概率为错误传递概率对于二元对称信道：r=2，则信道容量C：解：均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则

第三十六页，共四十九页，2022年，8月28日引理：对于一个离散对称信道，只有当信道输入分布p(x)为等概率分布时，输出分布才能为等概率分布。表明：对于一个离散对称信道，当信道输入分布p(x)为等概率分布时，输出分布为等概率分布。第三十七页，共四十九页，2022年，8月28日λ为拉格朗日乘子，待定常数根据高数知识,首先构造函数：设有一离散无记忆信道的输入X取值于在的约束条件下求I(X;Y)的极值.信道矩阵P=输出Y取值于四.一般离散无记忆信道的C对p(ai)求偏导，并令偏导等于0，即：，代入I(X;Y)求出C根据约束条件，求出pi第三十八页，共四十九页，2022年，8月28日解：N个二元对称信道级联后的总信道矩阵为例4-9：求N个相同的二元对称信道组成的级联信道容量

12N单个二元对称信道的信道矩阵为五.组合信道的C1.级联信道此时C=0第三十九页，共四十九页，2022年，8月28日2.输入并接信道信道1信道2信道NC大于任意一个组成信道的信道容量。上界为第四十页，共四十九页，2022年，8月28日3.并用信道(独立并联信道)12N4.和信道信道1信道2信道N

即C为各组成信道的信道容量之和第四十一页，共四十九页，2022年，8月28日六.N次扩展离散无记忆信道的信道容量

表示某时刻通过离散无记忆信道传输的最大信息量。则

对于离散无记忆信道有：对于N次扩展信道，任何时刻是相同的。第四十二页，共四十九页，2022年，8月28日七.模拟信道信道容量

限带、加性白色高斯噪声的信道容量

——著名的信道容量的香农公式S：输入信号平均功率B：信道通带带宽：噪声的边带功率谱密度：信噪比

在这种信道中，输入输出信号和噪声都被限制在一定的频带中，一般设此频带为［０，B］。信道传输的费用就是信号的功率。又设信道的噪声为加性的、高斯的且具有平坦的功率谱，均值为０。第四十三页，共四十九页，2022年，8月28日

例4-10:

已知信道的带宽B为3kHz,信号在信道传输中受到单边功率谱密度为的加性白高斯噪声的干扰,信号的平均功率S为9W.

(1)求信道的容量;(2)若信道带宽增加到原来的10倍,并保持信道容量不变,那么信号平均功率要改变多少dB?解:

(1)信道容量为(2)带宽变为10B,而C保持不变,假设此时对应的信号功率为则第四十四页，共四十九页，2022年，8月28日无损信道的剩余度第五节信源与信道匹配一.信道剩余度=C-I(X;Y)=C-R二.相对剩余度=1-R/C对于无损信道C=logr无损信道的相对剩余度信源的剩余度

对于无损信道，可通过信源编码，减小信源的剩余度，提高信道的信息传输率使之达到C。第四十五页，共四十九页，2022年，8月28日例4-11：有一个二元对称信道，其信道矩阵如图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(1)=p(0)=1/2。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真传送完。1000.980.020.980.021解：

分析得消息信源的熵为H（X）=1比特则这个消息序列含有信息量