《信息论与编码》课件第3章 信道与信道容量

目录3.1信道分类3.2单符号离散信道及其容量

3.2.1数学模型

3.2.2信道容量

3.2.3离散信道容量的迭代算法3.3离散序列信道及其容量3.4信源与信道的匹配3.5连续信道及其容量

3.5.1连续单符号加性信道

3.5.2多维无记忆加性连续信道

3.5.3加性高斯白噪声波形信道信道就是信息传输的通道，是通信系统的重要组成部分，是传输信息的载体，其主要任务是传输或者存储信息。通信的本质就是通过信道传输信息，实现不同地点之间或者不同时间的信息交流。信道是信息论的主要研究对象之一，其主要研究内容是在理论上能够传输或者存储的最大信息量，即信道容量。3.1信道分类

信道特点输入、输出信号之间不再具有明确的函数关系，而是具有统计依赖关系通过研究信道输入输出信号以及相互之间的依赖关系来研究信道信道是指信息传输的通道实际通信系统中使用各种各样的物理通道，各种存储媒质有线的各种线路，无线的电波传输空间根据研究需要，可以选择通信系统中不同的信道输入输出点，甚至可以将其中部分子系统进行简化处理。物理信道的不同，信号传输过程中引入的噪声或者干扰类型也不尽相同，所以统计特性的研究是通信理论的主要内容之一统计特性不是信息论的研究内容，一般认为已经知道信道的传输特性，在此基础上研究信息传输问题不研究信号在信道中的具体传输过程假设信道的传输特性是已知的研究方法根据不同的研究需要，将噪声或者干扰对信号传输的影响映射为对应形式的统计特性信道分类统计特性恒参信道随参信道信道的统计特性不随时间而变化。如卫星信道一般视为恒参信道信道的统计特性随时间而变化大多数的信道都是随参信道，统计特性随着环境、温度、湿度等参数而变化。如短波信道、微波信道等。用户量单用户信道多用户信道也称两端信道，该信道只有一个输入端和一个输出端，而且只能进行单方向的通信也称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并且可以实现双向通信输入、输出的取值特性离散信道连续信道半离散半连续信道也称为数字信道，该类信道中输入空间、输出空间均为离散事件集合，集合中事件数量是有限的，或者有限可数的，随机变量取值都是离散的也称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的波形信道也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的噪声的统计特性随机差错信道突发差错信道信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不关联，码元错误不会成串出现信道中噪声或者干扰对传输码元的影响具有关联性，相互之间不独立，从而使得码元错误往往成串出现，常有的如衰落信道、码间干扰信道。在实际中这种信道经常出现，如移动通信的信道、光盘存储器等最具有代表性的是高斯白噪声信道3.2单符号离散信道及其容量

3.2.1数学模型单符号信道单维信道信道的输入符号之间、输出符号之间都不存在关联性，即无记忆的，信道的分析可以简化为对单个符号的信道分析如果信道的输入、输出随机变量都是离散的，则该信道为单符号离散无记忆信道。输入符号、输出符号不存在关联性，并不表示输出符号与输入符号之间不存在关联性信道的特性可以使用条件转移概率进行描述;表示在输入为ai时，通过信道后接收为bj的概率，描述了信道噪声的特性。矩阵形式条件转移矩阵或者信道转移矩阵r*sp(bj|ai)通常称为前向概率p(bj|ai):后向概率表示当接收符号为bj时，信道输入为ai的概率，所以也称为后验概率贝叶斯公式后验概率都是十分重要的，可以通过前向概率和先验概率计算出3.2.2信道容量

单符号离散信道平均每个符号传送的信息量定义为信道的信息传输率R由于信道中存在干扰，输入符号经过信道可能会出现错误，信道输出端接收的符号与输入符号之间并不是一一对应信道输入平均信息量H(X)并不等于信道输出端信息量H(Y)信道的信息传输率R含义：能够正确传输的信息量

对于给定信道，前向概率p(y|x)是一定的，所以信道容量就是在信道前向概率一定的情况下，寻找某种先验概率分布，从而使得平均互信息量最大，这种先验分布概率称为最佳分布。定义3.1

设某信道的平均互信息量为I(X;Y)，信道输入符号的先验概率为p(x)，该信道的信道容量C定义为条件极值问题约束条件先验概率分布已知条件前向概率p(y|x)变化输入分布p(x)极值I(X;Y)最大值使得I(X;Y)最大，这种先验分布概率称为最佳分布几点结论：1对于给定信道最佳分布总是存在的如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C2信道输入的先验分布不是最佳分布，那么信息传输率不能够达到信息容量3信息量R必须小于信道容量C，否则传输过程中会造成信息损失，出现错误；如果R<C成立，可以通过信道编码方法保证信息能够几乎无失真地传送到接收端噪声问题X：信道输入Y：信道输出n：信道噪声映射(输入到输出)无噪一对一条件转移矩阵每行元素中只有一为个1，其余值都为0H(Y|X)=0有噪一对多条件转移矩阵映射至少一行有两个或者以上非0元素H(Y|X)！=0讨论输入与输出之间问题H(Y|X)=0为什么成立？非0即1，所以有损无损问题属于信号检测或者估值方面问题与有噪无噪相对应讨论输出与输入之间问题映射(输出到输入)无损一对一条件转移矩阵PY|X：每列元素中只有一为非0H(X|Y)=0可以反推出PX|Y：每行元素中只有一为1否则就是有损理想信道1．无干扰离散信道输入、输出符号之间是确定性关系或者简单的统计依赖关系，可以根据输入或者输出划分为互不相交的集合实际通信系统中较少，在数据压缩系统中，可以使用这类模型进行研究分类根据信道输入符号X与信道输出符号Y之间的关系，可以分为下列几种无噪无损无噪有损有噪无损有噪有损是最一般（除了上述三种之外，都是这类信道），后面讨论（1）无噪无损信道输入、输出集合符号数量相等输入X与输出Y之间一一对应I(X;Y)=H(X)=H(Y)H(Y|X)=H(X|Y)=0由最大熵定理可知C=lb(r)比特/符号最佳分布：输入等概率分布条件转移概率矩阵：每行每列1个元素为1（2）无噪有损信道

比特/符号输出Y集合的符号数量小于输入X集合的符号数量输入向输出映射：多对一由于无损，条件转移概率矩阵：每行有1个元素为1接收到符号Y后，并不能唯一确定信道输入X，即不能够完全消除X的不确定性最佳分布：输出为等概率分布即改变输入X分布是的Y为等概率分布（3）有噪无损信道

输出Y集合的符号数量小于输入X集合的符号数量输入向输出映射：一对多输出向输入映射：一对一由输出X可以唯一确定信道输入X无损H(X|Y)=0容量最佳分布信道输入等概率分布每列一个非0为什么？2．对称离散信道的信道容量

有噪有损信道的一种特殊信道定义3.2

如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。即每行矢量具有相同的元素，每种元素的数量相同例如第二行的元素与第一行的元素完全相同所以该信道为输入对称的

假设转移矩阵首行元素为(p1,p2,…pr)，则有

特点输入行矢量元素相同即条件熵H(Y|X)与信道输入符号的分布无关。信道容量最佳分布找到一种分布，使得信道输出的熵H(Y)最大不一定能够找到一种输入分布使得Y为等概率分布求该信道的容量C解：设信道输入的概率空间为信道输出的概率分布为例3.1

信道的转移矩阵为取得极值的条件为与p无关P(bj)不可能等概率分布解上述方程，可以得到取得极值的条件为p=0.5，即当信道输入为等概率分布时，取得最大值，所以比特/符号比特/符号比特/符号显然,，所以，当信道只是输入对称时,应当首先假设信道输入分布，然后解决极值问题。信道容量不能够简单认为是结论：定义3.3如果信道转移概率矩阵中所有列矢量都是第一列的某种置换，则称信道关于输出是对称的，这种信道称为输出对称离散信道。如果信道是输出对称的，那么当信道输入符号为等概率分布时，信道输出也是等概率分布的。当信道输出对称时为常数输入等概率分布时由于信道转移矩阵是已知的，可以使用下列公式只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量。定义3.4

如果信道转移矩阵按列可以划分为几个互不相交的子集，每个子矩阵满足下列性质：(1)每行都是第一行的某种置换；(2)每列都是第一列的某种置换；则称该信道为准对称信道。显然，准对称信道是输入对称的。特别地，当这种划分只有一个，该信道称为对称信道，此时信道既是输入对称的，也是输出对称的。输入对称且满足H(X|Y)与信道输入的分布无关，只与条件概率分布有关对称信道的信道容量对称信道的信道容量只与信道的转移矩阵中的行矢量和输出符号集合的数量有关。如果希望信息传输率达到信道容量，信道输入应当满足等概率分布。例3.3

设某信道的转移矩阵为求其信道容量。解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以将之分解为两个互不相交的子集，而每个子集都是对称信道形式，对应参数分别为

行元素之和列元素之和根据准对称离散信道的信道容量计算公式求解

特别地，如果p＝0，则信道转移矩阵为该信道即二元纯对称删除信道，其信道容量为比特/符号对应的参数分别为例3.4信道转移矩阵为求信道容量C。解：通过观测可知，该信道是准对称信道，可以分解为三个互不相交的子集，分别为，，，，，

，

，所以信道容量为

比特/符号3．一般离散信道的容量当信道不具有对称性时，信道容量不容易求出，从信道容量的定义知道，信道容量就是在信道给定条件下，即信道转移矩阵一定条件下，从信道所有可能输入概率分布中寻找一种最佳分布，使得信道输入输出之间的平均互信息量最大，换句话说，使得信道的输入概率分布与信道匹配。对于一般离散信道，首先假设信道的输入概率分布，根据信道容量的定义和输入概率分布的约束条件，直接求解极值问题即可得到最佳分布；然后根据最佳分布计算信道输入、输出之间的平均互信息量，从而得到信道容量如果信道输入、输出符号数量较少，这种方法是可行的。例3.5

信道转移矩阵为求信道输入最佳分布和信道容量。

解：观察信道转移矩阵可知，该信道不是对称，信道的输入输出符号数量都为2，假设信道输入符号的概率分别为p,1-p,可以得到平均互信息量。对H(X;Y)求导，得到最佳分布比特/符号从该例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，不借用计算机很难求解出最佳分布，所以一般离散信道的信道容量的求解通过计算机求解。下面讨论一般离散信道的解法在此之前，首先回忆一下高等数学方面的知识一般套路已知一些条件改变参数，要求一个极值存在一些约束想起什么？拉格朗日乘子法的典型套路信道转移概率信道输入概率之和为1可变化输入分布，求互信息量最大值平均互信息量H(X;Y)是输入概率分布p(x)的凸函数，所以极大值是一定存在的;H(X;Y)应当是个随机变量(p1,p2,…,pr)的函数约束条件该多元函数的条件极值可以利用拉格朗日乘法求解1）构造函数拉格朗日乘子2）对信道输入概率p(ai)求导数，并令为0解方程组可以求出最佳概率分布3）将最佳分布代入I(X;Y)，即可求出信道容量。具体算法推导其中

所以考虑到和代入得到下列方程组

将方程组的两边同时乘以各自的概率p(ai)，并且两边同时对i求和，从而得到信道容量为由于定理3.2

设有一般离散信道，它有r个输入符号，s个输出符号，其平均互信息I(X;Y)达到极大值（即等于信道容量）的充要条件是输入概率分布p(x)满足：常数C就是所求的信道容量。对所有的i上述定理只是给出了达到信道容量时，信道输入符号分布的充要条件；不能够给出信道输入的最佳概率分布，也没有给出信道容量的计算公式；达到信道容量的最佳分布一般不是唯一的，只要输入分布满足概率的约束条件，并且使得达到最大值即可。一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的。但是对于某些特殊信道，可以使用上述定理求解信道容量。例3.7

设某信道转移矩阵为求该信道的容量和信道输入的最佳概率分布。解：该信道不是对称信道，所以不能直接使用对称信道计算其信道容量。但是通过观察发现，如果信道输入符号的概率p(a2)=0，该信道就是一个二元纯对称删除信道。这样就可以假设然后检查是否满足上述定理的条件，如果满足就可以计算出信道容量。首先根据假设求出相应的p(bj)，

然后计算互信息量显然满足定理3.2的条件，所以信道容量为对应的信道输入最佳概率分布为。3.2.3离散信道容量的迭代算法

对于一般的离散信道，可以使用计算机求信道容量。计算量问题信道输入符号数量r是已知的假设对应概率分别为p1,p2,…,pr,不是，比这复杂累计概率允许概率精度为共r-1重循环第i重循环的次数为当r较大，而且精度较小时，计算量十分大减少计算量采用迭代算法基本思想平均互信息量就可以表示为信道转移矩阵和反向转移矩阵的函数，通过反向矩阵修正信道输入概率的分布，迭代计算I(X;Y)直到其趋向平稳为止设后验概率p(ai|bj)为自变量，并且假设存在一个反向试验信道，反向信道的转移矩阵就是由p(ai|bj)构成的；正向信道

引入反向试验信道后1.以反向转移概率分布为自变量构造函数求偏导数假设信道p(ai)固定得到条件概率完备性代入得到含义：在输入概率分布给定条件下，达到极大值的最佳反向转移概率分布由所确定

2.以输入概率分布p(ai)为自变量假设信道反向条件概率p(ai|bj)固定同理可以构造函数求偏导数考虑到约束条件代入上式并且令信道输入概率表示为3.离散无记忆信道容量的逐步迭代算法(1)任意选择初始输入概率分布往往选择初始分布为等概率分布(2)计算(3)利用计算(4)利用计算(5)计算(6)判断如果成立转向（7），否则n=n+1转(2)(7)输出计算出的信道转移概率和信道容量,迭代结束3.3离散序列信道及其容量对于无记忆离散序列信道而言，假设序列长度为N，则信道转移概率可以简化为信道转移矩阵为N次扩展信道的转移矩阵为对于无记忆信道而言，上述的转移概率可以简化为长度为N的离散序列平均互信息量为定理3.3设离散信道的输入序列为信道输出序列为信道的转移概率为(1)如果信道是无记忆的，则(2)如果信道输入序列是无记忆的，即各个分量相互独立(3)如果信道输入序列和信道都是无记忆的对于一般的离散无记忆信道的N次扩展信道，如果信道输入随机矢量是无记忆的，但是信道是非平稳的串联信道扩展到一般形式并联信道3.4信源与信道的匹配信源的分布并不总是满足信道输入最佳概率分布，所以信息传输速率总是小于信道容量的，当信息传输速率达到信道容量时，称为信源与信道达到匹配，否则信道有冗余。定义3.5设信道的信息传输速率为I(X