第三章 信道模型和信道容量.ppt

1、信息论基础Fundaments of Information Theory,武汉科技大学信息科学与工程学院,第三章 信道模型和信道容量,信道的基本概念 信道的数学模型 平均互信息量、损失熵、噪音熵 信道容量 离散对称信道的信道容量计算,信息传输系统,第二章:信息量,第三章信道与信道容量,信道的基本概念,信道的基本概念,信道的任务：以信号的方式传输信息和存储信息,信道中存在随机噪声,输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系,例：信源输出二元符号(0,1)调制时如采用正负方波的传输，正负方波分别表示0和1,信道的基本概念,信道的基本概念,. 无噪声干扰,P(0|0)=P(

2、1|1)=1 P(1|0)=P(0|1)=0,信道的基本概念,2. 微小噪声干扰,P(0|0)=P(1|1)=1 P(1|0)=P(0|1)=0,信道的基本概念,3. 一般噪声干扰,P(0|0) P(1|1) 1 P(1|0) P(0|1) 0,信道的基本概念,信道的任务：以信号的方式传输信息和存储信息,信道中存在随机噪声,输入信号与输出信号之间一般都不是确定的函数关系，而是统计依赖的关系,研究信道的目的：信道能够传输或存储的最大信息量，即信道容量,信道的基本概念信道分类,根据信道用户的多少，可以分为： 单用户信道：只有一个输入、一个输出的单向信道 多用户信道：输入、输出至少有一端有两个以上的

3、用户，还有可能是双向信道,信道的基本概念信道分类,根据信道的记忆特性 无记忆信道：信道输出只与当前的输入有关 有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关,信道的基本概念信道分类,根据输入、输出信号的取值特点： 离散输入：输入输出的随机序列取值都是离散的 连续信道：输入输出的随机序列取值都是连续的 半离散半连续信道：输入序列取值离散而输出序列取值连续，或者反之。 波形信道：输入输出信号在时间上和取值上都是连续的，不能用随机序列，而需要用随机过程表示,信道的基本概念信道分类,根据信道参数与时间的关系，可以分为： 固定参数信道：信道参数（统计特性）不随时间变化而变化 时变参数信道：信

4、道参数（统计特性）随时间变化而变化,我们在这门课程中，主要研究的是 单用户、固定参数的离散信道,信道的数学模型,X和Y分别是输入和输出随机序列,信道的数学模型,是条件概率分布，或称为条件概率 矩阵 描述了输入信号、输出信号之间的 统计依赖关系，反映了信道的统计特性.,信道的数学模型,根据信道的统计特性，即 的不同， 离散信道可以分成三种情况： 无干扰信道 有干扰无记忆信道 有干扰有记忆信道,无干扰信道,最理想的信道，信道中没有随机性的干 扰，输出信号和输入信号有一一对应的函数 关系,有干扰无记忆信道,一般信道中都存在着干扰和噪声，所以输出符号和输入符号之间没有确定的对应关系，而是统计依赖关系。

5、,有干扰无记忆信道,不仅仅是有干扰信道，而且是无记忆的。 无记忆的信道指的是在任一时刻的输出符 号只统计依赖于对应时刻的输入符号，而 与其它时刻的输入符号和其它时刻的输出 符号无关。,有干扰无记忆信道,满足离散无记忆信道的充要条件是,因为无记忆信道的输出只与对应时刻的输 入有关，所以已知输入序列条件下输出序 列的条件概率等于输入输出序列中，各对 应分量的条件概率之积,有干扰无记忆信道模型简化,一般的信道输入模型：,对于有干扰无记忆信道：,离散无记忆信道模型简化,输入输出随机序列间的随机特性可以用一对 输入输出分量间的随机特性来表示，数学模型中 的随机序列可以用随机变量来表示,信道,离散无记忆信

6、道(DMC)的模型为,单符号离散信道（DMC）,输入变量 的样本空间 输出变量 的样本空间 有 个条件概率,传递矩阵 (信道矩阵),传递矩阵性质,满足 且,相关概率,研究信道的过程中，一般输入信号的概 率 、信道的传递概率 是已知 的，其它的概率未知，但可以求出：,输入符号的先验概率,输出符号的先验概率,传递概率、转移概率、前向概率,后向概率、后验概率,联合概率,相关概率计算,联合概率(根据乘法公式）,输出符号概率(根据全概率公式),相关概率计算,后向概率(根据Beyas公式),可见：已知输入先验概率、信道传递概率 后，联合概率、输出先验概率、后向概率 都可以求出来,相关概率例题,设信源 ，通

7、过一干扰信道 接收符号为 ，信道传输矩阵 为 ， 求各种概率分布,)联合概率,2)输出概率,2)输出概率(或者),3)后向概率,离散单符号信道举例,二元对称信道（BSC） 输入、输出的取值都为0、1，定义错误概 率p，传递概率为：,离散单符号信道举例,信道矩阵,信道线图,离散单符号信道举例,二元删除信道（BEC） 输入的取值有2个为0、1，输出的取值有3 个为0、1、2(或者?)，定义正确概率p,离散单符号信道举例,二元删除信道（BEC） BEC在实际应用中也经常用到，如正负方波的传输，正负方波分别表示0和1 由于码间串扰，输出端可能是,离散单符号信道举例,二元删除信道（BEC） 在输出端判决

8、准则：对输出信号求积分,互信息量定义,回顾： 自信息量 条件自信息量 联合信息量,互信息量定义,互信息量：通信过程中所获得的信息量.,以单符号离散信道为例,输入信号的概率空间是,输出信号的概率空间是,互信息量定义,后验概率 条件自信息量,收到输出信号前后，不确定性发生了变化,通信过程中所获得的信息量，即通过信 道所传输的信息量,互信息量定义,定义为事件 和 间的互信息量，表示通信过 程中所获得的信息量,信道,),(,1,log,),(,i,i,a,p,a,I,=,),|,(,1,log,),|,(,j,i,j,i,b,a,p,b,a,I,=,),|,(,),(,),;,(,j,i,i,j,i,

9、b,a,I,a,I,b,a,I,-,=,通信前,通信后,互信息量定义,举例：,发出0后，接收端收到的却是1,互信息量可以为负数。,互信息量举例,例题：某地三月份天气构成的信源为 有一天有人告诉你，“三月某天的天气不是 晴天”，将此作为 事件 求,互信息量举例,收到 ，有,互信息量三种理解方式,经过概率互换，可以变化为另外两种形式。,互信息量三种理解方式,第一种方式：从接收端的角度观察，得到的是关于 的信息量 第二种方式：从发送端的角度观察，得到的是关于 的信息量 第三种方式：从通信系统总体角度观察 通信前 通信后 传输信息量,平均互信息量定义,互信息量也只能描述发生具体输入输出消息 时流经信道

10、的信息量，随着输入输出消息的不 同，互信息量也不同。 自信息量不能用来从整体上，描述信源发出 信息量的能力，不能作为信源发出信息量的测 度。 同理，互信息量不能从整体上，作为信道中 信息流通的测度,平均互信息量定义,每对输入输出消息的互信息量,发生的概率是,平均互信息量:,平均互信息量与各种熵的关系,定义： 为已知输出Y的情况下，输入 信号X的信息熵，称为后验熵. 后验熵是条件熵。,平均互信息量与各种熵的关系,收到输出信号以前输入信号的信息熵 收到输出信号以后输入信号的信息熵 代表了收到输出信号后，获得的关于输入 信号的平均信息量,平均互信息量与各种熵的关系,平均互信息量与各种熵的关系,另外根

11、据 有,平均互信息量与各种熵的关系,平均互信息量与各种熵的关系,输入信号原本有 的平均信息量，经过信道传输的却只有 的平均信息量，还有 损失在信道中，所以称为损失熵。,是信道疑义度、后验熵，也称为损失熵。,平均互信息量与各种熵的关系,损失熵也是条件自信息量的平均值,平均互信息量与各种熵的关系,通过信道传输的平均信息量是 ， 而输出信号的平均信息量是 ，多出 了 的平均信息量，多出来的平均 信息量是由信道噪声引起的，所以称之 为噪声熵,是信道的散布度，也称为信道的噪声熵。,平均互信息量与各种熵的关系,噪音熵也是条件自信息量的平均值,平均互信息量与各种熵的关系,平均互信息量与各种熵的关系,平均互信

12、息量计算,平均互信息的求解：一般情况下，知道输 入信号的概率分布 ，信道传递概率分 布 ，求解 有三种方法：,平均互信息量计算,第一种方法： 已知 ，很容易求 求损失熵 要求 个后验概率 第二种方法：用的较少,平均互信息量计算,第三种方法： 求输出信号的熵，要求s个输出概率 结论：第三种方法计算量更小一些,平均互信息量例题,设信源 ，通过一干扰信道 接收符号为 ，信道传输矩阵 为 ， 求,平均互信息量,平均互信息量课堂作业,设信源X的符号集0,1,2，其概率分布为 Px(0)=1/4,Px(1)=1/4,Px(2)=1/2.通过一 信道，其信道线图为：,平均互信息量性质,平均互信息量性质,数学

13、证明如下：,平均互信息量性质,凸状性：,平均互信息量性质,凸状性：,定理1：当信道给定(即P(Y|X)给定),平均互信 息量I(X;Y)是输入信号先验概率分布P(X)的上 凸函数。,定理2：当信源给定(即P(X)给定),平均互信 息量I(X;Y)是信道传递概率分布P(Y|X)的下 凸函数。,平均互信息量性质,这两个定理非常重要，是研究信道容量， 率失真信源编码的理论基础。 在信道容量的研究中，信道是固定的，平 均互信息 是输入信号概率分布 的函数，总存在最佳的概率分布， 使平均互信息达到最大值，这个最大值就 是信道容量,平均互信息量性质,在率失真信源编码的研究中，把编码过程 看作信道，输入的信

14、号是固定的，平均互 信息 只是传递概率分布 的函 数，这时在满足失真度的情况下，要压缩 的更多，就是要平均互信息尽量小,信道容量的定义,研究信道的目的就是研究信道所能够传输 的最大信息量，即信道容量 定义平均互信息量，即信道的信息率： 定义信息传输速率： (单位：bit/s),信道容量的定义,根据定理一：对于特定信道， 是输入 信号的概率分布 的上凸型凸函数，存 在一种输入信号的概率分布，使 最大。 定义最大的信息传输率或信息传输速率为信 道容量 相应的输入概率分布称为最佳输入分布,信道容量的计算,求信道容量是本章的重点 从数学的角度上分析，求信道容量是对一 个特定的信道，调整输入信号的概率分

15、 布，求 的最大值的问题 对于一般的信道，信道容量的计算非常复 杂，我们仅研究一些特殊的信道容量,离散无噪确定信道的信道容量,信道中没有干扰，输入符号和输出符号之间 有一一对应的函数关系,离散无噪确定信道的信道容量,离散无噪确定信道的信道容量的最佳输入分 布是等概分布。,有噪无损信道的信道容量,有噪无损信道的信道容量,最佳输入分布是等概分布,无噪有损信道的信道容量,无噪有损信道的信道容量,对称信道的信道容量,信道的传递概率矩阵中，每一行都是另一 行的置换，每一列也都是另一列的置换， 这样的信道称为对称信道,对称信道的信道容量,作为对称信道的一个特殊形式，我们定义了强 对称信道或称均匀信道 对角

16、线上的元素是正确概率 ，错误概率平均 分配给其它个符号，每个符号的概率,对称信道的信道容量,要求信道容量，先求平均互信息： 首先看 是传递矩阵某一行的传递概率,对称信道的信道容量,因为是对称矩阵，每一行都是其他行的置 换，根据熵的对称性，有： 所以有,对称信道的信道容量,要得到信道容量，就要求 最大，根据 离散熵定理，就要 等概率分布,因为是对称矩阵，每一列都是其它列的置换，只要输入信号的概率分布 为等概率分布，那么输出信号就是等概率分布,对称信道的信道容量,对于输入等概率，输出信号的概率,对称信道的信道容量,可以看到，只要输入信号等概率分布，那 么输出信号也是等概率分布,对称信道的信道容量,

17、举例：对称信道,对称信道的信道容量,举例：强对称信道,对称信道的信道容量,举例：二元对称信道,准对称信道的信道容量,信道的传递概率矩阵可按输出符号集Y分成 几个子矩阵，每个子矩阵表示的信道都是对 称，则称这个信道是准对称信道,准对称信道的信道容量,准对称信道的信道容量,【例】信道的转移概率矩阵如下，求信道 容量,准对称信道的信道容量,分解为：,准对称信道的信道容量,这样转换为：已知了输入概率分布、转移 概率分布，求平均互信息的问题,准对称信道的最佳输入分布是等概分布,准对称信道的信道容量,2元输入信道的信道容量,信道的输入信号的样本只有2个，我们可以 设概率空间为： 只有一个变量p，信道传递矩阵也已知，这 样可以求出平均互信息 ，是一个包 含一个变量p的表达式,2元输入信道的信道容量,现在就是要求这个表达式的最大值. 高等数学中讲过极值的算法：对函数求导 数，令导数等于0，根据此等式求出变量的 值。再把此值带回到函数中，即可得到函 数的极值,2元输入信道的信道容量,【例】