信息论与编码(傅祖云-讲义)第三章

1、第三章 离散信道及其信道容量,3.1 信道的数学模型及分类,3.2 平均互信息及平均条件互信息,3.3 平均互信息的特征,3.4 信道容量及其一般计算方法,小结,本章主要内容,3.9 信源与信道的匹配,第三章 离散信道及其信道容量,本章的重、难点内容： 了解信道的分类及基本数学模型 掌握平均互信息和平均条件互信息的概念和意义 知道平均互信息的特征 掌握信道容量及其一般计算方法,3.1信道的数学模型及分类,在广义的通信系统中，信道是很重要的一部分。 信道的任务是以信号方式传输信息和存储信息。 研究信道的目的就是研究信道中能够传送或存储的最大信息量，即信道容量问题。 本章首先讨论离散信道的统计特性

2、和数学模型，然后定量地研究信道传输的平均互信息及其性质，并导出信道容量及其计算方法。 本章只限于研究一个输入端和一个输出端即单用户信道，以无记忆、无反馈、恒参离散信道为重点,3.1.1 信道的分类,根据信道的用户多少 根据信道输入输出的关联 根据信道参数与时间的关系 根据输入输出信号的特点,两端（单用户）信道,多端（多用户）信道,无反馈信道,反馈信道,固定参数信道,时变参数信道,离散信道,连续信道,半离散或半连续信道,波形信道,3.1.2离散信道的数学模型,离散信道的数学模型如下图所示,图3.1 离散信道数学模型,根据信道的统计特性即条件概率 的不同，离散信道又可分成三种情况,离散信道的数学模

3、型,无干扰（无噪）信道 有干扰无记忆信道：离散无记忆信道的充要条件 对任意N值和任意x、y的取值，上式都成立。 有干扰有记忆信道：即有干扰（噪声）又有记忆，实际信道往往是这种类型。信道输出不但与输入有关，还与其它时刻的输入和输出有关，这样的信道称为有记忆信道,3.1.3单符号离散信道的数学模型,单符号离散信道的输入变量为X，取值于 ；输出变量为Y，取值于 。并有条件概率 这一组条件概率称为信道的传递概率或转移概率 一般简单的单符号离散信道的数学模型可以用概率空间X,p(y|x),Y来描述,两种重要的二元信道BSC和BEC,例3.1 二元对称信道BSC（Binary Symmetric Chan

4、nel）这是很重要的一种特殊信道。输入符号X取值于0，1；输出符号也取值于0，1。 传递概率： 传递矩阵,两种重要的二元信道BSC和BEC,例3.2 二元删除信道BEC（Binary Erasure Channel）这也是很重要的一种特殊信道。输入符号X取值于0，1；输出符号取值于0，2，1。 信道传递矩阵,二元删除信道BEC的说明,这种信道实际是存在的，当信号波形传输中失真较大时，我们在接收端不是对接收信号硬性判为0和1，而是根据最佳接收机额外给出的信道失真信息增加一个中间状态2（称为删除符号），采用特定的纠删编码，可有效的恢复出这个中间状态的正确取值。 如果信道干扰不是很严重的话， 和 的

5、可能性要比 和 的可能性小得多，所以，假设 是较合理的,单符号离散信道的数学模型,由此可见，一般单符号离散信道的转移概率可用信道转移矩阵P来表示： 关于信道矩阵的几点说明： 1、输入和输出符号的联合概率为,单符号离散信道的数学模型,其中 是信道传递概率，通常称为前向概率，它是由于噪声引起的，描述了信道噪声的特性。而 称为后向概率。也把 称为先验概率，而把 称为后验概率。 2、根据联合概率可得输出符号的概率 3、根据贝叶斯公式得后验概率 上式说明，在信道输出端接收到任一符号 一定是输入符号 , 中的一个输入信道,3.2平均互信息及平均条件互信息,3.2.1信道疑义度 信源输入信道的熵先验熵H(X

6、) 信道中有干扰(噪声)存在，接收到符号 后输入的是什么符号仍存在有不确定性 后验熵。 意义：后验熵是当信道接收端接收到输出 符号 后，关于输入符号的信息测度,信道疑义度,后验熵在输出符号集Y范围内是个随机量，对后验熵在符号集Y中求数学期望，得条件熵为信道疑义度(含糊度)： 意义：信道疑义度表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的平均不确定性（存在疑义）。这是由于信道干扰 （噪声）引起的,信道疑义度的说明,对于一一对应信道，接收到输出Y后，对X的不确定性将完全消除，信道疑义度 。一般情况下条件熵小于无条件熵，有 。说明接收到变量Y的所有符号后，关于输入变量X的平均不确定性

7、将减少，即总能消除一些关于输入端X的不确定性，从而获得了一些信息,3.2.2 平均互信息,通过信道传输消除了一些不确定性，获得了一定的信息。我们定义： 称为X和Y之间的平均互信息。 物理意义：它代表接收到输出符号后平均每个符号获得的关于X的信息量。它也表明，输入与输出两个随机变量之间的统计约束程度。 互信息 是代表收到某消息y后获得关于某事件x的信息量。它可取正值，也可取负值。 是 的统计平均,所以,平均互信息与各类熵之间的关系,熵只是平均不确定性的描述，而不确定性的消除（两熵之差）才等于接收端所获得的信息量。因此，获得的信息量不应该和不确定性混为一谈。 维拉图表示的各类熵之间的关系,H(X|

8、Y,H(Y|X,I(X;Y,H(X,H(Y,H(XY,平均互信息与各类熵之间的关系,每个圆减去平均互信息后剩余的部分代表两个疑义度 是信道疑义度，又称为损失熵 反映了信道中噪声源的不确定性， 又称噪声熵或散布度,平均互信息与各类熵之间的关系,下面讨论两种极端情况 1、无噪一一对应信道（无损信道） 此时可以计算得： 在图中就表示是两圆重合。信道中损失熵和噪声熵都为零。有 2、输入输出完全统计独立（全损信道,3.3平均互信息的特性,1、平均互信息的非负性 该性质表明，通过信道总能传递一些信息，最差的条件下，输入输出完全独立，不传递任何信息，互信息等于0，但决不会失去已知的信息。 2、平均互信息的极

9、值性 一般来说，信道疑义度总是大于0，所以互信息总是小于信源的熵，只有当信道是无损信道时，信道疑义度等于0，互信息等于信源的熵,平均互信息的特征,3、平均互信息的交互性（对称性） 实际上I(X;Y)和I(Y;X)只是观察者的立足点不同，对信道的输入X和输出Y的总体测度的两种表达形式。正因为有交互性，所以命名为互信息。 4、平均互信息的凸状性（两个定理） 定理3.1 平均互信息 是信源概率分布p(x)的型凸函数,平均互信息的特征,定理3.1的意义：对于每一个固定信道，一定存在一种信源（某一概率分布P(X)），使输出端获得的平均信息量为最大Imax（型凸函数存在极大值）。这时称这个信源为该信道的匹

10、配信源。 定理3.2 平均互信息 是信道传递概率 的型凸函数。 定理3.2的意义：对每一种信源都存在一种最差的信道，此信道的干扰（噪声）最大，而输出端获得的信息量最小Imin,二元对称信道BSC的平均互信息,例3.4设二元对称信道的输入概率空间为 信道特性如图所示,求平均互信息 解：根据平均互信息的定义得,二元对称信道BSC的平均互信息,输出符号的概率： 则 所以,二元对称信道BSC的平均互信息,其中 也是 区域上的熵函数。当信道固定即固定p时，可得 是的型函数，如图所示,3.4信道容量及其一般计算方法,预备知识及几个定义： 研究信道的目的是要讨论信道中平均每个符号所能传送的信息量，即信道的信

11、息传输率R。 定义信息的传输率就是平均互信息。即 定义单位时间内平均传输的信息量为信息传输速率,信道容量及其一般计算方法,每个固定信道都有一个最大的信息传输率，定义这个最大的信息传输率为信道容量C，即 其单位为 或 ，而相应的输入概率分布称为最佳输入分布。 单位时间内平均传输的最大信息量为 一般仍称 为信道容量,信道容量及其一般计算方法,信道容量的含义：信道容量与已输入信源的概率分布无关，它是信道的特征的参量，反映的是信道的最大信息传输能力。 由上节知识得对于二元信道平均互信息为 当 时， 平均互信息的极大值为 因此，二元对称信道的信道容量为 与X概率分布无关。 计算信道容量就是求 极大值问题

12、,3.4.1 离散无噪信道的信道容量,1、离散无噪无损信道 无噪：一个输入对应一个输出，噪声熵 无损：一个输出对应一个输入，损失熵 所以这类信道的平均互信息为 信道容量为,信道矩阵,离散无噪信道的信道容量,2、离散有噪无损信道 特点:信道矩阵中每一列有且仅有一个非零元素 有噪：一个X对应多个Y， 无损：接收到Y后X完全确定， 信道容量,信道矩阵,离散无噪信道的信道容量,3、离散无噪有损信道（确定信道） 信道容量： 此类信道接收到符号Y后不能完全消除对X的不确定性，信息有损失。但输出端Y的平均不确 定性因噪声熵等于零而没有增加,无噪,有损,一个X对应一个Y，前向概率 非0即1,一个Y对应多个X，

13、后向概率 不等于0或1,离散无噪信道的信道容量,我们可以用维拉图来表述有噪无损信道和无噪有损信道中平均互信息、损失熵、噪声熵以及信源熵之间的关系,3.4.2 对称离散信道的信道容量,如果信道转移矩阵P中每一行都是由 同一组元素的不同排列构成的，并且每一列也是由 这一组元素不同排列组成的，则称这种信道为对称离散信道。 例如 而,不是对称信道,对称离散信道的信道容量,若输入符号和输出符号个数相同，都等于r，且信道矩阵为 其中 ，则称此信道为强对称信道或均匀信道。该信道矩阵中各列之和也等于1,对称离散信道的信道容量,对于对称离散信道，当输入符号X达到等概率分布，则输出符号Y一定也达到等概率分布。 由

14、此得对称离散信道的信道容量为 对称离散信道能够传输的最大的平均信息量，它只与对称信道矩阵中行矢量 和输出符号集的个数s有关,对称离散信道容量的计算,例3.5某对称离散信道的信道矩阵为 解： 每个符号平均能够传输的最大信息为0.0817 bit,只有当输入符号等概分布时才达到这个 最大值,对称离散信道容量的计算,例3.6 对于强对称信道，其信道容量为 对于二元信道r=2由上式得,对称离散信道容量的计算,二元对称信道 讨论：当p=1/2时，二元对称信道的信道容量C=0，不管输入概率分布如何都能达到信道容量。 该信道输入端不能传递任何信息到输出端。这种信道是没有任何实际意义的，但它从理论上说明了信道

15、的最佳输入分布不一定是惟一的,3.4.3 准对称信道的信道容量,准对称信道的概念：若信道的列可以划分成若干个互不相交的子集，每一个子集都是对称信道，则称该信道为准对称信道，如,可划分为,可划分为,准对称信道的信道容量,可以证明达到准对称离散信道信道容量的输入分布（最佳输入分布）是等概分布，也可计算得准对称离散信道的信道容量为： 其中r是输入符号集的个数， 为准对称信道矩阵中的行元素。 而 是第k个子矩阵 中行元素之和， 是第k个子矩阵 中列元素之和。即,3.4.4 一般离散信道的信道容量,一般离散信道的信道容量的计算：就是对所有可能的输入概率分布 求平均互信息 的极大值。 对一般信道有定理3.

16、3:一般离散信道的平均互信息 达到极大值（即等于信道容量）的充要条件是输入概率分布 满足 这时C就是所求的信道容量,一般离散信道的信道容量,在定理3.3中 是输出端接收到Y后，获得关于 的信息量，即是信源符号 对输出端Y平均提供的互信息。一般 值与 有关，且有 令,一般离散信道的信道容量,该定理说明：当平均互信息达到信道容量时，输入信源每一个符号x输出相同的互信息。 可以利用该定理对一些特殊信道求它的信道容量 例3.8输入符号集 ，输出符号集 。信道传递矩阵为 求该信道的信道容量,一般离散信道的信道容量,解：假设输入概率分布为 检验是否满足定理3.3，若满足就找到了最佳分布。由式 得,一般离散

17、信道的信道容量,由以上可见此输入分布满足定理3.3 因此可得这个信道的信道容量为 而达到信道容量的输入概率分布就是前面假设的分布,一般离散信道的信道容量,例3.9 信道如图，输入符号集为 ，输出符号集为 。信道矩阵为,求信道容量。 解：设输入概率分布,由式 及式 计算得 此假设分布满足定理3.3。因此信道容量为 最佳分布是,若设输入分布为 同理可得 也有 根据定理3.3可知，输入分布 也是最佳分布，还有其它最佳分布，这说明 信道的最佳输入分布不是唯一的。而输出分 布是唯一的,一般离散信道的信道容量计算,对于一般离散信道，很难利用定理3.3来求信道容量和对应的输入概率分布，只能采用求解如下方程组

18、的方法。 于是把方程组中前r个方程改写成,一般离散信道的信道容量计算,移项后可得： 令 代入上式，得： 这是含有s个未知数j，有r个方程的非齐次线性方程组,一般离散信道的信道容量计算,如果设r=s，信道转移矩阵P是非奇异方阵，则此方程组有解，并且可以求出j的数值，然后根据 的条件求得信道容量： 由这个C值就可解得对应的输出概率分布p(bj) 再根据 就可解 出达到信道容量的最佳输入概率分布p(ai,一般离散信道的信道容量计算,例3.10设离散无记忆信道如图，输入X的符号集为 输出Y的符号集 传递矩阵为 求其信道容量及其最佳的输入概率分布,一般离散信道的信道容量计算,此信道是非对称信道，无法利用

19、定理3.3来计算信道容量。但这信道矩阵为方阵r=s,且为非奇异矩阵，所以可得方程组： 解方程组，得,一般离散信道的信道容量计算,得信道容量 输出符号概为 由此可得最佳输入分布为,一般离散信道的信道容量计算,几点说明： 有时所求出的P(ai)不一定能满足概率的条件（因为采用拉格朗日乘子法时没有加入 P(ai)0 的条件限制），所以必须对解进行检查。 如果所有解都满足P(ai)0 ,则解是正确的。否则解无效,一般离散信道的信道容量计算,解无效（有些P(ai)0）表明所求的极限值C出现在边界上，这时有些P(ai)0 。因此，可设某些输入符号的概率为0，然后重新进行计算。 但当 rs 时，求解非齐次线性方程组比较困难。即使求出解，也无法保证解