第4章 离散信道及其信道容量

11一月2023信息论导论通信与信息工程学院杨海芬第4章离散信道及其信道容量掌握互信息量的定义和计算；掌握离散系统平均互信息量的定义、计算和性质；理解单符号离散信道信道容量的定义，了解信道容量计算一般方法的推导、计算步骤的整理，掌握一般2×2信道信道容量的计算；掌握对称信道\非对称信道的特点，信道容量计算式的导出和计算；了解离散无记忆信道（扩展信道）的特点，离散无记忆信道信道容量与单符号离散信道信道容量的关系。

信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。一般信道的定义及模型信道是传输信息的媒质或通道。影响信道传输的因素：噪声、干扰。噪声、干扰：非函数表述、随机性、统计依赖。信道的全部特性：输入信号、输出信号，以及它们之间的依赖关系。信道的一般数学模型：P（Y/X）

X

Y

一般信道的数学模型 信道容量衡量一个信息传递系统的好坏，有两个主要指标：速度指标：信息（传输）率R，即信道中平均每个符号传递的信息量；质量指标：平均差错率Pe，即对信道输出符号进行译码的平均错误概率；目标：速度快、错误少，即R尽量大而Pe尽量小。信道容量：信息率能大到什么程度；信道容量：信息率能大到什么程度(1)信道容量是信道信息率的上限，定量描述了信道（信息的）最大通过能力；(2)使得给定信道的达到最大值（即信道容量）的输入分布，称为最佳输入（概率）分布(3)信道的I(x;y)与输入概率分布和转移概率分布两者有关，但信道容量是信道的固有参数，只与信道转移概率有关。研究信道，其核心问题就是求信道容量和最佳输入分布。根据定义，求信道容量问题就是求平均互信息量关于输入概率分布的最大值问题。一般来说，这是一个很困难的问题，只有对一些特殊信道，如无噪信道等，才能得到解析解，对于一般信道，必须借助于数值算法。一、单符号离散信道及其信道容量1、单符号离散信道定义对应于单符号离散信源和单符号离散信宿的信道为单符号离散信道。表示信源符号X取值于集合XP(Y/X)Y信宿符号Y取值于集合x1x2xny1y2ymP(y1/x1)………P(ym/xn)P(y2/x2)例1例2例3定义信宿消息yj的自信息量I(yj)减去信道关于发出消息xi和接收消息yj的条件信息量I(yj/xi)为信宿消息yj所含信源消息xi的互信息量，用I(xi;yj)表示。2、互信息量表示例1信宿消息0所含各信源消息的互信息量3、平均互信息量各互信息量的数学期望为平均互信息量，也叫交互熵，用I(X;Y)表示。定义表示4、平均互信息量的意义条件熵H(Y/X)是信道给出的平均信息量，称为噪声熵，也称为信道散布度。条件熵H(X/Y)是用反信道矩阵形式表示的信道给出的平均信息量，称为损失熵，也称为信道疑义度。H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信源为参考，利用信源的熵和信道的损失熵来度量信道中流通的平均信息量。以信宿为参考，利用信宿的熵和信道的噪声熵来度量信道中流通的平均信息量。5、平均互信息量的主要性质①对称性②非负性③极值性X与Y相互独立时，X与Y一一对应关系时，④严格凸函数性信道固定时，I(X;Y)是信源概率分布P(X)的严格上凸函数信源固定时，I(X;Y)是信道转移概率分布P(Y/X)的严格下凸函数例1平均互信息量平均互信息量及p-I(X;Y)和q-I(X;Y)曲线例2信道固定时q为常数，作p-I(X;Y)曲线00.51I(X;Y)1-H(q)p信源固定时p为常数，作q-I(X;Y)曲线00.51I(X;Y)H(p)q平均互信息量的链接准则两级级联信道链接准则可以推广到多级级联信道。XP(Y/X)YP(Z/Y)Z利用熵的链接准则证明6、数据处理定理级联信道中X、Y、Z构成一阶马尔科夫链，则由于X、Y、Z构成一阶马尔科夫链该结论可以推广到多级级联信道。数据处理不能将信息量增大！7、信道容量信道固定时，平均互信息量是信源概率分布P(X)的严格上凸函数，总能找到一种信源概率分布P(X)，使通过信道的平均互信息量达到最大。定义信道转移概率分布P(Y/X)不变时平均互信息量的最大值为该信道的信道容量，用C表示。表示8、信道容量的计算步骤信道容量的计算步骤Z信道的信道容量C及达到信道容量时的信源概率分布P(X)。例1二、对称信道及其信道容量1、对称信道矩阵中每一行都是集合中各元素的不同排列，该矩阵行可排列；每一列都是集合中各元素的不同排列，该矩阵列可排列。信道矩阵既行可排列，又列可排列，该矩阵所表示的单符号离散信道为对称信道。定义对称信道中，当m>n时，P是Q的子集；当m=n时，P=Q。例1判断下列信道矩阵所表示的信道是否为对称信道？行可排列列可排列行可排列不存在P，列不可排列×2、对称信道的信道容量m=n=2时的对称信道称为二进制对称信道BSC，一般记为对称信道行可排列，不失一般性，设对称信道的信道矩阵为根据信道容量的计算步骤对称信道列可排列，不失一般性，列出对称信道的信道容量BSC的信道容量例2信道的信道容量及达到信道容量时的信源概率分布。信道矩阵既行可排列，又列可排列，该矩阵所表示的信道为对称信道。信源概率分布信道容量为三、准对称信道及其信道容量信道矩阵行可排列而列不可排列，按列分为若干个不相交的子集，各子集构成的各子信道矩阵都列可排列，该矩阵所表示的单符号离散信道为准对称信道。信道矩阵定义1、准对称信道行可排列不存在P，列不可排列按列分成两个不相交的子集后，两个子集构成的子矩阵都列可排列，该信道为准对称信道。二进制删除信道是准对称信道，二进制删除信道一般记为准对称信道行可排列2、准对称信道的信道容量按列分为s个不相交的子集，各子集构成的各子信道矩阵都列可排列，各子信道矩阵相当于对称信道不失一般性，设第一个子矩阵由第一列到第m1列构成，子矩阵列可排列准对称信道的信道容量二进制删除信道的信道容量的信道容量及达到信道容量时的信源概率分布。例4行可排列不存在P，列不可排列。按列分成两个不相交的子集后，两个子集构成的子信道矩阵都列可排列，该信道为准对称信道。当信源概率分布信道容量四、N维离散无记忆信道及其信道容量1、多符号离散信道与N维离散无记忆信道对应于多符号离散信源和多符号离散信宿的信道为多符号离散信道，其信道矩阵当信源和信宿均N维平稳无记忆时，信道矩阵中的转移概率信道矩阵表示的多符号离散信道为N维离