信道及其容量

1、第三章第三章 信道及其容量信道及其容量u 信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。u 研究信道中能够传送或存储的最大信息量，即信道容量。研究信道中能够传送或存储的最大信息量，即信道容量。3.1 3.1 信道的数学模型和分类信道的数学模型和分类 等效信道 干扰源 物理信道 解调器 编码器 译码器 信宿 信源 调制器 实际信道 编码信道 图3.1.1 数字通信系统的一般模型3.1 3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的分类 根据载荷消息的媒体不同根据载荷消息的媒体不同根据信息传输的方式根据信息传输的方式根据信息传输的方

2、式分类中根据信息传输的方式分类中 根据信道的用户多少：两端根据信道的用户多少：两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道根据信道输入端和输出端的关联：根据信道输入端和输出端的关联： 无反馈信道无反馈信道 反馈信道反馈信道根据信道的参数与时间的关系：根据信道的参数与时间的关系： 固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号的特点：根据输入和输出信号的特点： 离散信道离散信道 连续信道连续信道 半离散或半连续信道半离散或半连续信道 波形信道波形信道二、离散信道的数学模型二、离散信道的数学模型条件概率条件概率 P(y/x) 描述了输入信号和输出信号之间统

3、计描述了输入信号和输出信号之间统计依赖关系。反映了依赖关系。反映了信道的统计特性信道的统计特性。 根据信道的根据信道的统计特性即条件概率统计特性即条件概率 P(y/x)P(y/x)的不同，离散的不同，离散信道又可分成三种情况：信道又可分成三种情况： 无干扰信道无干扰信道 有干扰无记忆信道有干扰无记忆信道 有干扰有记忆信道有干扰有记忆信道 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号与输入信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：y f (x)(0)(1)|(xf

4、yxfyxyP(2)有干扰无记忆信道有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。信道输入和输出之间的条件概率是一般的概率分布。 如果任一时刻输出符号只统计依赖于对应时刻的输入符号，如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为无记忆信道。则这种信道称为无记忆信道。)|().|.()|(iiNiNNxyPxxxyyyPxyP12121 (3) 有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型。型。 例如在数字信道中，由于信道滤波使频率特性不理例如在数字信道中，由于信道滤

5、波使频率特性不理想时造成了码字之间的干扰。想时造成了码字之间的干扰。 在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关，而且还与此以前其他时刻信道的输刻的输入符号有关，而且还与此以前其他时刻信道的输入符号及输出符号有关，入符号及输出符号有关，这样的信道称为有记忆信道。这样的信道称为有记忆信道。三、单符号离散信道单符号离散信道：单符号离散信道：输入符号为输入符号为X，取值于，取值于a1,a2, ,ar。输出符号为输出符号为Y，取值于，取值于b1,b2, ,bs。条件概率：条件概率：P(y/x)P(y=bj/x=ai)P(bj/ai) 这一组

6、条件概率称为这一组条件概率称为信道的传递概率信道的传递概率或或转移概率转移概率，可以用，可以用来来描述信道干扰描述信道干扰影响的大小。影响的大小。 信道中有干扰信道中有干扰(噪声噪声)存在，可以用传递概率存在，可以用传递概率 P(bj/ai) 来描来描述干扰影响的大小。述干扰影响的大小。 一般一般简单的单符号离散信道简单的单符号离散信道可以用可以用X, P(y/x) ,Y 三者加三者加以描述。以描述。 其数学模型可以用概率空间其数学模型可以用概率空间X, P(y/x) ,Y描述。当然，描述。当然，也可用下图来描述：也可用下图来描述： a1 b1 a2 b2 X . . Y . .ar bsP(

7、bj/ai)例例1 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel解：解：此时，此时，X:0,1 ; Y:0,1 ; r=s=2，a1=b1=0；a2=b2=1。传递概率传递概率:pPabPpPabPppPabPppPabP )0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211 p是单个符号是单个符号传输发生错误传输发生错误的概率。的概率。（1-p）表示是）表示是无错误传输无错误传输的概率。的概率。 转移矩阵转移矩阵: -1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp符号符号“2”表示接收

8、到了表示接收到了“0”、“1”以外的特殊符以外的特殊符号号 qqpp1001 0 2 101p0 01p1 1q1q2例例2二元删除信道。二元删除信道。BEC，Binary Eliminated Channel解：解：X:0，1 Y:0，1，2此时，此时，r 2，s 3，传递矩阵为：传递矩阵为： 一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即 sjijijpp110 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型信道的另一种数学模型的形式。的形式。 P中有些是信道干扰引起的错误

9、概率，有些是信道正确中有些是信道干扰引起的错误概率，有些是信道正确传输的概率。所以该矩阵又称为传输的概率。所以该矩阵又称为信道矩阵信道矩阵（转移矩阵）（转移矩阵） 。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar)3.2 3.2 信道疑义度与平均互信息信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型本节进一步研究离散单符号信道的数学模型下的信息传输问题。下的信息传输问题

10、。一、信道疑义度一、信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先验不的先验不确定性，称为确定性，称为先验熵先验熵。 )(log)()(1log)()(1xPxPaPaPXHXirii接受到接受到bj后，关于后，关于X的不确定性为的不确定性为 后验熵在输出符号集后验熵在输出符号集Y范围内是个随机量，对后验熵在符范围内是个随机量，对后验熵在符号集号集Y中求数学期望，得条件熵中求数学期望，得条件熵-信道疑义度信道疑义度：这是接收到输出符号这是接收到输出符号bj后关于后关于X的的后验熵后验熵。 后验熵是当信道接收端接收到

11、输出符号后验熵是当信道接收端接收到输出符号bj后，关于输入后，关于输入符号的信息测度。符号的信息测度。)|(1log)|()|(jXjjbxPbxPbXH )/()()/()|(1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPxyPYX互信息量互信息量 I(xi ; yj)：收到消息：收到消息yj 后获得关于后获得关于xi的信息量的信息量)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI二、平均互信息二、平均互信息)()|(log)();()();(ijiji

12、jijijijixpyxpyxpyxIyxpYXI平均互信息平均互信息I(X; Y)： I(xi ; yj)的的统计平均。统计平均。l它代表接收到符号集它代表接收到符号集Y后平均每个符号获得的关于后平均每个符号获得的关于X的的信息量，也表示了输入与输出两个随机变量之间的统信息量，也表示了输入与输出两个随机变量之间的统计约束程度。计约束程度。平均互信息与各类熵的关系平均互信息与各类熵的关系)(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHY

13、X H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY) 两种特殊信道两种特殊信道)(0)(1)|(xfyjixfyjixypij)(0)(1)|(xfyjixfyjiyxpjiYyXxyPxyp)()|(YyXxxPyxp)()|(3.2 3.2 平均互信息的性质平均互信息的性质平均互信息平均互信息 I(X;Y) 具有以下特性：具有以下特性：（1）非负性）非负性 即即 I(X;Y) = 0 当当X、Y统计独立时等式成立。统计独立时等式成立。（2）极值性）极值性 即即 I(X;Y) C，总可以找到一种编码，当L足够长时，译码错误概率 ，为任意大于零的正数。反之，当RC时，任何编码的 必大于零，当 时， 。eP ePL 1eP 与无失真信源编码定理(香农第一定理)类似，香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证