第三章离散信道及信道容量课件

第三章离散信道及其信道容量3.1信道的数学模型及分类3.2平均互信息及平均条件互信息3.3平均互信息的特性3.4信道容量及其一般计算方法3.6离散无记忆扩展信道及其信道容量3.7独立并联信道及其信道容量3.8串联信道的互信息和数据处理定理3.9信源与信道的匹配3.1信道的数学模型及分类3.1.1信道的分类3.1.2离散信道的数学模型3.1.3

单符号离散信道的数学模型3.1.1信道的分类两端信道：只有一个输入端和一个输出端多端信道：在输入端或输出端至少有一端有两个以上的用户。

无反馈信道：输出端信号对输入端信号无影响。

反馈信道：输出端信号对输入端信号有影响。固定参数信道：信道参数不随时间变化。时变参数信道：信道参数随时间变化。离散信道：输入和输出的随机序列取值都是离散的。连续信道：输入和输出的随机序列取值都是连续的。半离散或半连续信道：一端序列取值是离散的一端序列取值是连续的。波形信道：输入输出都是时间上连续的随机信号X(t),Y(t).3.1.2离散信道的数学模型信道信道统计特性用条件概率表示1、无干扰（无噪）信道2、有干扰无记忆信道无记忆信道：信道任一时刻输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的输入符号及输出符号无关。有干扰：输出符号与输入符号之间无确定的对应关系，符合某种概率分布。

a1

b1a2

b2

ar

bs3.1.3

单符号离散信道的数学模型条件概率称传递概率或转移概率例3.1

二元对称信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元对称信道的传递矩阵Y例3.2

二元删除信道——BECa1=0a2=1b1=0b3=2b2=1单符号信道的传递概率用矩阵表示：简写，信道传递矩阵为且矩阵中每行元素之和等于1。可求：已知输入概率信道矩阵(1)联合概率(2)输出符号概率(3)后向概率3.2平均互信息及平均条件互信息3.2.1

信道疑义度3.2.2平均互信息3.2.3平均条件互信息3.2.1

信道疑义度1、先验熵——H（X）

接收到输出Y以前，关于输入变量X的先验不确定性的度量。2、后验熵——当接收到输出符号y＝bj后，输入符号的概率分布成为，则关于x的平均不确定性为3、条件熵——信道疑义度——H（X|Y）

表示输出端收到输出变量Y的符号后，对输入端变量X尚存在的平均不确定性。讨论：（1）一般情况下，H（X|Y）<H（X）说明接收到Y后，关于输出变量X的不确定性减少了。（2）对于无扰信道接收到Y后，完全消除了对X的不确定性，从而获得全部信息。3.2.2平均互信息1、定义式——平均互信息表示收到输出符号Y后，平均每个符号获得的关于X的信息量。对称性2、互信息定义式（1）可正、可负、可零（2）平均互信息永远不会取负值3、其它熵的定义式及计算损失熵——信道疑义度H（X|Y）表示信源符号通过有噪信道传输后所引起的信息量的损失。噪声熵——散布度H（Y|X）表示在已知X的条件下，对于随机变量Y尚存在的不确定性，此不确定性完全是由信道中的噪声引起。维拉图表示熵的公式4、两种极端信道结论：（1）无噪一一对应信道（2）输入端与输出端完全统计独立接收到Y后不可能消除X的任何不确定性，也不能从X中获得任何关于Y的信息量。结论：3.2.3平均条件互信息1、条件互信息设有三个概率空间X、Y、Z，且有系统1系统2ZYX系统1YZX串出ZY系统1X并出定义：2、平均条件互信息3、联合互信息4、平均联合互信息3.3平均互信息的特性3.3.1平均互信息的非负性3.3.2平均互信息的极值性3.3.3

平均互信息的交换性（对称性）3.3.4

平均互信息I(X;Y)的凸状性3.3.1平均互信息的非负性当X、Y统计独立时，通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。3.3.2

平均互信息的极值性3.3.3

平均互信息的交换性（对称性）3.3.4

平均互信息I(X;Y)的凸状性定理3.1

平均互信息是输入信源概率分布的型凸函数。p0110p例3.4

已知二元对称信道输入信源：求I（X；Y）信道固定后，接收到的信息量I（X；Y）与输入概率分布P（x）有关。当ω＝1/2（等概率分布）时，信道接收端平均每个符号获得最大的信息量。1.01.00.50I(X;Y)固定信道1-H(p)定理3.2

平均互信息是信道传递概率的型凸函数.例3.4

续固定时，是p的型凸函数.当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。1.00.50PI(X;Y)固定信源H()3.4信道容量及其一般计算方法3.4.1离散无噪信道的信道容量3.4.2

对称离散信道的信道容量3.4.3

准对称信道的信道容量信息传输率R：信道中平均每个符号所能传送的信息量。平均互信息：接收到Y后，平均每个符号获得的关于X的信息量。

符号相应的输入概率分布称最佳输入分布.信道容量定义：对于一个固定信道，总存在一种信源（概率分布），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。信道容量的物理意义：信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。如例3.4中3.4.1离散无噪信道的信道容量1、无噪无损信道2、有噪无损信道2、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪无损信道信道特点：信道的传递矩阵中每一列有一个也仅有一个非零的元素。I（X;Y）H（Y|X）H（X）H（Y）3、无噪有损信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特点：信道的传递矩阵中每一行有一个也仅有一个非零的元素。3.4.2

对称离散信道的信道容量1、对称离散信道下列信道是否对称离散信道？2、强对称信道（均匀信道）3、对称离散信道的信道容量3.4.3

准对称信道的信道容量1、准对称信道定义信道矩阵Q可按列组合成对称矩阵，QK.（每行元素相同，只是不同排列）判断下列信道是否是准对称离散信道？2、准对称信道的信道容量（1）要求的输入分布是等概率分布（2）信道容量Nk

—行元素之和Mk

—列元素之和例：例：3.6离散无记忆扩展信道及其信道容量3.6.1

数学模型3.6.2

离散无记忆扩展信道的信道容量3.6.1

数学模型1、单符号2、消息序列3、N次扩展信道N次扩展信道矩阵例3.11

求二元无记忆对称信道的二次扩展信道。已知：解：同理得结论：对无记忆信道，由信道矩阵可求得N次扩展信道矩阵。3.6.2

离散无记忆扩展信道的信道容量1、N次扩展信道的平均互信息若信道的输入随机序列为，通过信道传输，接收到的随机序列为。若信道是无记忆的，则存在2、定理3.5—给出了I（X；Y）的极大值3、定理3.6若信道的输入随机序列为，通过信道传输，接收到的随机序列为。若信源是无记忆的，则存在—给出了I（X；Y）的极小值

4、离散无记忆信道、无记忆信源时当信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道平均互信息的N倍。5、离散无记忆信道的N次扩展信道的信道容量结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量的N倍.条件：（1）输入信源是无记忆的;（2）每一输入Xi的分布各自达到最佳分布，使传输达到信道容量C。一般情况下：3.7独立并联信道及其信道容量N个独立并联信道中，每个信道输出的Yi只与本信道的输入Xi有关，与其它信道的输入、输出都无关，此并联信道是无记忆的.结论：（2）当输入符号相互独立，且的概率分布达到各信道容量的最佳输入分布时，根据定理3.5（1）独立并联信道的信道容量不大于各个信道容量之和。3.8串联信道的互信息和数据处理定理3.8.1

串联信道数学模型3.8.2

串联信道平均互信息3.8.3

一般通信系统模型3.8.1

串联信道数学模型（1）电视卫星转播

电视台卫星电视接收台

二个信道的串联信道信道（2）对接收信号进行数据处理

卫星测得数据转换成脉冲判决器地面接收站（0、1二元码）（0、1二元码）（0、1码）信道信道1、串联信道举例2、串联信道模型XZY总信道XY证明：即3、马尔可夫链串联信道定义：满足条件,称这两个信道的输入和输出X，Y，Z序列构成马尔可夫链。且3.8.2

串联信道平均互信息1、定理3.7联合变量XY与变量Z之间的平均互信息不小于变量Y与Z之间的平均互信息。当且仅当时实际的串联信道，往往满足马尔可夫链条件。因此由Z获得的关于Y的信息量即相同于由Z获得的关于XY的联合信息量。2、定理3.8—数据处理定理定理3.8和推论表明通过串联信道传输只会丢失更多的信息。若X、Y、Z组成一个马尔可夫链，则有取等号条件推论：表明串联第二个信道传输信息后不会增加信息的损失。