离散信道及信道容量课件

第三章离散信道及其信道容量3.1信道的数学模型及分类3.2平均互信息及平均条件互信息3.3平均互信息的特性3.4信道容量及其一般计算方法3.6离散无记忆扩展信道及其信道容量3.7独立并联信道及其信道容量3.8串联信道的互信息和数据处理定理3.9信源与信道的匹配第三章离散信道及其信道容量3.1信道的数学模型及分类13.1信道的数学模型及分类3.1.1信道的分类3.1.2离散信道的数学模型3.1.3单符号离散信道的数学模型3.1信道的数学模型及分类3.1.1信道的分类3.1.23.1.1信道的分类两端信道：只有一个输入端和一个输出端多端信道：在输入端或输出端至少有一端有两个以上的用户。

无反馈信道：输出端信号对输入端信号无影响。

反馈信道：输出端信号对输入端信号有影响。3.1.1信道的分类两端信道：只有一个输入端和一个输出端3固定参数信道：信道参数不随时间变化。时变参数信道：信道参数随时间变化。离散信道：输入和输出的随机序列取值都是离散的。连续信道：输入和输出的随机序列取值都是连续的。半离散或半连续信道：一端序列取值是离散的一端序列取值是连续的。波形信道：输入输出都是时间上连续的随机信号X(t),Y(t).固定参数信道：信道参数不随时间变化。离散信道：输入和输出的随43.1.2离散信道的数学模型信道信道统计特性用条件概率表示3.1.2离散信道的数学模型信道信道统计51、无干扰（无噪）信道2、有干扰无记忆信道无记忆信道：信道任一时刻输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的输入符号及输出符号无关。有干扰：输出符号与输入符号之间无确定的对应关系，符合某种概率分布。1、无干扰（无噪）信道2、有干扰无记忆信道有干扰：输出符号与6a1

b1a2

b2arbs3.1.3单符号离散信道的数学模型条件概率称传递概率或转移概率a17例3.1二元对称信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元对称信道的传递矩阵Y例3.1二元对称信道——BSCX8例3.2二元删除信道——BECa1=0a2=1b1=0b3=2b2=1例3.2二元删除信道——BECa1=0a2=1b1=09单符号信道的传递概率用矩阵表示：简写，信道传递矩阵为且矩阵中每行元素之和等于1。单符号信道的传递概率用矩阵表示：简写10可求：已知输入概率信道矩阵(1)联合概率(2)输出符号概率(3)后向概率可求：已知输入概率信道矩阵(1)联合概率(2)113.2平均互信息及平均条件互信息3.2.1信道疑义度3.2.2平均互信息3.2.3平均条件互信息3.2平均互信息及平均条件互信息3.2.1信道疑义度3.123.2.1信道疑义度1、先验熵——H（X）接收到输出Y以前，关于输入变量X的先验不确定性的度量。2、后验熵——当接收到输出符号y＝bj后，输入符号的概率分布成为，则关于x的平均不确定性为3.2.1信道疑义度1、先验熵——H（X）2、后验熵133、条件熵——信道疑义度——H（X|Y）表示输出端收到输出变量Y的符号后，对输入端变量X尚存在的平均不确定性。3、条件熵——信道疑义度——H（X|Y）表示输出端收到14讨论：（1）一般情况下，H（X|Y）<H（X）说明接收到Y后，关于输出变量X的不确定性减少了。（2）对于无扰信道接收到Y后，完全消除了对X的不确定性，从而获得全部信息。讨论：153.2.2平均互信息1、定义式——平均互信息表示收到输出符号Y后，平均每个符号获得的关于X的信息量。对称性3.2.2平均互信息1、定义式——平均互信息表示收到输出162、互信息定义式（1）可正、可负、可零（2）平均互信息永远不会取负值2、互信息定义式（1）可正、可负、可173、其它熵的定义式及计算损失熵——信道疑义度H（X|Y）表示信源符号通过有噪信道传输后所引起的信息量的损失。噪声熵——散布度H（Y|X）表示在已知X的条件下，对于随机变量Y尚存在的不确定性，此不确定性完全是由信道中的噪声引起。3、其它熵的定义式及计算损失熵——信道疑义度H（X|Y）18维拉图表示熵的公式维拉图表示熵的公式194、两种极端信道结论：（1）无噪一一对应信道（2）输入端与输出端完全统计独立接收到Y后不可能消除X的任何不确定性，也不能从X中获得任何关于Y的信息量。结论：4、两种极端信道结论：（1）无噪一一对应信道（2）输入端与输203.2.3平均条件互信息1、条件互信息设有三个概率空间X、Y、Z，且有系统1系统2ZYX系统1YZX串出ZY系统1X并出3.2.3平均条件互信息1、条件互信息系统1系统2ZYX21定义：2、平均条件互信息定义：2、平均条件互信息223、联合互信息4、平均联合互信息3、联合互信息4、平均联合互信息233.3平均互信息的特性3.3.1平均互信息的非负性3.3.2平均互信息的极值性3.3.3平均互信息的交换性（对称性）3.3.4平均互信息I(X;Y)的凸状性3.3平均互信息的特性3.3.1平均互信息的非负性3.243.3.1平均互信息的非负性当X、Y统计独立时，通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。3.3.1平均互信息的非负性当X、Y统计独立时，通过一个信253.3.2平均互信息的极值性3.3.2平均互信息的极值性263.3.3平均互信息的交换性（对称性）3.3.4平均互信息I(X;Y)的凸状性3.3.3平均互信息的交换性（对称性）3.3.4平均互信27定理3.1平均互信息是输入信源概率分布的型凸函数。p0110p例3.4已知二元对称信道输入信源：求I（X；Y）定理3.1平均互信息是输入信源28信道固定后，接收到的信息量I（X；Y）与输入概率分布P（x）有关。当ω＝1/2（等概率分布）时，信道接收端平均每个符号获得最大的信息量。信道固定后，接收到的信息量I（X；Y）与输入概率分布P（x）291.01.00.50I(X;Y)固定信道1-H(p)1.01.00.50I(X;Y)固定信道1-H(p)30定理3.2平均互信息是信道传递概率的型凸函数.例3.4续固定时，是p的型凸函数.当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。定理3.2平均互信息是信道传递311.00.50PI(X;Y)固定信源H()1.00.50PI(X;Y)固定信源H()323.4信道容量及其一般计算方法3.4.1离散无噪信道的信道容量3.4.2对称离散信道的信道容量3.4.3准对称信道的信道容量3.4信道容量及其一般计算方法3.4.1离散无噪信道的33信息传输率R：信道中平均每个符号所能传送的信息量。平均互信息：接收到Y后，平均每个符号获得的关于X的信息量。

符号信息传输率R：信道中平均每个符号所能传送的信息量。平均互信息34相应的输入概率分布称最佳输入分布.信道容量定义：对于一个固定信道，总存在一种信源（概率分布），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。相应的输入概率分布称最佳输入分布.信道容量定义：35信道容量的物理意义：信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。如例3.4中信道容量的物理意义：如例3.4中363.4.1离散无噪信道的信道容量1、无噪无损信道3.4.1离散无噪信道的信道容量1、无噪无损信道372、有噪无损信道2、有噪无损信道382、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）392、有噪无损信道信道特点：信道的传递矩阵中每一列有一个也仅有一个非零的元素。I（X;Y）H（Y|X）H（X）H（Y）2、有噪无损信道信道特点：信道的传递矩阵中每一列有一个也仅有403、无噪有损信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特点：信道的传递矩阵中每一行有一个也仅有一个非零的元素。3、无噪有损信道111111I（X;Y）H（X|Y）H（Y）413.4.2对称离散信道的信道容量1、对称离散信道3.4.2对称离散信道的信道容量1、对称离散信道42下列信道是否对称离散信道？下列信道是否对称离散信道？432、强对称信道（均匀信道）3、对称离散信道的信道容量2、强对称信道3、对称离散信44第三章离散信道及信道容量课件45第三章离散信道及信道容量课件463.4.3准对称信道的信道容量1、准对称信道定义信道矩阵Q可按列组合成对称矩阵，QK.（每行元素相同，只是不同排列）判断下列信道是否是准对称离散信道？3.4.3准对称信道的信道容量1、准对称信道定义信道矩阵Q472、准对称信道的信道容量（1）要求的输入分布是等概率分布（2）信道容量Nk—行元素之和Mk

—列元素之和2、准对称信道的信道容量Nk—行元素之和48例：例：49例：例：503.6离散无记忆扩展信道及其信道容量3.6.1数学模型3.6.2离散无记忆扩展信道的信道容量3.6离散无记忆扩展信道及其信道容量3.6.1数学模型3513.6.1数学模型1、单符号3.6.1数学模型1、单符号522、消息序列3、N次扩展信道2、消息序列3、N次扩展信道53N次扩展信道矩阵N次扩展信道矩阵54例3.11求二元无记忆对称信道的二次扩展信道。已知：解：同理得结论：对无记忆信道，由信道矩阵可求得N次扩展信道矩阵。例3.11求二元无记忆对称信道的二次扩解：同理得结论：553.6.2离散无记忆扩展信道的信道容量1、N次扩展信道的平均互信息3.6.2离散无记忆扩展信道的信道容量1、N次扩展信道的平56若信道的输入随机序列为，通过信道传输，接收到的随机序列为。若信道是无记忆的，则存在2、定理3.5—给出了I（X；Y）的极大值若信道的输入随机序列为573、定理3.6若信道的输入随机序列为，通过信道传输，接收到的随机序列为。若信源是无记忆的，则存在—给出了I（X；Y）的极小值

3、定理3.6若信道的输入随机序列为584、离散无记忆信道、无记忆信源时当信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道平均互信息的N倍。4、离散无记忆信道、无记忆信源时当信源无记忆时，无595、离散无记忆信道的N次扩展信道的信道容量5、离散无记忆信道的N次扩展信道的信60结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量的N倍.条件：（1）输入信源是无记忆的;（2）每一输入Xi的分布各自达到最佳分布，使传输达到信道容量C。一般情况下：结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量613.7独立并联信道及其信道容量N个独立并联信道中，每个信道输出的Yi只与本信道的输入Xi有关，与其它信道的输入、输出都无关，此并联信道是无记忆的.3.7独立并联信道及其信道容量N个独立并联信道中，每个信62结论：（2）当输入符号相互独立，且的概率分布达到各信道容量的最佳输入分布时，根据定理3.5（1）独立并联信道的信道容量不大于各个信道容量之和。结论：（2）当输入符号相互独立，且的概率分布达633.8串联信道的互信息和数据处理定理3.8.1串联信道数学模型3.8.2串联信道平均互信息3.8.3一般通信系统模型3.8串联信道的互信息和数据处理定理3.8.1串联信道数643.8.1串联信道数学模型（1）电视卫星转播

电视台卫星电视接收台

二个信道的串联信道信道（2）对接收信号进行数据处理

卫星测得数据转换成脉冲判决器地面接收站（0、1二元码）（0、1二元码）（0、1码）信道信道1、串联信道举例3.8.1串联信道数学模型（1）电视卫星转播信道信道（2）652、串联信道模型XZY2、串联信道模型XZY66总信道XY总信道XY67证明：即证明：即683、马尔可夫链串联信道定义：满足条件,称这两个信道的输入和输出X，Y，Z序列构成马尔可夫链。且3、马尔可夫链串联信道定义：满足条件693.8.2串联信道平均互信息1、定理3.7联合变量XY与变量Z之间的平均互信息不小于变量Y与Z之间的平均互信息。当且仅当时实际的串联信道，往往满足马尔可夫链条件。因此由Z获得的关于Y的信息量即相同于由Z获得的关于XY的联合信息量。3.8.2串联信道平均互信息1、定理3.7联合变量XY与变702、定理3.8—数据处理定理定理3.8和推论表明通过串联信道传输只会丢失更多的信息。若X、Y、Z组成一个马尔可夫链，则有取等号条件推论：2、定理3.8—数据处理定理定理3.8和推论表明通过串联71表明串联第二个信道传输信息后不会增加信息的损失。结论：若第二个信道是数据处理系统，一般只会增加信息的损失，最多保持原来获得的信息，不可能比原来获得的信息有所增加。需要第二个信道是无噪无损信道当满足条件时则要满足条件表明串联第二个信道传输信息后不会增加信息的损失。结论：若第二723、一系列串联信道的信道容量在任何信道传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，都不能再恢复已丢失的信息。称做信息不增性原理。X信道Ⅰ信道Ⅱ信道ⅢYW…Z3、一系列串联信道的信道容量在任何信道传输系统中，最后获得的73串连信道的信道容量：串接的无源数据处理信道越多，其信道容量可能会越小。当串接信道数无限大时，信道容量可能趋于零。串连信道的信道容量：串接的无源数据处理信道越多，其信道74(2)两个二元对称信道串联解：例3.13(1)信源输出符号概率当串联级数n增加时，损失的信息增加由于实际信道中错误概率p很小，若干次串接后信道容量的减少并不明显。(2)两个二元对称信道串联解：例3.13(1)信源输出符75n级二元对称信道串联的I(X;Y)n级二元对称信道串联的I(X;Y)763.8.3一般通信系统模型信源信道信宿译码编码即则为了获得更有用的和更有效的信息，还是需要进行适当的信息处理。3.8.3一般通信系统模型信源信道信宿译码编码即则为了获得773.9信源与信道的匹配1、信源与信道匹配指信源与信道连接时，信息传输率达到了信道容量。2、信道剩余度信道剩余度信道相对剩余度=信源剩余度无损信道3.9信源与信道的匹配1、信源与信道匹配指信源与信道连接78信源剩余度3、对于无损信道，追求减少信源剩余度

——通过信源编码，使信道的信息传输率R接近或等于信道容量。信源剩余度3、对于无损信道，追求减少信源剩余度79第三章离散信道及其信道容量3.1信道的数学模型及分类3.2平均互信息及平均条件互信息3.3平均互信息的特性3.4信道容量及其一般计算方法3.6离散无记忆扩展信道及其信道容量3.7独立并联信道及其信道容量3.8串联信道的互信息和数据处理定理3.9信源与信道的匹配第三章离散信道及其信道容量3.1信道的数学模型及分类803.1信道的数学模型及分类3.1.1信道的分类3.1.2离散信道的数学模型3.1.3单符号离散信道的数学模型3.1信道的数学模型及分类3.1.1信道的分类3.1.813.1.1信道的分类两端信道：只有一个输入端和一个输出端多端信道：在输入端或输出端至少有一端有两个以上的用户。

无反馈信道：输出端信号对输入端信号无影响。

反馈信道：输出端信号对输入端信号有影响。3.1.1信道的分类两端信道：只有一个输入端和一个输出端82固定参数信道：信道参数不随时间变化。时变参数信道：信道参数随时间变化。离散信道：输入和输出的随机序列取值都是离散的。连续信道：输入和输出的随机序列取值都是连续的。半离散或半连续信道：一端序列取值是离散的一端序列取值是连续的。波形信道：输入输出都是时间上连续的随机信号X(t),Y(t).固定参数信道：信道参数不随时间变化。离散信道：输入和输出的随833.1.2离散信道的数学模型信道信道统计特性用条件概率表示3.1.2离散信道的数学模型信道信道统计841、无干扰（无噪）信道2、有干扰无记忆信道无记忆信道：信道任一时刻输出符号只统计依赖于对应时刻的输入信号，而与非对应时刻的输入符号及输出符号无关。有干扰：输出符号与输入符号之间无确定的对应关系，符合某种概率分布。1、无干扰（无噪）信道2、有干扰无记忆信道有干扰：输出符号与85a1

b1a2

b2arbs3.1.3单符号离散信道的数学模型条件概率称传递概率或转移概率a186例3.1二元对称信道——BSC

X

Ya1=0b1=0

a2=1b2=1且二元对称信道的传递矩阵Y例3.1二元对称信道——BSCX87例3.2二元删除信道——BECa1=0a2=1b1=0b3=2b2=1例3.2二元删除信道——BECa1=0a2=1b1=088单符号信道的传递概率用矩阵表示：简写，信道传递矩阵为且矩阵中每行元素之和等于1。单符号信道的传递概率用矩阵表示：简写89可求：已知输入概率信道矩阵(1)联合概率(2)输出符号概率(3)后向概率可求：已知输入概率信道矩阵(1)联合概率(2)903.2平均互信息及平均条件互信息3.2.1信道疑义度3.2.2平均互信息3.2.3平均条件互信息3.2平均互信息及平均条件互信息3.2.1信道疑义度3.913.2.1信道疑义度1、先验熵——H（X）接收到输出Y以前，关于输入变量X的先验不确定性的度量。2、后验熵——当接收到输出符号y＝bj后，输入符号的概率分布成为，则关于x的平均不确定性为3.2.1信道疑义度1、先验熵——H（X）2、后验熵923、条件熵——信道疑义度——H（X|Y）表示输出端收到输出变量Y的符号后，对输入端变量X尚存在的平均不确定性。3、条件熵——信道疑义度——H（X|Y）表示输出端收到93讨论：（1）一般情况下，H（X|Y）<H（X）说明接收到Y后，关于输出变量X的不确定性减少了。（2）对于无扰信道接收到Y后，完全消除了对X的不确定性，从而获得全部信息。讨论：943.2.2平均互信息1、定义式——平均互信息表示收到输出符号Y后，平均每个符号获得的关于X的信息量。对称性3.2.2平均互信息1、定义式——平均互信息表示收到输出952、互信息定义式（1）可正、可负、可零（2）平均互信息永远不会取负值2、互信息定义式（1）可正、可负、可963、其它熵的定义式及计算损失熵——信道疑义度H（X|Y）表示信源符号通过有噪信道传输后所引起的信息量的损失。噪声熵——散布度H（Y|X）表示在已知X的条件下，对于随机变量Y尚存在的不确定性，此不确定性完全是由信道中的噪声引起。3、其它熵的定义式及计算损失熵——信道疑义度H（X|Y）97维拉图表示熵的公式维拉图表示熵的公式984、两种极端信道结论：（1）无噪一一对应信道（2）输入端与输出端完全统计独立接收到Y后不可能消除X的任何不确定性，也不能从X中获得任何关于Y的信息量。结论：4、两种极端信道结论：（1）无噪一一对应信道（2）输入端与输993.2.3平均条件互信息1、条件互信息设有三个概率空间X、Y、Z，且有系统1系统2ZYX系统1YZX串出ZY系统1X并出3.2.3平均条件互信息1、条件互信息系统1系统2ZYX100定义：2、平均条件互信息定义：2、平均条件互信息1013、联合互信息4、平均联合互信息3、联合互信息4、平均联合互信息1023.3平均互信息的特性3.3.1平均互信息的非负性3.3.2平均互信息的极值性3.3.3平均互信息的交换性（对称性）3.3.4平均互信息I(X;Y)的凸状性3.3平均互信息的特性3.3.1平均互信息的非负性3.1033.3.1平均互信息的非负性当X、Y统计独立时，通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。3.3.1平均互信息的非负性当X、Y统计独立时，通过一个信1043.3.2平均互信息的极值性3.3.2平均互信息的极值性1053.3.3平均互信息的交换性（对称性）3.3.4平均互信息I(X;Y)的凸状性3.3.3平均互信息的交换性（对称性）3.3.4平均互信106定理3.1平均互信息是输入信源概率分布的型凸函数。p0110p例3.4已知二元对称信道输入信源：求I（X；Y）定理3.1平均互信息是输入信源107信道固定后，接收到的信息量I（X；Y）与输入概率分布P（x）有关。当ω＝1/2（等概率分布）时，信道接收端平均每个符号获得最大的信息量。信道固定后，接收到的信息量I（X；Y）与输入概率分布P（x）1081.01.00.50I(X;Y)固定信道1-H(p)1.01.00.50I(X;Y)固定信道1-H(p)109定理3.2平均互信息是信道传递概率的型凸函数.例3.4续固定时，是p的型凸函数.当信源固定后，选择不同的信道来传输同一信源符号时，在信道的输出端获得关于信源的信息量是不同的。定理3.2平均互信息是信道传递1101.00.50PI(X;Y)固定信源H()1.00.50PI(X;Y)固定信源H()1113.4信道容量及其一般计算方法3.4.1离散无噪信道的信道容量3.4.2对称离散信道的信道容量3.4.3准对称信道的信道容量3.4信道容量及其一般计算方法3.4.1离散无噪信道的112信息传输率R：信道中平均每个符号所能传送的信息量。平均互信息：接收到Y后，平均每个符号获得的关于X的信息量。

符号信息传输率R：信道中平均每个符号所能传送的信息量。平均互信息113相应的输入概率分布称最佳输入分布.信道容量定义：对于一个固定信道，总存在一种信源（概率分布），使传输每个符号平均获得的信息量最大。这就是固定信道的最大信息传输率，定义为信道容量C。相应的输入概率分布称最佳输入分布.信道容量定义：114信道容量的物理意义：信道容量已与输入信道的概率分布无关，它只是信道传输概率的函数，只与信道的统计特性有关。所以，信道容量是能完全描述信道特性的参量,是信道能够传输的最大信息量。如例3.4中信道容量的物理意义：如例3.4中1153.4.1离散无噪信道的信道容量1、无噪无损信道3.4.1离散无噪信道的信道容量1、无噪无损信道1162、有噪无损信道2、有噪无损信道1172、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）2、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）1182、有噪无损信道信道特点：信道的传递矩阵中每一列有一个也仅有一个非零的元素。I（X;Y）H（Y|X）H（X）H（Y）2、有噪无损信道信道特点：信道的传递矩阵中每一列有一个也仅有1193、无噪有损信道111111I（X;Y）H（X|Y）H（Y）H（X）信道特点：信道的传递矩阵中每一行有一个也仅有一个非零的元素。3、无噪有损信道111111I（X;Y）H（X|Y）H（Y）1203.4.2对称离散信道的信道容量1、对称离散信道3.4.2对称离散信道的信道容量1、对称离散信道121下列信道是否对称离散信道？下列信道是否对称离散信道？1222、强对称信道（均匀信道）3、对称离散信道的信道容量2、强对称信道3、对称离散信123第三章离散信道及信道容量课件124第三章离散信道及信道容量课件1253.4.3准对称信道的信道容量1、准对称信道定义信道矩阵Q可按列组合成对称矩阵，QK.（每行元素相同，只是不同排列）判断下列信道是否是准对称离散信道？3.4.3准对称信道的信道容量1、准对称信道定义信道矩阵Q1262、准对称信道的信道容量（1）要求的输入分布是等概率分布（2）信道容量Nk—行元素之和Mk

—列元素之和2、准对称信道的信道容量Nk—行元素之和127例：例：128例：例：1293.6离散无记忆扩展信道及其信道容量3.6.1数学模型3.6.2离散无记忆扩展信道的信道容量3.6离散无记忆扩展信道及其信道容量3.6.1数学模型31303.6.1数学模型1、单符号3.6.1数学模型1、单符号1312、消息序列3、N次扩展信道2、消息序列3、N次扩展信道132N次扩展信道矩阵N次扩展信道矩阵133例3.11求二元无记忆对称信道的二次扩展信道。已知：解：同理得结论：对无记忆信道，由信道矩阵可求得N次扩展信道矩阵。例3.11求二元无记忆对称信道的二次扩解：同理得结论：1343.6.2离散无记忆扩展信道的信道容量1、N次扩展信道的平均互信息3.6.2离散无记忆扩展信道的信道容量1、N次扩展信道的平135若信道的输入随机序列为，通过信道传输，接收到的随机序列为。若信道是无记忆的，则存在2、定理3.5—给出了I（X；Y）的极大值若信道的输入随机序列为1363、定理3.6若信道的输入随机序列为，通过信道传输，接收到的随机序列为。若信源是无记忆的，则存在—给出了I（X；Y）的极小值

3、定理3.6若信道的输入随机序列为1374、离散无记忆信道、无记忆信源时当信源无记忆时，无记忆的N次扩展信道的平均互信息等于原信道平均互信息的N倍。4、离散无记忆信道、无记忆信源时当信源无记忆时，无1385、离散无记忆信道的N次扩展信道的信道容量5、离散无记忆信道的N次扩展信道的信139结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量的N倍.条件：（1）输入信源是无记忆的;（2）每一输入Xi的分布各自达到最佳分布，使传输达到信道容量C。一般情况下：结论：离散无记忆的N次扩展信道的信道容量等于单符号时信道容量1403.7独立并联信道及其信道容量N个独立并联信道中，每个信道输出的Yi只与本信道的输入Xi有关，与其它信道的输入、输出都无关，此并联信道是无记忆的.3.7独立并联信道及其信道容量N个独立并联信道中，每个信141结论：（2）当输入符号相互独立，且的概率分布达到各信道容量的最佳输入分布时，根据定理3.5（1）独立并联信道的信道容量不大于各个信道容量之和。结论：（2）当输入符号相互独立，且的概率分布达1423.8串联信道的互信息和数据处理定理3.8.1串联信道数学模型3.8.2串联信道平均互信息3.8.3一般通信系统模型3.8