信息论与编码2016(第4章)

1、信息理论与编码 朱仁祥 电子与信息工程学院 1 信道信道 信道是传输信息的媒质或通道。 信息是抽象的，但传送信息必须通过具体 的媒质。例如 n二人对话，靠声波通过二人间的空气来传送， 因而二人间的空气部分就是信道。 n邮政通信的信道是指运载工具及其经过的设 施。 n无线电话的信道就是电波传播所通过的空间， 有线电话的信道是电缆。 信道信道 n在理论研究中，一条信道往往被分成信道编码器、信道本身 和信道译码器。人们可以变更编码器、译码器以获得最佳的 通信效果，因此编码器、译码器往往是指易于变动和便于设 计的部分，而信道就指那些比较固定的部分。 信道是信息论信息论中的一个主要概念。它是用来传送信

2、息的，所以理论上应解决 n信道能无错误地传送的最大信息率，也就是信道容量信道容量的的 计算问题，并 n证明这样的信息率是能达到或逼近的,最好还能知道如何 实现, 这就是信道编码信道编码问题。 这些是山农山农建立信息论时提出的关于信道的理论问 题。他自己回答了一些，以后许多学者又使之不断 完善。 一般而论，对于无记忆信道，这些问题已基本解决， 但具体编码方法，如采用代数码来纠错还不能达到 要求。 信道信道 第四章：第四章：信道及其容量 4.1 信道分类信道分类 4.2 离散无记忆信道离散无记忆信道 4.5 信道的组合信道的组合 4.6 时间离散的无记忆连续信道时间离散的无记忆连续信道 4.7 波

3、形信道波形信道 5 n所有信道都有一个输入集A，一个输出集B以及 两者之间的联系，如条件概率P(yx)，xA， yB。这些参量可用来规定一条信道。 n输入集就是信道所容许的输入符号的集。通常输入 的是随机序列, 随机过程在限时或限频的条件下均 可化为随机序列。在规定输入集A时，也包括对各 随机变量的限制,如功率限制等。 n输出集是信道可能输出的符号的集。输出序列可以 是数或符号，也可以是一组数或矢量。 4.1 信道分类信道分类 n按输入集和输出集的性质，可划分为： n当输入集和输出集都是离散集时，称信道为离散信道离散信道。 电报信道和数据信道就属于这一类。 n当输入集和输出集都是连续集时，称信

4、道为连续信道连续信道。 电视和电话信道属于这一类。 n当输入集和输出集中一个是连续集、另一个是离散集 时，则称信道为半离散信道或半连续信道半离散信道或半连续信道。连续信道 加上数字调制器或数字解调器后就是这类信道。 n当输入集和输出集都是连续集，输出时刻离散时，称 信道为时间离散的连续信道时间离散的连续信道。 n当输入集和输出集都是连续集，且输出时刻连续时， 称信道为波形信道波形信道。 4.1 信道分类信道分类 根据信道的用户多少，可以分为： n两端信道： 它是只有一个输入端和一个输出端 的单向通 信的信道，它是多用户信道的基础。 n多端信道：当输入和（或）输出不止一个时,称 为多用户信道，也

5、就是几个用户合用一个信道。 n当有几个输入而输出只有一个时,习惯上称为多址接 入信道。 n当只有一个输入，而输出有几个时,就称为广播信道。 4.1 信道分类信道分类 根据信道的参数与时间的关系，信道又可以分为：根据信道的参数与时间的关系，信道又可以分为： n恒参信道：参数不随时间变化恒参信道：参数不随时间变化 n随参信道：参数随时间变化随参信道：参数随时间变化 n无记忆信道：信道无记忆信道：信道当时的输出只依赖于当时的输入，当时的输出只依赖于当时的输入， 与其它时刻的输出及输入都无关系，即与其它时刻的输出及输入都无关系，即 P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN

6、) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN) 。 n有记忆信道有记忆信道 n平稳信道：信道在不同时刻的响应特性（转移概率）平稳信道：信道在不同时刻的响应特性（转移概率） 是相同的，即是相同的，即 对任意x0, 1, , K-1，y0, 1, , J-1，任意两个时刻u和v， 还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)。 4.1 信道分类信道分类 n离散无记忆平稳信道的定义离散无记忆平稳信道的定义 n信道容量的定义及定理信道容量的定义及定理 n离散无记忆平稳信道的信道容量的计算离散无记忆平稳信道的信道容量的计算 n特殊的离散无记忆平稳信道

7、准对称信道的特殊的离散无记忆平稳信道准对称信道的 信道容量的计算信道容量的计算 n三种特殊的准对称信道的信道容量的计算三种特殊的准对称信道的信道容量的计算 n一般离散无记忆平稳信道的信道容量的计算一般离散无记忆平稳信道的信道容量的计算 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 定义定义4.2.1和定义和定义4.2.2(p88) 如果 n信道的输入为随机变量序列X1, X2, X3, ，其中每个随机变量Xu的事 件集合都是0, 1, , K-1， n信道的输出为随机变量序列Y1, Y2, Y3, ，其中每个随机变量Yu的事件 集合都是0, 1, , J-1， 则

8、称该信道为离散信道离散信道。如果更有 nP(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN) =P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN)， 则称该信道为离散无记忆信道离散无记忆信道（DMC）。如果更有 n对任意x0, 1, , K-1，y0, 1, , J-1，任意两个时刻u和v，还 有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)， 则称该信道为离散无记忆平稳信道。离散无记忆平稳信道。 例：二元对称信道例：二元对称信道BSC np=0.1 1-p 1-p p p 11 0 0 n当N=1时， p(0|0)=p(1|1)=0.

9、9; p(0|1)=p(0|1)=0.1; n当N=2时， p(00|00)= p(0|0)p(0|0) =p(11|11)=p(1|1)p(1|1)=0.9*0.9=0.81; p(01|00)=p(10|00) =p(01|11)=p(10|11)=0.9*0.1=0.09; p(11|00)=p(11|00)=0.1*0.1=0.01 例：二元对称信道例：二元对称信道BSC 4.2 离散无记忆信道离散无记忆信道 一、有关一、有关DMC的信道容量的信道容量 设 nDMC在某个时刻输入随机变量为X，输出随机变 量为Y。 nX的概率分布为x, q(x), x0, 1, , K-1。 nY的概率

10、分布为y, w(y), y0, 1, , J-1。 n信道响应特性为转移概率矩阵 p(y|x)，x0, 1, , K-1，y0, 1, , J-1， 它是一个KJ阶矩阵（其中p(y|x)=P(Y=y|X=x)）， 即 4.2 离散无记忆信道离散无记忆信道 因而转移概率矩阵的每一行都是一个概率向量。 ) 1| 1() 1| 1 () 1| 0 ( ) 1 | 1() 1 | 1 () 1 | 0 ( ) 0 | 1() 0 | 1 () 0 | 0 ( KJpKpKp Jppp Jppp 1)| 1, 1 , 0()|( 1 0 xXJYPxypx J y ，对任意 若信道的输入为x，输出是哪一

11、个符号y事先无法确定， 但信道输出一定是0, 1, , J-1中的一个，即 4.2 离散无记忆信道离散无记忆信道 n对任意y0, 1, , J-1，由全概率公式有 1 0 )|()()( K x xypxqyw ) 1| 1() 1| 1 () 1| 0 ( ) 1 | 1() 1 | 1 () 1 | 0 ( ) 0| 1() 0| 1 () 0| 0 ( )1(,),1 (),0 ( )1(,),1 (),0 ( KJpKpKp Jppp Jppp Kqqq Jwww 4.2 离散无记忆信道离散无记忆信道 nI(X; Y)是概率向量q(x), x0, 1, , K-1和转移 概率矩阵p(y

12、|x)，x0, 1, , K-1，y0, 1, , J-1的函数。 1 0 1 0 1 0 1 0 1 0 )|()( )|( log)|()( )( )|( log)()();( K z K x J y K x J y zypzq xyp xypxq yw xyp xyXYPYXI 4.2 离散无记忆信道离散无记忆信道 定义定义4.2.3(p89) 离散无记忆信道的信道容量信道容量定义为： 达到信道容量的输入概率分布x, q(x), x0, 1, , K- 1称为最佳输入分布最佳输入分布。 n若转移概率矩阵p(y|x)，x0, 1, , K-1，y0, 1, , J-1确定，如何选择概率向量

13、q(x), x0, 1, , K-1使I(X; Y) 达到最大？ n由定理2.6.2有， );(max 1, 1 , 0),( YXIC KKxxqq维概率向量跑遍所有的 4.2 离散无记忆信道离散无记忆信道 定理定理4.2.2(p91) （1）输入概率分布x, q(x), x0, 1, , K-1是最佳输入分 布的充分必要条件为：对任何满足q(k)0的k， 都取一个相同的值；对任何满足q(k)=0的k，I(X=k; Y)都 不大于此相同的值。 （2）此时此相同的值恰好就是信道容量C。 1 0 1 0 )|()( )|( log)|();( J y K z zypzq kyp kypYkXI

14、4.2 离散无记忆信道离散无记忆信道 注解注解 如果对DMC信道没有任何简化，要计算最佳输 入分布并不容易。但是，通常使用的DMC是很简单 的（比如，以下的准对称信道和对称信道），最佳 输入分布很容易求出。 4.2 离散无记忆信道离散无记忆信道 二、对称二、对称DMC和准对称和准对称DMC的信道容量的信道容量 与最佳输入分布的计算与最佳输入分布的计算 定义定义4.2.45(p92) 设DMC的转移概率矩阵为 ) 1| 1() 1| 0 () 1| 0 ( ) 1 | 1() 1 | 1 () 1 | 0 ( ) 0 | 1() 0 | 1 () 0 | 0 ( JKpJpJp Kppp Kpp

15、p P n若信道转移概率矩阵所有行矢量都 是第一行的置换，称信道是关于输输 入对称入对称的。 8 . 01 . 01 . 0 1 . 01 . 08 . 0 P 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 命题命题1 若DMC关于输入为对称的，则 对任意k0, 1, , K-1都成立。 证明 p(y|x)，y=0 J-1与p(y|k)，y=0 J-1互为置换，所以 )|( )|( 1 log)|()|( 1 0 kXYH kyp kypXYH J y )|( )|( 1 log)|( )|( 1 log)|()( )|( 1 log)|()( )|( 1 log

16、)|()()|( 1 0 1 0 1 0 1 0 1 0 1 0 1 0 kYH kyp kyp kyp kypxq xyp xypxq xyp xypxqXYH J y K x J y K x J y K x J y 对称对称DMC容量的计算容量的计算 nP的所有列都是第一列的一种置换，信的所有列都是第一列的一种置换，信 道是道是关于输出对称关于输出对称的的 8 . 02 . 0 5 . 05 . 0 2 . 08 . 0 P 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 命题命题2 若DMC关于输出为对称的，则当输入分布等概时，输 出分布等概。 证明 此时p(

17、y|x)，x=0 K-1与p(0|x)，x=0 K-1互为置换。 设q(x)=1/K，x0, 1, , K-1。则 无关。与即 ， yyw xp K xyp K xypxqyw K x K x K x )( )|0( 1 )|( 1 )|()()( 1 0 1 0 1 0 4.2 离散无记忆信道离散无记忆信道 定义定义4.2.6(p92) 若DMC的转移概率矩阵P的列的全体可分成 若干个列子集，每个列子集所对应的转移概率矩阵P的子 阵都满足以下两条性质： n任一行是第一行的置换， n任一列是第一列的置换。 则称信道为准对称信道准对称信道。 特别若列子集只有一个，即 n转移概率矩阵P本身的任一行

18、是第一行的置换， n任一列是第一列的置换， 则称信道为对称信道对称信道。 8 . 01 . 01 . 0 1 . 01 . 08 . 0 P 1 . 0 1 . 0 8 . 01 . 0 1 . 08 . 0 8 . 02 . 0 2 . 08 . 0 4 . 01 . 04 . 01 . 0 1 . 04 . 01 . 04 . 0 准对称信道准对称信道对称信道对称信道 4.2 离散无记忆信道离散无记忆信道 几个简单的结论： （1）准对称信道一定是关于输入为对称的。 （2）对称信道不仅是关于输入为对称的，也是关 于输出为对称的。 （3）对称DMC当输入分布等概时，输出分布等概。 （4）准对称

19、DMC当输入分布等概时，输出分布局 部等概。 （5）对称信道未必有J=K。 4.2 离散无记忆信道离散无记忆信道 n定理定理4.2.3 实现准对称实现准对称DMC信道容量的信道容量的 最佳输入分布为等概分布。最佳输入分布为等概分布。 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 无关。它与k ypzypyKpyp zypkypkyKpkyp zyp K kyp kyp yw kyp kypYkXI S sYy K z s J y J y K z J y J y K z J y s 1 1 0 1 0 1 0 1 0 1 0 1 0 1 0 1 0 )0|( )|(

20、log)0|(log()0|( ) )|(log()|()|(log()|( )|( 1 )|( log)|( )( )|( log)|();( 对每个对每个 k相同相同 值与值与k无关无关 4.2 离散无记忆信道离散无记忆信道 无关。它与 。 k ypzypkypzyp zypkyp zypkypzypkyp S sYy S sYy K z s K z s S sYy K z s S sYy K z J y K z ss s s 11 1 0 1 0 1 1 0 1 1 0 1 0 1 0 ) 0|( )|(log)|( )|(log )|(log)|( )|(log)|()|(log)|(

21、 YS：子阵中：子阵中 每一列都是每一列都是 第一列置换第一列置换 对每个对每个 k相同相同 值与值与k无关无关 对称信道的容量计算对称信道的容量计算 分析分析 2 1 (/)log(/) m mijiji j Hp yxp yx 令 2 111 (/)( ) (/)log(/)( ) nmn ijijiimi iji H YXp x p yxp yxp x H 对于对于行可排列行可排列情况，情况，Hmi与与i 无关无关 12 ( /)( ,) mim H Y XHH q qq常数 结论结论 ()() 12 max( )(/)max( )(/) log(,)/4.2.22 ii p xp x

22、m CH YH YXH YH YX mH q qqbit 信道符（） 例：例： 1111 3366 1111 6633 P 对于二元对称信道对于二元对称信道 log2( )1( )CH pH p 这个式子很重要。这个式子很重要。 bit/符号符号 817. 06log 6 1 6log 6 1 3log 3 1 3log 3 1 2) 6 1 , 6 1 , 3 1 , 3 1 (4logHC 4.2 离散无记忆信道离散无记忆信道 例例4.2.3 特殊的对称DMC：KSC（p93） jkKp jkp kjp ),1/( ,1 )|( p K p K p K p K p K p K p p P

23、1 11 1 1 11 1 其中0p1。 称p为错误概率。 特别当K=2时，记 为BSC pp pp P 1 1 4.2 离散无记忆信道离散无记忆信道 此时有： l达到信道容量时的最佳输入分布为等概分布； l对应的输出分布也是等概分布； l信道容量是转移概率矩阵任何一行所对应的半平均 互信息量，即 )() 1log(log 1 1 log)1 ( 1 log) 1log(log log 1 log 1 ) 1()1log()1 ( )|(log)|(log)|( /1 )|( log)|( );( 1 0 1 0 1 0 pHKpK p p p pKpK K K p K p Kpp kypKk

24、ypkyp K kyp kyp YkXIC K y K y K y )(2log2pHCK 时：当 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 qpqp pqqp P 1 1 1 0 1?0 其中0p1，0q0。在这个假设下，求出信道容 量C； n 注意注意：这个解是否成立需要验证，即由信道容量C， 计算对应的最佳输入分布，若每个q(x)都是概率矢量， 所得到的解就是正确的； 10 )( )|( log)|();( 1 0 Kk yw kyp kypYkXIC K y ； n否则否则，解就是不正确的，这时应令某个q(x),为0， 再进行试算，有时需要令一个以上q

25、(x),为0试解， 这时就出现JK的情况，在求解时变元个数大 于方程数，可能有多个解，但只有一个解满足 条件，这时求解信道容量的问题就变成一组非 线性方程组求解问题，即使得到解，也有可能 有某些小于0，要找到最佳分布是相当困难的。 4.2 离散无记忆信道离散无记忆信道 具体地验算过程为： n先利用求出的信道容量C，计算最佳输入 分布对应的“最佳输出分布” w(y), y0, 1, , K-1 ； n随后计算出最佳输入分布 q(x), x0, 1, , K-1。 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 10 )(log)|()|(log)|( 1 0 1 0

26、Kk ywkypkypkypC K y K y ； 10 )( )|( log)|();( 1 0 Kk yw kyp kypYkXIC K y ； )1(log )1(log )0(log )|1()|1()|0( Kw w w kKpkpkp 10 )(log)|()|(log)|()|( 1 0 1 0 1 0 Kk ywkypkypkypCkyp K y K y K y ； 10 )|(log)|()(log)|( 1 0 1 0 Kk kypkypywCkyp K y K y ； 4.2 离散无记忆信道离散无记忆信道 4.2 离散无记忆信道离散无记忆信道 ； 1 0 1 0 1 0

27、) 1|(log) 1|( ) 1 |(log) 1 |( )0|(log)0|( ) 1(log ) 1 (log )0(log ) 1| 1() 1| 1 () 1|0( ) 1 | 1() 1 | 1 () 1 |0( )0| 1()0| 1 ()0|0( K y K y K y KypKyp ypyp ypyp KwC wC wC KKpKpKp Kppp Kppp 4.2 离散无记忆信道离散无记忆信道 这是K个未知量 0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1) 的线性方程组，系数矩阵是可逆方阵，因此唯一解出0, 1, , K-1

28、为 1 0 1 0 1 0 1 1 1 0 ) 1|(log) 1|( ) 1 |(log) 1 |( )0|(log)0|( ) 1| 1() 1| 1 () 1|0( ) 1 | 1() 1 | 1 () 1 |0( )0| 1()0| 1 ()0|0( K y K y K y K KypKyp ypyp ypyp KKpKpKp Kppp Kppp 4.2 离散无记忆信道离散无记忆信道 求出了0, 1, , K-1 =C+logw(0), C+logw(1), , C+logw(K-1)， 还不能确定C和w(0), w(1), , w(K-1)的值。但是我们还有另 一个等式： w(0)+

29、w(1)+w(K-1)=1。 于是 ; 1222 110 CCC K ;2222 110 C K )222log( 110 K C 4.2 离散无记忆信道离散无记忆信道 求出了信道容量C，立即得到了“最佳输出分布” w(y), y0, 1, , K-1和对应的最佳输入分布q(x), x0, 1, , K-1。 );2 ,2 ,2()1(,),1 (),0( 110 CCC K Kwww 1 ) 1| 1() 1| 1 () 1|0( ) 1 | 1() 1 | 1 () 1 |0( )0| 1()0| 1 ()0|0( )1(,),1 (),0( )1(,),1 (),0( KKpKpKp K

30、ppp Kppp Kwww Kqqq 4.2 离散无记忆信道离散无记忆信道 例例 特殊的DMC，称为Z信道：输入事件为0, 1，输出事件为 0, 1，转移概率矩阵为 其中00，q(1)0。因此 1 01 P )( 0 )1log()1 (log 0log01log1 1 01 1 0 H 1 )( 0 )( 0 1 1 1 01 )( 0 1 01 1 1 0 H HH 1 )( 21log)22log( 10 H C ) 21 2 , 21 1 ()2 ,2()1 (),0( )1/()( )1/()( )1/()( 10 H H H CC ww ) 21 2 1 1 , 21 2 121

31、1 ( 1 1 1 01 )1 (),0()1 (),0( )1/()( )1/()( )1/()( )1/()( )1/()( H H H H H wwqq 4.2 离散无记忆信道离散无记忆信道 容易验证： q(1)0； q(0)+q(1)=1。需要验证： q(0)0。 0 21 2 121 1 )1/()( )1/()( )1/()( H H H 即需要验证： )2(1 )1/()( H 即需要验证： )1/()(log)1log(H即需要验证： )1/()1log()1 (loglog)1log( 即需要验证： 0log即需要验证： 4.2 离散无记忆信道离散无记忆信道 例例 设DMC的

32、输入事件为0, 1，输出事件为0, 1，转移概率矩 阵为 求信道容量和最佳输入分布。先假设最佳输入分布q(0), q(1) 满足q(0)0，q(1)0。因此 75. 025. 0 5 . 05 . 0 ) 1 | 1 () 1 |0( ) 0| 1 () 0|0( pp pp P 811281. 0 1 75. 0log75. 025. 0log25. 0 5 . 0log5 . 05 . 0log5 . 0 75. 025. 0 5 . 05 . 0 1 0 4.2 离散无记忆信道离散无记忆信道 因此 622562. 0 377438. 1 811281. 0 1 21 23 811281.

33、 0 1 75. 025. 0 5 . 05 . 0 1 1 0 )628082. 0 ,371918. 0()2 ,2()1 (),0( 10 CC ww 0345. 0034536. 1log )649773. 0384763. 0log()22log( 10 C )6570205. 0,487672. 0( 75. 025. 0 5 . 05 . 0 )1 (),0()1 (),0( 1 wwqq 4.5 信道的组合信道的组合 总设有如下两个相互独立的总设有如下两个相互独立的DMC，分别称为信道，分别称为信道1和信道和信道2。 n信道信道1的输入事件为全体的输入事件为全体x，共有，共有K

34、个输入事件；个输入事件； n信道信道1的输出事件为全体的输出事件为全体y，共有，共有J个输出事件；个输出事件； n信道信道1的转移概率矩阵为的转移概率矩阵为p1(y|x)K J； ； n信道信道1的信道容量为的信道容量为C1,达到信道容量的最佳输入分布为达到信道容量的最佳输入分布为q1(x) 。 信道信道2的输入事件为全体的输入事件为全体u，共有，共有N个输入事件；个输入事件； n信道信道2的输出事件为全体的输出事件为全体v，共有，共有M个输出事件；个输出事件； n信道信道2的转移概率矩阵为的转移概率矩阵为p2(v|u)N M； ； n信道信道2的信道容量为的信道容量为C2,达到信道容量的最佳

35、输入分布为达到信道容量的最佳输入分布为q2(u) 。 积信道积信道 n待发送的消息比较多时， 可能会使用信道1和信道 2同时分别传递消息，则 称该信道为信道1与信道 2的积信道。（又称为信 道1与信道2的独立并行 信道）。此时对于组合 信道 n输入集X=X1X2, n输出集Y=Y1Y2, n转移概率 p(jj|kk)=p(j|k)p(j|k) 信道1 P(j|k) X1Y1 信道2 P(j|k) X2Y2 n例：例：设有如下两个相互独立的设有如下两个相互独立的DMCDMC，求积信道的转，求积信道的转 移概率矩阵。移概率矩阵。 9 . 01 . 0 1 . 09 . 0 2 P 积信道积信道 8

36、 . 02 . 0 2 . 08 . 0 1 P 9 . 08 . 01 . 08 . 09 . 02 . 01 . 02 . 0 1 . 08 . 09 . 08 . 01 . 02 . 09 . 02 . 0 9 . 02 . 01 . 02 . 09 . 08 . 01 . 08 . 0 1 . 02 . 09 . 02 . 01 . 08 . 09 . 08 . 0 P n解：组合后的积信道的输入集有解：组合后的积信道的输入集有4 4个元素；输出集个元素；输出集 也有也有4 4个元素；求积信道的转移概率矩阵个元素；求积信道的转移概率矩阵P为：为： 4.5 信道的组合信道的组合 定理定理

37、4.5.1（p104） 积信道的 n信道容量为信道容量为C=C1+C2,最佳输入分布为最佳输入分布为q1(x)q2(u). 证明 此时 yv zz yv zz zvpzypzqzq uvpxyp uvpxyp zzvypzqzq uxvyp uxvyp YVxuXUI 12 12 )|()|()()( )|()|( log)|()|( ),( | ),()()( ),( | ),( log),( | ),( )();()( 22112211 21 21 212211 4.5 信道的组合信道的组合 21 12 )|()( )|( log )|()( )|( log )|()|( )|()()|(

38、)( )|()|( log )|()|( 2222 2 1111 1 21 22221111 21 21 zz yv zz yv zvpzq uvp zypzq xyp uvpxyp zvpzqzypzq uvpxyp uvpxyp yv zz zvpzypzqzq uvpxyp uvpxyp 12 )|()|()()( )|()|( log)|()|( 22112211 21 21 4.5 信道的组合信道的组合 );();( )|()( )|( log)|( )|()( )|( log)|( )|()( )|( log)|()|( )|()( )|( log)|()|( 2 1 2 1 22

39、22 2 2 1111 1 1 2222 2 21 1111 1 12 VuUIYxXI zvpzq uvp uvp zypzq xyp xyp zvpzq uvp uvpxyp zypzq xyp xypuvp v z y z yv z vy z 4.5 信道的组合信道的组合 所以I(XU)=(xu); (YV)=I(X=x; Y)+I(U=u; V)。注意到 对任何满足q1(x) 0的x，I(X=x; Y)=C1； 对任何满足q1(x) =0的x，I(X=x; Y)C1； 对任何满足q2(u) 0的u，I(U=u; V)=C2 ； 对任何满足q2(u) =0的u，I(U=u; V)C2。

40、于是 对任何满足q1(x)q2(u)0的的(xu)，I(XU)=(xu); (YV)=C1+ C2 ； 对任何满足q1(x)q2(u)=0的(xu)，I(XU)=(xu); (YV)C1+ C2 。 根据定理4.2.2(p84) ，积信道的信道容量为C=C1+C2。 4.5 信道的组合信道的组合 定义定义4.5.2（p106）单位时间内可随机选用信道1和信道2中的一个， 选用信道1的概率为p1，选用信道2的概率为p2， p1+p2=1 n信道的输入事件为全体xu，其中x与u不相交； 共有K+N个输入事件； n信道的输出事件为全体yv，其中y与v不相交； 共有J+M个输出事件； n信道的转移概率

41、矩阵为 则称该信道为信道1与信道2的和信道。 )()( 2 1 )|(0 0)|( MJNK MN JK uvp xyp 4.5 信道的组合信道的组合 定理定理4.5.2（p106） )22log( 21 CC C和信道的信道容量为 ).( 22 2 , );( 22 2 , 2 1 21 2 21 1 uqu xqx CC C CC C 为：和信道的最佳输入分布 , 2 2 , 1 1 ) | ( log) | ( )|( log)|();( jk j k jk j k p kjp kjpQp p kjp kjpQpYXI );(max , YXIC QQP )();(max);(maxmax 222 111 PHpYXIpYXI QQP 4.5 信道的组合信