中南大学信息论与编码课件Inf-T-C-33N

信息论与编码张祖平/ZhangZuping电子信息工程系SchoolofInformationScienceandEngineering,CentralSouthUniversity,zpzhang@InformationTheory&Coding第三章多符号离散信源与信道2013秋季信息111InfTheory&Coding-张祖平本章主要内容

(MainContent)3.1离散平稳信源的数学模型3.2离散平稳无记忆信源的信息熵3.3离散平稳有记忆信源的信息熵3.4离散平稳有记忆信源的极限熵3.5马尔柯夫信源的极限熵3.6信源的剩余度与结构信息3.7离散无记忆信道的数学模型3.8离散无记忆信道的信道容量3.9独立并列信道的信道容量2013秋季信息112InfTheory&Coding-张祖平多符号离散信源与信道

对于多符号离散信源来说，若信道的输入端输入一个由多个信源符号组成的时间序列所代表的消息，在信道的输出端相应以一定概率输出一个由同样个数的符号组成的时间序列代表的消息，则这种信道称为多符号离散信道。2013秋季信息113InfTheory&Coding-张祖平3.1离散平稳信源的数学模型

多符号离散信源可用随机变量组成的时间序列，即随机矢量：

来表示。如果多符号离散信源发出的每一条消息中，每一单位时间出现的离散符号都是取自且取遍与信源符号集，即那么，多符号离散信源发出的每一条消息中，每一单位时间出现的离散符号，就是信源在这个单位时间发出的信源符号。这就是说，多符号离散信源发出的消息，就是单符号离散信源每单位时间发出的离散信源符号组成的时间序列。表示多符号离散信源的随机矢量，可看作是表示时刻的单符号离散信源的随机变量的时间序列2013秋季信息114InfTheory&Coding-张祖平

在一般情况下，信源的概率分布与时间有关，不同时刻有不同的概率分布。即有

设为两任意时刻，若信源的概率分布与时间无关，即有式（3.4）则我们把信源称之为维离散平稳信源。3.1离散平稳信源的数学模型2013秋季信息115InfTheory&Coding-张祖平

由于维联合概率的平稳性，每一组的统计特性是完全相同的，可以由个随机变量组成的一个组的统计特性来代表。由于任何时刻随机变量发出的符号都取自且取遍同一个信源符号集，所以在无限长的符号时间序列中，每个符号组成的无数个消息中的不同消息种数是种，而这种不同消息在长度为的随机变量序列中都可以出现。所以，一个维离散平稳信源，就可由个随机变量组成的随机矢量

来表示。3.1离散平稳信源的数学模型2013秋季信息116InfTheory&Coding-张祖平

把维离散平稳信源称之为信源 的次扩展信源，其信源空间：其中：这就是描述维离散平稳信源的一般的数学模型。3.1离散平稳信源的数学模型2013秋季信息117InfTheory&Coding-张祖平3.2离散平稳无记忆信源的信息熵

若维离散平稳信源中，各时刻随机变量之间相互统计独立，则我们把信源称为离散平稳无记忆信源，把称为维离散平稳无记忆信源。由于维离散平稳无记忆信源中，各时刻随机变量之间统计独立，即有2013秋季信息118InfTheory&Coding-张祖平

又由信源的平稳性，有即得（式3.16)其中；这样，维离散平稳无记忆信源的信源空间可以改写为其中：且

3.2离散平稳无记忆信源的信息熵2013秋季信息119InfTheory&Coding-张祖平

因为分别都是信源的概率空间中的概率分量。由，则有而这说明，维离散平稳无记忆信源可能发出的消息数，已由离散平稳无记忆信源的种扩展到种；维离散平稳无记忆信源的概率分布完全可由离散平稳无记忆信源的先验概率分布求得。由此，我们把维离散平稳无记忆信源称为离散平稳无记忆信源的次扩展信源，并记为3.2离散平稳无记忆信源的信息熵2013秋季信息1110InfTheory&Coding-张祖平

由于的概率空间是一个完备集，则可得的信息熵这说明，维离散平稳无记忆信源的信息熵，等于各时刻随机变量的信息熵之和。再考虑到中每一时刻的随机变量的取值，这就是离散平稳无记忆信源的在第时刻的取值，而的概率分布，就是离散平稳无记忆信源在第时刻的概率分布。3.2离散平稳无记忆信源的信息熵2013秋季信息1111InfTheory&Coding-张祖平

由（3.4）式所示的平稳性，离散平稳无记忆信源的概率分布不随时间的推移而变化，时刻的随机变量的概率分布就是离散平稳无记忆信源的概率分布。所以，（3.16）式中时刻随机变量的信息熵均等于离散平稳无记忆信源的信息熵，即继而，可得这说明，离散平稳无记忆信源的次扩展信源，即维离散平稳无记忆信源的信息熵，等于离散平稳无记忆信源的信息熵的倍。这意味着，离散平稳无记忆信源的次扩展信源每发一条消息提供的平均信息量，等于离散无记忆信源每发一个符号提供的平均信息量的倍。3.2离散平稳无记忆信源的信息熵2013秋季信息1112InfTheory&Coding-张祖平例3.1设离散平稳无记忆信道X的信源空间为

X:a1a2a3[X.P]:{

p(x):¼½¼则信源X的二次扩展信源=X1×X2的符号集为

α1=a1×a1

α4=a2×a1

α7=a3×a1

α2=a1×a2

α5=a2×a2

α8=a3×a2

α3=a1×a3

α6=a2×a3

α9=a3×a3信源=X1×X2的概率分布

p(α1)=p(a1a1)=p(a1)p(a1)=1/4×1/4=1/16p(α2)=p(a1a2)=p(a1)p(a2)=1/4×1/2=1/8p(α3)=p(a1a3)=p(a1)p(a3)=1/4×1/4=1/16p(α4)=p(a2a1)=p(a2)p(a1)=1/2×1/4=1/8p(α5)=p(a2a2)=p(a2)p(a2)=1/2×1/2=1/4p(α6)=p(a2a3)=p(a2)p(a3)=1/2×1/4=1/8p(α7)=p(a3a1)=p(a3)p(a1)=1/4×1/4=1/16p(α8)=p(a3a2)=p(a3)p(a2)=1/4×1/2=1/8p(α9)=p(a3a3)=p(a3)p(a3)=1/4×1/4=1/162013秋季信息1113InfTheory&Coding-张祖平这样，可得=X1×X2的信源空间为

:a1a1a1a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3[.P]:{p():1/161/81/161/81/41/81/161/81/16显然，信源=X1×X2

的概率空间是完备集，其信息熵

H()=H(X1X2)=H(1/16,1/8,1/16,1/8,1/4,1/8,1/16,1/8,1/16)=3(比特/2信符)或

H()=2H(X)=2×H(1/4,1/2,1/4)=3(比特/2信符)这里要注意的是，H()的单位应是信源=X1×X2每发一条消息提供的平均信息量。因信源X的二次扩展信源=X1×X2每一条消息均有两个信源符号组成，所以H()的单位是(比特/2信符)3.2离散平稳无记忆信源的信息熵2013秋季信息1114InfTheory&Coding-张祖平3.3离散平稳有记忆信源的信息熵

若离散平稳信源在各时刻发出的符号之间并不是统计独立的，是有统计联系的。前一时刻发出的符号，依某种统计规律影响到后续时刻发出的符号的可能性。任一时刻发出的符号对这一时刻之前发出的符号是“有记忆”的。那么，信源称为离散平稳有记忆信源，由扩展而成的多符号离散平稳信源称之为维离散平稳有记忆信源。2013秋季信息1115InfTheory&Coding-张祖平

维离散平稳有记忆信源的信源空间可表示为其消息集合是，而其中某一具体消息因为维离散平稳有记忆信源的概率分布而个概率分量的和是3.3离散平稳有记忆信源的信息熵2013秋季信息1116InfTheory&Coding-张祖平

因为维离散平稳有记忆信源中，任一时刻的随机变量只能取离散平稳有记忆信源中的任一符号，不可能取符号集以外的任何别的符号，所以，（3.24）式中各维条件概率的和均为一，有继而，得这表明，维离散平稳有记忆信源的概率空间也是一个完备集。既然是一个完备集，那么维离散平稳有记忆信源每发一条消息提供的平均信息量，就是维离散平稳有记忆信源的信息熵。3.3离散平稳有记忆信源的信息熵2013秋季信息1117InfTheory&Coding-张祖平

经过推导，得到维离散平稳有记忆信源的信息熵这表明，维离散平稳信源有记忆信源的信息熵，等于离散平稳有记忆信源起始时刻的信息熵，加上等各维条件熵之和。这就意味着，维离散平稳有记忆信源每发一条消息提供的平均信息量，等于离散平稳有记忆信源起始时刻每发一个符号提供的平均信息量，加上起始时刻所发符号已知的前提下，第三时刻每发一个符号提供的条件平均信息量，…，最后，再加上第，时刻所发符号已知的前提下，第时刻每发一符号提供的条件平均信息量所得之和。这个和值与起始时刻的选择无关，不随时间的推移而变化。3.3离散平稳有记忆信源的信息熵2013秋季信息1118InfTheory&Coding-张祖平

根据离散平稳有记忆信源条件概率的平稳性，有可得这表明，离散平稳有记忆信源的“有记忆”特性，使离散平稳有记忆信源每发一个符号提供的平均信息量，随着记忆长度的增长而减少。记忆长度越长，在某时刻发符号之前的关于这个符号的预备只是越多，这时刻发符号的平均不确定性越小，提供的平均信息量也就越小。3.3离散平稳有记忆信源的信息熵2013秋季信息1119InfTheory&Coding-张祖平

对于离散平稳有记忆信源来说，因为有记忆，所以在不同时刻所发符号提供的平均信息量是不同的。那么，平均符号熵就称为评估（特别当时）维离散平稳有记忆信源，每发一个信源符号提供的平均信息量，也就是提供信息能力的一个衡量标准。3.3离散平稳有记忆信源的信息熵2013秋季信息1120InfTheory&Coding-张祖平例3.2设离散平稳有记忆信道X的信源空间为

X:a1a2a3

[X.P]:{

p(x):1/44/911/36二维离散平稳有记忆信源X=X1×X2中前后两个符号的关联程度由下一组条件概率表示：

P(X2=a1/X1=a1)=P(a1/a1)=7/9P(X2=a2/X1=a1)=P(a2/a1)=2/9P(X2=a3/X1=a1)=P(a3/a1)=0P(X2=a1/X1=a2)=P(a1/a2)=1/8P(X2=a2/X1=a2)=P(a2/a2)=3/4P(X2=a3/X1=a2)=P(a3/a2)=1/8P(X2=a1/X1=a3)=P(a1/a3)=0P(X2=a2/X1=a3)=P(a2/a3)=2/11P(X2=a3/X1=a3)=P(a3/a3)=7/9离散平稳有记忆信源X的信息熵

比特/信符2013秋季信息1121InfTheory&Coding-张祖平由二维离散平稳有记忆信源X=X1×X2中X1和X2之间的统计依赖关系，得条件熵

比特/消息即有

H(X2/X1)<H(X)条件熵H(X2/X1)比信源X的信息熵H(X)减少了0.672比特/信符，这正是由符号之间有依赖关系造成的结果。二维离散平稳有记忆信源X=X1X2每发一条消息提供的平均信息量

H(X)=H(X1X2)=H(X1)+H(X2/X1)=H(X)+H(X2/X1)=1.542+0.870=2.412比特/消息平均符号熵

H2(X)=H2(X1X2)=1/2×{H(X2/X1)}=1/2×2.412=1.205比特/消息即有

H2(X1X2)<H(X)这充分证实，离散平稳有记忆信源X每发一个符号提供的平均信息量，小于离散平稳有记忆信源X在起始时刻每发一个符号提供的平均信息量。这是由于符号之间存在统计依赖关系表现出来的有记忆特性，使离散平稳有记忆信源X在起始时刻和第二时刻每发一个符号提供的平均信息量不同，且第二时刻每发一个符号提供的平均信息量，小于起始时刻每发一个符号提供的平均信息量所引起的。2013秋季信息1122InfTheory&Coding-张祖平3.4离散平稳有记忆信源的极限熵

考虑到实际离散平稳有记忆信源在时间域上连续不断发出符号，符号之间的依赖关系延伸到无穷这个重要的实际因素，显然应该用（3.53-3.85）式的平均符号熵当记忆长度（即）足够大时的极限值作为离散平稳有记忆信源每发一个符号提供的平均信息量的测度函数，把它当作为离散平稳有记忆信源提供信息能力的衡量标准。我们把（3.54-3.85）式的极限值称为离散平稳有记忆信源的极限熵。2013秋季信息1123InfTheory&Coding-张祖平

进一步剖析平均符号熵的有关数学特性得：

1.

这表明，维离散平稳有记忆信源的平均符号熵，一定不小于维条件熵。而且由熵的非负性可直接导致平均符号熵的非负性，即3.4离散平稳有记忆信源的极限熵2013秋季信息1124InfTheory&Coding-张祖平

2.

这表明，维离散平稳有记忆信源的平均符号熵不仅具有非负性，而且它的最大值等于离散平稳有记忆信源在起始时刻的信息熵，平均符号熵是记忆长度的非递增函数，随记忆长度的增长而减小。这就说明，当记忆长度足够大时，维离散平稳有记忆信源的平均符号熵的极限值，即极限熵是存在的。3.4离散平稳有记忆信源的极限熵2013秋季信息1125InfTheory&Coding-张祖平

3.

这表明，对于记忆长度足够长的离散平稳有记忆信源，每发一个符号提供的平均信息量，即极限熵，等于条件熵在时的极限值。3.4离散平稳有记忆信源的极限熵2013秋季信息1126InfTheory&Coding-张祖平3.5马尔柯夫信源的极限熵

上一节讲到了离散平稳有记忆信源的极限熵，公式为：

要求解条件熵在时的极限值，就相当于要测定离散平稳有记忆信源的无穷多维的条件概率和联合概率分布，把信源当作无限记忆长度的信源来处理。这在实际计算中是比较困难的，所以下面介绍一种比较特殊的离散平稳有记忆信源——马尔柯夫信源，即不须测定无穷多维条件概率和联合概率，就可求得条件熵的极限值。2013秋季信息1127InfTheory&Coding-张祖平

马尔柯夫信源的定义：如果随机变量序列X中的任一时刻（m+1）的随机变量只依赖于它前面已经发生的m个随机变量与更前面的随机变量无关，则称这种信源为m阶马尔柯夫信源（简写为m阶M信源）。3.5马尔柯夫信源的极限熵2013秋季信息1128InfTheory&Coding-张祖平

对于m阶M信源来说，因为随机变量序列X中的每一时刻的随机变量均取自且取遍于离散平稳有记忆信源X的符号集，所以时刻1到m的随机变量序列的某一具体消息

把看作为某一状态。同样，把时刻2到（m+1）的m个随机变量的某一具体消息看作为另一状态。3.5马尔柯夫信源的极限熵2013秋季信息1129InfTheory&Coding-张祖平

从数学上来说，m个符号组成的状态就构成了一个有限平稳的马尔柯夫链（简写为M链）。这就是把这种记忆长度为m的离散平稳有记忆信源称为m阶M信源的原因。

从状态发符号后，这m个符号组成状态即从状态转移到状态。状态只依赖于状态。3.5马尔柯夫信源的极限熵2013秋季信息1130InfTheory&Coding-张祖平

采用状态随机变量和来表示信源的极限熵，表示式如下：

m阶M信源的极限熵取决于个状态概率以及个状态一步转移概率m阶M信源具有独特的Markov性（无后放性），即“每发一个符号，只与前面已发的m个符号有关，与更前面的符号无关。”因此，离散平稳有记忆信源极限熵的计算有无限问题转为了有限问题。3.5马尔柯夫信源的极限熵2013秋季信息1131InfTheory&Coding-张祖平

要完整描述一个m阶M信源，首先要给定离散平稳有记忆信源X的符号集，同时要确定M信源的阶数，即有记忆信源X的记忆长度m。一般m是大于零的正整数。其次，要给定（或测定）个由任一消息（状态）到下一时刻的另一消息（状态）的消息（状态）一步转移概率，并且满足一下关系：3.5马尔柯夫信源的极限熵2013秋季信息1132InfTheory&Coding-张祖平

按照状态一步转移的相应关系，把给定的个状态一步转移概率排成矩阵为：

矩阵[P]称为m阶M信源的状态一步转移矩阵，且其中的每一元素处于[0，1]，矩阵[P]中每行元素之和均等于1。3.5马尔柯夫信源的极限熵2013秋季信息1133InfTheory&Coding-张祖平

m阶M信源在某时刻T由状态经过n个单位（经过n步），在（T+n）时刻转移为另一状态的条件概率称为m阶M信源的状态n步转移概率。

应用Markov特性和全概率公式，考虑到m阶平稳M信源的平稳性，其实时刻T是任意的，可以得到，由m阶M信源n步状态转移概率组成的状态n步转移矩阵[P(n)],等于状态一步转移矩阵[P]的n次连乘，即3.5马尔柯夫信源的极限熵2013秋季信息1134InfTheory&Coding-张祖平

上式是当时的极限值，所以其中的状态概率应是m阶M信源达到稳定时出现状态的概率，我们把这种状态概率称为状态极限概率。不是任何m阶M信源都存在状态极限概率，只有满足一定条件的m阶M信源，才存在状态极限概率。3.5马尔柯夫信源的极限熵2013秋季信息1135InfTheory&Coding-张祖平

若对于有限平稳的m阶M信源，由的m个符号组成的消息（状态）和，存在一个正整数，且经过步，从状态转移到的步转移概率则这种m阶M信源具有各态历经性。3.5马尔柯夫信源的极限熵2013秋季信息1136InfTheory&Coding-张祖平

各态历经定理：对各态历经的m阶M信源来说，对每个都存在不依赖于起始状态的状态极限概率而且，状态极限概率是在约束条件的约束下，方程组的唯一解。3.5马尔柯夫信源的极限熵2013秋季信息1137InfTheory&Coding-张祖平各态历经定理的证明，过程从略。

从这个证明过程可以看出：m阶M信源具有各态历经性的关键之所在，是存在一个正整数，有。这就是说，只有在转移一定步数后各状态之间均可相通的条件下，当转移步数足够大，m阶M信源达到稳定的情况下，各状态出现的概率才能稳定在某一极限值，存在状态极限概率。所谓“各态历经”，其含义之一，就是各态相通，均可经历；其含义之二，就是由各态历经过程产生的每个序列，都有同样的统计特性，具有统计均匀性。3.5马尔柯夫信源的极限熵2013秋季信息1138InfTheory&Coding-张祖平

对于m阶M信源，状态一步转移概率可由状态一步转移矩阵[P]表示，也可用状态一步转移线图来表示（如图3.7所示）。

由该信源相应的状态一步转移线图具有以下两个特点：不可约性：状态空间中的任意两个状态都存在至少一个正整数，使。从一个状态开始，总有可能转移到另一个状态，状态空间中各状态之间相互都能到达。那么，状态空间组成的集合成为不可约闭集。“不可约”的含义就是在集合S中，不存在一个各状态之间都能相互到达，而由于集合以外的状态不相通的集合，即闭集中不能再分出闭集。3.5马尔柯夫信源的极限熵2013秋季信息1139InfTheory&Coding-张祖平非周期性：如状态空间S是一个不可约闭集，且从每一个状态出发，经过n步转移回到本状态的所有可能的步数中，即使的所有n中，不存在大于1的公因子，则称不可约闭集S具有非周期性。3.5马尔柯夫信源的极限熵2013秋季信息1140InfTheory&Coding-张祖平

判断m阶M信源是否具有各态历经性，有两种方法：其一，步状态转移矩阵中，不存在“0”元素，则可判断具有各态历经性；如n0为任意正整的中，都存在“0”元素，则判断不具有各态历经性。其二，状态一步转移线图中的状态集合是不可约非周期闭集，则判断为具有各态历经性；状态转移线图中的状态集合不是不可约非周期闭集，则判断为不具各态历经性。3.5马尔柯夫信源的极限熵2013秋季信息1141InfTheory&Coding-张祖平

最后强调，我们在讨论N维离散平稳有记忆信源时，是把时间域上有统计联系的无穷序列，看作是每N各符号组成的组（消息）的序列，而且组（消息）与组（消息）之间看作统计独立、互不相关，只在有N个符号组成的每一组（消息）内，考虑符号之间的统计依赖关系。无限问题→有限问题在讨论极限熵时，考虑了符号之间的依赖关系延伸到无穷这一因素，信号的平均信息量采用N→∞时平均符号熵的极限值。由于各态历经的m阶M信源的记忆长度m是有限值，再加上它具有独特的Markov特性，所以各态历经的m阶M信源的极限熵可求。3.5马尔柯夫信源的极限熵2013秋季信息1142InfTheory&Coding-张祖平3.6信源的剩余度与结构信息

各态历经的m阶M信源的极限熵为这表明，m阶M信源的极限熵就是离散平稳有记忆信源X的m维条件熵。因为，，这表明，信源的记忆长度越大，信源的极限熵就越小。信源每发一个符号提供的平均信息量随记忆长度的增加而减小。只有当信源发出符号之间相互统计独立，不存在统计依赖关系，并等概分布时，信源信息熵才达到最大值，每发一个符号提供最大的平均信息量。即信源符号组成的时间序列中，符号之间的依赖关系越强，信源每发一个符号提供的平均信息量就越小。2013秋季信息1143InfTheory&Coding-张祖平

为了衡量信源符号间的依赖程度，我们把离散平稳有记忆信源的极限熵，与把这个信源当作离散无记忆等概信源达到的最大熵值的比值，定义为这个离散平稳有记忆信源的相对熵率

而把1减去相对熵率所得之差定义为离散平稳有记忆信源的剩余度3.6信源的剩余度与结构信息2013秋季信息1144InfTheory&Coding-张祖平则离散平稳有记忆信源X的剩余度为

由公式可见，对于符号数固定为r的离散平稳有记忆信源X来说，剩余度ξ越大，表示极限熵越小，信源符号间的记忆长度越小，符号间的依赖程度越大。反之，剩余度ξ越小，表示极限熵越大，信源符号间的记忆长度越小，符号间的依赖程度越小。所以，剩余度ξ是衡量离散平稳有记忆信源符号间依赖程度的大小的尺度。3.6信源的剩余度与结构信息2013秋季信息1145InfTheory&Coding-张祖平信息变差：信源的最大熵值，与实际的极限熵之间的差值称为信息变差，也可称为结构信息。结构信息是语言本身固有的习惯结构决定的，是不须传递或存储的。要传递或存储的只是写文章的人（信源）自己选择符号表达自己意思的那一部分信息。这一部分信息就是极限熵。所以从理论上讲，由语法结构规定不得不用的符号，应该有可能被大幅度压缩。信源的剩余度ξ表示信源可压缩的程度。

3.6信源的剩余度与结构信息2013秋季信息1146InfTheory&Coding-张祖平剩余度的意义：剩余度是信息论中的一个具有核心意义的重要概念。从提高信息传输有效性的观点出发，应该减少或去掉信源的剩余度。从提高通信的可靠性角度来看，应该增加或保留必要的、有用的剩余度，剩余度大的消息具有较强的抗干扰能力。信源编码就是讨论如何减小或消除信源的剩余度，提高通信的有效性；信道编码就是讨论如何增加信源有用的剩余度，提高通信的可靠性。3.6信源的剩余度与结构信息2013秋季信息1147InfTheory&Coding-张祖平3.7离散无记忆信道的数学模型

离散无记忆信道↑多符号离散信道↑信道2013秋季信息1148InfTheory&Coding-张祖平设单符号离散信道的输入符集x:{},输出符号集Ｙ：｛｝传递概率：又设多符号离散平稳信源每一时刻的随机变量均取自且取遍于信道的输入符号集则信源共有种不同的消息．而相对于在信道的输出端，有一个Ｎ维的随机变量序列与之相对应，输出随机矢量共有种不同的消息.在信道传输时：在任意Ｎ时刻，在发送随机变量的某个符号的时，在输出端都有随机变量中的某一个符号与之相对应．3.7离散无记忆信道的数学模型2013秋季信息1149InfTheory&Coding-张祖平

这种信道的输入消息和输出消息都是多个符号组成的，所以我们称这种信道为多符号离散信道．同时，我们也可把这种信道称之为单符号离散信道的Ｎ次扩展信道．显然，与单符号离散信道相比，Ｎ次扩展信道的输入符号数由种扩展为种；输出符号数由种扩展为种．3.7离散无记忆信道的数学模型2013秋季信息1150InfTheory&Coding-张祖平信道的条件概率为信道的传递概率为同样可以把这个传递概率,按输入输出的对应关系,构成次扩展信道的传递矩阵:3.7离散无记忆信道的数学模型2013秋季信息1151InfTheory&Coding-张祖平传递概率的两个性质:

1:

2:3.7离散无记忆信道的数学模型2013秋季信息1152InfTheory&Coding-张祖平离散无记忆信道的定义:若次扩展信道的传递概率等于个时刻单符号离散信道的传递概率的连乘:即3.7离散无记忆信道的数学模型2013秋季信息1153InfTheory&Coding-张祖平则单符号离散信道成为离散无记忆信道,相应的次扩展信道成为离散无记忆信道的次扩展信道.

所以离散无记忆信道的次扩展信道的传递概率可由单符号离散无记忆信道的传递概率直接求得.3.7离散无记忆信道的数学模型2013秋季信息1154InfTheory&Coding-张祖平多符号离散信道的两个新问题:1:某时刻的输出随机变量,在时刻之前的输入随机变量序列,以及时刻之前的输出随机变量序列应存在一定程度的统计联系.(记忆性)2:时刻之前的输出随机变量序列与下一时刻的输入随机变量也存在某种程度的统计联系.(预感性)3.7离散无记忆信道的数学模型2013秋季信息1155InfTheory&Coding-张祖平离散无记忆信道无记忆,无预感先证充分性:1:证无记忆性证无记忆性需要考察离散无记忆信道的条件概率,经过公式推导得:这表明,次扩展离散无记忆信道在时刻的输出随机变量,只与该时刻的输入随机变量有关,与时刻之前的输入变量序列和输出变量序列无关.这就是离散无记忆信道的”无记忆性”.

3.7离散无记忆信道的数学模型2013秋季信息1156InfTheory&Coding-张祖平2:证无预感性经推导得:

这表明,次扩展离散无记忆信道在时刻的输出随机变量序列只与时刻的输入随机变量有关,与下一时刻的输入随机变量无关这就是离散无记忆信道的”无预感性”.

3.7离散无记忆信道的数学模型2013秋季信息1157InfTheory&Coding-张祖平再证必要性:无记忆性:无预感性:

3.7离散无记忆信道的数学模型2013秋季信息1158InfTheory&Coding-张祖平

所以,满足无记忆性和无预感性条件的必是离散无记忆信道.3.7离散无记忆信道的数学模型2013秋季信息1159InfTheory&Coding-张祖平3.8离散无记忆信道的信道容量

分析思路:由于我们对于单符号信道已经有了一定的研究基础,而且多符号信道也可看成是信源在同一信道中经一定的时间间隔不断发送符号.所以,我们希望找出离散无记忆的次扩展信道的平均交互信息量与各个时刻输入变量单独经过信道后的平均信息量之和之间的关系.2013秋季信息1160InfTheory&Coding-张祖平

首先，重申传递概率为的多符号离散信道相联系的输入随机矢量与输出随机矢量之间存在的统计依赖关系。（1）输入某消息，输出某消息的联合概率。3.8离散无记忆信道的信道容量2013秋季信息1161InfTheory&Coding-张祖平（2）输出某消息的概率。（3）收到的前提下，推测输入的后验概率。

3.8离散无记忆信道的信道容量2013秋季信息1162InfTheory&Coding-张祖平

步骤一:求出输入随机矢量与输出随机矢量之间的平均交互信息量3.8离散无记忆信道的信道容量2013秋季信息1163InfTheory&Coding-张祖平

步骤二:个随机变量单独通过离散无记忆信道的平均交互信息量之和:3.8离散无记忆信道的信道容量2013秋季信息1164InfTheory&Coding-张祖平

3.8离散无记忆信道的信道容量2013秋季信息1165InfTheory&Coding-张祖平

步骤三:作差因为:3.8离散无记忆信道的信道容量2013秋季信息1166InfTheory&Coding-张祖平

3.8离散无记忆信道的信道容量即2013秋季信息1167InfTheory&Coding-张祖平

当且仅当信源是维离散平稳无记忆信源时,即才有即输出随机矢量中各时刻的随机变量之间统计独立,即3.8离散无记忆信道的信道容量2013秋季信息1168InfTheory&Coding-张祖平

综述:离散无记忆信道的次扩展信道的总体平均交互信息量,一般不会超过信源中个随机变量在单位时间内相继单独通过离散无记忆信道的平均交互信息量的总和,只有信源是维离散平稳无记忆信源时,又因为平均交互信息量都等于离散无记忆信道传递离散无记忆信源的平均交互信息量,即3.8离散无记忆信道的信道容量2013秋季信息1169InfTheory&Coding-张祖平

可得:

所以,离散无记忆信道的次扩展信道的总体平均交互信息量一定不会超过离散无记忆信道传递离散无记忆信源的平均交互信息量的倍.即3.8离散无记忆信道的信道容量2013秋季信息1170InfTheory&Coding-张祖平

当离散平稳无记忆信源是当离散无记忆信道的匹配信源时,离散无记忆信道的平均交互信息量达到最大时,即信道容量C时:令表示离散无记忆信道的N次扩展信道的信道容量,则有3.8离散无记忆信道的信道容量2013秋季信息1171InfTheory&Coding-张祖平

综上所述,离散无记忆信道的次扩展信道的总体平均交互信息量,一般不会超过维离散平稳信源在各个时刻随机变量在每单位时间相继单独通过离散无记忆信道的平均交互信息量的总和