第二章-离散信源及其信息测度

第二章离散信源及其信息测度

第一节信源的数学模型及分类第二节离散信源的信息熵第三节信息熵的基本性质第五节离散无记忆的扩展信源第六节离散平稳信源第七节马尔可夫信源（自修）第八节信源剩余度与自然语言的熵第四节信息熵唯一性定理1.信源的数学模型及分类1.1、什么是信源信源就是信息的来源，是产生消息或消息序列的源泉。1.2、信源的描述（或数学模型）在通信系统中，收信者在未收到信息以前，对信源发出什么样的消息是不确定的，是随机的，所以可以用随机变量、随机矢量或随机过程来描述信源输出的消息，或者说用一个样本空间及其概率测度（X，P）来描述信源。1.3、信源的分类不同的信源根据其输出消息的随机性质不同的进行分类：单符号信源、多符号信源；离散信源、连续信源；平稳信源、非平稳信源；无记忆信源、有记忆信源。1.3.1单符号信源与多符号信源单符号信源信源的输出是单个符号的消息，可用一维随机变量X来描述。如投硬币等多符号信源信源的输出不是单个符号的消息，而是一系列符号组成的序列，可用多维随机变量序列来描述:通常信源都属于此类，如文本串。1、单符号离散信源这类信源如：电报报文、灰度图片等。

1.3.2、离散信源信源每次只输出一单个符号的消息，可能出现的符号数为有限或可数的，因而可用一维离散型随机变量X来描述，其数学模型如下：这类信源如：掷骰子、抛硬币、天气预报等2、多符号离散信源信源的输出是一系列符号组成的序列，可能出现的符号数为有限或可数的，可用多维离散型随机变量来描述:各个消息的输出概率总和应该为1。其数学模型为[X,P],P为多维离散型随机变量X的联合分布列。信源每次只输出一单个符号的消息，但可能出现的符号数为不可数，即输出是连续的，可用一维连续型随机变量X来描述。数学模型如下：若输出可用多维连续型随机变量（随机序列）描述，则对应的信源为多符号连续信源。如一段时间内的温度变化（取离散时间、每个时刻温度值为连续），声音采样。1.3.3、连续信源1、单符号连续信源P(x)为X对应值的概率密度，区间[a,b]也可用任意一维区域。

这类信源如：电气设备的电压、物体的温度等。2、多符号连续信源若信源的输出在时间上可用随机序列来描述:

随机序列的各维分布与时间起点无关，也就是从任意时刻开始，随机序列的各维分布都是相同的，则称该信源为平稳信源。否则为非平稳信源。根据出现的符号数是否可数，也有连续与离散之分。若Xi（i=1,2,3,…）独立同分布，则显然是平稳信源。1.3.4平稳与非平稳信源1.3.5无记忆信源与有记忆信源无记忆信源信源所发出的各个符号是相互独立的，发出的符号序列中的各个符号之间没有统计关联性，各个符号的出现概率是它的先验概率。

有记忆信源信源所发出的各个符号的概率是有关联的。

马尔可夫信源信源发出的符号只与前面一个或有限个符号有关，而不依赖更前面的那些符号，这样的信源可以用信源发出符号序列内各个符号之间的条件概率来反映记忆特征。

1.3.6离散无记忆信源的N次扩展若信源的输出为，且每个分量Xi是都取自同一离散信源X，相互间是独立的，则称随机矢量组成的新信源为离散无记忆信源X的N次扩展信源，记为XN。若离散无记忆信源的概率空间为则X的N次扩展信源是具有qN个符号的离散信源，对应的概率空间为：其中，是N个组成的序列，为对应的概率。1.3.7波形信源时间和取值都是连续值的信源。如语音信号，每个时刻发出的语音信号是连续的，信号发出的时间是连续的。一般转换为时间和取值均为离散值的信源来处理2.离散信源的信息熵考虑输出为单个符号消息的离散信源：该信源能输出的信息如何度量？每个符号能携带多少信息量？该信源能输出多少信息：平均每个符号携带多少信息量？信息定义：信息是事物运动状态或存在方式的不确定性的描述2.1自信息量信息的度量：收到消息后不确定性的减少量收到某消息获取的信息量＝收到消息前关于某事件发生的不确定性－收到消息后对某事件发生的不确定性在无噪声信道，收到消息后对某事件发生的不确定性为0，收到某消息获取的信息量＝收到消息前关于某事件发生的不确定性＝信源输出某消息所含的信息量（由于信道无耗损）信源输出某消息ai所含的信息量就称为自信息量，记为I(ai)。收到消息ai前事件发生的不确定性与事件发生的概率（先验概率）有关，可认为是概率的函数。因而自信息量是先验概率P(ai)的函数，即：I(ai)＝f(P(ai))自信息为先验概率的函数：根据客观事实和人们的习惯概念，自信息应满足以下条件:（2）当时（3）当时应是先验概率的单调递减函数，即当时（4）两个独立事件的联合信息量应等于它们分别的信息量之和例：m×n个人排成m行、n列的队伍，随机的抽取某人进行测试，每个人被抽中的概率为1/(mn)，对应的信息量为f(1/(mn)).这一随机抽取过程也可表示为两个事件的联合，即先从m行中选定一行，再从n列中选定一列，由此确定被选人员。从m行中选定一行，每行被选中的概率为1/m，对应的信息量为f(1/(m)).从n列中选定一列，每列被选中的概率为1/m，对应的信息量为f(1/(n)).应有：f(1/(mn))＝f(1/(m))＋f(1/(n)).■

根据前述4个条件，可以从数学上证明这种函数形式是对数函数，因而对离散信源的含义：1、当事件ai发生前(收到消息ai前)，表示ai发生的不确定性；2、当事件ai发生后(收到消息ai后)，表示事件（消息）ai所含（提供）的信息量．自信息量定义为：自信息量的单位：取决于对数所取的底1nat＝log2el.433bit，

ldet＝log2103.322bit若以2为底，单位为比特（bit），通常取比特为单位；若以e为底，即取自然对数，则信息量的单位为奈特（nat）；若以10为对数底，则信息量的单位为笛特（det）。这三个信息量单位之间的转换关系如下：几个例子例1一个以等概率出现的二进制码元（0，1）所包含的自信息量为：

I(0)=I(1)=-log2(1/2)=log22=1bit

例2

若是一个m位的二进制数，因为该数的每一位可从0,1两个数字中任取一个，因此有2m个等概率的可能组合。所以I=-log2(1/2m)=mbit，就是需要m比特的信息来指明这样的二进制数。此处的比特与计算机术语中的“比特”含义有所不同，这里是信息量的单位，计算机中代表一个二进制位（二元数字），两者的关系是每个二进制位能提供的最大平均信息量为1比特例3设天气预报有两种消息，晴天和雨天，出现的概率分别为1/4和3/4，我们分别用来表示晴天，以来表示雨天，则我们的信源模型如下：比特

比特

例4

英文字母中“e”出现的概率为0.105，“c”出现的概率为0.023，“o”出现的概率为0.001。分别计算它们的自信息量。解：“e”的自信息量I（e）=-log20.105=3.25bit“c”的自信息量I（c）=-log20.023=5.44bit“o”的自信息量I（o）=-log20.001＝9.97bit自信息的数学期望定义为信源的平均自信息量，称为信息熵，记为：信息熵具有以下三种物理含义：1、表示信源输出前，信源的平均不确定性2、表示信源输出后，每个符号所携带的平均信息量3、H(X)可表征随机变量X的随机性，即信源输出的随机性，随机性越大，其值越大。2.2、信息熵其单位由自信息的单位确定，取决于对数的底，若对数的底选用r，则信息熵选用r进制单位，对应的信息熵记为，二进制信息熵记为，r进制信息熵与二进制信息熵的关系为：一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量。解:依据题意这一随机事件的概率空间为

例5其中：x1表示摸出的球为红球事件，x2表示摸出的球是白球事件.1）如果摸出的是红球，则获得的信息量是

I(x1)=-log2p(x1)=-log20.8bit2）如果摸出的是白球，则获得的信息量是

I(x2)=-log2p(x2)=-log20.2bit

如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取n次，红球出现的次数为np(x1)次，白球出现的次数为np(x2)次。随机摸取n次后总共所获得的信息量为

np(x1)I(x1)+np(x2)I(x2)则平均随机摸取一次所获得的信息量为

H(X)=1/n[np(x1)I(x1)+np(x2)I(x2)]=-[p(x1)log2p(x1)+p(x2)log2p(x2)]=0.72比特/次说明：自信息量I（x1）和I（x2）只是表征信源中各个符号的不确定度，一个信源总是包含着多个符号消息，各个符号消息又按概率空间的先验概率分布，因而各个符号的自信息量就不同。所以自信息量不能作为信源总体的信息量。2)因为X中各符号xi的不确定度I（xi）为非负值，p（xi）也是非负值，且

0≤p(xi)≤1，故信源的平均不确定度H(X)也是非负量。3)平均不确定度H(X)的定义公式与热力学中熵的表示形式相同，所以又把

H(X)称为信源X的熵。熵是在平均意义上来表征信源的总体特性的，可以表征信源的平均不确定度。若有4种可能出现的天气，每种天气出现可能性均为1/4，则此时信息熵为:例6：天气预报有两种消息，晴天和雨天，我们分别用a1来表示晴天，以a2来表示雨天，两个信源

则：说明第二个信源的平均不确定性更大一些，随机性更大些极端情况：不确定性为0，不具有随机性.例7

电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则共能组成n=个不同的画面。按等概率1/n计算，平均每个画面可提供的信息量为

=3×105×

3.32比特/画面例8

有一篇千字文章，假定每字可从万字表中任选，则共有不同的千字文

N=100001000=104000篇仍按等概率1/100004000计算，平均每篇千字文可提供的信息量为

H（X）＝log2N

＝4×103×3．32

≈1．3×104比特／千字文

而由例7知：

一个灰度图片提供得信息量为3×105×3.32比特/画面“一个电视画面”平均提供的信息量大大超过“一篇千字文”提供的信息量。

■例9

设信源符号集X={x1,x2,x3}，每个符号发生的概率分别为p(x1)=1/2，p(x2)＝1/4，p(x3)＝1/4。

则信源熵为

H(X)=1/2log22+1/4log24+1/4log24=1.5比特/符号熵函数可以表示为：2.3信息熵的基本性质下面讨论其有关性质性质1：非负性H(X)≥0(由于0≤pi≤1,所以logpi≤0，-logpi≥0，则总有H(X)≥0。)性质2：对称性

根据加法交换律可以证明，当变量交换顺序时熵函数的值不变。信源的熵只与概率空间的总体结构有关，而与每个概率分量对应的状态顺序无关；性质3：确定性；当信源X的信源空间[X，P]中,任一个概率分量等于1，根据完备空间特性，其它概率分量必为0，这时信源为一个确知信源，其熵为0。如果一个信源的输出符号几乎必然为某一状态，那么这个信源没有不确定性，信源输出符号后不提供任何信息量。性质4：扩展性

这说明信源空间中增加某些概率很小的符号，虽然当发出这些符号时，提供很大的信息量，但由于其概率接近于0，在信源熵中占极小的比重，使信源熵保持不变。由于若X、Y的概率分布列分别为和，且相互独立，则

H(XY)=Hmn(p1q1,p1q2,…,p1qm,p2q1,…,p2qm,…pnqm)=Hn(p1,p2,…,pn)+Hm(q1,q2,…,qm)因为：H(XY)=Hmn(p1q1,p1q2,…,p1qm,p2q1,…,p2qm,…pnqm)性质5：可加性；（如前面例子，从m行n列中选取1人）若X、Y是统计独立的信源，则：

H(XY)=H(X)＋H(Y)其中，H(XY)为X与Y的联合概率分布对应信源的信息熵，称为联合熵，=Hn(p1,p2,…,pn)+Hm(q1,q2,…,qm)■H(XY)=H(X)＋H(Y|X)性质6：强可加性；其中，H(XY)为X与Y的联合熵,H(Y|X)为Y关于X的条件熵。若X与Y的概率分布与前述，但X、Y不相互独立，Y关于X的条件分布列为：则：H(Y|X)=而

H(Y|X=xi)为X输出为xi的条件下，信源Y的平均信息量。即：因为：H(XY)=Hmn(p1p11,p1p12,…,p1p1m,p2p21,…,p2p2m,…pnpnm)=Hn(p1,p2,…,pn)+H(Y|X)性质7：递增性；Hm+n-1(p1,p2,…,pn-1,q1,q2,…,qm)=Hn(p1,p2,…,pn)+pnHm(q1/pn,q2/pn,…,qm/pn)式中：此性质表明，若信源X（n个符号的概率分别为p1,p2,…,pn)中,有一元素划分成m个元素，而这m个元素的概率之和等于原概率，则新信源熵增加，熵增加了一项为：增加项组成小子集的平均不确定性乘以小子集出现的概率。证明：强可加性表明：在上式中，取当i=n时，pij=qj/pi(j=1,…,m);当i<n时，pij=1(j=i),其余为0。=Hn(p1,p2,…,pn)+H(XY)=Hmn(p1p11,p1p12,…,p1p1m,p2p21,…,p2p2m,…pnpnm)

于是Hmn(p1p11,p1p12,…,p1p1m,p2p21,…,p2p2m,…pnpnm)=Hm+n-1(p1,p2,…,pn-1,q1,q2,…,qm)Hm+n-1(p1,p2,…,pn-1,q1,q2,…,qm)=Hn(p1,p2,…,pn)+pnHm(q1/pn,q2/pn,…,qm/pn)根据这一性质，有：Hn(p1,p2,…,pn)=Hn-1(p1,p2,…,pn-2,pn－1+pn)+(pn－1+pn)H2(pn－1/(pn－1+pn),pn/(pn－1+pn))=Hn-2(p1,p2,…,,pn-3,pn-2+pn－1+pn)+(pn-2+pn－1+pn)H2(pn－2/(pn-2+pn－1+pn),pn－1+pn/(pn-2+pn－1+pn))Hn-1(p1,p2,…,pn-2,pn－1+pn)由于pij的特殊性，仅当i=n时，为一般分布，其余情况均为确定性分布，信息熵为0，于是=pnHm(q1/pn,q2/pn,…,qm/pn)因而=H2(p1,p2+p3+…+pn)+(p2+p3+…+pn)H2(p2/(p2+…+pn),(p3+…+pn)

/(p2+…+pn))H3(p1,p2,p3+…+pn)Hn(p1,p2,…,pn)+(pn－1+pn)H2(pn－1/(pn－1+pn),pn/(pn－1+pn))+(pn-2+pn－1+pn)H2(pn－2/(pn-2+pn－1+pn),pn－1+pn/(pn-2+pn－1+pn))于是：=H2(p1,p2+p3+…+pn)+(p2+p3+…+pn)H2(p2/(p2+…+pn),(p3+…+pn)

/(p2+…+pn))+(p3+p4+…+pn)H2(p3/(p3+…+pn),(p4+…+pn)

/(p3+…+pn))+…例：应用熵函数的递增性计算H(1/3,1/3,1/6,1/6)H(1/3,1/3,1/6,1/6)=H(1/3,2/3)+2/3×H(1/2,1/2)+1/3×H(1/2,1/2)=H(1/3,2/3)+H(1/2,1/2)=1.918(比特/符号)■性质8：极值性

上式表明，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这也表明等概分布的信源的平均不确定性最大，这是一个很重要得结论，称为最大离散熵定理例：对于一个二元信源X：

H(X)≤H(1/2,1/2)=log2=1bit定义

如果对于任意的x1,x2(a,b)及，函数g(x)均满足那么称此函数为区间(a,b)上的上凸函数（或∩型凸函数）。定理（Jensen不等式）：如果g(x)是区间(a,b)上的∩型凸函数，X是一个随机变量，且X的取值范围在区间(a,b)内，那么即：其中，P=(p1,p2,…,pq)是一组概率分布等号当且仅当诸xi相等时成立。设概率矢量P=(p1,p2,…,pq)，且证明：另外，令Y=1/P,即yi=1/pi，由于Y>0时，logY是实数集上的∩型凸函数，由Jensen(詹森)不等式，有：E[logY]≤log(E[Y])即：当pi=1/q时，有：性质9：上凸性熵函数H(P)是概率矢量P=(p1,p2,…,pn)的严格∩型凸函数，即对任意矢量P1=(p1,p2,…,pn)，P2=(q1,q2,…,qn)以及任意

0<θ<1,有：H(θP1+(1-θ)P2)>θH(P1)+(1-θ)H(P2)4.信息熵唯一性定理定理2.1

设Hn(p1,p2,…,pn)是概率矢量P=(p1,p2,…,pn)的非负实值函数，对任意n，概率矢量满足pi≥0,。若Hn(P)满足以下公理：

1）是的连续和对称函数。

2）扩展性。

3）极值性。对任意n，有：

4）强可加性。若

则，Hn(p1,p2,…,pn)＝其中λ为一正常数。有Hmn(p1p11,p1p12,…,p1p1m,p2p21,…,p2p2m,…pnpnm)=Hn(p1,p2,…,pn)+

实际信源输出的消息往往是时间上或空间上的一系列符号，如电报系统，序列中前后符号间一般是有统计依赖关系的。我们先讨论离散无记忆信源，此时，假定信源序列的前后符号之间是统计独立的如在二元系统中，我们可以把两个二元数字看成一组，会出现四种可能情况：00、01、10和11，我们可以把这四种情况看成一个新的信源称为二元无记忆信源的二次扩展信源，相应的，如果把N个二元数字看成一组，则新的信源称为二元无记忆信源的N此扩展信源。5.离散无记忆的扩展信源5.离散无记忆的扩展信源若消息是有一串符号序列（随机矢量）来描述，由信源的无记忆性，信源输出的每个分量（符号）Xi相互间是独立的，且与X具有相同的分布，由随机矢量组成的新信源称为离散无记忆信源X的N次扩展信源，记为XN

。X的N次扩展信源是具有qN个符号的离散信源，对应的概率空间为：其中，是N个组成的序列，为XK的取值，为对应的概率，由独立性有，若X为离散无记忆信源，其输出的单个符号概率空间为X的N次扩展信源的信息熵为：

而上式中任一项于是：例2.6

若有一离散无记忆信源求该离散无记忆信源的2次扩展X2

，及其熵。解：由X共有3个符号，2次扩展信源X2有3×3=9个不同的输出，可记为根据信源的无记忆性，可得到其相应的概率空间为X2的符号对应的X符号序列概率1/41/81/81/81/161/161/81/161/16计算可知X2的符号对应的X符号序列概率1/41/81/81/81/161/161/81/161/16一般的因为XN输出的序列中的每个符号平均所含的信息量为H(X),长度为N的序列平均所含的信息量为NH(X)。第六节离散平稳信源

一般来说，信源的前后消息之间有前后依赖关系，可以用随机矢量描述：2.6.1、离散平稳信源的数学定义信源在某一时刻t=i发出什么样的值取决于两方面:

1）时刻t=i该变量Xi的分布概率p(Xi).2）时刻t=i以前发出的消息或符号及其对前面符号的依赖关系，可由Xi对其前面消息Xi-1Xi-2…的条件概率来描述，如一个人讲话。我们现在讨论平稳的随机序列，所谓平稳是指序列的统计性质与时间的推移无关（两个任意时刻信源发出符号的概率分布完全相同）。离散平稳信源的几种特殊形式1）一维离散平稳信源若对任意整数i、j，Xi、Xj具有相同的概率分布，则称序列是一维平稳的。即：对任意k,有p(Xi

=ak)=p(Xj=ak),k=1,…,q.

具有这种性质的信源称为一维平稳信源。2）二维离散平稳信源若除以上条件外，还满足二维联合分布也与时间起点无关，即：

p(Xi=ak，Xi+1=al)=p(Xj

=ak

，Xj+1=al)，则称该信源为二维离散平稳信源。

3)离散平稳信源各维联合分布都与时间起点无关，则称该信源为离散平稳信源2.6.2、离散二维平稳信源及其信息熵

最简单的平稳信源——二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。信源的概率空间:连续两个信源符号出现的联合概率分布为：2.6.2、离散二维平稳信源及其信息熵已知符号出现后，紧跟着出现的条件概率为：

由二维离散信源的发出符号序列的特点可以把其分成每两个符号一组，每组代表新信源中的一个符号。并假设组与组之间是统计独立的，互不相关的。得到一个新的离散无记忆信源，其联合概率空间为：2.6.2、离散二维平稳信源及其信息熵考察二维概率分布，定义相应的信息熵：可以表征信源输出长度为2的平均不确定性，或所含有的信息量。因此可以用作为二维平稳信源的信息熵的近似值,记为H2(X).如何对离散二维平稳信源所发出的信息进行度量？（1）联合熵■2.6.2、离散二维平稳信源及其信息熵(2)条件熵H(X2|X1)当X1取遍其整个样本空间，则还应对ai进行概率平均，得到条件熵：当信源X1输出为ai时，信源输出下一符号的平均不确定性为：2.6.2、离散二维平稳信源及其信息熵另外还可以得到：H(X2|X1)≤H(X2)=H(X)只有信源统计独立时等号成立。（证明见P51，主要利用詹森Jensen不等式）可以证明：含义:在已知X1的条件下,X2的平均不确定性小于X1未知情形下X2的平均不确定性例2.7

设某二维离散信源的原始信源的信源空间X={x1,x2,x3};P(X)={1/4,1/4,1/2},一维条件概率为：p(x1|x1)=1/2;p(x2|x1)=1/2;p(x3|x1)=0;p(x1|x2)=1/8;p(x2|x2)=3/4;p(x3|x2)=1/8;p(x1|x3)=0;p(x2|x3)=1/4;p(x3|x3)=3/4;原始信源的熵为：H(X)=1.5bit/符号条件熵：H(X2|X1)=1.4bit/符号可见：H(X2|X1)<H(X)二维信源的熵：H(X1X2)=H(X1)+H(X2|X1)=2.9bit/消息每个信源符号提供的平均信息量为：H2(X1X2)=H(X1X2)/2=1.45bit/符号。2.6.2、离散二维平稳信源及其信息熵2.6.2、离散二维平稳信源及其信息熵例2.8

若有离散二维平稳信源，其一维概率分布为二维联合概率分布P(X1X2)为：XjXi01201/41/18011/181/31/18201/187/36条件概率分布P(X2|X1)为：ajai01209/111/8012/113/42/9201/87/92.6.2、离散二维平稳信源及其信息熵离散二维平稳信源，平均每个符号所含的信息量为：联合熵的一半：H2(X)=1/2H(X1X2)=1.205(bit/符号)

条件熵：H(X2|X1)=0.870(bit/符号)经计算可得：

H(X)==1.542(bit/符号)H(X2|X1)==0.870(bit/符号)可见：H(X2|X1)<H(X),这是由于X2对X1的依赖所致联合熵H(X1X2)=H(X1)+H(X2|X1)=2.412(bit/两个符号)2.6.2、离散二维平稳信源及其信息熵我们现在有两种方法去近似信源的实际熵，一种是,但这种方法不太准确，因为它把两个消息看成一组，认为两组之间是统计独立的，实际上它们之间是有关联的；另一种是我们可以用条件熵来近似，它没有考虑信源本身产生单个符号的概率特性，仅考虑相临符号间的依赖。

到底那一种正确呢？我们可以通过对一般离散平稳信源的分析来找到这个答案。分析：1、平均符号熵

对一般离散平稳信源,符号间的依赖关系不仅存在于相临两符号之间,而且存在于更多符号之间.若符号间的依赖长度为N,如何度量信源的信息量?2.6.3离散平稳信源的极限熵信源的概率空间为:符号间的依赖长度为N，且已知各维概率分布，Ｎ维联合概率分布为P(X1=ai1，X2=ai2，…XN=aiN

)，简记为：P(ai1ai2…aiN)。H(X1X2…XN)=平均每个符号包含的信息量:平均符号熵联合熵定义为：2.6.3离散平稳信源的极限熵2、条件熵由于信源的记忆长度为N，后一个符号的出现，与前面N-1个符号相关。在已知前面N-1个符号的前提下，下一个符号出现的平均信息量为条件熵：

可以证明:H(X1X2…XN)=H(X1)+H(X2|X1)+…+H(XN|X1X2….XN-1)

条件熵及平均符号熵的性质:（1）条件熵随N的增加是非递增的（2）N给定时，平均符号熵大于等于条件熵（3）平均符号熵随N的增加是非递增的H(XN|X1X2…XN-1)=

（1）条件熵随N的增加是非递增的证明:H(XN|X1X2…XN-1)≤H(XN|X2X3…XN-1)

(条件较多的熵小于或等于减少一些条件的熵)=H(XN-1|X1X2…XN-2)（平稳性）≤H(XN-1|X2X3…XN-2)

(条件较多的熵小于或等于减少一些条件的熵)=H(XN-2|X1X2…XN-3)（平稳性）

…≤H(X2|X1)≤H(X2)

（2）N给定时，平均符号熵大于等于条件熵HN(X)≥H(XN|X1X2…XN-1)证明:HN(X)=H(X1X2…XN)/N=[H(X1)+H(X2|X1)+…+H(XN|X1X2…XN-1)]/N≥[NH(XN|X1X2…XN-1)]/N=H(XN|X1X2…XN-1)

（3）平均符号熵随N的增加是非递增的证明:NHN(X)=H(X1X2…XN)=H(X1X2…XN-1)+H(XN|X1X2…XN-1)=(N-1)HN-1(X)+H(XN|X1X2…XN-1)≤(N-1)HN-1(X)+HN(X)

所以HN(X)≤HN-1(X)同理,有H∞(X)≤…≤HN+1(X)≤HN(X)≤HN-1(X)≤…≤H0(X)

证明：由HN(X)及H(XN|X1X2…XN-1)单调递减且有界知极限存在

HN+k(X)=[1/(N+k)][H(X1X2…XN-1)+H(XN|X1X2…XN-1)+…+H(XN+k|X1X2…XN+k-1)]≤[1/(N+k)][H(X1X2…XN-1)+H(XN|X1X2…XN-1)+…+H(XN|X1X2…XN-1)]=[1/(N+k)]H(X1X2…XN-1)+[(k+1)/(N+k)]H(XN|X1X2…XN-1)H∞(X)称为极限熵或极限信息量（4）HN(X)及H(XN|X1X2…XN-1)极限存在且得：HN(X)=H(XN|X1X2…XN-1)又因为

H(XN|X1X2…XN-1)≤HN(X)

且，当

时，HN(X)=HN+k(X)当固定N时，有

HN+k(X)≤H(XN|X1X2…XN-1)式中，H0(X)为等概率无记忆信源单个符号的熵，

H1(X)为一般无记忆（不等概率）信源单个符号的熵

H2(X)为两个符号组成的序列平均符号熵，依次类推。推广可得结论：H∞(X)≤…≤H2(X)≤H1(X)≤H0(X)

可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵.

一般的，对记忆长度为m的平稳信源，则离散平稳信源的极限熵为H(Xm+1|X1X2…Xm)。这是因为当N>m时，H(XN|X1X2…XN-1)=H(Xm+1|X1X2…Xm)。

对于一般信源，求出极限熵是很困难的，然而，一般来说，取N不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵2.7马尔可夫信源

在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更前面的符号无关。为了描述这类信源，除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。若一个信源满足下面两个条件，则称为马尔可夫信源：（1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关；（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。（1）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即当符号输出概率与时刻l无关，称为具有时齐性。即2.7马尔可夫信源（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。

条件（2）表明，若信源处于某一状态，当它发出一个符号后，所处的状态就变了，一定转移到另一状态。状态的转移依赖于发出的信源符号，因此任何时刻信源处在什么状态完全由前一时刻的状态和发出的符号决定。2.7马尔可夫信源例：二阶马尔可夫信源，原始符号集为{1,0}，条件概率定义为：P(0|00)=P(1|11)=0.8P(1|00)=P(0|11)=0.2P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5

由此可见，信源共有22