信息论与编码基础第2章离散信源及其信息测度

信息论与编码基础第二章离散信源及其信息测度第二章离散信源及其信息测度消息是信息的载荷者。对信息的研究，要从消息开始。信源是产生消息或消息序列的源头。我们并不关心信源的内部结构，不关心消息的产生原因和过程，而研究信源各种可能的输出，以及输出各种可能消息的不确定性。对收信者而言，在收到消息之前，对于信源发送什么消息是不可预知的、随机的。因此可以用随机变量和随机过程来描述信源输出的消息，或者说用一个概率空间来描述信源。不同的信源输出不同类型的消息。可以根据消息不同的随机性质来对信源进行分类。第二章离散信源及其信息测度本章主要内容信源的数学模型及分类离散信源的信息测度-信息熵信息熵的基本性质离散无记忆的扩展信源离散平稳信源离散平稳信源的极限熵信源的冗余度2.1信源的数学模型及分类单符号信源：只输出单个符号（代码）的消息的信源。离散单符号信源连续单符号信源平稳随机序列信源：信源输出的消息由一系列符号序列所组成，可用N维随机矢量

X＝(X1,X2,…,XN)描述，且随机矢量X的各维概率分布都与时间起点无关，称为平稳随机序列。离散平稳信源连续平稳信源无记忆（独立）离散平稳信源有记忆信源m阶马尔可夫信源随机波形信源2.1信源的数学模型及分类1.离散单符号信源特点：输出是单个符号（代码）的消息，符号集的取值A={a1,a2,…,aq}是有限的或可数的，可用一维离散型随机变量X来描述。例：“投硬币”输出正、反面的消息；“写信”输出语言文字的字、词、句；“打电报”输出编码符号等等。2.1信源的数学模型及分类数学模型：设每个信源符号ai

出现的（先验）概率p(ai)(i=1,2,…,q)满足：则其概率空间为：概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。2.1信源的数学模型及分类例：以摇骰子的骰筒为信源，骰子的点数只能是1~6的六个不同消息，他们构成两两不相容的基本事件集合

A={a1,a2,a3,a4,a5,a6}

。每次试验输出的消息只能是其中之一。假设骰子是均匀的，则 用一个离散型随机变量X描述这个信源输出的消息，则该信源的概率空间为：2.1信源的数学模型及分类2.连续单符号信源特点：输出是单个符号（代码）的消息，但其可能出现的消息数是不可数的无限多个。即输出消息的符号集A的取值是连续的。同时这些数据的取值又是随机的。此时可用一维的连续型随机变量X来描述。例：语音信号；热噪声信号；遥控系统中有关电压、温度、压力等测得的连续数据等等。2.1信源的数学模型及分类数学模型：连续信源的数学模型是连续的概率空间。即：或：或：并满足： 其中R表示实数集，(a,b)是R的区间，p(x)是随机变量X的概率密度函数。**复习随机变量X的累积分布函数

(CumulativeDistributionFunction,CDF)

定义为： 描述了随机变量的值

实数x的概率。注意到连续随机变量的CDF是连续函数，离散随机变量的CDF是阶梯函数。 简写为：连续随机变量X的概率密度函数(ProbabilityDensityFunction,PDF)

定义为PDF的性质

(1) (2) (3) (4)数学期望：平稳随机过程：若对任意的

，X(t)的N维概率密度 则称X(t)为N阶平稳随机过程。**复习2.1信源的数学模型及分类3.平稳随机序列信源实际中很多信源输出的消息由一系列符号序列构成。例：对产生自然语言文字的信源，其样本空间是语言的基本符号集合（字母+标点），由若干基本符号构成的序列才是有意义的消息。这些符号序列在时间上是离散的，其中每个符号的出现是不确定的、随机的。例：对产生平面灰度图象的信源，其样本空间是灰度值集合，由一系列XY空间上的点的灰度构成图像消息。这些图像消息在时间上是离散的，其中每个点的灰度值的确定是随机的。2.1信源的数学模型及分类随机序列：信源输出的消息由一系列符号序列所组成时，可用N维随机矢量

X＝(X1,X2,…,XN)来描述消息，其中Xi

(i＝1,2,…,N)是随机变量，N可以是有限正整数或无穷大。N维随机矢量

X也称为随机序列。信源输出的随机序列的统计特性比较复杂，分析困难，一般总是假设信源输出的是平稳的随机序列，即序列的统计特性与时间的推移无关。大多数的实际信源符合平稳性假设。离散平稳信源：每个随机变量Xi

(i＝1,2,…,N)都是离散型随机变量，且随机矢量X的各维概率分布都与时间起点无关。连续平稳信源：每个随机变量Xi

(i＝1,2,…,N)

都是取值连续的随机变量。且随机矢量X的各维概率密度函数都与时间起点无关。2.1信源的数学模型及分类4.离散无记忆平稳信源考察离散平稳信源的一种特例：信源发出的符号都相互统计独立，即随机矢量X的各随机变量分量Xi

(i＝1,2,…,N)之间是无依赖的，统计独立的。 由独立性，联合概率分布：

P(X)=P(X1,X2,…,XN)=P1(X1)·

P2(X2)··

·

PN(XN)

又由平稳性：

P1(Xi)=P2

(Xi)=··

·=

PN

(Xi)

故：2.1信源的数学模型及分类设各随机变量Xi

取自同样符号集A={a1,a2,…,

aq}，则：这里是一个N

维随机矢量取值，是符号集

A的一维概率分布。离散无记忆信源：若信源空间[X,P(x)] 描述的信源X的在不同时刻输出的符号之间是无依赖的，彼此统计独立，则称X为离散无记忆信源。2.1信源的数学模型及分类离散无记忆信源X的N次扩展信源：将上述离散无记忆信源所输出的随机矢量X所描述的信源称为离散无记忆信源X的N次扩展信源。可见，离散无记忆信源的N次扩展信源是由离散无记忆信源输出N长度的随机序列构成的信源。其数学模型是离散无记忆信源空间的N重空间： 式中， 且2.1信源的数学模型及分类5.有记忆信源很多时候信源输出的消息序列中，在不同时刻发出的符号之间是相互依赖的，即信源输出的随机序列X中，各随机变量Xi之间相互依赖。例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此。需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。2.1信源的数学模型及分类有记忆信源发出的符号往往只与之前的若干个符号存在强依赖关系，因此可以对随机序列的记忆长度加以限制。m阶马尔可夫信源：记忆长度为m+1的有记忆信源称为m阶马尔可夫信源。m阶马尔可夫信源每次发出的符号只与前m个符号有关。假设信源输出的随机序列为X=X1X2…Xi-1XiXi+1…XN，其中i时刻Xi取的符号xi只与之前的Xi-1Xi-2…Xi-m所取符号xi-1xi-2…xi-m有关。具有上述特性的输出序列称为马尔可夫链。m阶马尔可夫链中各随机变量之间的依赖关系的条件概率为：2.1信源的数学模型及分类若上述条件概率与时间起点

i无关，信源输出的符号序列称为时不变马尔可夫链，此信源称为时不变马尔可夫信源。2.1信源的数学模型及分类7.随机波形信源实际信源输出的消息常常是时间和取值都是连续的。这类信源称为随机波形信源（或模拟信源）。例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续的信号。常见的随机波形信源输出的消息是时间上或频率上有限的随机过程。根据抽样定理，可以将随机过程用一系列在时间（或频率）域上离散的抽样值来表示，而每个抽样值都是连续型随机变量。2.2离散信源的信息熵考察一种基本的离散信源：输出为单个符号的消息，且这些消息间两两互不相容。基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为:问题：如何量度这样的信源输出的每个消息所携带的信息量。2.2离散信源的信息熵信息的度量：信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性相当于获得的信息量；不确定性就是随机性，可以用概率论和随机过程来测度，发生概率小则不确定性大。一些结论：发生概率小则信息量大，信息量是概率的单调递减函数；信息量应该具有可加性；关于事件ai

发生的信息量的计算公式为（香农自信息量的度量）：2.2离散信源的信息熵1.自信息设离散信源X的概率空间为： 称事件ai发生所含有的信息量为ai

的自信息量。定义为：2.2离散信源的信息熵I(ai)代表两种含义：(1)当事件ai

发生以前，表示事件ai

发生的不确定性；(2)当事件ai

发生以后，表示事件ai

所提供的信息量。2.2离散信源的信息熵收信者获得的信息量：

收信者收到某消息所获得的信息量（即收到某消息后获得的关于某基本事件发生的信息量）

=该事件不确定性减少的量

=收到此消息前关于该事件发生的不确定性

收到此消息后关于该事件发生的不确定性2.2离散信源的信息熵传输信道无噪声时，收到消息后关于该事件发生的不确定性完全消除（收信者对“所收即所发”确信无疑）。此时， 收信者获得的信息量

=收到此消息前关于该事件发生的不确定性

收到此消息后关于该事件发生的不确定性

=收到此消息前关于该事件发生的不确定性

0 =收到此消息前关于该事件发生的不确定性2.2离散信源的信息熵例：8个串联的灯泡x1，x2，…，x8，其损坏（断路）的可能性是等概率的，现假设其中有且只有一个灯泡已断路。如图所示进行三次测量。2.2离散信源的信息熵 已知8个灯泡等概率损坏，所以第1次测量前，先验概率P1(x)=1/8

，此时存在的不确定性为I[P1(x)] 第1次测量后，需要判定的只剩下4个灯泡，由于等概率损坏，后验概率P2(x)=1/4，此时存在的不确定性为I[P2(x)] 因此第1次测量获得的信息量（或不确定性减少的量）为：2.2离散信源的信息熵 同理，第2次测量前，先验概率

P2(x)=1/4

，此时存在的不确定性为I[P2(x)]=2bit。第2次测量后，需要判定的只剩下2个灯泡，由于等概率损坏，后验概率P3(x)=1/2，此时存在的不确定性为I[P3(x)] 因此第2次测量获得的信息量为： 第3次测量后已经确认了损害的灯泡，不确定性=0，故第3次测量获得的信息量为： 整个测量过程获得的总信息量为3bit。2.2离散信源的信息熵自信息的推导：某事件发生所含有的信息量应该是该事件发生的先验概率的函数。即：I(ai)=f[p(ai)]根据客观事实和人们的习惯概念，函数f[p(ai)]应满足：它应是先验概率p(ai)的单调递减函数，即当

p(a1)>p

(a2)

时，有f

[

p(a1)]

<f

[

p(a2)

]

；当p

(ai)=1时，f

[

p

(ai)]=0

当p

(ai)=0时，f

[

p

(ai)]=

两个独立事件的联合信息量（或更一般的统计独立信源的信息量）应等于它们分别的信息量之和。 容易证明对数函数满足上述要求。2.2离散信源的信息熵红色函数底数是e,绿色函数底数是10，而紫色函数底数是1.7。所有底的对数函数都通过点(1,0)，底为b

的对数函数通过点(b,1)。曲线逼近y轴。对数函数曲线2.2离散信源的信息熵说明：计算自信息量时要注意有关事件发生概率的计算；自信息量的单位取决于对数的底：底为2，单位为“比特（bit,binaryunit）”底为e，单位为“奈特（nat,natureunit）”底为10，单位为“哈特（hat,Hartley）”根据换底公式得：

logaX=(logbX)/(logba)

故1nat=1.44bit,1hat=3.32bit；一般计算都采用以“2”为底的对数，为了书写简洁，常把底数“2”略去不写2.2离散信源的信息熵2.信息熵同一个信源发出不同的消息所含有的信息量也不同。所以自信息I(ai)是一个随机变量，不能用它来作为整个信源的信息测度。定义自信息的数学期望为平均自信息量Hr(X)，称为信息熵：当r=2时：2.2离散信源的信息熵由于这个表达式和统计物理学中热熵的表达式相似，且在概念上也有相似之处，因此借用“熵”这个词，把H(X)称为信息“熵”；信息熵的单位由自信息量的单位决定，即取决于对数的底。H(X)的单位：r

进制单位/每符号（r>1） 例如：bit/symbol（比特/每符号）2.2离散信源的信息熵例：有一布袋内放l00个球，其中80个球是红色的，20个球是白色的。游戏者蒙着眼睛随便摸出一个球，由裁判员告知是什么颜色。假设裁判员是诚实的。问题的概率空间为： 如果游戏者被告知摸出的是红球，那么他获得的信息量是：

I(a1)=

logp(a1)=

log0.8=0.32

（比特） 如果游戏者被告知摸出的是白球，他所获得的信息量应为：

I(a2)=

logp(a2)=

log0.2

=2.32

（比特） 平均摸取一次所能获得的信息量（信息熵）为：

H(X)=

p(a1)

I(a1)+p(a2)I(a2)

=0.72（比特/符号）a1摸出红球事件a２摸出白球事件2.2离散信源的信息熵3.信息熵的含义熵是从整个集合的统计特性来考虑的，它从平均意义上来描述信源的总体特征。信源输出前，信息熵H(X)表示信源的平均不确定性；信源输出后，信息熵H(X)表示每个消息提供的平均信息量。信息熵H(X)表征了变量X的随机性。例：有两信源X、Y，其概率空间分别为 计算其熵，得：H(X)=0.08(bit/符号)，H(Y)=1(bit/符号)

因此信源Y比信源X的平均不确定性要大。2.2离散信源的信息熵例：设甲地的天气预报为：晴(占4/8)、阴(占2/8)、大雨(占1/8)、小雨(占1/8)。又设乙地的天气预报为：晴(占7/8)，小雨(占1/8)。试求两地天气预报各自提供的平均信息量。若甲地天气预报为两极端情况，一种是晴出现概率为1而其余为0，另一种是晴、阴、小雨、大雨出现的概率都相等为1/4。试求这两极端情况所提供的平均信息量。又试求乙地出现这两极端情况所提供的平均信息量。2.2离散信源的信息熵(1)解：甲、乙两地的信源空间如上，它们提供的平均信息量即信源的信息熵分别为：(1)结论：甲地天气预报提供的平均信息量大于乙地，因此甲地天气消息的不确定性比乙地要大。2.2离散信源的信息熵(2)解：甲地极端情况A、极端情况B的信源空间如上，它们提供的平均信息量即信源的信息熵分别为：(2)结论：等概率分布时信源的不确定性最大，所以信息熵（平均信息量）最大。2.2离散信源的信息熵(3)解：乙地极端情况A、极端情况B的信源空间如上，它们提供的平均信息量即信源的信息熵分别为：(3)结论：在各自的极端情况B下，甲地比乙地提供更多的天气预报信息量。2.3信息熵的基本性质信息熵是信源概率空间的一种特殊矩函数。这个矩函数的大小，与信源的符号数及其概率分布有关。我们用概率矢量P来表示概率分布

P(x)：这样，信息熵H(X)是概率矢量P或它的分量p1,p2,…,pq的(q-1)元函数（因各分量满足上述条件限制，独立变量只有q-1元）。一般H(X)可写成：2.3信息熵的基本性质熵函数：H(P)是概率矢量P的函数，称为熵函数。我们用下述表示方法：用H(X)表示以离散随机变量X描述的信源的信息熵；用H(P)或H(p1,p2

,…,

pq

)表示概率矢量为

P=(p1,p2

,…,

pq

)的q个符号信源的信息熵。当q=2时，因为p1+p2

=1，两个符号的熵函数H(P)是一元函数，可以写成H(p1)或H(p2)。熵函数H(P)是一种特殊函数，具有以下基本性质。2.3信息熵的基本性质1.对称性：H(P)的取值与分量p1,

p2,

···

,

pq的顺序无关。从数学角度：H(P)=(pi·logpi)

中的和式满足交换率；从随机变量的角度：熵只与随机变量的总体统计特性有关。2.确定性：H(1,0)=H(1,0,0)=H(1,0,0,…,0)=0从总体来看，信源虽然有不同的输出符号，但它只有一个符号几乎必然出现，而其它符号则是几乎不可能出现，那么，这个信源是一个确知信源，其熵等于零。

2.3信息熵的基本性质3.非负性：H(P)0随机变量X的概率分布满足0<pi<1，当取对数的底大于1时，log(pi)<0，-pilog(pi

)>0，即得到的熵为正值。只有当随机变量是一确知量时熵才等于零。这种非负性合适于离散信源的熵，对连续信源来说需要另外讨论。以后可看到在相对熵的概念下，可能出现负值。2.3信息熵的基本性质4.扩展性：信源的取值数增多时，若这些取值对应的概率很小(接近于零)，则信源的熵不变。因为：2.3信息熵的基本性质5.可加性：统计独立的两个信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。即：H(XY)=H(X)+H(Y)

或者：可加性是熵函数的一个重要特性，正因具有可加性，才使熵函数的形式是唯一的。 其中：2.3信息熵的基本性质证明：2.3信息熵的基本性质6.强可加性：两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。即：

H(XY)=H(X)+H(Y|X)H(Y|X)表示在信源

X输出一符号的条件下，信源Y再输出一符号所能提供的平均信息量，称为条件熵。定义为：2.3信息熵的基本性质证明：2.3信息熵的基本性质7.递增性：若原信源

X

中有一个符号分割成了m个元素(符号)，这m个元素的概率之和等于原元素的概率，而其他符号的概率不变，则新信源的熵增加。熵的增加量等于由分割而产生的不确定性的量。它表示n个元素的信源熵可以递推成(n-1)个二元信源的熵函数的加权和。这样，可使多元信源的熵函数的计算简化成计算若干个二元信源的熵函数。因此，熵函数的递增性又可称为递推性。2.3信息熵的基本性质例：运用熵函数的递增性，计算熵函数H(1/3,1/3,1/6,1/6)的值。

解：2.3信息熵的基本性质8.极值性：在离散信源情况下，信源各符号等概率分布时，熵值达到最大。即：极值性表明，等概率分布信源的平均不确定性为最大。这是一个很重要的结论，称为最大离散熵定理。证明：对数函数是∩型凸函数，满足詹森不等式

E[log

Y]

logE[Y]，即有： 显然在等概率分布时，pi=1/q，上述H值将达到最大logq。2.3信息熵的基本性质9.上凸性：熵函数H(P)是概率矢量P=(p1,p2,…,pq)的严格∩型凸函数(或称上凸函数)。它表示：对任意概率矢量P1=(p1,p2,…,pq)和P2=(p’1,p’2,…,p’q)，和任意的0<

<1，有：

H[

P1+(1

)P2]>

H(P1)+(1

)H(P2)因为熵函数具有上凸性，所以熵函数存在最大值。2.4离散无记忆的扩展信源的信息熵离散信源的分类：单符号离散信源离散序列信源离散无记忆信源一般无记忆信源平稳无记忆信源离散有记忆信源平稳序列信源马尔可夫信源2.4离散无记忆的扩展信源的信息熵当离散平稳无记忆信源发出固定长度的消息序列时，则得到原信源的扩展信源。例如在电报系统中，若信源输出的是2个二元数字组成的符号序列，此时可认为它等效于一个新的信源，新信源由4个基本符号（00，01，10，11）组成，我们把该信源称为二元无记忆信源的二次扩展信源。同理，若信源输出的是3个二元数字组成的符号序列，它的等效信源由23=8个基本符号组成，称为二元无记忆信源的三次扩展信源。如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记忆信源的N次扩展信源。2.4离散无记忆的扩展信源的信息熵一般情况下，一个样本空间为{a1,a2,…,aq}的离散无记忆信源X，对它的输出消息序列，可用一组长度为N的序列来表示它。这时，它等效成一个新信源。新信源输出的符号是N

长度的消息序列，用N

维离散随机矢量X=(X1,X2,……,XN)描述，其中每个分量Xi(i＝1,2,…,N)都是随机变量，它们都取值于同一信源符号集，并且分量之间统计独立，则由随机矢量X组成的新信源称为离散无记忆信源X的N

次扩展信源。一般标记为XN。2.4离散无记忆的扩展信源的信息熵N

次扩展信源与单符号离散信源比较：数学模型相同但输出不是单个符号，而是一串N

个相互独立的符号序列：

X＝(X1,X2,…,XN)，联合分布密度P(X)=P(X1X2…XN)信源X的N

次扩展信源XN是具有qN个符号的离散信源，其概率空间为设单符号离散信源X的概率空间为2.4离散无记忆的扩展信源的信息熵因为是无记忆的（彼此统计独立），则：由上述讨论可见，离散无记忆信源X的N次扩展信源XN

的概率空间[XN,P(

i)]也是完备的。2.4离散无记忆的扩展信源的信息熵离散无记忆信源X的N次扩展信源X=XN

的熵：证明： 其中 故2.4离散无记忆的扩展信源的信息熵例：求如下离散无记忆信源X的二次扩展信源及其熵。解：二次扩展信源的概率空间为X2的信源符号

1

2

3

4

5

6

7

8

9对应的符号序列a1a1a1

a2a1a3a2a1a2a2a2a3a3a1a3a2a3a3概率P(

i)1/41/81/81/81/161/161/81/161/162.5离散平稳信源1.离散平稳信源的数学定义在一般情况下，离散信源的输出是时间或空间的离散符号序列，而且在序列中符号之间有依赖关系。用随机矢量X

描述信源发出的消息：X=(…,X1,X2,….,Xi,…)。随机变量Xi表示信源在t=i

时刻所发出的符号。该符号取决于两方面：信源在t=i

时刻随机变量Xi

取值的概率分布P(xi)。一般地P(xi)

P(xj)；与t=i时刻以前信源发出的符号有关，即与条件概率

P(xi

/xi-1xi-2…)有关。一般地P(xi

/xi-1xi-2…)

P(xj

/xj-1xj-2…)对平稳随机序列，序列的统计性质与时间的推移无关，即信源发出符号序列的概率分布与时间起点无关。2.5离散平稳信源若当t=i,t=j时(i,j

是大于1的任意整数)P(xi)=P(xj)=P(x)，则序列是一维平稳的。等号表示在两个不同时刻，信源发出符号的概率分布完全相同： 具有上述性质的信源称为一维离散平稳信源。一维离散平稳信源无论在什么时刻P(x)均按照相同的概率分布发出符号。2.5离散平稳信源除上述条件外，如果联合概率分布P(xi

xi+1)也与时间起点无关，即P(xi

xi+1)=P(xj

xj+1)(i,j为任意整数且i

j)，则信源称为二维平稳信源。它表示任何时刻信源连续发出两个符号的联合概率分布也完全相等。如果各维联合概率分布均与时间起点无关，即对i

j，有 则信源是完全平稳的。这种各维联合概率分布均与时间起点无关的完全平稳信源称为离散平稳信源。2.5离散平稳信源由于联合概率与条件概率有以下关系： 结合平稳性得：2.5离散平稳信源结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。即平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。对平稳信源，如果某时刻发出什么符号只与前面发出的N

个符号有关，那么任何时刻它们的依赖关系都是一样的。即：2.5离散平稳信源2.离散二维平稳信源及其信息熵最简单的离散平稳信源就是离散二维平稳信源。由上述定义，它输出的随机序列…,X1,X2,…,Xi,…其一维和二维概率分布与时间起点无关，而且只有两相邻符号之间存在着依赖关系。因此，只需要给出随机序列的其一维和二维概率分布，就能很好地从数学上描述离散二维平稳信源。设有一个离散二维平稳信源，其概率空间为： 同时已知：连续两个信源符号出现的联合概率分布为P(ai

aj)(i,j=1,…,q)，且：2.5离散平稳信源根据概率关系可求得已知符号

ai

出现后，紧跟着符号aj

出现的条件概率：2.5离散平稳信源(1)联合熵

由于只有两个符号有关联，且其关联与时间无关，则我们可把这个信源输出的随机序列分成每二个符号一组(因为相邻的两个符号才有关联)，每组构成新信源X=X1X2的一个符号，并假设组与组之间统计无关（实际上，组尾的符号与下一组组头的符号是有关的）。这样获得了一个等效的新的离散无记忆信源X1X2，它们的联合概率空间为：2.5离散平稳信源根据信息熵的定义，得： 称H(X1X2)为X1X2

的联合熵。H(X1X2)表示原来信源X输出任意一对消息的共熵，即描述信源X输出长度为2的序列的平均不确定性（或所含有的信息量）。因此可考虑用H(X1X2)/2作为二维平稳信源X的信息熵的近似值。2.5离散平稳信源(2)条件熵由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在已知前面一个符号Xl=ai

时，信源输出下一个符号的平均不确定性：而前面一个符号Xl又可取ai{a1,a2,…,aq}中的任一个，对某一个ai

存在一个平均不确定性H(X2|Xl=ai)，那么对所有ai

的可能值进行统计平均就得当前面一个符号巳知时，再输出下一个符号的总的平均不确定性

H(X2|Xl)。2.5离散平稳信源因此当前面一个符号巳知时，再输出下一个符号的总的平均不确定性H(X2|Xl)可写为： 称此值为条件熵。2.5离散平稳信源(3)联合熵与条件熵的关系式 即：H(X1X2)=H(X1)+H(X2|X1)（实际上就是强可加性）2.5离散平稳信源讨论： 利用詹森不等式可以证明条件熵与无条件熵的关系（证略）

H(X2|X1)

H(X2)

因此 H(X1X2)=H(X1)+H(X2|X1)

H(X1)+H(X2) =2H(X)式中只有当前后两个符号统计独立时等式成立。此时新信源X1X2就是无记忆的二次扩展信源，所以新信源的熵等于原信源的熵的2倍。一般情况下，输出符号之间是有依赖的，输出两个符号的联合熵总是小于二倍信源的熵。2.5离散平稳信源例：某一离散二维平稳信源 其发出的符号只与前一个符号有关，用联合概率P(ai

aj)给出它们的关联程度，如下表所示：ajai01201/41/18011/181/31/18201/187/36联合概率

P(ai

aj)2.5离散平稳信源 将标中各列相加，得ajai01209/111/8012/113/42/9201/87/9 计算条件概率得下表：条件概率P(ai|aj)2.5离散平稳信源

(1)当认为信源符号之间无依赖性时，信源X

的信息熵为：

(2) 考虑信源符号之间的依赖性时，信源X

的条件熵为：

(3) 联合熵为：2.5离散平稳信源 验证1： 验证2： 条件熵比信源无依赖时的熵减少了0.672。联合熵H(X1X2)表示了平均每两个信源符号所携带的信息量。在组与组之间统计独立的假设下，用H(X1X2)/2作为二维平稳信源X的信息熵的近似值时，平均每一个信源符号携带的信息量近似为：或者考虑采用条件熵H(X2/X1)=0.870作为二维平稳信源X的信息熵的近似值，因为条件熵正好描述了前后两个符号有依赖关系时的不确定性的大小。2.6离散平稳信源的极限熵对于一般平稳有记忆信源，设其概率空间为： 发出的符号序列为(X1,X2,…,XN,…)，假设信源符号之间的依赖长度为N，且各维概率分布为：记为2.6离散平稳信源的极限熵满足： 已知联合概率分布可求得离散平稳信源的一系列联合熵：2.6离散平稳信源的极限熵定义N长的信源符号序列中平均每个信源符号所携带的信息量，或平均符号熵，为： 另一方面，信源符号之间的依赖关系长度为N，已知前面N-1个符号，后面出现一个符号的平均不确定性，或平均信息量，可从一系列条件熵得出：2.6离散平稳信源的极限熵对离散平稳信源X，当H1(X)<

时，有以下性质（证略）：(1)条件熵H(XN/X1X2…XN-1)随N的增加是递减的；(2)HN(X)

H(XN/X1X2…XN-1)；(3)HN(X)也是随N增加而递减的；(4)H

存在，并且：性质(1)表明，信源输出序列中符号的依赖关系越长，则在前面发生若干符号后，其后发生的符号的平均不确定性就越弱。即条件较多的熵必不大于条件较少的熵。性质(4)表明，当依赖关系趋于无穷时，平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵（极限熵）。2.6离散平稳信源的极限熵平均符号熵和条件熵都可以用来描述平稳信源。对于一般的离散平稳信源，求H

相当困难。但当N不很大时能得出非常接近

H

的

HN(X)或者

H(XN/X1X2…XN-1)。因此，可用平均符号熵或条件熵来近似描述平稳信源。当平稳信源的记忆长度有限(设为m)时，得离散平稳信源的极限熵： 等于有限记忆长度为m的条件熵。即可以用有限记忆长度的条件熵对有限记忆长度的离散平稳信源进行信息测度。2.6离散平稳信源的极限熵通信系统中熵的意义H(X)：表示信源中每个符号的平均信息量（信源熵）。H(Y)：表示信宿中每个符号的平均信息量（信宿熵）。H(X/Y)：表示在输出端接收到Y的全部符号后，发送端X尚存的平均不确定性。这个对X尚存的不确定性是由于干扰引起的。信道疑义度(损失熵，含糊度)H(Y/X)：表示在已知X的全部符号后，对于输出Y尚存的平均不确定性。信道散布度(噪声熵)H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。2.6离散平稳信源的极限熵例：有两个同时输出的信源X和Y，其中X的信源符号为{A,B,C}，Y的信源符号为{D,E,F,G}，已知P(X)和P(Y/X)如下表所述，求联合信源的联合熵和条件熵。XABCP(x)1/21/31/6P(y/x)XABCYD1/43/101/6E1/41/51/2F1/41/51/6G1/43/101/62.6离散平稳信源的极限熵解：信源X的熵为： 信源XY输出每一对消息的联合概率P(XY)=P(Y/X)P(X)，结果如下表：P(xy)XABCYD1/81/101/36E1/81/151/12F1/81/151/36G1/81/101/362.6离散平稳信源的极限熵 联合信源的联合熵： 信源Y的条件熵：(信道散布度/噪声熵) 或：

H(Y/X)=H(XY)

H(X)=3.417

1.461=1.956(bit/每对符号)2.6离散平稳信源的极限熵 信源Y的熵：由全概率公式有 因此：2.6离散平稳信源的极限熵 当信源X和Y统计独立时，联合熵获得最大值： 由于信源相关而减少的联合熵的量为：2.7信源的冗余度1.信源的冗余度对具有q个符号的离散信源，信源符号等概率分布时熵最大，此时将其平均自信息量记为：H0=logq由于信源符号间的依赖关系使信源的熵减小，使下式成立：可见，信源符号之间依赖关系越强，或相关程度越高，则每个符号所提供的平均信息量就越小。因此需要引入信源的冗余度

(或称为多余度/剩余度)来衡量信源的相关程度。2.7信源的冗余度熵的相对率：一个信源实际的信息熵与具