PPT信息论与编码-第2章 离散信源

第二章离散信源及其信息测度引言从有效而可靠地传输信息的观点出发，对组成信息传输系统的各个部分分别进行讨论。本章首先讨论信源，重点是信源的统计特性和数学模型，以及各类离散信源的信息测度—熵及其性质，从而引入信息理论的一些基本概念和重要结论。——香农信息论的基础。2/4/202313（-10:55），4（-11:50）信源的主要问题：1．如何描述信源（信源的数学建模问题）2．怎样计算信源所含的信息量

3．怎样有效的表示信源输出的消息，也就是信源编码问题2/4/202323（-10:55），4（-11:50）第二章离散信源及其信息测度2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/202333（-10:55），4（-11:50）2.1信源的数学模型及分类研究对象:通过消息(信息载荷者)研究信源;研究范围:不研究信源的内部结构、产生消息原因和方法;研究信源输出可能消息的数目和不确定性;描述方法:用一个样本空间X及其概率测度P——概率空间[X,P]描述信源;2/4/202343（-10:55），4（-11:50）2.1信源的数学模型及分类分类方法:根据消息的不同随机性质进行分类;随机变量随机矢量信源可能输出的消息数:离散信源连续信源.2/4/202353（-10:55），4（-11:50）2.1

信源的分类及其数学模型信源的分类由多种方法，我们常根据信源输出的消息在时间和取值上是离散或连续进行分类：

时间（空间)取值信源种类举例数学描述离散离散离散信源（数字信源）文字、数据、离散化图象

离散随机变量序列

离散连续连续信号跳远比赛的结果、语音信号抽样以后

连续随机变量序列

连续连续波形信源（模拟信源）

语音、音乐、热噪声、图形、图象

随机过程

连续离散不常见表3.1信源的分类2/4/202363（-10:55），4（-11:50）我们还可以根据各维随机变量的概率分布是否随时间的推移而变化将信源分为平稳信源和非平稳信源，根据随机变量间是否统计独立将信源分为有记忆信源和无记忆信源。一个实际信源的统计特性往往是相当复杂的，要想找到精确的数学模型很困难。实际应用时常常用一些可以处理的数学模型来近似。随机序列，特别是离散平稳随机序列是我们研究的主要内容。随机序列2/4/202373（-10:55），4（-11:50）2.1.1离散信源离散信源信源输出是离散的消息符号形式,如书信的文字、计算机的代码;可能输出的消息数是有限的或可数无穷的;每次输出只是其中一个消息符号。数学模型：离散型的概率空间,即骰子2/4/202383（-10:55），4（-11:50）2.1.2连续信源连续信源可能出现的消息数是不可数的无限值;输出消息的取值是连续的,如语音信号、电压、温度等,或取值是实数集R(-∞,∞);数学模型:

连续型的概率空间,如下:2/4/202393（-10:55），4（-11:50）2.1.2连续信源在实际问题中，连续的模拟信源往往可以采用两种方法进行分析。一类是将连续信源离散化为随机序列信源，再采用前面的随机序列信源进行分析；另一类则是直接分析连续模拟信源，但是由于数学上的困难，只能分析单个连续消息变量的信源。2/4/2023103（-10:55），4（-11:50）2.1.3离散矢量信源（一）1离散矢量信源信源输出的消息由一系列符号所组成的.数学模型:N重离散概率空间,如下:

共有元素qN个.其中N维随机矢量(随机序列)

中每个随机变量Xi都是离散的,其取值2/4/2023113（-10:55），4（-11:50）2.1.3离散矢量信源（二）2离散无记忆信源信源先后发出的符号彼此统计独立,且具有相同的概率分布。数学模型：N维随机矢量的联合概率分布满足3有记忆信源信源先后发出的符号是互相依赖的,如中文序列;需要引入条件概率分布说明它们之间的关联性;实际上信源发出符号只与前若干个符号(记忆长度)有较强的依赖关系.2/4/2023123（-10:55），4（-11:50）2.1.3离散矢量信源（三）4m阶马尔可夫信源记忆长度为m+1的有记忆信源;可用马尔可夫链描述信源符号之间依赖关系,即5随机波形信源信源输出是时间连续函数,且取值是连续和随机的.如语音信号X(t)、电视图像X(x0,y0,t)等.对于这种信源输出的消息,可用随机过程来描述;6混合信源信源输出既含有连续分量,又含有离散分量;2/4/2023133（-10:55），4（-11:50）第二章离散信源2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/2023143（-10:55），4（-11:50）2.2离散信源的信息熵2.2.1自信息获得信息量的大小,是与不确定性消除的多少有关.举例,如图2.1图2.28个灯泡串联示意图第一次测量获得的信息量第二次测量获得的信息量第三次测量获得的信息量2/4/2023153（-10:55），4（-11:50）2.2离散信源的信息熵2.2.1自信息1信息量大小，是与不确定性消除的多少有关;2信息量的直观定义：含噪无噪

2/4/2023163（-10:55），4（-11:50）2.2.1自信息3数学表达式事件发生所含的信息量是事件发生先验概率的函数;根据客观事实和人们的习惯概念，该函数应满足:与输出符号发生的概率有关;先验概率的单调递减函数极限关系:两个独立事件的联合信息量应等于它们分别信息量之和。由上述条件可证明该函数具有对数形式,即2/4/2023173（-10:55），4（-11:50）举例说明信息量与先验概率具有对数关系…阻值不同…功率不同2/4/2023183（-10:55），4（-11:50）2/4/2023193（-10:55），4（-11:50）2.2.1自信息4自信息的两个含义当事件ai发生以前,表示事件ai发生的不确定性;当事件ai发生以后,表示事件ai所含有(或所提供)的信息量.在无噪信道中,事件ai发生后,能正确无误地传输到收信者,所以可代表接收到消息ai后所获得的信息量.这是因为消除了I(ai)大小的不确定性,才获得这么大的信息量。

2/4/2023203（-10:55），4（-11:50）2.2.1自信息5单位自信息采用的单位取决于对数所选取的底r。对数的底应选为大于1的任意数先验概率p(ai)是小于1的正数根据实际情况自信息I(ai)也必然是正数即,I(ai)=logr[p(ai)]-1>logr1以r为底,I(ai)=logr[p(ai)]-1r进制单位以2为底,I(ai)=lb[p(ai)]-1比特以e为底, I(ai)=ln[p(ai)]-1奈特以10为底,I(ai)=lg[p(ai)]-1哈特比特信息论：两个互不相容等可能事件发生时所提供的信息量。计算机术语：二元数字(binarydigits)。2/4/2023213（-10:55），4（-11:50）2.2.2信息熵1自信息的不足自信息是随机变量，不能作为整个信源的信息测度;自信息是指信源发出某一消息所含有的信息量;消息不同，它们所含有的信息量也不同。2平均自信息量(信息熵H(X)):自信息的数学期望,即信息熵H(X)是从整个信源的统计特性来考虑的。对于特定信源(概率空间给定),其信息熵是一个确定数值;不同的信源因统计特性不同,其熵也不同。2/4/2023223（-10:55），4（-11:50）2.2.2信息熵3举例(说明信息熵的含义)一布袋,其中75球是红色的,25球是白色的;概率空间摸出红球的信息量摸出白球的信息量摸取n次的信息量平均摸取一次的信息量所以,信息熵是从平均意义上表征信源总体特性的量.2/4/2023233（-10:55），4（-11:50）2.2.2信息熵4三种物理含义信源输出后,每个消息(或符号)所提供的平均信息量;表示信源输出前,信源的平均不确定性;两个信源信息熵信源Y比信源X的平均不确定性大表征变量X的随机性.如前例,变量Y取b1和b2是等概率的,所以其随机性大；变量X取a1的概率比取a2的大很多,随机性就小；

2/4/2023243（-10:55），4（-11:50）[例2.3]现分析例2.1中8个灯泡构成信源X的熵.其中,ai(i=1,2,…,8)表示第i个灯泡已损坏的事件.H(X)正好表示在获知哪个灯泡已损坏的情况前,关于哪个灯泡已损坏的平均不确定性。在例2.1中可以看到，这种测量方法每次只能获得1个比特信息量，因此，至少需要测量三次才能完全消除不确定性。2/4/2023253（-10:55），4（-11:50）第二章离散信源2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/2023263（-10:55），4（-11:50）2.3熵的基本性质熵的定义可知:熵是信源概率空间的一种特殊函数;其大小与信源的符号数及其概率分布有关。熵函数H(p):概率矢量p的q元函数,即其中,p=(p1,p2,...,pq)是q为矢量.熵函数具有以下一些性质:1)对称性 2)确定性 3)非负性

4)扩展性 5)可加性 6)极值性7)上凸性2/4/2023273（-10:55），4（-11:50）1)对称性对称性:变量p1,p2,...,pq顺序任意互换时,熵值不变,即H(p1,p2,...,pq)=H(p2,p3,...,pq,p1,)=...=H(pq,p1,...,pq-1)该性质说明熵只与随机变量的结构有关,即与信源的统计特性有关;如果信源统计特性(符号数和概率分布)相同,熵就相同;熵表征信源总的统计特征,总体的平均不确定性;说明熵有局限性,不能描述事件本身具体含意和主观价值等;2/4/2023283（-10:55），4（-11:50）2)确定性即H(1,0)=H(1,0,0)=...=H(1,0,...,0)=0因为在概率矢量p=(p1,p2,...,pq)中,这个性质意味着从总体来看,信源有不同的输出符号,但只有一个符号几乎必然出现,而其它符号都是几乎不可能出现.那么,这是一个确定信源,其熵为零。2/4/2023293（-10:55），4（-11:50）3)非负性即熵为正值当且仅当随机变量是一确定量时,等号成立(见性质2).2/4/2023303（-10:55），4（-11:50）4)扩展性即上式成立的条件是本性质说明信源符号数增多时,若这些符号对应的概率很小(接近于零),则信源的熵不变.虽然概率很小的事件出现后,给予收信者较多的信息。总体考虑,概率很小的事件几乎不会出现,所以在熵计算中占的比重很小.熵的总体平均性的一种体现.2/4/2023313（-10:55），4（-11:50）5可加性二维随机变量(X,Y)的熵等于X的无条件熵加上当X已知时Y的条件概率定义的熵的统计平均值,即物理意义已知X=xi,i=1,2,...,n,获得的平均信息量为Hn(X);在X=xi下,再知Y=yj,j=1,2,...,n,获得的平均信息量Hmi;两者相加应等于同时知道X和Y所获得的平均信息量Hmn。2/4/2023323（-10:55），4（-11:50）5可加性推论如果两个随机变量X和Y是统计独立的,则有可加性是熵函数的一种重要特性,正因为具有可加性,所以可以证明熵函数的形式是唯一的,不可能有其他形式存在。2/4/2023333（-10:55），4（-11:50）证明独立2/4/2023343（-10:55），4（-11:50）熵的可加性是指不同含义的信息熵的相加规则.例如某地把天气分成晴、多云、雨，如果再把雨天分成微雨到大雨时不同的信息熵是什么关系？1,设某地晴、多云和雨天的出现概率满足表2.3.1,可以求得天气的信息熵H1为

H1=-0.5log0.5-0.3log0.3-0.2log0.2=1.48542/4/2023353（-10:55），4（-11:50）2,把雨天再分成微雨到大雨四种,且知道它们出现的概率为表(2.3.2)的第二行.第三行表示肯定下雨时各种雨的出现概率(也称条件概率).利用第三行带入信息熵公式,可求得雨天不同雨量信息熵H2为

H2=-0.5log0.5-0.25log0.25-0.15log0.15-0.1log0.1=1.74272/4/2023363（-10:55），4（-11:50）3,如果把直接把雨天分成四种,那么天气就有六种情况,显然有表(2.3.3).六种天气的信息熵H3可以用同样的公式计算出

H3=-0.5log0.5-0.3log0.3-0.1log0.1-0.05log0.05-0.03log0.03-0.02log0.02=1.83402/4/2023373（-10:55），4（-11:50）问把天气分成六种情况时的信息熵与分成三种情况,以及雨天的信息熵之间有什么关系?可发现H3恰好是H1加上H2乘以雨天的出现概率0.2,即

1.8340=1.4854+0.2×1.7427写成公式是H3=H1+pH2,这是信息熵可加性一般公式。它表示一次抽样实验结局的不确定性如果是H1,当把出现概率为p的事件再细分成若干个事件时，新抽样实验结局的不确定性H3由可加性公式计算,其中H2是概率p对应的事件已经出现时的信息熵(也称为条件信息熵).利用信息熵公式,可以直接推出这个公式来。2/4/2023383（-10:55），4（-11:50）6)极值性集合X各事件等概率分布,熵取最大值,即证明:令随机变量

因为logx在实数集[0,1]是凸函数,根据詹森不等式E[logY]<=log(E[Y])有当且仅当这表明等概率分布信源平均不确定性为最大,也称最大离散熵定理。2/4/2023393（-10:55），4（-11:50）二元信源是离散信源的一个特例,其概率空间

其熵为H(X)=-wlogw-(1-w)log(1-w)可画出熵函数的曲线,如右图.从图可知:二元信源是确定输出(w=1或0),

则该信源不提供任何信息。二元符号等概发生,熵为最大值,等于1比特.等概输出的二元数字序列,

每个二元数字平均提供1比特的信息量.非等概率分布,二元数字的熵总小于1比特.说明了二元数字与信息量单位“比特”的关系2/4/2023403（-10:55），4（-11:50）7)上凸性引理1证明:

可见,f(x)是x的下凸函数,且当x=1时,f(x)=0是极大值,因而有2/4/2023413（-10:55），4（-11:50）7)上凸性引理2

任一集合X及分布pi,它对其他分布qi的自信息量-logqi取数学期望时,必不小于由概率pi本身定义的熵Hn(p1,p2,…,pn),即2/4/2023423（-10:55），4（-11:50）7)上凸性引理2证明：由引理1可得验证极值性.令,利用引理2,有2/4/2023433（-10:55），4（-11:50）7)上凸性H(p1,p2,…,pq)是概率分布(p1,p2,…,pq)的严格上凸函数.证明:设p=(p1,p2,…,pq)和p’=(p’1,p’2,…,p’q)是两个概率矢量，取0<a<1，则由引理2可以证明后面两项的数值均大于零，因此2/4/2023443（-10:55），4（-11:50）第二章离散信源2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/2023453（-10:55），4（-11:50）2.4.1加权熵香农熵的不足：其定义的客观性(熵的对称性)无法描述主观意义上对事件判断的差别,淹没了个别事件的重要性。解决方法:加权熵,引入事件的重量(权值),来度量事件的重要性或主观价值。随机变量引入事件的重量后的概率空间为其中,wi≥0,i=1,2,…,n是事件ai的重量,它决定于实验者的目的或所考虑系统的某些质的特性.离散无记忆信源X的加权熵定义为2/4/2023463（-10:55），4（-11:50）2.4.2加权熵的性质非负性,HW(X)≥0;退化性,若权重相等,即wi=w,则HW(X)=wH(X),退化为香农熵;确定性,当分量pi=1,而其余分量pj=0(j≠i),则HW(X)=0;若I,J为样本空间,对于i∈I,pi=0,wi≠0;而对于j∈J,pj≠0,wj=0,且I∪J=Ω,I∩J=Φ,则HW(X)=0;扩展性

线性叠加性,对于一非负实数λ,有

Hw(λw1,…,λwq,p1,…,pq)=λHw(w1,…,wq,p1,…,pq)结语:加权熵一定程度上反映了信息对收信者的主观价值,但对全面解决与人们主观价值和意义有关的信息问题是远远不够的。2/4/2023473（-10:55），4（-11:50）第二章离散信源2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/2023483（-10:55），4（-11:50）2.5离散无记忆的扩展信源一、扩展信源的意义实际信源输出是时间(或空间)上的一序列符号,每个符号出现是随机的,但前、后符号出现是有统计依赖关系的.考虑符号间关联性,在N足够大的信源序列中存在许多无用和无意义的序列,即这些序列出现概率等于零或任意小.因此,对长为N的信源序列进行编码时,那些无用和无意义的序列可以不编码.这相当于在N次扩展信源中去掉一些无用的信源序列,使扩展信源的符号总数小于qN,以使编码所需的码字个数大大减少;因此,平均每个信源符号所需的码符号个数就可以大大减少,从而使传输效率提高。2/4/2023493（-10:55），4（-11:50）二、离散无记忆的扩展信源离散无记忆信源的N次扩展信源用XN表示.它是具有qN个符号的离散信源,其N重概率空间为

其中,每个符号αi是对应某个由N个ai组成的序列,即∵信源是无记忆的(彼此统计独立),αi的概率p(αi)为

2/4/2023503（-10:55），4（-11:50）三、离散无记忆扩展信源XN的熵扩展信源XN的熵

可证:H(XN)=NH(X)直观理解:扩展信源XN的输出符号αi由N个ai组成的序列,且序列中前、后符号是统计独立,其中每个符号ai的平均自信息量为H(X).那么N个ai组成的无记忆序列平均自信息量即是NH(X)(根据熵的可加性).2/4/2023513（-10:55），4（-11:50）证明:2/4/2023523（-10:55），4（-11:50）四、举例说明离散无记忆信源X,求其二次扩展信源的熵?2/4/2023533（-10:55），4（-11:50）第二章离散信源2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/2023543（-10:55），4（-11:50）2.6离散平稳信源2.6.1离散矢量信源信源输出是时间或空间的离散符号序列,且符号间有依赖关系.可用随机矢量来描述信源输出,即X=(…,X1,X2,…,Xi,…),其中Xi是离散随机变量,它表示t=i时刻所发出的符号.信源在t=i时刻发出的符号决定于两个方面:(1)与t=i时刻随机变量Xi的取值xi的概率分布p(xi)有关.一般情况t不同时,概率分布也不同,即p(xi)≠p(xj)(2)与t=i时刻以前信源发出的符号有关,即与条件概率p(xi|xi-1xi-2,…)有关.同样在一般情况下,它也是时间t=i的函数,所以p(xi|xi-1xi-2…xi-N…)≠p(xj|xj-1xj-2…xj-N…)2/4/2023553（-10:55），4（-11:50）2.6.2平稳信源平稳随机序列序列的统计性质与时间的推移无关,即信源所发符号序列的概率分布与时间起点无关.一、一维平稳信源若当t=i,t=j时，p(xi)=p(xj)=p(x),则序列是一维平稳的.这里等号表示任意两个不同时刻信源发出符号的概率分布完全相同，即

具有这样性质的信源称为一维平稳信源。一维平稳信源无论在什么时刻均按p(x)的概率分布发出符号。2/4/2023563（-10:55），4（-11:50）二、二维平稳信源除上述条件外,联合分布p(xixi+1)也与时间起点无关,即p(xixi+1)=p(xjxj+1)(i,j为任意整数且i≠j)上式表示任何时刻信源相邻两个符号的联合分布相等.三、平稳信源各维联合分布均与时间起点无关,即当t=i,t=j(i,j为任意整数且不相等)时有

那么,信源是完全平稳的,信源发出的序列也是完全平稳的.完全平稳的信源简称为平稳信源。2/4/2023573（-10:55），4（-11:50）∵联合概率与条件概率有以下关系∴根据完全平稳定义式可得2/4/2023583（-10:55），4（-11:50）对于平稳信源,其条件概率均时间起点无关,只与关联长度有关.它表示平稳信源发出序列的前后依赖关系与时间起点无关.如果某时刻发出符号与前面N个符号有关,那么任何时刻它们的依赖关系都是一样的.即2/4/2023593（-10:55），4（-11:50）2.6.3离散二维平稳信源为了分析简单和直观,首先研究信源序列中相邻两个符号间有关联的情况。一离散二维平稳信源,已知信源X的概率分布p(ai)

及连续信源符号的联合概率p(aiaj),其中i,j=1,2,…,q.把信源输出序列分成每两符号一组(∵相邻两个符号才有关联),并设组之间统计无关(组尾符号与下一组的组头符号是关联的).这时,可等效成一个新的信源X1X2,其概率空间为2/4/2023603（-10:55），4（-11:50）一、联合熵(共熵)定义:联合符号集X1X2上的每个元素对aibj的自信息量的概率加权统计平均值。数学表达式:此值表示原来信源X输出任意一对消息的共熵,即描述信源X输出长度为2的序列的平均不确定性,或所含有的信息量.因此可用H(X1X2)/2作为二维平稳信源X的信息熵的近似值.还可从另一角度研究二维平稳信源X熵的近似值,即条件熵.2/4/2023613（-10:55），4（-11:50）二、条件熵在联合符号集X1X2上条件自信息量的统计平均值.即Note:条件熵是用联合概率p(aiaj),而非条件概率p(aj|ai)进行平均.因为:已知前一符号X1=ai时,后一符号X2的平均不确定性为:

再对前一信源符号X1的所有可能值求统计平均可得,当信源符号X1已知时,信源输出符号X2的总的平均不确定性为:2/4/2023623（-10:55），4（-11:50）三、相互关系1、联合熵、条件熵和信源熵三者之间的关系2/4/2023633（-10:55），4（-11:50）三、相互关系熵的强可加性:联合熵H(X1X2)等于序列符号X1的熵H(X1)加上符号X1已知,符号X2的条件熵H(X2|X1).熵的可加性:如序列符号X1和X2相互独立,则H(X1X2)=H(X1)+H(X2).其中,H(X2|X1)=H(X2).此性质可推广到多个随机变量(序列符号)构成的概率空间之间的关系.2/4/2023643（-10:55），4（-11:50）N个概率空间X1,X2,…,XN,其联合熵为如果N个随机变量相互独立，则有2/4/2023653（-10:55），4（-11:50）2、联合熵与信源熵的关系

当且仅当两个序列符号相互独立,上式取等号,取得熵的最大值.当集X1和集X2取直同一符号集合X,即H(Xi)=H(X).此性质同样可以推广到N个概率空间的情况：等号成立的充要条件是X1,X2,…,XN相互统计独立.

2/4/2023663（-10:55），4（-11:50）证明:2/4/2023673（-10:55），4（-11:50）3、条件熵与信源熵的关系等式成立的条件:当且仅当集X1和集X2统计独立。2/4/2023683（-10:55），4（-11:50）3、条件熵与信源熵的关系证明:

可证f(w)=-wlogw是[0,1]区域内∩型凸函数.

令wi=pij=p(aj|ai),且pi=p(X1=ai),pj=p(X2=aj).根据詹森不等式,有2/4/2023693（-10:55），4（-11:50）2.6.4离散N维平稳信源一般平稳有记忆信源X,符号间的依赖关系不仅存在于相邻符号之间,而且存在更多符号之间.令X发出的符号序列X为(…,X1,X2,…,XN,…),假设信源符号间的依赖长度为N,则联合概率为

联合熵2/4/2023703（-10:55），4（-11:50）2.6.4离散N维平稳信源为计算离散平稳信源的信息熵,给出另外两种定义：平均符号熵:N长的信源符号序列中平均每个信源符号所携带的信息量为条件熵:已知前面N-1个符号时,后面出现一个符号的平均不确定性为2/4/2023713（-10:55），4（-11:50）对于离散、平稳、有记忆信源,当H1(X)<∞时,则有以下性质:1、条件熵H(XN|X1X2…XN-1)随N的增加是非递增的;2、平均符号熵HN(X)随N增加而非递增的;3、平均符号熵大于条件熵,即HN(X)≥H(XN|X1X2…XN-1);4、存在，并且

称H∞为平稳信源的极限熵或极限信息量。2/4/2023723（-10:55），4（-11:50）第二章离散信源2.1信源的数学模型及分类2.2离散信源的信息熵2.3熵的基本性质2.4加权熵及其性质2.5离散无记忆的扩展信源2.6离散平稳信源2.7信源的相关性和剩余度2/4/2023733（-10:55），4（-11:50）2.7信源的相关性和剩余度1、实际离散信源的熵实际离散信源可能是非平稳的,然而非平稳信源其极限熵H∞不一定存在,但可假定它是平稳的,用平稳信源的H∞来近似.前已证:平均符号熵HN(X)随N增加而非递增的.即

logq=H0≥H1≥H2≥Hm+1≥H∞

其中,H0为信源符号等概率分布时的熵,即H0=logq.2/4/2023743（-10:55），4（-11:50）2.7信源的相关性和剩余度可见,信源符号间的依赖关系使信源的熵减小.前后依赖关系越长,则信源的熵越小.并且仅当信源符号间无依赖、等概率分布时,信源熵最大.即,每个符号提供的平均自信息随符号间的依赖关系长度的增加而减少.为此引入剩余度来衡量信源的相关性程度(有时也称多余度).2/4/2023753（-10:55），4（-11:50）剩余度静夜思(李白,29字)床前明月光,疑是地