第2章 信源与信息熵(5).ppt

1、,上节内容回顾,主要内容：,一、熵的性质,二、数据处理中信息的变化,三、离散序列信源熵,四、离散平稳信源,上节内容回顾,一、熵的性质,1 非负性：,2 对称性：,3 确定性：,4 最大熵定理：,离散无记忆信源输出M个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。,5 信源熵、条件熵和联合熵之间的关系,（1）条件熵小于信源熵,（2）两个条件下的条件熵小于一个条件下的条件熵,（3）联合熵小于信源熵之和,一、熵的性质,上节内容回顾,6 信源熵、条件熵、联合熵和互信息量之间的关系,一、熵的性质,上节内容回顾,二、数据处理中信息的变化,信息不增性: 数据处理过程中只会丢失一些信息，绝对不会创

2、造出新的信息，一旦丢失信息，则用任何处理手段也不可能恢复出丢失的信息。 当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。,上节内容回顾,设信源输出的随机序列为：,序列中的单符号变量,其中的一个序列为：,序列个数：,上节内容回顾,三、离散序列信源熵,与单符号信源熵相似！,不同的是：,三、离散序列信源熵,上节内容回顾,1、无记忆信源序列熵,三、离散序列信源熵,上节内容回顾,任一序列概率：,满足平稳特性,序列熵：,平均符号熵：,2、有记忆信源序列熵,三、离散序列信源熵,上节内容回顾,若信源输出一个L长序列,则信源的序列熵为, 条件熵H (XL|XL-1)

3、随L的增加是非递增的。,四、离散平稳信源,即：条件越多，条件熵越小；序列越长，条件熵越小,上节内容回顾, L给定时,平均符号熵条件熵： H L(X)H (XL|XL-1),即：序列中平均符号熵大于最后一个符号的条件熵, HL(X)是L的单调非增函数 HL(X)HL-1(X),即：序列越长，平均每个符号的熵越小。,2 .4 连续信源熵和互信息,离散信源的统计特性：用概率分布描述 连续信源的统计特性：用概率密度函数描述,用离散变量逼近连续变量。,2 .4 连续信源熵和互信息,单变量x，设,一、幅度连续的单个符号信源,是连续变量x的概率密度函数,由中值定理得：,令：,根据离散信源熵的定义：,2 .4

4、 连续信源熵和互信息,一、幅度连续的单个符号信源,2 .4 连续信源熵和互信息,对比离散信源熵：,连续信源熵定义为：,一、幅度连续的单个符号信源,2 .4 连续信源熵和互信息,说明： （1）形式相似。 （2）意义不同：连续信源的不确定度为无穷大 离散信源的不确定度为定值。 可以理解为:连续信源是一个不可数的无穷多个幅度值信源，需要用无限多个二进制来表示，因而熵为无穷大。,一、幅度连续的单个符号信源,2 .4 连续信源熵和互信息,实际问题中，常遇到的问题是熵之间的差值，如互信息量。,为什么会有连续信源熵的定义式？,连续信源熵只有相对意义，而不是绝对值。,一、幅度连续的单个符号信源,2 .4 连续

5、信源熵和互信息,二、最大熵定理,（1）离散信源最大熵定理,离散无记忆信源输出M个不同消息符号，当且仅当各符号出现的概率相等时，信源熵最大。,（2）连续信源最大熵定理,限峰值功率最大熵定理,限平均功率最大熵定理,2 .4 连续信源熵和互信息,二、最大熵定理,限峰值功率最大熵定理 信源输出的幅度X受限时（定义域有限的随机变量X），当X满足均匀分布时，具有最大熵。,若变量X的幅度取值限制在a,b，概率密度函数为pX(x)，当满足均匀分布时，则：,2 .4 连续信源熵和互信息,二、最大熵定理,限平均功率最大熵定理 信源输出的平均功率受限时，当随机变量X 满足正态分布时，具有最大熵。,概率密度函数为pX

6、(x)为：,其中：m是数学期望,是方差。,2 .5 冗余度,一、冗余度的定义,冗余度又称多余度，表示给定信源在实际发出消息时所包含的多余信息。,若一个消息所包含的符号比表达该消息所需要的符号多，则该消息存在多余度。,什么时候存在多余度？,如：抛硬币,正面,反面,0,1,11,00,2 .5 冗余度,例,英文中最常用的27个符号：26个字母+1个空格,（1）通常，信息处理时认为各符号之间无记忆，此时：,假定各符号等概出现，则熵值为：,统计表明各符号出现的概率如P37表2-7，此时熵值：,可见：各符号出现概率等概处理时，熵值较大。,2 .5 冗余度,例,英文中最常用的27个符号：26个字母+1个空

7、格,（2）实际英文字母存在较强的相关性，不能简单地当做 无记忆信源处理。,如常见的字母组合： th on er ed ea as the ing and her for was,考虑二阶相关时，熵值为：,考虑三阶相关时，熵值为：,可见：各符号相关性做无记忆处理时，信源熵较大。,2 .5 冗余度,结论一：,冗余度来自哪里？,结论二：,各符号出现概率等概处理时，熵值较大。,各符号相关性做无记忆处理时，信源熵较大。,而实际信源各符号并非等概出现，因此实际熵小于最大熵。,而实际信源各符号存在记忆性，因此实际熵小于无记忆熵。,2 .5 冗余度,来源一：,冗余度来自哪里？,来源二：,实际信源各符号概率分布不均匀性。,实际信源各符号记忆性。,2 .5 冗余度,对于一般平稳信源：,若考虑到信源的所有符号分布概率和各个符号之间的相关性，其熵值应该为最小值H(X)，即理论上要传输这一消息只需要H(X)的信息量即可。 但实际上对信源各符号出现的概率分布和相关性并不能完全掌握，若将信源做m阶处理，只能计算出Hm(X)。,H(X),Hm(X),若用Hm(X)bit去传送仅有H(X)bit的消息，