信息论与编码3信源及信源熵的课件

1、1信息论与编码-信源及信源熵上一讲复习互信息量（续）连续信源熵信源序列熵2信息论与编码-信源及信源熵上一讲复习1. 信源的分类信源连续信源离散信源单符号无记忆离散信源符号序列无记忆离散信源单符号有记忆离散信源符号序列有记忆离散信源3信息论与编码-信源及信源熵 2.信源的数学模型 无记忆离散信源：概率空间 有记忆离散信源：联合概率空间4信息论与编码-信源及信源熵自信息量信源熵互信息量5信息论与编码-信源及信源熵一些关系式6信息论与编码-信源及信源熵2.2.3 互信息量（续） 平均互信息量的物理意义： I(X;Y)是H(X)和H(X|Y)之差.因为H(X)是符号集合X的熵或不确定度,而H(X|Y)

2、是当Y已知时X的不确定度,可见“Y已知”这件事使X的不确定度减少了I(X;Y) ,这意味着“Y已知”后所获得的关于X的信息量是I(X;Y) .这可以看成是信源符号集合X ,信宿符号集合Y,平均互信息量I(X;Y)表示在有扰离散信道上传输的平均信息量.信宿收到的平均信息量等于信宿对信源符号不确定度的平均减少量.7信息论与编码-信源及信源熵 换句话说,在有扰离散信道上,各个接受符号y所提供的有关信源发出的各个符号x的平均信息量I(X;Y),等于唯一地确定信源符号x所需要的平均信息量H(X),减去收到符号y后,要确定x所需要的平均信息量H(X|Y).条件熵H(X|Y)可以看作是由于信道上存在干扰和噪

3、声而损失掉的平均信息量,又可以看作是信道上的干扰和噪声所造成的对信源符号x的平均不确定度,故又称为疑义度.8信息论与编码-信源及信源熵 而由互信息量的第二个关系式,互信息量可以看作在有扰离散信道上传递消息时,唯一地确定接受符号y所需要的平均信息量H(Y),减去当信源消息已知时确定接受符号y仍然需要的平均信息量H(Y|X),因此, H(Y|X)也可以认为是唯一地确定信道噪声所需要的平均信息量,故又称为噪声熵或散布度,其关系可由图2-2-3来形象地表示.9信息论与编码-信源及信源熵10信息论与编码-信源及信源熵两种特殊情况：1p(xi|yj)=1 此时I(xi;yj)=I(xi) ,这表明,当后验

4、概率p(xi|yj)=1 (即收到输出符号yj,推测输入符号xi的概率为1)时,收到yj即可确切无误地收到输入符号xi,消除对xi得全部不定度,从yj中获取xi本身含有的全部信息量,即xi的自信息量I(xi). 此时Y已知就完全解除了关于X的不确定度,所获得的信息就是X的不确定度或熵.也可以看成是无扰信道,由于没有噪声,疑义度H(X|Y)为零,噪声熵也为零.于是有I(X;Y)=H(X)=H(Y). 11信息论与编码-信源及信源熵2p(xi|yj)=p(xi) 这时,由于后验概率p(xi|yj)等于先验概率p(xi),所以后验概率与先验概率的比值等于1,即有I(xi;yj)=0 这表明,当后验概

5、率p(xi|yj) 等于先验概率p(xi) 时,收到yj后对信源发xi的不定度等于收到yj前对信源发xi的不定度,收到yj后并没有减少对信源发xi的不定度,从yj中获取不到关于xi的信息量. 12信息论与编码-信源及信源熵 这就是说,输出符号yj与输入符号xi之间没有任何联系,完全是互不相关的两码事.显然,在这种情况下,xi与yj之间的交互信息量应该等于0. 这可以理解为X与Y相互独立,无法从Y中提取关于X的信息.也可以看成信道熵噪声相当大,以至有H(X|Y)=H(X).在这种情况下,能够传输的平均信息量为0,成为全损信道.13信息论与编码-信源及信源熵 一般情况下,X和Y既非互相独立,也不是

6、一一对应,那么从Y获得的X信息必在零与H(X)之间,即常小于X的熵.14信息论与编码-信源及信源熵三维联合集的平均互信息： 1. I(X;YZ)=I(X;Y)+I(X;Z|Y) 2. I(YZ;X)=I(Y;X)+I(Z;X|Y) 3. I(X;YZ)=I(X;ZY)=I(X;Z)+ I(X;Y|Z)15信息论与编码-信源及信源熵 数据处理中平均交互信息量的不增性： 在一些实际的通信系统中,我们常常需要在信道输出端对接收到的信号或数据进行适当的处理,这种处理称为数据处理.数据处理系统一般可看成是一种信道,它与前面传输数据的信道是串联的关系. 16信息论与编码-信源及信源熵 如图2.2所示的串联

7、信道,X是输入消息集合,Y是第一级信道输出,Z是第二级数据处理后的输出消息集合,可以证明 I(X;Z) I(Y;Z) I(X;Z) I(X;Y) 第 一 级处理器X输入 第 二 级处理器YZ输出图2.2 串联信道17信息论与编码-信源及信源熵 这就说明,从串接信道输出端Z中获取的关于输入端X的平均交互信息量I(X;Z) ,总不会超过从第一级信道的输出端Y中获取关于输入端X的平均交互信息量I(X;Y) .如果第二级信道是数据处理系统,则对接收到的数据Y进行处理后,无论Z是Y的确定对应关系还是概率关系,决不会减少关于X的不确定性.数据处理不会增加从Z中获取关于X的平均交互信息量.这就是数据处理中平

8、均交互信息量的不增性. 18信息论与编码-信源及信源熵信源熵、互信息之间的关系：图2.3 信源熵与互信息量之间的关系图 19信息论与编码-信源及信源熵 图中,左边的圆代表符号集X的熵,右边的圆代表符号集Y的熵,两个圆重叠部分是平均互信息I(X;Y) .每个圆减去平均互信息后剩余的部分代表两个疑义度.由上图,可以有下列结论： 1.H(Y|X)H(Y) 2. H(XY)H(X)+H(Y) 3. H(Z|XY) H(Z|Y) 20信息论与编码-信源及信源熵例题: 二进制通信系统用符号“0”和“1”,由于存在失真,传输时会产生误码,用符号表示下列事件： u0 ：一个“0”发出；u1：一个“1”发出；

9、v0 ：一个“0”收到；v1 ：一个“1”收到.给定下列概率p(u0)=1/2,p(v0|u0)=3/4,p(v0|u1)=1/2 ,求：（1）已知发出一个“0”,收到符号后得到的信息量；（2）已知发出的符号,收到符号后能得到的信息量；（3）知道发出和收到的符号能得到的信息量；（4）已知收到的符号,被告知发出的符号得到的信息量.21信息论与编码-信源及信源熵解：（1）题目的要求是在已知输入为u0 的条件下,收到符号能得到的信息量,也就是说,要知道在已知输入为u0的条件下,输出符号所具有的不确定度,即条件熵H(V|u0)可求出故：22信息论与编码-信源及信源熵（2）题目要求在已知输入符号的条件下

10、,确定输出符号后得到的信息量,即在已知输入符号的条件下,输出符号所具有的不确定度,即条件熵而23信息论与编码-信源及信源熵因此（3）题目要求的是当知道发出和收到的符号后,能得到多少信息量,也就是要知道在未知发出和收到的符号的时候所具有的不确定度,即联合熵 H(UV)解法（1）解法（2）24信息论与编码-信源及信源熵（4）题目要求求出在已知收到的符号的前提下,得知发出的符号时得到的信息量,即在已知收到的符号的条件下,对发出符号所具有的不确定度,即条件熵H(U|V).解法（1）25信息论与编码-信源及信源熵解法（2）26信息论与编码-信源及信源熵 2.3 连续信源的熵和互信息 2.3.1 连续信源

11、熵和互信息 基本连续信源的输出是取值连续的单个随机变量,可用变量的概率密度p(x)来描述.此时,连续信源的数学模型为： 其中,R是全实数集,是变量X的取值范围. 对这个连续变量,可以用离散变量来逼近,即连续变量可以认为是离散变量的极限情况.量化单位越小,则所得的离散变量和连续变量越接近.因此,连续变量的信息度量可以用离散变量的信息度量来逼近.27信息论与编码-信源及信源熵 把连续信源概率密度的取值区间a,b分割成n个小区间,各小区间设有等宽=(ba)/n,那么,X处于第i区间的概率pi是： 其中 xi (i=1,2,n)是a+(i1) 到a+i 之间的某一值.当p(x)是x的连续函数时,由积分

12、中值定理可知,必存在一个xi值使上式成立.28信息论与编码-信源及信源熵 此时,连续变量X就可以用取值为xi (i=1,2,n) 的离散变量Xn来近似.连续信源X被量化为离散信源： 且29信息论与编码-信源及信源熵 这时离散信源Xn的熵是： 当n,0 时,离散随机变量Xn 趋于连续随机变量X,而离散信源Xn的熵H(Xn)的极限值就是连续信源的信息熵.30信息论与编码-信源及信源熵 一般情况下,上式的第一项是定值,而当0 时,第二项是趋于无限大的常数.所以避开第二项,定义连续信源的熵为：31信息论与编码-信源及信源熵 由上式可知,所定义的连续信源的熵并不是实际信源输出的绝对熵,连续信源的绝对熵应

13、该还要加上一项无限大的常数项.这一点可以这样理解：因为连续信源的可能取值数是无限多个,若设取值是等概分布,那么信源的不确定性为无限大.当确知信源输出为某值后,所获得的信息量也将为无限大.32信息论与编码-信源及信源熵 既然如此,那么为什么还要那样来定义连续信源的熵呢？一方面,因为这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）；另一方面,因为在实际问题中,常常讨论的是熵之间的差值,如平均互信息等.在讨论熵差时,只要两者离散逼近时所取的间隔 一致,无限大项常数将互相抵消掉.由此可见,连续信源的熵 称为差熵,以区别于原来的绝对熵.33信息论与编码-信源及信源熵 同理,可以定义两个连

14、续变量X,Y的联合熵和条件熵,即34信息论与编码-信源及信源熵 它们之间也有与离散信源一样的相互关系,并且可以得到有信息特征的互信息： 这样定义的熵虽然形式上和离散信源的熵相似,但在概念上不能把它作为信息熵来理解.连续信源的差熵值具有熵的部分含义和性质,而丧失了某些重要的特性.35信息论与编码-信源及信源熵2.3.2 最大熵定理 在离散信源中,当信源符号等概率分布时信源的熵取最大值.在连续信源中,差熵也具有极大值,但其情况有所不同.除存在完备集条件R p(x)dx=1外,还有其它约束条件.当各约束条件不同时,信源的最大熵值不同.36信息论与编码-信源及信源熵求泛函 的极值. 一般情况,在不同约

15、束条件下,求连续信源的差熵的最大值,就是在下述若干约束条件下37信息论与编码-信源及信源熵 通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限.下面分别加以讨论.（1）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在a,b区域内,则当输出信号的概率密度是均匀分布时,信源具有最大熵.其值等于log(b-a). 此时,38信息论与编码-信源及信源熵（2）平均功率受限条件下信源的最大熵定理：若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率,即方差2）,则其输出信号幅度的概率密度分布是高斯分布时,信源有最大的熵,其值为1/2log2eP .

16、高斯分布（正态分布）：（其中,m为数学期望,2为方差）39信息论与编码-信源及信源熵在限制信号平均功率的条件下,正态分布的信源有最大差熵,其值随平均功率的增加而增加.上述定理说明,连续信源在不同的限制条件下有不同的最大熵,在无限制条件时,最大熵不存在.根据最大熵定理可知,如果噪声是正态分布时,则噪声熵最大,因此高斯白噪声获得最大噪声熵.也就是说,高斯白噪声是最有害的干扰,在一定平均功率下,造成最大数量的有害信息.在通信系统中,往往各种设计都将高斯白噪声作为标准,并不完全是为了简化分析,而是根据最坏的条件进行设计获得可靠性.40信息论与编码-信源及信源熵2.4 离散序列信源的熵前面我们讨论的指是

17、最基本的离散信源,即信源每次输出只是单个符号的消息,给出了用信息熵H(X)来对基本离散信源进行信息测度,研究了信息熵的基本性质.然而,往往很多实际信源输出的消息是时间上或空间上的一系列符号,即离散随机序列,在这个序列中,每一位出现哪个符号都是随机的,而且前后符号的出现是有统计依赖关系的（有记忆离散信源序列）.41信息论与编码-信源及信源熵此时,可用随机矢量来描述信源发出的消息,即X=(,X1X2X3,Xi,) ,其中任一变量Xi都是随机变量,它表示t=i时刻所发出的符号.信源在t=i时刻将要发出什么样的符号决定于两方面：(1)与信源在t=i时刻随机变量Xi 的取值的概率分布p(xi)有关.一般

18、情况下,t不同时,概率分布也不同,即p(xi)p(xj) .42信息论与编码-信源及信源熵(2)与t=i时刻以前信源发出的符号有关,即与条件概率 有关.同样在一般情况下,它也是时间t的函数,所以以上所叙述的是一般随机序列的情况,它比较复杂.下面我们只讨论离散无记忆序列信源和两种较简单的离散有记忆序列信源：平稳序列信源和齐次遍历马氏链信源.43信息论与编码-信源及信源熵2.4.1 离散无记忆信源的序列熵 设信源输出的随机序列为 ,序列中的变量 ,即序列长为L.随机序列的概率为44信息论与编码-信源及信源熵对无记忆信源,这时,信源的序列熵为这里就不再具体推导上式（书上的推导好像有问题）.若又满足平

19、稳性,即与序号 无关时,有45信息论与编码-信源及信源熵则信源的序列熵可以表示为H(X)=LH(X),平均每个符号熵为：可见,离散无记忆平稳信源平均每个符号的符号熵 就等于单个符号信源的符号熵H(X).46信息论与编码-信源及信源熵2.4.2 离散有记忆信源的序列熵只讨论两种情况：平稳有记忆信源序列和齐次遍历马氏链信源.一、平稳有记忆信源序列（1）平稳随机序列的定义：不讲严格的定义.所谓平稳随机序列,就是序列的统计特性（事件发生的概率）与时间的推移无关,即信源所发符号的概率分布与时间起点无关.所以对于平稳信源来讲,其条件概率也均与时间起点无关,只与关联长度N有关.47信息论与编码-信源及信源熵

20、（2）平稳随机序列的熵 若信源输出一个L长序列,则信源的序列熵为 H(X)=H(X1X2XL) = H(X1)+ H(X2|X1)+H(XL|X1X2XL-1) 记H(X)=H(XL)= H(Xl|XL-1) 平均每个符号的熵为HL(X)=(1/L)H(X)48信息论与编码-信源及信源熵 当信源退化为无记忆时,有 H(X)=Ll=1H(Xl) 这一结论与离散无记忆信源结论是完全一致的.可见,无记忆信源是上述有记忆信源的一个特例.49信息论与编码-信源及信源熵例题：已知离散有记忆信源中各符号的概率空间为现信源发出二重符号序列消息 ,这两个符号的关联性用条件概率 表示,并由下表给出.求信源的序列熵和