信息论第三讲-平均交互信息量的特性_第1页
信息论第三讲-平均交互信息量的特性_第2页
信息论第三讲-平均交互信息量的特性_第3页
信息论第三讲-平均交互信息量的特性_第4页
信息论第三讲-平均交互信息量的特性_第5页
已阅读5页,还剩42页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、2021-12-271离散信源的数学表示:离散信源的数学表示:离散随机变量离散随机变量 X,p(xi)信源符号的不确定度:信源符号的不确定度:Hartly公式公式 H(xi)信源符号的自信息量:信源符号的自信息量:I(xi)=H(xi)信源的熵信源的熵=信源符号的平均信息量:信源符号的平均信息量:H(X)有噪信道的交互信息量:有噪信道的交互信息量: I(xi,yj)=H(xi)-H(xi/yj)平均交互信息量:平均交互信息量:I(X,Y)=H(X)-H(X/Y)独立熵:独立熵:H(X)联合熵(共熵):联合熵(共熵): H(X,Y)条件熵:条件熵: H(X/Y),H(Y/X)上一讲的主要内容上一

2、讲的主要内容2021-12-272上一讲的主要内容上一讲的主要内容几个常用关系几个常用关系 先验概率:先验概率:p(xi) 先验熵:先验熵: H(X) (信源熵)(信源熵) 后验概率:后验概率:p(xi/yj) 后验熵:后验熵:H(X/Y) (可疑度)(可疑度) 转移概率:转移概率:p(yj/xi)(描述信道)(描述信道) 噪声熵:噪声熵:H(Y/X)2021-12-2732.5 平均交互信息量的特性2.5.1 I(X,Y)的非负性的非负性2.5.2 平均交互信息量的交互性平均交互信息量的交互性2.5.3 平均交互信息量的极值性平均交互信息量的极值性2.5.4 平均交互信息量的凸函数性平均交互

3、信息量的凸函数性 2.5.5 平均交互信息量的不增性平均交互信息量的不增性 2021-12-2742.5.1 I(X,Y)的非负性的非负性由,当由,当x为大于为大于0的实数时,底大于的实数时,底大于1的对数的对数logx是是x的严格上凸函数。因此的严格上凸函数。因此fpixipif(xi),如如f(x)=logx,则有:,则有:logpixipilogxiJensen不等式不等式: 如果如果f(x)是严格的上凸函数是严格的上凸函数, 则则E(f(x)f(E(x)。2021-12-275根据这个关系,考虑平均交互信息量,I(X,Y)= p(xi,yj)logp(xi,yj)/p(xi)p(yj)

4、则:-I(X,Y)= p(xi,yj)logp(xi)p(yj)/p(xi,yj)logp(xi,yj)p(xi)p(yj)/p(xi,yj)=logp(xi) p(yj)=0所以有:所以有:I(X,Y) 02021-12-2762.5.2 平均交互信息量的交互性平均交互信息量的交互性由于p(xi,yj)=p(yj,xi)则:I(X,Y)=I(Y,X)(对于一个信息系统来说)交互性表明在Y中含有关于X的信息,I(X,Y);在X中含有关于Y的信息,I(Y,X);而且两者相等。实际上I(X,Y)和I(Y,X)只是观察者的立足点不同,对信道的输入X和输出Y的总体测度的两种表达形式。2021-12-2

5、77X和和Y相互独立,交互性最小,相互独立,交互性最小, I(X,Y) =0;X和和Y完全相关,交互性最大,完全相关,交互性最大, I(X,Y) =H(X)=H(Y);H(X/Y)=H(Y/X)=0,相当于信道无信息损失。相当于信道无信息损失。2021-12-278这种信道的特点是:这种信道的特点是:n=m,每行只有一个元素为,每行只有一个元素为1,每列只有一个元素,每列只有一个元素为为1。其转移概率不为。其转移概率不为1,就为,就为0。 2021-12-279这时有:这时有:H XYp xi p yjxip yjxijmin(/)() (/)log(/) 011H YXp yj p xiyj

6、p xiyj(/)() (/)log(/) 0所以有:所以有:I(X,Y)=I(Y,X)=H(X)=H(Y)2021-12-27102.5.3 平均交互信息量的极值性平均交互信息量的极值性平均交互信息量平均交互信息量I(X,Y)不可能超过信源熵不可能超过信源熵H(X),因为H(X/Y) 0 所以有I(X,Y)=H(X)-H(X/Y)H(X) 因为H(Y/X) 0 所以有I(X,Y)=H(Y)-H(Y/X)H(Y)疑义度、噪声熵总是大于等于疑义度、噪声熵总是大于等于0,平均交互信息量总,平均交互信息量总是小于信源熵或信宿熵。是小于信源熵或信宿熵。在信道的输出端在信道的输出端Y得到的关于输入端得到

7、的关于输入端X的信息量不会的信息量不会超过信源超过信源X的平均信息量。的平均信息量。 2021-12-2711扩展性无噪声信道扩展性无噪声信道由于其矩阵的每一列元素只有一个非零元素,所以后验概率不等于1,就等于0. 即:p xiyjp xi p yj xip xi p yj xp yj xip yj xiin(/)() (/)() (/),(/),(/)110002021-12-2712 这时可知疑义度H(X/Y)=0,平均交互信息量达到最大值I(X,Y)=H(X)。从平均意义上讲,这种信道可以把信源的信息全部传递给信宿。这种每列只有一个非0元素的信道也是一种无噪声信道,称为具有扩展性的无噪声

8、信道。 这时:这时:H(Y/X)=H(Y)-H(X)因为:因为:H(Y/X) 0,所以:所以:H(Y) H(X);得到的结论为:得到的结论为:这时的信宿熵将大于信源熵,因此称为扩这时的信宿熵将大于信源熵,因此称为扩展信道。展信道。 2021-12-2713并归性无噪声信道并归性无噪声信道 这类信道的转移概率等于1或者等于0,每一列的元素可有一个或多个1,可知其噪声熵H(Y/X)=0,此时的平均交互信息量达到最大值。I(X,Y)=H(Y)-H(Y/X)=H(Y)这时可以证明:疑义度 H(X/Y)=H(X)-H(Y), 并且并且H(X)H(Y), 2021-12-2714通过这两个例题可以进一步理

9、解条件熵的概念,疑义度和通过这两个例题可以进一步理解条件熵的概念,疑义度和噪声熵都是由于信道噪声引起的,当信道转移概率是一一对噪声熵都是由于信道噪声引起的,当信道转移概率是一一对应的确定关系时,疑义度和噪声熵等于应的确定关系时,疑义度和噪声熵等于0,无噪声信道无噪声信道。一个一个X产生多个产生多个Y,称为扩展信道,在扩展信道中若,称为扩展信道,在扩展信道中若P中中每列只有一个非每列只有一个非0元素,元素,H(X/Y)=0,即疑义度,即疑义度=0,称为扩展,称为扩展性无噪声信道,否则称为性无噪声信道,否则称为扩展噪声信道扩展噪声信道。多个多个X产生一个产生一个Y,称为归并信道,在归并信道中若,称

10、为归并信道,在归并信道中若P中中元素为元素为0或或1,H(Y/X)=0,即噪声熵,即噪声熵=0,称为归并性无噪声信,称为归并性无噪声信道,否则称为道,否则称为归并噪声信道归并噪声信道。 2021-12-2715平均交互信息量是先验概率平均交互信息量是先验概率p(xi)和信道转移概和信道转移概率率p(yj/xi)的函数,可以记为:的函数,可以记为:I(X,Y)=Ip(xi),p(yj/xi)也就是说:也就是说:信道固定,信道固定,I(X,Y)是先验概率的函数是先验概率的函数;信源固定,信源固定,I(X,Y)是信道转移概率的函数。是信道转移概率的函数。2.5.4 平均交互信息量的凸函数性平均交互信

11、息量的凸函数性 2021-12-2716可以进一步证明:可以进一步证明:当信道一定时,当信道一定时,I(X,Y)是信源先验概率的上是信源先验概率的上凸函数;凸函数;这就是说,对于一定的信道转移概这就是说,对于一定的信道转移概率分布,总可以找到一个先验概率分布为率分布,总可以找到一个先验概率分布为pm(xi)的信源的信源X,使平均交互信息量达到相应,使平均交互信息量达到相应的最大值的最大值Imax,这时称这个信源为该信道的,这时称这个信源为该信道的匹配信源。可以说不同的信道转移概率对应匹配信源。可以说不同的信道转移概率对应不同的不同的I。或者说。或者说Imax是是P(Y/X)的函数。的函数。 2

12、021-12-2717 例例2-11 设二元对称信道的信源空间为:X=0,1; P(X)=, 1-; 平均交互信息量为:I(X,Y)=H(Y)-H(Y/X);信道转移概率如图。2021-12-2718 H(Y/X)=-p(xi)p(yj/xi)logp(yj/xi) =p(xi)-plogp+(1-p)log(1-p) =H(p) 其中:记其中:记H(p)= -plogp+(1-p)log(1-p) 另外:为了求另外:为了求H(Y),利用利用p(yj)= p(xi)p(yj/xi);可得:;可得: p(y=0)=(1-p)+(1-)p p(y=1)=p+(1-)(1-p)则:则:H(Y)=H(

13、1-p)+(1-)p)2021-12-2719可得平均交互信息量为: I(X,Y)=H(1-p)+(1-)p)-H(p)可知,当p值一定,I(X,Y)是的上凸函数, 2021-12-2720当信源一定时,平均交互信息量当信源一定时,平均交互信息量I(X,Y)是信是信道转移概率的下凸函数;道转移概率的下凸函数;这就是说,对于一个已知先验概率为这就是说,对于一个已知先验概率为P(X)的离散信源,总可以找到一个转移概率分的离散信源,总可以找到一个转移概率分布为布为Pm(Y/X)的信道,使平均交互信息量达的信道,使平均交互信息量达到相应的最小值到相应的最小值Imin。可以说不同的信源。可以说不同的信源

14、先验概率对应不同的先验概率对应不同的Imin。或者说。或者说Imin是是P(X)的函数。即平均交互信息量的最小值的函数。即平均交互信息量的最小值是体现了信源本身的特性。是体现了信源本身的特性。2021-12-2721例例2-12:I(X,Y)=H(1-p)+(1-)p)-H(p),当固定信源先验概率分布时,I(X,Y)是信道转移概率p的下凸函数,如图所示。2021-12-2722串联信道关系串联信道关系(练习练习)DMC1DMC2XYZ定理定理: 对于所有满足对于所有满足p(x,y,z)0的的(x,y,z),);();,(ZYIZYXI当且仅当当且仅当p(z/x,y)=p(z/y)时,等式成立

15、。时,等式成立。这个关系就称为平均交互信息量的不增加性。这个关系就称为平均交互信息量的不增加性。2021-12-27232.6 离散信道的信道容量Capacity of Discrete Memoryless Channel信道容量是表征信道最大传信能力的信道参量。信道容量是表征信道最大传信能力的信道参量。 Discrete Memoryless Channel-DMC离散无记忆信道;离散无记忆信道;Binary Symmetric Channel-BSC二元对称信道;二元对称信道;2021-12-27242.6.1 熵速率与信道容量熵速率与信道容量 平均交互信息量平均交互信息量I(X,Y)是

16、通信系统是通信系统X, P(Y/X), Y输出一个符号传输的信息量,也就是接收熵,熵就输出一个符号传输的信息量,也就是接收熵,熵就意味着平均。意味着平均。当符号速率为n符号/秒时,其熵速率熵速率R为:R=nI(X,Y)R=nH(X)-H(X/Y)=nH(Y)-H(Y/X) bit/s对于一个无噪声信道来说:R=nI(X,Y)=nH(X) bit/s2021-12-2725由于参数n与信道和信源无关,因此一般在分析中可以表示为:n=1;即R=I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)熵速率R是先验概率的函数,也是信道转移概率的函数。2021-12-2726信道容量信道容量是在给

17、定信道条件下(即一定是在给定信道条件下(即一定的信道转移概率),对于所有可能的信的信道转移概率),对于所有可能的信源先验概率的最大熵速率。它表示为:源先验概率的最大熵速率。它表示为: RCXP)(max2021-12-2727CnI X Yn HXHXYPXPXmax(,)max ()(/)()()信道容量信道容量C与信源与信源无关无关,只是信道转移概率的,只是信道转移概率的函数,不同的信道就有不同的信道容量。它反函数,不同的信道就有不同的信道容量。它反映了信道本身的传信能力。映了信道本身的传信能力。P(Y/X)XYP(X)P(X/Y)H(X)H(X/Y)2021-12-27282.6.2 信

18、道容量的计算方法信道容量的计算方法信道容量是在一定的信道条件下,对所有可信道容量是在一定的信道条件下,对所有可能的先验概率求平均交互信息量的最大值。能的先验概率求平均交互信息量的最大值。作辅助函数F p xp xp xnI X Yp xiin (),(),.()(,)()121求辅助函数对p(xi)的偏导置为0,得下列方程组。Fp xip xiin()()0112021-12-2729由此方程组可以解得使I(X,Y)达到最大值的信源先验概率分布和待定系数,然后求出信道容量C。 jCp yjjmlog ( )(, ,. )12Cjjmlo g21由这个C值,根据上面关系求p(yj),再由p(yj

19、) 和p(yj/xi)求信源先验概率分布p(xi)。解这个方程组后就可以得到最佳信源先验概率分布。p yjp xi p yjxijmin()()(/)(, ,.)11 22021-12-27302.6.3 离散无噪声信道的信道容量离散无噪声信道的信道容量这里讨论三种无噪声信道的信道容量。具有一一对应关系的无噪声信道具有一一对应关系的无噪声信道其信道转移概率图及矩阵如下: 2021-12-2731P=0000100010001000100010000因为信道转移矩阵的元素均为0或1,所以其噪声熵H(Y/X)=0。又因为P矩阵中每列只有一个非0元素1,所以其疑义度H(X/Y)=0。2021-12-

20、2732所以有:I(X,Y)=H(X)=H(Y)根据信道容量的定义,这种信道的特点是:n=m。10)/()()/()()/(1nixiyjpxipxiyjpxipyjxipmjniyjxipyjxipYXH110)/(log),()/(CI X YH XnP XP Xmax (, )max()log()()2021-12-2733具有扩展性的无噪声信道具有扩展性的无噪声信道其信道转移概率图及矩阵如下: 2021-12-2734 P=p(y1/x1)p(y2/x1) p(y2/x1)00000p(y4/x2)p(y5/x2)因为因为P矩阵中每列只有一个非矩阵中每列只有一个非0元素,元素,所以其疑

21、义度所以其疑义度H(X/Y)=0。有:有: I(X,Y)=H(X),则:,则:具有扩展性的无噪声信道的信道容量等于信源的最具有扩展性的无噪声信道的信道容量等于信源的最大熵。大熵。CI X YH XnP XP Xmax (,)max()log()()2021-12-2735具有归并性的无噪声信道具有归并性的无噪声信道其信道转移概率图及矩阵如下:2021-12-2736P=1010100101由于信道转移矩阵中的元素均为由于信道转移矩阵中的元素均为1和和0,所以这个信,所以这个信道的噪声熵道的噪声熵H(Y/X)=0。有:。有:I(X,Y)=H(Y)根据信道容量的定义:根据信道容量的定义:CI X

22、YH YmPXPXmax (,)max()log()()2021-12-2737这表明当随机变量Y为等概分布时,才能达到这个信道容量。由p(yj)与p(xi)和p(yj/xi)的关系可知: p(y1)=p(x1).1+p(x2).1+p(x3).1 p(y2)=p(x4).1+p(x5).1这时p(xi)的分布是不唯一的。通过以上三个例子可知;无噪声信道的信道容量只通过以上三个例子可知;无噪声信道的信道容量只决定于信道的输入符号数决定于信道的输入符号数n,或输出符号,或输出符号m(它们(它们都是信道本身的特征参数),与信源无关,信道容都是信道本身的特征参数),与信源无关,信道容量量C是表征信道

23、本身特性的一个参量。是表征信道本身特性的一个参量。2021-12-27382.6.4 强对称离散信道的信道容量强对称离散信道的信道容量如果离散信道的输入/输出符号空间及信道转移矩阵如下:X=x1,x2,xn PX=p(x1),p(x2),p(xn)Y=y1,y2,yn PY=p(y1),p(y2),p(yn) n=m P=1-/(n-1)/(n-1)/(n-1)1-/(n-1)/(n-1)/(n-1)1-这种信道X, P(X/Y), Y称为强对称信道。2021-12-2739为了求出平均交互信息量I(X,Y)=H(Y)-H(Y/X),先求H(Y/X);H(Y/X)=-p(xi)p(yj/xi)

24、logp(yj/xi)由于熵函数的对称性,有:(熵与信源状态得顺序无关)H(Y/X) =H()+ log(n-1)上式说明,强对称信道的噪声熵H(Y/X)就是信道转移矩阵中任一行n个元素组成的熵函数值,它决定于信道的错误概率和符号个数n。根据信道容量的定义: CI X YH YH YXP XP Xmax (, )max( )(/)()()max ( )( )log()()P XH YHn12021-12-2740由最大熵定理可知:当p(xi)为何时,才能达到上述信道容量。已知p(yj)=1/n,和信道转移概率,可以得到以下线性方程组。p(yj)=p(xi)p(yj/xi) (j=1,2,n)从

25、这个方程组可得,只有当p(xi)=1/n时,才能使p(yj)=1/n。对于强对称信道,只有当信源等概分布时,才能使其达到信道容量C。对于强对称信道,当信源等概分布时,可以证明H(X)=H(Y)=logn, 对于强对称信道,当信源等概分布时,还可以证明H(Y/X)=H(X/Y) 1log()(lognHnC2021-12-27412.6.5 对称信道的信道容量对称信道的信道容量如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的,并且每一列也是由这一组元素组成的,则称为对称信道对称信道。例如P=1/31/31/61/61/61/61/31/3对称矩阵与强对称信道的区别在于:强对称信道要求n=m,对称信道不要求;强对称信道每行之和及每列之和都等于1,对称信道每行之和等于1,而每列之和不一定等于1;强对称信道的矩阵为对称矩阵,对称信道的矩阵不一定是对称矩阵;2021-12-2742CH YH p yxip yxip ym xiP Xmax ( ) (/), (/),. (/)()12max( ) (/),(/),. (/)()P XH YH p yxip

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论