信息论中信源熵之间关系的证明

1、信息论中有关各种爛之间关系的证明1基本定义1.1信息就是对事物动态（或它的存在方式）的不确定性的一种描述不确定性及随机性，可以用研究随机现象的数学教具一概率论与随机过程来描述信息.i.2h信息量：一个随机事件发生某一结果后所带来的信息量称为h信息量,简称H信息用/（）來表示.1.3联合H信息量：信息量是二维联合集Q上元素“0的联合概率pgb）数的负値，称为联合h信息量.用心jb）來表示.1.4条件H信息量：为条件概率对数的负值.用10b）來表示.1.5交互信息量：后验概率与先验概率比值的对数为少对的互信息量，也称交互信息量（简称互信息）.用丿（；今）來表示.1.6信源爛：信源各个离散消息的鬥信

2、息量的数学期望（即概率加权的统计平均值）为信源的平均H信息量，一般称为信源的信息爛，也叫信源爛或香农爛,记为1.7条件爛：在联合符号集合灯上的条件H信息量的数学期望可以用表示.1.8联合爛：也叫共爛，是联和离散符号垃上的每的元素的联合H信息量的数学期望，用0（去7）表示.2.基本公式2.1IH信息量：/（）=-log2X/）2.2联合的自信息量：Z（.）=-bg2X）当#和F相互独立时，7（仏）=“0）;则有：，（”/）=-陀2=-log2pgp=-log2Pg-log侦少）=/（）+/0）2.3条件自信息量:Igb）=_聪点gb）或/）=一阳2以乡/勺）2.4互信息豊MW*飞击（1,2,，心

3、1,2,）1“2.5信源爛:HX）=闽/（0）=Zflog,-=-YA）k）g,pla）PgM_2.6条件爛：i:在已知随机变量的条件下，随机变量JT的条件爛刀（丫/门为:Hg7）=闵/（0/力川二工工心映少）户1左1=EEA/）log2只a少）y=i/=iii：在已知随机变量#的条件下，随机变量F的条件爛方Q7刀为:HYIX)=/)=勺土pab)Il心7=1/=1=-!(_/)bg2P/0)7=1/=1TOC o 1-5 h znmmn2-7联合爛：（功=工工加他）/（叱）=-工工，（。砲强叱）./=17=1户1/=12.8有关概率的基本公式：fp（q）=l,巧）=1,少）=1,/=1户1/

4、=!户1/=1户11（叱）=7（巧），i（q%）=/Y）证明：刀（刀=-7（,）陀270）/=!=-SSXy)10g2户1/=!PgPgb)心/少）wnd(a.b)mn=Ebg2一以0)砲20(0/b)户1f=llai)户11=/(#;门+刀(壬7门H(XI门一YlAb)PWb小sPb)Jf=-工心)工/0)工7(/少)bg2P()Ji=E工加)/0/少)陀2)fJ=Hg其中=工7H(Y!X).3.1.2.HX)=HXY)-HYlX)证明：()=-A)log2A)/一弓孕如(也)唤2黑y=一工工仏)bg2AA)-X工仏)log2P/G)iJiJ=HXY)-HYlX)y同理：H(Y)=HWHgr

5、)3.2条件爛HWY)=HXY-H(Y)=HX)-IXY).3.2.1HE门=Hg)-H(DjW证明：刀GT/)=工工7(0)10&27(0/勺)=-S工以0)bg2+工工/0log2/K勺)/=1/=1y=l/=1(2IXVqEdX(0Xn(70XW匸M,Q2)、Icr)0E(0IX?x(lKaq(WXMN.LEs(7、zxonq(7lxNNHQLK)0玄宕EsCfwICKXHG7*)0z&s(2kh(3xmkulyUIlyH(Qx-(zxi+(-px-(pKMiHEE(z、7x(WXNN(0 x;m(wxyNHEsEs(z、7x(ZKMOI(3X八MHsK(7zxi(70kmnhuk)0“淫sEscfLK)0+cfiHcrM)0+CKXHH+CrXyh)0E)0n目)0雯竝sgcoOrw+Cr一+CzgHnCcr)0gcfw)、lcf)0+CK)0nf?、7xonq(gxNMEs(ZKZsluse(、x(0Kon*q(、0pxN八ss(0、2K(lxonOI(20KiMHE)0sEsCLKXlQ)0+CKXHcr、b0lcn)0ICLrMCKMiYu爭CniyCF%u*crsHU*)、漫由慈寸cou*)、+CKMly+d忘(zlx(qEdAq(70 xNMEs(0、7窗(70益小汕丄7/0