信息论公式总结

离散连婪自信息（单位：比特/奈特）/⑴=Togp。)联合鼬息/(xy)=-logp(xy)期&fS息，(x|y)-logp(x\y)互熊（单位：比特/奈特）互信息心y)=Qg些Tog耍2_「力9P(x)9p(x)p(y)y给'提供的信息星,p(xy)/(x；y)=log———p(%)p(y)期互佰小@*)=如哗停\八/。p(x|z)炳（单位：比特/信溥符号）（单位:比特/扩展（N个）符号）（单位：比特/自由度）信息烦H(X)=_>(》)呻⑴术X)=一J8羽⑴l°9'⑴dX赢、脸潜ho(X)=-忠％(ogAr)p(x)dx=-lun^logAx)tco

h（X）=-翻£心Wlogp.°i=一[p（x）logp（x）dxH（[幻）=一2「（％!）氏*90（劣）心]!二公心）*如心）-公心）*血心连绑邂几通的离散化H（Y|X）=-2£「（冷）卜”（小）xy-£p（ylx），ogp（ylx）（本衡x[y=£p（x）h（y|x）>Kx|y)=』②p(xy)Sgp(x|y)dxdy联合烦H（xy）=-»9。州。9哗（秽）xyh(XN)=-fp(x)logp(,x)dx冷=XN,,,Xw@6是冲的联合概率空度分率H炳=翅扑5'）=俱扑（泌..&地：场/瞧MW）=麒叔酒=怒加㈤为.・&■位:比亩自亩度平均与信息离散连续集合肪件之间SV）=&P（yRNg努W度）x给Y提供的倍息星,与事件自信触弥不同集合之间1（X；r）=»p（xy）e；y）疹5滞Y给X地哽S,与事件能息■序相同眼珈％（g）d*dy平均条件互信息10洒I（X；Y|Z）=£££p（xyz）|7（x；yB）］xy二

性/离散连婪等式关系自倍息.条件雕息、联合自倍益之间踮系I(xy)=/(%)+/(}1x)=/(y)+/(x|y)互倍息.条件眄戛自倍息之问踮系/(x；y)=/(x)-/(x|y)平均互信息崩的关系I(X;Y)=H(X)・H(X]Y)=H(Y)・H(Y[X)K*Y)=H(X)+H(Y)-H(XY)班匕:/(x；y)=/(x)-/(x|y)I(x；y)=/(x)+/(y)-Z(xy)等式两边同时对LxSy畋)求和则为H平均条件互倍息和平均互信息的关系1(X;Y/Z)=kx；yz)・kx；z)I(X;ZjY)=I(X;YZ)・I(X;Y)1(X;YZ)=0MZ)+1(X;Y)1(X;YZ)=I(X；4Y)+KX;Z)E)汕嘤5%零PWP(x|z)p(x)=/(x；y|z)+/(xjz)等式两边对£万2)£亦(乂邪)求和，得到

腐的瞄对称性非员性H（p）=H（pi，P2—Ph）>0当且陛某个pf时，取―期:L不具有^负性若整个积分区间概率苴度值大于1,则差烟值小于0相对度星不是绝对曜——对条件下部可育^^琢3.扩展性4.(可加性)H侦［X卜,次^=H(Xi)+心|月)+…+//0".・*1)(.69^规)可加性：h(XkX>..XQ=瞄)+入02附+・•,+h(Xn\Xt5.（极值性炳散殿炳趣:有限离散随机登星集合，当集合事件等概率发生时,虐达到最大值（无限博兄卜］最足）6.碇性田可T件为「炳为07，上凸性）H（p）=H（pi，p2，・・・，Pn）；^Pl，P2，・・・，Pn）上的严格上凸函数。各美斌之间的不等关系:炳不增加曲:H（Y{X）wH（Y）证明：散度（单个事件移*瞄）凡是事件不成立而平均成立的橱利用散度当且MX,Y互相此时,取。”烟的加性:h(Y/X)<h(Y)••氏nVI•.号&T工&VIftJI资瑟碧.1泡f点1颗§1是条件健p(y\x)下的下凸酿极值性I(X;Y)<H(X),H(Y)与事件互信息性质7Sy)<1(x)〃(y)；I(y；x)<Z(y)J(x)5.I(X;YZ)>I(X;Z)J(X;Y)含义:事件越多，埴共的互倍息M6.(平均互倍息的g规)1侦饱...X节丫)=I(Xi；Y)+1(X2；丫|XD+・・・+/(XnW|XiX2..・Xgi)平均条件互佰患的性质非奂性I(X;YJZ)>0证明：散度凡是事件不成立而平均成立的鞭野惆散度补^S：：凸函数:多元函数，m，若对afo<a<1；z友任次里xvxt有flaxt+(1-aM2afg+(1-a)fg朔称为上凸函数,亲且仅当n=x：,或0=0必时取〃=、则为严格上凸函数趣:荀6是定义在区间上的实值严格上凸函数,物任X!，…,%(x可以为T或多曜)勒玲F7,^2…知E=1，那么xk]NEU1入kf0k)(Jason不等或仅当xi=xi=•••=xq,或\k=l(Xkwq)目火=O(jH