第四章_信息率失真函数_lgy

1、第第2 2章：信源熵章：信源熵第第3 3章：信道容量章：信道容量第第4 4章：信息率失真函数章：信息率失真函数第第5 5章：信源编码章：信源编码第第6 6章：信道编码章：信道编码第第7 7章：密码体制的安全性测度章：密码体制的安全性测度4.1 4.1 信息率失真函数信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的率失真函数连续信息的率失真函数4.4 保真度准则下的信源编码定理保真度准则下的信源编码定理实际通信系统允许一定的失真存在。1打电话；2放电影，视觉暂留性。允许压缩信源输出的信息率。研究内容：信息率 允许失真4.1.1 失真函数和平均失真度失真函数

2、和平均失真度4.1.2 率失真函数定义率失真函数定义4.1 .3 率失真函数性质率失真函数性质1naaX1nbbY)/(ijabp对任一),(jiba指定一个非负数0),(jibad失真度失真度（函数）),(.),(),(.),(.),(),(),(.),(),(212221212111mnnnmmbadbadbadbadbadbadbadbadbadDa1 b1a2b2anbmjiajibadji0),(0.0.0aaaaaa11a汉明失真0111011102)(),(ijjiabbad2平方误差失真函数平方误差失真函数平均失真度平均失真度nimjjiijijibadabpapbadED11

3、),()/()(),(允许失真DD N次扩展信道的平均失真度：NNXXXX21Niiiaa 1,11niiaaaaNniiN, 1,1Nni, 2 , 1NNYYYY21Nmj, 2 , 1 ,11mjjbbbbNNjjjbb 1mjjjN1,21NkjijijijjiikkNNNNjibadbadbadbbaadbad1),( ),(),( ),(),(1111由信源和信道的无记忆性)/()/()()( 11kkkijNkijiNkiabppappNjiijnimjiDDdppNDNN111 ),()/()()(DDkDNND)(NDND)(4.1.1失真函数和平均失真度失真函数和平均失真度

4、4.1.2 率失真函数定义率失真函数定义4.1.3 率失真函数性质率失真函数性质naaax,21信源编码器信源编码器mbbby,21XY假想信道假想信道将信源编码器看作信道将信源编码器看作信道DD DD D失真许可的 试验信道试验信道: )/(DDabpPijD称)/(ijabp调整 使i);(min)()/(YXIDRDijPabpN次无记忆扩展信源和信道：)(: )/()(NDNDabpPijND);(min)()()/(YXIDRNDijPpN)()(DNRDRN4.1.1失真函数和平均失真度失真函数和平均失真度4.1.2 率失真函数定义率失真函数定义定义域：1max, 0 DD=0R(

5、D)=H(X)连续：)(lim0DRDDRmaxDD0)(DRmaxDD 0)(DR)()/(jijbpabp令mjjjbpnijiimjjbpnimjjijibpDbpbadapbpDbadbpapjjj1)(11)(11max)()(min),()()(min),()()(minjnijiiDbadap1),()(线性分配a1a21021)1 (aammnmnnDDDbadbadbadbadbadbad.211221111),(.),(.),(.),(),(.),(假定所有Dj中，Ds最小，令sjsjbpj01)(jjDDminmax下凸性210)()1 ()()1 ( DRDRDDR)/

6、()/(21ijijab、pabp)()( D、RDRnimjjiijiDbadabpapD1111),()/()(nimjjiijiDbadabpapD11 22),()/()()()(log)/()();(111111DRbp)/a(bpabpapYXInimjjjijiiniijjabpapbp11i1)/()()()()()(log)()/();( 112222DRbp/abpapabpYXInimjjijiij定义新试验信道：)/()1 ()/()/(21ijijijabpabpabpDDDDDbadabpapDnimjjiiji 2111)1 ( )1 ( ),()/()(满足保真

7、满足保真度准则度准则)1 ()();( DDRDRYXI由 对 的下凸性：);(YXI)(ijabp);()1 ();();(21YXIYXIYXI)()1 ()( DRDR)()1 ()()1 ( DRDRDDR连续和单调递减性3DH(X)R(D)maxDDD 4.1 信息率失真函数信息率失真函数4.2 4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信息的率失真函数连续信息的率失真函数4.4 保真度准则下的信源编码定保真度准则下的信源编码定理理4.2.1 离散信源信息率失真函数离散信源信息率失真函数的参量表达式的参量表达式4.2.2 二元信源的率失真函数二元信源的率失真

8、函数DijjiiPabpbadap)/(),(),(nimjjijijibpabpabpapYXI11)()/(ln)/()();(DD niabpmjij, 2 , 1 1)/(1),()/()(11jiijinimjbadabpapDniijijabpapbp1)/()()()()()();(11nimjjiijiD,badabpapSYXI令mjijiabpu1 1)(0)(ij/abp0)()(S)()()()(ln)(ijiiiijijiu,badapapapbpabpap0ln),()()/(lnijjijbaSdbpabpi)(lniiiapu令),()()/(jbiajiijS

9、debpabp1mjbajijiSdebp1),()(12niiijjjbiaSdeapbpbp1),()()()(3i32)(jbp1,i)(jbp)(ijabp),()()()(11),(jijijiibadebpapSDnimjbaSd4)()(ln)()()(),(11),(jjijijijiibpebpebpapSRbaSdnimjbaSdniiiapSSD1ln)()(5SdDdRniiniidDdapdDdSDSdDdRdDdSSRDRdDdRiii11)(SdDdSdSdapDSiiini)(1 负值在公式 两边对S取导数20),()()(1),(),(nibaSdbaSdji

10、jiiijiiiebadapeapdSd两边乘以 对 求和)(jbpj0)(1DdSdapiniii0dDdSDmaxDnapi1)()(DS)(DR4.2.1离散信源信息率失真函数离散信源信息率失真函数的参量表达式的参量表达式11)(),(1jibaSdniiieapi),(1)(1jibaSdmjjiebp)(jbp),()()(jibaSdijijebpabpnimjbaSdjiijijiebadbpapSD11),(),()()()(iniiapSSDSRln)()()(1)(ijabp验证 是否大于等于零)(ijabp23456),()(minmin1maxjiniijjjbadap

11、DD70,00D21,1)( 21pppaaXPXjjDDminmaxnijiij,badapD1)()(,)11()ijnSd a biiip a e )1 (1pDpD 2pDD2max1)1 (21sepp1)1 (21ppeS)1 (11Sep)1)(1 (12SepijijmjbaSdebp1)(1),()1 ()()(21SSepebpbp)1)(1 ()()(21SSepbpebpSSeeppbp1)1 ()(1SSepepbp1)1 ()(2),()()/(jijiijbaSdebpabp)1 ()1 ()/(211SSepeppabp)1)(1 ()1 ()/(212SSep

12、eppabp)1 ()1 ()/(221SSeppepabp)1)(1 ()1 ()/(222SSeppepabpnimjjbiaSdjijiiebadbpapSD11),(),()()()(SSee1)1ln()1 ()1ln(ln1 ln)()()(1ppeppeeSapSSDSRSSSniii)1ln()1 (ln )1ln()1ln(ln)(ppppDDDDDDR/1/ln21DDS容忍失真允许压缩的信息率)()(DHpH15 . 02maxDS(D)DD0.50.25P=0.25P=0.5()R D推广至n元等概率信源，信息率失真函数为：)1ln()1 (1/lnln)(DDnDDn

13、DR4.1 信息率失真函数信息率失真函数4.2 离散信源的信息率失真函数离散信源的信息率失真函数 4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定保真度准则下的信源编码定理理4.3.1 4.3.1 连续信源失真函数的参量表达式连续信源失真函数的参量表达式)/(),(,xypRyx定义定义0),(yxd dxdyyxdxypD),()(dxdyypxypxypyxIc )()/(log)();(定义PD为满足保真度准则的试验信道集合);()()/(YXIInfDRcPxypD下确界:InfDD dxdyexydypxxpSDyxsd),()()()( )()( dxxxpSDSR

14、)( log)()(dDdRS 证明：4.3.2 4.3.2 高斯信源的率失真函数高斯信源的率失真函数222)(221)(mxexpdxxxpm)(dxxpmx)()(222)(),( yxyxd 2)(/()( ),()/()(yxxypdxxpdxdyyxdxypxpD dxdyyxdxypD),()( dxyxyxpdyypdxdyyxyxpyp22)(/()()(/()(dxyxyxpyD2)(/()(条件方差)dyyDypD)()()(2log21)/(maxyeDyXH)(2log21)/(yeDyXHcdyyXHypYXHcc)/()()/(maxdyyDype)(log)(21

15、2log21根据根据詹森不等式詹森不等式：dyyDyPdyyDyP)()(log)(log)(DlogDeYXHc2log21)/(DD eDYXHc2log21)/(22log21)(eXHceDDe2log212log21 2log21 )/()();(2DeYXHXHYXIcccDDR2log21)(YXN反向加性高斯实验信道DDR2log21)(1D2 0)( 2DRD2)(DRD2D2)(DS高斯信源的率失真函数4.34.3连续信息的率失真函数连续信息的率失真函数连续率失真函数的参量表达式连续率失真函数的参量表达式高斯信源的率失真函数高斯信源的率失真函数4.3.3 信息价值信息价值

16、合格品a1，废品a2，生产过程抽象成信源：例例01. 099. 021aa 把检验过程看作信道，检验结果即为信道输出。0),(11bad合格品出厂：b1：检验合格b2：检验不合格废品报废：0),(22bad合格品报废：1),(21bad废品出厂：100),(12bad 0100102121aabbD 不经检验全部出厂： 0101P1元1),()/()(2121ijjiijibadabpapD不经检验全部报废： 1010P2元99. 0D检验完全正确： 1001P3元0D)/(081. 0 99. 0log99. 001. 0log01. 0 )()(符号符号bitXHDR)/(2 .12081.099.099.0maxbitD元元检验不十分可靠： 9 . 01 . 01 . 09 . 0P411 . 099. 009 . 099. 0D09 . 001. 01001 . 001. 0元199. 0比最大损失减少了：0.99-0.199=0.