信息论与编码2012—ch4 信息率失真函数2

1、2021/12/161 世界上那些最容易的事情中，拖延时间最不费力。2021/12/1624.1 基本概念基本概念4.2 离散信源的信息率失真函数离散信源的信息率失真函数4.3 连续信源的信息率失真函数连续信源的信息率失真函数 4.4 信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较4.5 限失真信源编码定理限失真信源编码定理第七章 信息率失真函数2021/12/1634.2 离散信源的信息率失真函数l对离散信源，求对离散信源，求R(D)与求与求C类似，是一个在有约束条件下求平均互信类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；息极值问题，只是约束条件不同；lC

2、是求平均互信息的条件极大值，是求平均互信息的条件极大值， R(D)是求平均互信息的条件极小值。是求平均互信息的条件极小值。4.2.1 离散信源信息率失真函数的参量表达式离散信源信息率失真函数的参量表达式4.2.2 二元及等概率离散信源的信息率失真函数二元及等概率离散信源的信息率失真函数2021/12/1644.2.1 离散信源率失真函数的参量表达式(1) 求极小值方法求极小值方法l用拉格朗日乘数法原则上可以求出最小值，但是要得到用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。数的参量

3、表达式。l已知信源概率分布函数已知信源概率分布函数p(xi)和失真度和失真度d(xi , yj)，在满足保，在满足保真度准则真度准则 的条件下，在试验信道集合的条件下，在试验信道集合PD当中选当中选择择p(yj /xi)，使平均互信息，使平均互信息DD11111(/)(; )() (/)ln()(/)11,2,() (/) (,)nmjiijiijjmnmjiijiijjijp yxI X Yp xp yxp yp yxinDp xp yx d x y最小，同时满足的条件是2021/12/165(2) 离散信源的离散信源的信息率失真函数信息率失真函数 已知平均互信息在已知平均互信息在(4.2)

4、的的(n+1)个条件限制下求个条件限制下求I(X;Y)的的极值，引入拉格朗日乘数极值，引入拉格朗日乘数S和和i(i=1,2,n)，构造一个构造一个新函数新函数111111(/)(; )( ) (/)ln(4.1)()( ) (/) ( ,)(4.2)(/)11,2,()( ) (/)nmjiijiijjnmijiijijmjijnjijiip yxI X Yp x p yxp yDp x p yx d x yp yxinp yp x p yx其中4.2.1 离散信源率失真函数的参量表达式2021/12/166111(; )( ) (/) ( ,)(/) 1(4.3)(/)00(4.4)(/)(

5、4.3)(4.4)(/)( )ln( ) ( ,)0(4.5)()nmijiijijmijijjijijiiiijijI X YSp x p yx d x yDp yxp yxp yxp yxp xSp x d x yp y 对求偏导，并令导数为 ，即将式代入式得4.2.1 离散信源率失真函数的参量表达式2021/12/16711111111(; )( )( /)()ln()( ) (/)ln(/)( ) (/) ln( ) (/)( ) (/)ln(/)( )ln()( )(/)(mnmjjijijijijmnnijiijijiinmijijiijijijiiI X YH YH YXp yp

6、 yp x p yxp yxp x p yxp x p yxp x p yxp yxIp xp yp xp yxp x 其中)ln(/)( )(/)( )ln(1,2, ;1,2,)()jiijiijp yxp xp yxp xin jmp y4.2.1 离散信源率失真函数的参量表达式2021/12/1684.2.1 离散信源率失真函数的参量表达式(,)(4.5)( ),ln( )(/)ln( ,)0()( )(/)ln( ,)ln0()(/)lnln( ,)()(/)(/)()(4.6)1,2, ;1,2,ijiiiijiiijjijiijijjiiijjjiSd x yjijip xp x

7、p yxSd x yp yp xp yxSd x yp yp yxSd x yp ym np yxp yxp yein jm将式两边除以并令解得个关于的方程(/)( )ln( ) ( ,)0(4.5)()jiiiijijp yxp xSp x d x yp y2021/12/1694.2.1 离散信源率失真函数的参量表达式第一步：求i(,)11(,)1(,)1(4.6)( )()( ) (/)( ) ()()( )( )1( ()0,1,2,)(4.7)ijijijinnSd x yjijiijiiinSd x yjiiinSd x yiijiip xip yp x p yxp x p yep

8、 yp x ep x ep yjm式两边乘以再对 求和得即由上式解出 ，(,)(/)()(4.6)ijSd x yjijip yxp ye2021/12/16104.2.1 离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi) 将解出的i和p(yj)代入式(4.6)，可求得mn个以S为参量的p(yj/xi)。(,)1(,)11(4.6)1()(4.8)()( )1(1,2,)(4.9)()()ijijmSd x yijjijSd x ynimikkjjp y emp yp x ejmp ySp y式两边对 求和有将解出的 代入上式得到 个关于的联立方程由此解出以 为参量

9、的。(,)(/)()(4.6)ijSd x yjijip yxp ye2021/12/16114.2.1 离散信源率失真函数的参量表达式第四步：求D(S) 将这mn个p(yj /xi)代入(4.2)得到以S为参量的允许平均失真函数D(S)。(,)11( )( ) () ( ,)(4.10)ijnmSd x yijijiijD Sp x p y d x ye111( ) (/) ( ,)(4.2)(/)11,2,nmijiijijmjijDp x p yx d x yp yxin(,)(/)()(4.6)ijSd x yjijip yxp ye2021/12/16124.2.1 离散信源率失真函

10、数的参量表达式第五步：求R(S) 将这mn个p(yj /xi)代入(4.1)得到以S为参量的率失真函数R(S)。(,)(,)11(,)11111()( )( ) ()ln()( )( ) ()ln( )( )ln(/)( )( )( )ln(4.11)ijijijSd x ynmSd x yjiijiijjnmSd x yijiiijnmiijiijniiip yeR Sp x p yep ySD Sp x p yeSD Sp xp yxR SSD Sp x11(/)(; )( ) (/)ln(4.1)()nmjiijiijjp yxI X Yp x p yxp y(,)(/)()(4.6)i

11、jSd x yjijip yxp ye(,)11( )() () (,)(4.10)ijnmSd xyijijiijD Sp xp yd xye2021/12/1613第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如下图。4.2.1 离散信源率失真函数的参量表达式2021/12/16144.2.1 离散信源率失真函数的参量表达式(3) 参量参量S的说明的说明l可以证明可以证明S就是就是R(D)函数函数的斜率的斜率 。l斜率斜率S必然负值；必然负值；S是是D的递增函数，的递增函数，D从从0变到变到Dmax，S将逐渐增加；将逐渐增加；l当当D=0时时(R(D)的斜率的斜

12、率)：S的最小值趋于负无穷。的最小值趋于负无穷。SdDdR1( )( )( )ln(4.11)niiiR SSD Sp x2021/12/16154.2.1 离散信源率失真函数的参量表达式l当当D=Dmax时：时：S达到最达到最大；这个最大值也是某大；这个最大值也是某一个负值，最大是一个负值，最大是0。l当当DDmax时：在时：在D=Dmax处，除某些特处，除某些特例外，例外，S将从某一个负将从某一个负值跳到值跳到0，S在此点不在此点不连续。在连续。在D的定义域的定义域0, Dmax内，除某些特例内，除某些特例外，外，S将是将是D的连续函的连续函数。数。2021/12/1616(1) 二元离散

13、信源的率失真函数二元离散信源的率失真函数 设二元信源设二元信源 计算率失真函数计算率失真函数R(D)4.2.2 二元及等概率离散信源的信息率失真函数 1, 01, 0000211211)(212121yyYxxXDppppxxxpXi输出符号集输入符号集失真矩阵为，所以，其中2021/12/1617 先求出先求出Dmax4.2.2 二元及等概率离散信源的信息率失真函数pDDDDDpppppDDDDDDypDyxdxpDjjjjjjmjjypjiniijj2max2121max1)(max1min21)1(001min)(min),()(，故有已知2021/12/1618第一步第一步：求：求i，

14、由式由式(4.7)有有)1)(1 (1)1 (11)1 (1)1 (1)()(1)()(212121),(22),(11),(22),(1122211211SSSSyxSdyxSdyxSdyxSdepepppeeppexpexpexpexp4.2.2 二元及等概率离散信源的信息率失真函数(,)1( )1,( ()0,1,2,)ijnSd x yiijip x ep yjm(,)1( )1( ()0,1,2,)(4.7)ijnSd x yiijip x ep yjm2021/12/1619第二步第二步：求：求p(yj)，由式由式(4.8)有有11122122(,)1(,)(,)121(,)(,)

15、1221212121()1()()1()()()()1()()(1) 1(1)(1)()()11ijmSd x yijjSd x ySd x ySd xySd xySSSSSSSp y ep y ep y ep y ep y ep yp y epep y ep ypepp eppep yp yeeS4.2.2 二元及等概率离散信源的信息率失真函数(,)11()(4.8)ijmSd x yijjp y e2021/12/1620第三步第三步：求：求p(yj/xi)，由式由式(4.6)有有11211222(,)112(,)111112(,)1212(,)2121(,)2222(/)()1,2, ;

16、1,2,(1)(/)(1)(/)()(1)(/)(/)()(/)()(/)()ijSd x yjijiSSSd x ySd xySd x ySd xyp yxp yein jmpp ep yxpep yxp yepp ep yxp yxp yep yxp yep yxp ye2212222(1)(1)(1)(/)(1)(1)(/)(1)(1)SSSSSSSSepeppep yxepeppep yxpe4.2.2 二元及等概率离散信源的信息率失真函数(,)(/)()(4.6)ijSd x yjijip yxp ye2021/12/1621第四步第四步：求：求D(S)，将上述结果代入式将上述结果代

17、入式(4.10)有有11211222(,)11(,)11111(,)21211(,)12122(,)22221( )( ) () ( ,)( )() () ( ,)() () (,)() () ( ,)() () (,)(1)(1)1(1ijnmSd x yijijiijSd x ySd xySd x ySd xySSSD Sp x p y d x yeD Sp x p y d x yep xp y d xyep x p y d x yep xp y d xyepp eepe(1)(1)(1)1SSSSSppeppepeee4.2.2 二元及等概率离散信源的信息率失真函数(,)11( )()

18、() (,)(4.10)ijnmSd xyijijiijD Sp xp yd xye2021/12/1622第五步第五步：求：求R(S)，将上述结果代入式将上述结果代入式(4.11)有有112( )( )( )ln( )ln(1)ln1ln(1)ln(1)ln(1)1niiiSSSSSR SSD Sp xS eR SppeS eppppee4.2.2 二元及等概率离散信源的信息率失真函数1( )( )( )ln(4.11)niiiR SSD Sp x2021/12/1623对于这种简单信源，可从对于这种简单信源，可从D(S)解出解出S与与D的显式表达式。的显式表达式。1112112122122

19、2222ln11(/)11()2(/)11111(1)(/)1()21111(/)11DDDDDDDDDDDSDpp yxDppDp yD pDp yxppDDDppp yxpp yDppp yxp4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1624ppSpDDDRDDpHRDDHpHDppppDDDDDR1ln1,0)(,)()0(, 0)(1ln)1ln()1 (ln1lnln)(maxmaxmaxmax压缩的信息率。定失真而可能熵，第二项是因容忍一上式右边第一项是信源4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1625第六步第六步：通过以上步骤计算

20、出来的：通过以上步骤计算出来的R(D)和和S(D)如下图如下图 。4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1626(2) 信息率失真函数曲信息率失真函数曲线图说明线图说明l若若=1，把，把d(xi , yj)当成当成了误码个数，即了误码个数，即X和和Y不一致时，认为误了一不一致时，认为误了一个码元，所以个码元，所以d(xi , yj)的数学期望就是平均误的数学期望就是平均误码率码率。能容忍的失真等。能容忍的失真等效于能容忍的误码率。效于能容忍的误码率。4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1627lR(D)不仅与不仅与D有关，还有关，还与与p有

21、关。概率分布不有关。概率分布不同，同， R(D)曲线就不一曲线就不一样。当样。当p=0.25时，如果时，如果能容忍的误码率也是能容忍的误码率也是0.25，不用传送信息便，不用传送信息便可达到，即可达到，即R=0，这就，这就是是R(Dmax) =0的含义。的含义。4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1628l当当D相同时，信源越趋相同时，信源越趋于等概率分布，于等概率分布， R(D)就越大。由最大离散熵就越大。由最大离散熵定理，信源越趋于等概定理，信源越趋于等概率分布，其熵越大，即率分布，其熵越大，即不确定性越大，要去除不确定性越大，要去除这不确定性所需的信息这不确定

22、性所需的信息传输率就越大，而传输率就越大，而R(D)正是去除信源不确定性正是去除信源不确定性所必须的信息传输率。所必须的信息传输率。4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1629l关于关于S(D)l它与它与p无直接关系，无直接关系，S(D)曲线曲线只有一条，只有一条，p=0.5和和p=0.25都都可以用，但它们的定义域不同；可以用，但它们的定义域不同；lp=0.25时定义域是时定义域是D=00.25，即到即到A点为止，此时点为止，此时 Smax=1.59。D0.25时，时，S(D)就恒为就恒为0了。所以在了。所以在A点点S(D)是不连续的；是不连续的；l当当p=0.5

23、时，曲线延伸至时，曲线延伸至D=0.5处，此时处，此时Smax=0，故，故S(D)是连是连续曲线，定义域为续曲线，定义域为D=00.5。4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1630(3) 二元二元等概率等概率离散信源的率失真函数离散信源的率失真函数l当上述二元信源呈等概率分布时，上面式子分别退化当上述二元信源呈等概率分布时，上面式子分别退化为为)(21)(212121)()1 (22111)1 (221121min1211212maxypypDDypDDDDDDDj4.2.2 二元及等概率离散信源的信息率失真函数2021/12/1631l这个结论很容易推广到这个结论

24、很容易推广到n元等概率信源的情况。元等概率信源的情况。1112212121221221121221222111221(/)1(/)111(/)(/)111(/)(/)11()ln2()DDDDDDDDDDpDp yxDDp yxDDp yxp yxDp yxp yxDR DH 4.2.2 二元及等概率离散信源的信息率失真函数()lnln1ln 1(1)DDDDR Dnn2021/12/1632课堂练习01()1/21/2XP X00aDa2021/12/1633minmax22000,/2102()02log1log1DDDHDR DDDDDDDH解答：二元对称信源，其失真矩阵为，可计算得：根

25、据参量表达式可求得，这里，=-课堂练习2021/12/1634(4) R(D)的意义的意义l对于不同的实际信源，存在着不同类型的信源编码，即不对于不同的实际信源，存在着不同类型的信源编码，即不同的试验信道特性并可以求解出不同的信息率失真同的试验信道特性并可以求解出不同的信息率失真R(D)函函数，它与理论上最佳的数，它与理论上最佳的R(D)之间存在着差异，它反映了不之间存在着差异，它反映了不同方式信源编码性能的优劣，这也正是同方式信源编码性能的优劣，这也正是R(D)函数的理论价函数的理论价值所在。特别对于连续信源，无失真是毫无意义的，这时值所在。特别对于连续信源，无失真是毫无意义的，这时R(D)

26、函数具有更大的价值。函数具有更大的价值。 l阴影范围表示实际信源编码方案与理论值间的差距，我们阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。源编码，这就是工程界寻找好的信源编码的方向和任务。4.2.2 二元及等概率离散信源的信息率失真函数)(DR（理论）)(DR)( 实际DRD2/112021/12/16354.3.1 连续信源的信息率失真函数的参量表达式连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数高斯信源的信息率

27、失真函数4.3 连续信源的信息率失真函数2021/12/1636l条件条件l信源信源XR=(,) l信源信源X的的概率密度函数概率密度函数为为p(x)l信道的信道的传递概率密度函数传递概率密度函数为为p(y /x)l信宿信宿YR=(,)l信宿信宿Y的的概率密度函数概率密度函数为为p(y)lX和和Y之间的之间的失真度失真度d(x,y)04.3.1连续信源的信息率失真函数的参量表达式2021/12/1637l平均失真度为平均失真度为l平均互信息为平均互信息为 dxdyyxdxypxpdxdyyxdxypD),()/()(),()( 1)/(1)(1)()/()()()()/(log)/()()(l

28、og)()/(log)/()();(222dyxypdyypdxxpdxxypxpypdxdyypxypxypxpdyypypdxdyxypxypxpYXI其中4.3.1连续信源的信息率失真函数的参量表达式2021/12/1638lPD为满足保真度准则为满足保真度准则 的所有试验信道集合。的所有试验信道集合。l信息率失真函数为信息率失真函数为l相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在但是一定存在下确界下确界。lR(D)函数的参量表达式：函数的参量表达式：l一般情况，在失真度积分存在情况下，一般情况，在失

29、真度积分存在情况下， R(D) 的解存在，直接求解的解存在，直接求解困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。困难，用迭代算法计算机求解，只在特殊情况下求解比较简单。DD ”是指下确界“inf);(inf)()/(YXIDRDPxyp4.3.1连续信源的信息率失真函数的参量表达式dDdRSDRSdxxxpSSDSRdxdyyxdeypxpxSDyxSd 的斜率，是同样可以证明)()(log)()()(),()()()()(2),(2021/12/1639(1) 高斯信源特性及失真度高斯信源特性及失真度l设连续信源的概率密度为设连续信源的概率密度为正态分布函数正态分布函数l数学期望

30、为数学期望为l方差为方差为l失真度失真度为为d(x,y)=(xy)2，即把均方误差作为失真，表明，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。程度随误差增大呈平方增长。222)(221)(mxexpdxxpmxdxxxpm)()()(224.3.2 高斯信源的信息率失真函数2021/12/16404.3.2 高斯信源的信息率失真函数(2) 曲线图说明曲线图说明 曲线如右图。当信源曲线如右图。当信源均值不为均值不为0时，仍有这时，仍有这个结果，因为高斯信个结果，因为高斯信源的熵只与随机变量源的熵只与随机变量的方差有关，与均值的方差有关，与均值无关。无关。22220log21)(DDDDR2021/12/16414.3.2 高斯信源的信息率失真函数l当当D=2时，时，R(D)=0 ：这：这就是说，如果允许失真（均就是说，如果允许失真（均方误差）等于信源的方差，方误差）等于信源的方差，只需用确知的均