应用信息论-第12讲-率失真函数2

1、4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值4.5 信道容量与信息率失真函数的比较4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结第四章 信息率失真函数10-Aug-221平均失真度离散随机变量X：N维离散随机序列：信息率失真函数离散信息X：概率分布为P(X)，失真度为d(xi,yj)小 结10-Aug-222信息率失真函数的性质定义域(Dmin,Dmax)： Dmin是最小允许失真度， Dmax是最大允许失真度下凸性单调递减和连续性小 结10-Aug-2234.2 离散信源的信息率失真函数对离散信源，求R

2、(D)与求C类似，是一个在有约束条件下求平均互信息极值问题，只是约束条件不同；C是求平均互信息的条件极大值， R(D)是求平均互信息的条件极小值。4.2.1 离散信源信息率失真函数的参量表达式4.2.2 二元及等概率离散信源的信息率失真函数10-Aug-2244.2.1 离散信源率失真函数的参量表达式(1) 求极小值方法用拉格朗日乘数法原则上可以求出最小值，但是要得到它的显式一般是很困难的，通常只能求出信息率失真函数的参量表达式。已知信源概率分布函数p(xi)和失真度d(xi , yj)，在满足保真度准则 的条件下，在试验信道集合PD当中选择p(yj /xi)，使平均互信息4.2 离散信源的信

3、息率失真函数10-Aug-225(2) 离散信源的信息率失真函数 已知平均互信息在(4.2.5)的(n+1)个条件限制下求I(X;Y)的极值，引入拉格朗日乘数S和i(i=1,2,n)，构造一个新函数4.2 离散信源的信息率失真函数4.2.1 离散信源率失真函数的参量表达式10-Aug-2264.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-2274.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-2284.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-229第一步：求i4.2.1 离

4、散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-22104.2.1 离散信源率失真函数的参量表达式第二步：求p(yj)第三步：求p(yj/xi) 将解出的i和求p(yj)代入式(4.2.10)，可求得mn个以S为参量的p(yj/xi)。4.2 离散信源的信息率失真函数10-Aug-2211第四步：求D(S) 将这mn个p(yj /xi)代入(4.2.5)得到以S为参量的允许平均失真函数D(S)。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-2212第五步：求R(S) 将这mn个p(yj /xi)代入(4.2.4)得到以S为参量

5、的率失真函数R(S)。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-2213第六步：选择使p(yj)非负的所有S，得到D和R值，可以画出R(D)曲线，如图4.2.1。4.2.1 离散信源率失真函数的参量表达式4.2 离散信源的信息率失真函数10-Aug-22144.2.1 离散信源率失真函数的参量表达式(3) 参量S的说明可以证明S就是R(D)函数的斜率 。斜率S必然负值；S是D的递增函数，D从0变到Dmax，S将逐渐增加；当D=0时(R(D)的斜率)：S的最小值趋于负无穷。4.2 离散信源的信息率失真函数10-Aug-22154.2.1 离散信源率失

6、真函数的参量表达式当D=Dmax时：S达到最大；这个最大值也是某一个负值，最大是0。当DDmax时：在D=Dmax处，除某些特例外，S将从某一个负值跳到0，S在此点不连续。在D的定义域0, Dmax内，除某些特例外，S将是D的连续函数。4.2 离散信源的信息率失真函数10-Aug-2216(1) 二元离散信源的率失真函数 设二元信源 计算率失真函数R(D)4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2217 先求出Dmax4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2218第一步：求i，由式(4

7、.2.12)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2219第二步：求p(yj)，由式(4.2.11)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2220第三步：求p(yj/xi)，由式(4.2.10)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2221第四步：求D(S)，将上述结果代入式(4.2.14)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2222第五步：求R(S)，将上述结果

8、代入式(4.2.15)有4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2223对于这种简单信源，可从D(S)解出S与D的显式表达式。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-22244.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2225第六步：通过以上步骤计算出来的R(D)和S(D)如图4.2.2 。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2226(2) 信息率失真函数曲线图说明若=1，把d(x

9、i , yj)当成了误码个数，即X和Y不一致时，认为误了一个码元，所以d(xi , yj)的数学期望就是平均误码率。能容忍的失真等效于能容忍的误码率。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2227R(D)不仅与D有关，还与p有关。概率分布不同， R(D)曲线就不一样。当p=0.25时，如果能容忍的误码率也是0.25，不用传送信息便可达到，即R=0，这就是R(Dmax) =0的含义。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2228当D相同时，信源越趋于等概率分布， R(D)就越大。由最大

10、离散熵定理，信源越趋于等概率分布，其熵越大，即不确定性越大，要去除这不确定性所需的信息传输率就越大，而R(D)正是去除信源不确定性所必须的信息传输率。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2229关于S(D)它与p无直接关系，S(D)曲线只有一条，p=0.5和p=0.25都可以用，但它们的定义域不同；p=0.25时定义域是D=00.25，即到A点为止，此时 Smax=1.59。D0.25时，S(D)就恒为0了。所以在A点S(D)是不连续的；当p=0.5时，曲线延伸至D=0.5处，此时Smax=0，故S(D)是连续曲线，定义域为D=00.5

11、。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2230(3) 二元等概率离散信源的率失真函数当上述二元信源呈等概率分布时，上面式子分别退化为4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-2231这个结论很容易推广到n元等概率信源的情况。4.2.2 二元及等概率离散信源的信息率失真函数4.2 离散信源的信息率失真函数10-Aug-22324.3.1 连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数4.3 连续信源的信息率失真函数10-Aug-2233条件信源XR=(,) 信源

12、X的概率密度函数为p(x)信道的传递概率密度函数为p(y /x)信宿YR=(,)信宿Y的概率密度函数为p(y)X和Y之间的失真度d(x,y)04.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数10-Aug-2234平均失真度为平均互信息为4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数10-Aug-2235PD为满足保真度准则 的所有试验信道集合。信息率失真函数为相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。R(D)函数的参量表达式：一般情况，在失真度积分存在情况下， R(D) 的解存在，直接求解困难，用迭

13、代算法计算机求解，只在特殊情况下求解比较简单。4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数10-Aug-2236(1) 高斯信源特性及失真度设连续信源的概率密度为正态分布函数数学期望为方差为失真度为d(x,y)=(xy)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。4.3.2 高斯信源的信息率失真函数4.3连续信源的信息率失真函数10-Aug-22374.3.2 高斯信源的信息率失真函数(2) 曲线图说明 曲线如图4.3.2。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值

14、无关。4.3连续信源的信息率失真函数10-Aug-22384.3.2 高斯信源的信息率失真函数当D=2时，R(D)=0 ：这就是说，如果允许失真（均方误差）等于信源的方差，只需用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；当D=0时，R(D)：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；4.3连续信源的信息率失真函数10-Aug-22394.3.2 高斯信源的信息率失真函数当0D0，当信息率RR(D) ，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度 ； 反之，若R0，当信息率 RR(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的平均失真度 ；反之，若 RR(D)，则无论用什么编码方式，必有 ，即译码平均失真必大于允许失真。信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。第四章 信息率失真函数10-Aug-2259研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，