信息论 第四章 信息率失真函数(2)

1、第四章信息率失真函数4.3.1 连续信源的信息率失真函数的参量表达式4.3.2 高斯信源的信息率失真函数4.3连续信源的信息率失真函数第四章信息率失真函数条件信源XR=(,)信源X的概率密度函数为p(x)信道的传递概率密度函数为p(y /x)信宿YR=(,)信宿Y的概率密度函数为p(y)X和Y之间的失真度d(x,y)04.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数D = p(xy)d(x, y)dxdy=第四章信息率失真函数平均失真度为 p(x) p( y / x)d(x, y)dxdy平均互信息为4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息

2、率失真函数222-( ; )( ) ( | )log( | )( )log( )( | )( ) ( | )log( )( )=( ) ( | )dx( )dx=1( )dy=1( | )dy=1I X Yp x p y xp y x dxdyp yp y dyp y xp x p y xdxdyp yp yp x p y xp xp yp y x= 其中D(S ) = ( x) p( x) p( y)e d ( x, y)dxdy R(S ) = SD(S ) + p( x) log 2 ( x)dx同样可以证明S是R( D)的斜率，S =第四章信息率失真函数困难，用迭代算法计算机求解，只在

3、特殊情况下求解比较简单。PD为满足保真度准则 D D 的所有试验信道集合。信息率失真函数为R( D) = inf I ( X ; Y ) “inf ”是指下确界p ( y / x )PD相当于离散信源中求极小值，严格地说，连续集合未必存在极小值，但是一定存在下确界。4.3.1连续信源的信息率失真函数的参量表达式4.3连续信源的信息率失真函数dRdD一般情况，在失真度积分存在情况下， R(D) 的解存在，直接求解R(D)函数的参量表达式： Sd ( x , y )m = xp( x)dx = ( x m)2p( x)dx(1) 高斯信源特性及失真度设连续信源的概率密度为正态分布函数数学期望为方差

4、为失真度为d(x,y)=(xy)2，即把均方误差作为失真，表明通信系统中输入输出之间误差越大，失真越严重，严重程度随误差增大呈平方增长。 24.3.2 高斯信源的信息率失真函数22()221( )2xmp xe=第四章信息率失真函数4.3.2 高斯信源的信息率失真函数(2) 曲线图说明曲线如图4.3.2。当信源均值不为0时，仍有这个结果，因为高斯信源的熵只与随机变量的方差有关，与均值无关。4.3连续信源的信息率失真函数22221log( )20DDR DD=第四章信息率失真函数4.3.2 高斯信源的信息率失真函数当D=2时，R(D)=0 ：这就是说，如果允许失真（均方误差）等于信源的方差，只需

5、用确知的均值m来表示信源的输出，不需要传送信源的任何实际输出；当D=0时，R(D)：这点说明在连续信源情况下，要毫无失真地传送信源的输出是不可能的。即要毫无失真地传送信源的输出必须要求信道具有无限大的容量；4.3连续信源的信息率失真函数第四章信息率失真函数4.3.2 高斯信源的信息率失真函数当0D0，当信息率RR(D) ，只要信源序列长度L足够长，一定存在一种编码方式C，使译码后的平均失真度 D(C ) D + ；反之，若RR(D)，则无论用什么编码方式，必有D(C ) D ，即译码平均失真必大于允许失真。上述定理也称为限失真信源编码定理。该定理可推广到连续平稳无记忆信源的情况。信息率失真函数

6、也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。第四章信息率失真函数上述定理又称为限失真信源编码定理或Shannon第三定理。也可以将该定理作如下的叙述：若R(D)为离散无记忆信源的信息率失真函数，D为允许的失真度，则只要实际的信息率R满足R R(D)，就存在一种编码方法，使其译码的平均失真度 D D + ， 其中 为任意小的正数；反之，若R RR(D)的情况下，可以通过合理运用信源编码和信道编码充分提高通信系统的有效性和可靠性，实现通信系统的最优化。4.4 保真度准则下的信源编码定理RR(D)R0，当信息率

7、RR(D) ，只要信源序列长度 L 足够长，一定存在一种编码方式 C，使译码后的；反之，若 RR(D)，则无论用，即译码平均失真必大于允许失真。信息率失真函数也是一个界限。只要信息率大于这个界限，译码失真就可限制在给定的范围内。即通信的过程中虽然有失真，但仍能满足要求，否则就不能满足要求。第四章信息率失真函数什么编码方式，必有D (C ) D平均失真度D (C ) D + 复习第四章信息率失真函数研究信道编码和率失真函数的意义研究信道容量的意义：在实际应用中，研究信道容量是为了解决在已知信道中传送最大信息率问题。目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，以提高通信的可靠性。这就是信道编码问题。研究信息率失真函数的意义：研究信息率失真函数是为了解决在已知信源和允许失真度D 的条件下，使信源必须传送给信宿的信息