信息论与编码

信息论与编码第一页，共四十二页，2022年，8月28日4.1

平均失真和信息率失真函数4.2

离散信源和连续信源的R(D)计算内容2第二页，共四十二页，2022年，8月28日失真信道编码定理——欲无失真，必R<C

若R>C，必失真失真必要性——连续信源R趋向于无穷大，必有失真压缩亦有失真失真可能性——终端性能有限，如人眼,人耳研究：信息率～允许失真——信息率失真理论3第三页，共四十二页，2022年，8月28日4.1

平均失真和

信息率失真函数4第四页，共四十二页，2022年，8月28日4.1.1失真函数假如某一信源X,输出样值xi,xi∈{a1,a2,…an},经信道传输后变成yj,yj∈{b1,b2,…bm},如果:xi＝yj没有失真

xi≠yj产生失真失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引起的失真程度。失真函数定义为：5第五页，共四十二页，2022年，8月28日失真函数将所有的d(xi,yj)排列起来,用矩阵表示为:失真矩阵例：设信源符号序列为X={0,1},接收端收到符号序列为Y={0,1,2},规定失真函数为

d(0,0)＝d(1,1)=0d(0,1)＝d(1,0)=1d(0,2)＝d(1,2)=0.5失真矩阵6第六页，共四十二页，2022年，8月28日失真函数形式可以根据需要任意选取,最常用的有:均方失真:绝对失真:相对失真:误码失真:(汉明失真函数)适于连续信源适于离散信源失真函数7第七页，共四十二页，2022年，8月28日汉明失真矩阵

对于二元对称信源(m=n),X={0,1},Y={0,1},汉明失真矩阵:8第八页，共四十二页，2022年，8月28日4.1.2平均失真将失真函数的数学期望称为平均失真：失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真：描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真9第九页，共四十二页，2022年，8月28日

对于连续随机变量同样可以定义平均失真信源编码器10第十页，共四十二页，2022年，8月28日L长序列编码如果假定离散信源输出符号序列X＝{X1X2…

Xl…

XL},其中L长符号序列xi=[xi1xi2…xiL],经信源编码后,输出符号序列Y={Y1Y2…Yl…YL},其中L长符号序列yj=[yj1yj2…yjL],则失真函数定义为平均失真11第十一页，共四十二页，2022年，8月28日4.1.3信息率失真函数R(D)信源编码器XY假想信道将信源编码器看作信道12第十二页，共四十二页，2022年，8月28日4.1.3信息率失真函数R(D)无论是无噪信道还是有噪信道:

R＜C总能找到一种编码使在信道上能以任意小的错误概率,以任意接近C的传输率来传送信息

R＞C就必须对信源压缩,使其压缩后信息传输率R’小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。信息压缩问题就是对于给定的信源,在满足平均失真的前提下,使信息率尽可能小。

13第十三页，共四十二页，2022年，8月28日信息率失真函数R(D)若平均失真度不大于我们所允许的失真,即则称此为保真度准则当信源p(xi)给定,单个符号失真度d(xi,yj)给定时,选择不同的试验信道p(yj|xi),相当于不同的编码方法,其所得的平均失真度不同。假想信道14第十四页，共四十二页，2022年，8月28日满足条件的所有转移概率分布pij,构成了一个信道集合D失真允许的试验信道：满足保真度准则的试验信道。PD：所有D失真允许的试验信道组成的一个集合。15第十五页，共四十二页，2022年，8月28日信息率失真函数R(D)R(D)：在限定失真为D的条件下信源输出的最小信息率。在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小。若从接收端来看,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。16第十六页，共四十二页，2022年，8月28日信息率失真函数PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I(X,Y)取极小值。离散无记忆信源17第十七页，共四十二页，2022年，8月28日例已知编码器输入的概率分布为p(x)={0.5,0.5}信道矩阵求互信息18第十八页，共四十二页，2022年，8月28日编码器输入的概率分布为p(x)={0.5,0.5}信道矩阵求互信息可见当p(x)一定时,I(X,Y)随p(yj|xi)而变。因为p(x)分布一定时,信道受干扰不同所能传递的信息量是不同的。可以证明，当p(x)一定时,I(X,Y)是关于p(yj|xi)的下凸函数。因此当改变p(yj|xi)时,I(X,Y)有一极小值。19第十九页，共四十二页，2022年，8月28日平均互信息平均互信息I(X;Y)：信源的概率分布p(xi)的上凸函数。p(yj|xi)一定信道传递概率p(yj|xi)的下凸函数。p(xi)一定信道容量：

信息率失真函数：

20第二十页，共四十二页，2022年，8月28日率失真函数与信道容量的比较信道容量C率失真函数R(D)数学上固定

p(yj/xi),改变p(xi),求得I(X;Y)最大值固定p(xi),改变p(yj/xi),求得I(X;Y)最小值概念上(反映)固定信道，改变信源，使信息率最大（信道传输能力）固定信源，改变信道，使信息率最小（信源可压缩程度）通信上使传输信息量最大，Pe→0——信道编码用尽可能少的码符号传送——信源编码21第二十一页，共四十二页，2022年，8月28日4.1.4信息率失真函数的

性质1、R(D)的定义域率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即的下界是0。允许平均失真度能否达到其下限值0,与单个符号的失真函数有关。22第二十二页，共四十二页，2022年，8月28日R(D)的定义域Dmin和R(Dmin)信源的最小平均失真度：只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。当Dmin=0,即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量—信息熵。即

R(0)=H(X)23第二十三页，共四十二页，2022年，8月28日R(D)的定义域因为实际信道总是有干扰的,其容量有限,要无失真地传送连续信息是不可能的。当允许有一定失真时,R(D)将为有限值,传送才是可能的。对于连续信源：24第二十四页，共四十二页，2022年，8月28日R(D)的定义域R(D)的定义域为[Dmin，Dmax]。通常Dmin=0，R(Dmin)=H(X)当D≥Dmax时,R(D)=0当0≤D≤Dmax时,0＜R(D)＜H(X)25第二十五页，共四十二页，2022年，8月28日R(D)的定义域Dmax：定义域的上限。Dmax是满足R(D)=0时所有的平均失真度中的最小值。由于I(X,Y)是非负函数,而R(D)是在约束条件下的I(X,Y)的最小值,所以R(D)也是一个非负函数,它的下限值是零。

R(D)≥026第二十六页，共四十二页，2022年，8月28日R(D)的定义域由于I(X,Y)=0的充要条件是X与Y统计独立,即：27第二十七页，共四十二页，2022年，8月28日例4-3:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵求：Dmin

和Dmax

失真矩阵的每一行至少有一个0元素时,Dmin=0此时输出符号概率p(b1)＝0，p(b2)＝1，

28第二十八页，共四十二页，2022年，8月28日例:设输入输出符号表为X=Y={0,1},输入概率分布p(x)={1/3,2/3},失真矩阵求：Dmin

和Dmax

29第二十九页，共四十二页，2022年，8月28日信息率失真函数的性质1、R(D)是非负的实数,R(D)≥0。其定义域为0~Dmax,其值为0~H(X)。当D＞Dmax时,R(D)≡02、R(D)是关于D的下凸函数R(D)在定义域内是失真度D的U型下凸函数3、R(D)的单调递减性及连续性容许的失真度越大，所要求的信息率越小。反之亦然。30第三十页，共四十二页，2022年，8月28日R(D)H(X)R(D)

0DDmaxDR(D)

0DmaxD信息率失真曲线由以上三点结论，对一般R(D)曲线的形态可以画出来：31第三十一页，共四十二页，2022年，8月28日4.2离散信源和连续信源R(D)计算给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式,一般比较困难通常用参量表达式。即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。32第三十二页，共四十二页，2022年，8月28日

某些特殊情况下R（D）的表示式为：

（1）当d(x,y)=(x-y)2，时，4.2离散信源和连续信源R(D)计算33第三十三页，共四十二页，2022年，8月28日(2)当d(x,y)=|x-y|，时，(3)当d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p时，R(D)=H(p)－H(D)

34第三十四页，共四十二页，2022年，8月28日这些R（D）可画成三条曲线

0DmaxD

R(D)

H(3)(1)(2)图4-5信息率失真函数R(D)35第三十五页，共四十二页，2022年，8月28日二元对称信源的R(D)函数设二元对称信源X={0,1},其概率分布p(x)=[p,1-p],接收变量Y={0,1},失真矩阵因而最小允许失真度Dmin=0。并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为36第三十六页，共四十二页，2022年，8月28日计算得：R(0)=I(X;Y)=H(p)最大允许失真度为要达到最大允许失真度的试验信道,唯一确定为37第三十七页，共四十二页，2022年，8月28日这个试验信道能正确传送信源符号x=1,而传送信源符号x=0时,接收符号一定为