《信息论与编码》 课件 第4章失真与信息率失真函数

1第4章失真与信息率失真函数失真的概念和性质信息率失真函数2问题信源熵H(X)的物理含义是什么？为什么要研究信源熵？信源无失真传输所需的最小信息率为R

H(X)；允许信源有失真时，输出的最小速率可降低为R<H(X)；失真D越大，R可以越小，因此R是D的函数，且为单调递减函数。R(D)就叫做信息率失真函数。3限失真编码的必要性对于连续信源，因为其熵为无穷大，若要求对其进行无失真编码，需要用无穷多个比特才能完全无失真地来描述。由于人耳能够接收的带宽和分辨率是有限的，因此对数字音频，就允许有一定的失真，并且对音乐欣赏没有影响。可把频谱范围从20Hz~8000Hz的语音信号去掉低频和高频，保留带宽范围300Hz~3400Hz的信号，这种失真是允许的。对于数字电视，由于人的视觉系统对低频比较敏感，对高频不太敏感，且人眼分辨率有限，因此可以在一定限度内损失部分高频分量。4限失真编码从直观感觉可知，若允许失真越大，信息传输率可越小；若允许失真越小，信息传输率需越大。所以信息传输率与信源编码所引起的失真(或误差)是有关的。54.1失真的概念和性质X={xi}，xi

{a1,…an}

信源编码器

Y={yj}，yj

{b1,…bm}失真函数d(xi，yj)6最常用的失真函数均方失真：

相对失真：误码失真：绝对失真：前三种失真度量适用于连续信源，后一种适用于离散信源。7失真矩阵

单个符号的失真度的全体构成的矩阵，称为失真矩阵8平均单符号失真

已知p(ai)和d(ai，bj)，平均失真只是符号转移概率p(bj/ai)的函数。p(bj/ai

)在此实质上代表编码方式。9例：x1

y1x2

y2x1

y1x2

y110序列失真函数平均序列失真其中d(Xl，Yl)是编码前序列中的第l个符号和编码后序列中的第l个符号之间的失真。

114.2信息率失真函数

信源编码器的目的是使编码后所需的信息传输率R尽量小，R

给定失真的限制值D，使

D，找最小R，

R(D)，定义为信息率失真函数。4.2.1信息率失真函数的定义：12p(yj/xi)信源符号编码概率信道转移概率

将信源编码器看作信道，信源编码器输出的信息率R对应到信道，即为接收端Y需要获得的有关X的信息量，也就是互信息I(X;Y)。13D允许试验信道

若p(xi)和d(xi，yj)已定，则可给出满足条件的所有转移概率分布pij，它们构成了一个信道集合PD。称为D允许试验信道。14信息率失真函数R(D)所有的允许试验信道PD（即满足

失真要求的所有假想信道）上，最低的输出信息速率（最有效的信源编码），就叫做信息率失真函数。离散无记忆信源：15例4-1：计算平均失真。已知编码器输入的概率分布为p(x)=[0.5,0.5]，两种信源编码器转移矩阵分别为：定义单符号失真度：16例4-1：计算平均失真。由此可得：由转移概率矩阵，可得：174.2.2信息率失真函数的性质1.R(D)函数的定义域和值域

⑴Dmin和R(Dmin)

Dmin＝0

对于连续信源：

18讨论何时Dmin=0?只有当失真矩阵中每行至少有一个零元素。何时R(0)=H(X)?只有当失真矩阵中每行至少有一个零，并每一列最多只有一个零。否则R(0)可以小于H(X)，表示这时信源符号集中有些符号可以压缩、合并而不带来任何失真。19定理证明：20证明：211.R(D)函数的定义域和值域

(2)

Dmax和R(Dmax)

选择所有满足R(D)＝0中D的最小值，定义为R(D)定义域的上限Dmax，即因此可以得到R(D)的定义域为22Dmax=?R(D)＝0就是I(X;Y)＝0，这时试验信道输入与输出是互相独立的，所以条件概率p(yj/xi)与xi无关。即需满足条件23

从上式观察可得：在j=1，…，m中，可找到

值最小的j，当该j对应的pj＝1，而其余pj为零时，上式右边达到最小，这时上式可简化成24例4-2：设输入输出符号表为X＝Y

{0，1}，输入概率分布p(x)={1/3，2/3}，失真矩阵为求Dmin和Dmax。25解：

当Dmin＝0时，R(Dmin)＝H(X)＝H(1/3,2/3)＝0.91比特/符号，这时信源编码器无失真，该编码器的转移概率为26当R(Dmax)＝0时

此时输出符号概率p(b1)＝0，p(b2)＝1，

所以这时的编码器的转移概率为

272.R(D)函数的下凸性

当给定信源概率分布p(x)时，互信息量I(X;Y)是信道（假想信道）的转移概率p(y/x)的下凸函数，有极小值，该极小值即为信息率失真函数：3.R(D)函数的单调递减性

若D>D’,PD

PD’(选择pij的范围大)28综上所述，可以得出如下结论：R(D)是非负的实数，即R(D)

0。其定义域为0～Dmax，其值为0～H(X)。当D>Dmax时，R(D)

0。R(D)是关于D的下凸函数，因而也是关于D的连续函数。R(D)是关于D的严格递减函数。容许的D越大，所要求的R越小。反之亦然。29由以上三点结论，对一般信息率失真R(D)曲线的形态可以画出来：R(D)H(X)R(D)

0

D

Dmax

DR(D)0Dmax

D

离散信源连续信源304.信息率失真函数与信道容量的比较

信息率失真函数R(D)信道容量C研究对象信源信道给定条件信源概率分布p(x)信道转移概率p(y|x)选择参数信源编码器编码方法p(y|x)信源分布p(x)限制条件结论H(X/Y)=H(X)-I(X;Y)噪声干扰丢失的信息量编码压缩损失的信息量比较项本章小结31第四章主要内容结构32本章小结本章学习思路失真信源编码必要性→失真测度函数→信源编码器数学模型→D允许试验信道→信息率失真函数→信息率失真函数