信息率失真函数

第一页，共六十三页，2022年，8月28日本章节教学内容、基本要求、重点与难点1.教学内容：失真函数的定义率失真函数的定义、性质率失真函数的计算2.教学基本要求：掌握率失真函数的定义和意义掌握率失真函数的性质、计算3.重点与难点：率失真函数的计算第二页，共六十三页，2022年，8月28日

主要内容

第4章信息率失真函数4.1基本概念4.1.1失真函数（失真度）4.1.2平均失真度4.1.3信息率失真函数4.1.4信息率失真函数的性质4.2离散信源R(D)的计算4.3*连续信源的计算第三页，共六十三页，2022年，8月28日本次课内容4.1基本概念4.1.1失真函数（失真度）4.1.2平均失真度4.1.3信息率失真函数4.1.4信息率失真函数的性质第四页，共六十三页，2022年，8月28日第4章信息率失真函数

在实际信息处理过程中，由于存在信道噪声的干扰，或信源信息以超过信道容量的速率传输时产生的差错或失真,信宿接收到的信息会有一定的失真。实际传输允许有一定的失真，关键是如何减小失真，允许失真到什么程度。在允许一定程度的失真条件下，把信源信息压缩到什么程度。第五页，共六十三页，2022年，8月28日本章我们从最少信息率，失真函数、平均失真出发，研究信息率失真函数的定义和性质，给出离散信源和连续信源求解信息率失真函数的常用简单方法。第六页，共六十三页，2022年，8月28日4.1基本概念失真函数（失真度）

为什么引入失真函数？在实际问题中，信号有一定的失真是可以容忍的，但是当失真大于某一限度后，将丧失其实用价值。要规定失真限度，必须先有一个定量的失真测度。为此可引入失真函数.4..1.1失真函数第七页，共六十三页，2022年，8月28日失真函数定义:若则认为没有失真；若就产生了失真。失真的大小，用一个量表示，即失真函数来衡量用bj代替ai所引起的失真程度。失真函数第八页，共六十三页，2022年，8月28日1.离散信源单个符号的失真函数定义:设离散无记忆信源输出变量，概率分布为,经过有失真的信源编码器，输出的随机变量。将所有的排列起来，用矩阵形式表示，称为失真矩阵，即失真函数第九页，共六十三页，2022年，8月28日

例：设信源符号X∈｛0，1｝,编码器输出符号Y∈｛0,1,2｝,规定失真函数为d(0,0)＝d(1,1)＝0;d(0,1)＝d(1,0)=1;d(0,2)＝d(1,2)＝0.5,求失真矩阵d.解:失真矩阵

失真函数第十页，共六十三页，2022年，8月28日

若失真矩阵中每一行都是同一集合中诸元素的不同排列，并且每一列也都是同一集合中诸元素的不同排列，则称具有对称性。以这种具有对称性的失真矩阵度量失真的信源称为失真对称信源（简称对称信源）。将在其它章节讲。失真函数第十一页，共六十三页，2022年，8月28日2.离散信源序列的失真函数

失真函数的定义可以推广到序列编码情况，如果离散信源输出N维符号序列X=｛X1,X2,……XN｝，其中Xi(i=1,2,3,……N)取自于同一符号集X=｛a1,a2…..ar｝，X共有rN个不同的符号序列。而经过信源编码后，输出的是N维符号序列，其中取自于同一符号集,Y共有sN个不同的符号序列

失真函数第十二页，共六十三页，2022年，8月28日定义:

信源序列的失真函数信源序列失真函数等于信源序列中对应的单符号失真函数之和。也可写成阶矩阵形式。信源序列的单个符号失真函数为4.1基本概念第十三页，共六十三页，2022年，8月28日平均失真度

定义:

由于ai和bj都是随机变量，所以失真函数d(ai,bj)也是随机变量，要分析整个信源的失真大小，需要用其数学期望或统计平均值表示，将失真函数的数学期望称为平均失真度，即。平均失真度第十四页，共六十三页，2022年，8月28日

1.离散信源平均失真度平均失真度是对给定信源分布经过某一种转移概率分布的有失真信源编码器后产生失真的总体度量。-------联合分布-------信源符号概率分布-------符号转移概率分布-------离散随机变量的失真函数其中:平均失真度第十五页，共六十三页，2022年，8月28日

2.离散信源序列的平均失真度(1)信源序列的平均失真度：

(2)信源序列的单个符号平均失真度，也称信源的平均失真度：

当信源和信道都是无记忆时，则有：及其中

是第个分量的平均失真度平均失真度第十六页，共六十三页，2022年，8月28日3.连续信源的失真函数和平均失真度

定义：设连续信源输出随机变量X，取值于实数域R，其概率密度分布为P(X)，经过有失真的信源编码器，输出的随机变量Y，取值于实数域R。在对应的a和b之间确定非负二元实函数d(a,b)≥0，(a,b∈R),连续信源的平均失真度为：平均失真度第十七页，共六十三页，2022年，8月28日4.常用的失真函数和平均失真度

(1)汉明失真函数汉明失真矩阵为：在汉明失真函数的情况下，信源平均失真度等于信道的平均错误概率Pe，即：适用于离散信源平均失真度第十八页，共六十三页，2022年，8月28日平均失真度

(2)常数失真函数失真矩阵为：（通常为r×r阶）在常数失真函数下适用于离散信源第十九页，共六十三页，2022年，8月28日(3)均方失真函数或在均方失真函数下，平均失真度就是均方误差。离散信源的均方误差连续信源的均方误差：适用于连续信源平均失真度第二十页，共六十三页，2022年，8月28日

(4)绝对失真函数或在绝对失真函数下离散信源平均失真度：

连续信源平均失真度：dadb适用于连续信源平均失真度第二十一页，共六十三页，2022年，8月28日(5)相对失真函数或在绝对失真函数下离散信源平均失真度：

连续信源平均失真度：

dadb适用于连续信源平均失真度第二十二页，共六十三页，2022年，8月28日均方失真和绝对失真只与a-b有关，而不是分别与a及b有关，在数学处理上比较方便；相对失真与主观特性比较匹配，但在数学处理中困难得多。在实际问题中还可提出许多其它形式的失真函数。平均失真度第二十三页，共六十三页，2022年，8月28日例:等概信源通过信道转移概率矩阵为的信道传输,失真函数为均方失真函数.求:平均失真。信源输出符号X=(0.1.2),信道输出符号Y=(0.1.2),平均失真度第二十四页，共六十三页，2022年，8月28日解：均方失真函数平均失真度信源输出符号X=(0.1.2),信道输出符号Y=(0.1.2),第二十五页，共六十三页，2022年，8月28日又例:信源输出符号X=(0.1.2),

信道输出符号Y=(0.1.2),

给出失真函数dij=(xi-yj)2,dij=︱xi-yj︳(1)求平方误差失真函数矩阵;(2)求绝对值误差失真函数矩阵.解(1)(2)平均失真度第二十六页，共六十三页，2022年，8月28日4.1.3信息率失真函数

信源编码器的目的是使编码后所需的信息传输率尽量小，然而越小，引起的平均失真就越大。通常要将平均失真限制在某一有限值内，即，并选择一种方法使信息率尽可能小。对失真的限制条件称为保真度准则。信息率失真函数第二十七页，共六十三页，2022年，8月28日

单位为比特（奈特，哈特）/信源符号。

定义:

选定信源和失真函数后，可以看成条件概率的函数。设满足保真度准则的所有信道集合，这种信道称为失真度D允许信道（或试验信道）。BD中任一转移概率都与一个D允许信道（编码器）对应，在BD中寻求一个（寻求一个特定编码器）使I(X;Y)最小，这个最小的平均互信息量称为信息率失真函数，简称为率失真函数，记为对于给定信源，R(D)是保真度准则下容许压缩的最小值，也是熵压缩编码器输出可能达到的最低熵率。信息率失真函数第二十八页，共六十三页，2022年，8月28日信息率失真函数推广到序列情况:

若信源和信道均无记忆，则有：N维序列的信息率失真函数：此时试验信道为所有满足保真度准则的信道的集合，并且有.信息率失真函数第二十九页，共六十三页，2022年，8月28日4.1.4信息率失真函数的性质

1.函数的定义域为

(1)定义域下界：4.1.4信息率失真函数的性质对于每一个ai

找一个bj与其相对应。使d(aibj)最小，不同的ai对应的最小的d(aibj)不同，这相当于在失真矩阵的每一行找出一个最小的的d(aibj)，各行最小的d(aibj)不同，对于所有这些不同的最小值取数学期望，就是所谓的最小平均失真度第三十页，共六十三页，2022年，8月28日只有当失真矩阵的每一行至少有一个零元素时，信源的平均失真度才能达到下线值零。当Dmin=0，也就是说，信源不允许任何失真存在，信息率至少等于信源输出的平均信息量-----信源熵，

R（0）=H（X）对于连续熵第三十一页，共六十三页，2022年，8月28日

(2)定义域上界：由于R(D)是用从BD中选出求得的最小平均互信息，所以R(D)非负。当增大时,BD的范围增大，所求的最小值不大于范围扩大前的最小值，因此R(D)为D的非增函数。当D增大时，R(D)可能减小，直到减小到R(D)=0，此时对应着Dmax。当再增大，R(D)仍然为0。所以选择所有满足R(D)=0中的D的最小值定义为定义域的上限，是使R(D)=0的最小平均失真。4.1.4信息率失真函数的性质第三十二页，共六十三页，2022年，8月28日当a,b独立时，，使得R(D)=0。所以给定,而且对不同的b,

有不同的值。所以，求时，使对应的p(b)=1，其余为0。这样就可使平均失真最小。4.1.4信息率失真函数的性质第三十三页，共六十三页，2022年，8月28日注:(1)当失真矩阵的每一行至少有一个零元素时.（2）可适当修改失真函数使得；（3）Dmin和Dmax仅与p(a)和d(a,b)有关；(4)信息率失真函数有4.1.4信息率失真函数的性质第三十四页，共六十三页，2022年，8月28日

【例4.1-1】设试验信道输入符号｛a1,a2,a3｝，概率分别为，失真矩阵如下所示.求Dmax和Dmin以及相应的试验信道的转移概率矩阵。解：

4.1.4信息率失真函数的性质第三十五页，共六十三页，2022年，8月28日令对应最小d(ai,bj)的，其它为0。可得对应的的转移概率矩阵为4.1.4信息率失真函数的性质第三十六页，共六十三页，2022年，8月28日

上式中第2项最小，令。可得对应的转移概率矩阵为4.1.4信息率失真函数的性质第三十七页，共六十三页，2022年，8月28日求Dmax例设输入输出符号X=Y={0，1}，输入概率分布为p(x)={1/3,2/3}，失真矩阵为4.1.4信息率失真函数的性质第三十八页，共六十三页，2022年，8月28日

解：p(x)={1/3,2/3}输出符号概率4.1.4信息率失真函数的性质第三十九页，共六十三页，2022年，8月28日２、R(D)是关于D的的下凸函数设D1,D2为任意两个平均失真，，那么证明略

3.R(D)是定义域上的连续和非增函数证明略4.1.4信息率失真函数的性质第四十页，共六十三页，2022年，8月28日4.1.4信息率失真函数的性质第四十一页，共六十三页，2022年，8月28日一个信源含有三个消息,概率分布为p1=0.2,p2=0.3,p3=0.5,失真函数矩阵为求:Dmax,Dmin,R(Dmax),R(Dmin)练习题第四十二页，共六十三页，2022年，8月28日

R(Dmax)=0,R(Dmin)=R(0)=Hmax(x)=[0.2log0.2+0.3log0.3+0.5log0.5]

p1=0.2,p2=0.3,p3=0.5在给定的失真函数矩阵中,对每一个xi找一个最小的dij

然后求第四十三页，共六十三页，2022年，8月28日

上次课内容复习4.1基本概念失真函数（失真度）平均失真度信息率失真函数4.1.4信息率失真函数的性质第四十四页，共六十三页，2022年，8月28日复习有失真失真度D能否等于零,与给定的单个符号失真函数dij有关,dij每一行至少有一个零,才能有Dmin=0,当Dmin=0时表示不允许有任何失真.Dmin=0无失真R(Dmax)=0R(0)=H(x)无失真信息率失真函数的值域0≤R(D)≤H(X)相当于在失真矩阵的每一行找出一个最小的dij,所有这些不同最小值取数学期望,这就是信源最小平均值.第四十五页，共六十三页，2022年，8月28日4.1.4信息率失真函数的性质第四十六页，共六十三页，2022年，8月28日例:令X={0,1},设失真矩阵为对于一个等概分布的随机变量,求对应的定义域(Dmin,Dmax)解:定义域(1.5,2)复习第四十七页，共六十三页，2022年，8月28日本次课内容4.2离散信源R(D)的计算

第4章信源编码4.1数据压缩概述4.2无失真信源编码的基本原理4.2.1信源编码器4.2.2码的类型第四十八页，共六十三页，2022年，8月28日4.2离散信源R(D)的计算已知信源的概率分布P(a)和失真函数d(a,b)，离散信源的R(D)函数是选取试验信道满足的约束条件下，求平均互信息的极小值。4.2离散信源R(D)的计算第四十九页，共六十三页，2022年，8月28日引入待定参量S和λi，在失真不超过D时，使平均互信息达到极小值的试验信道的传递概率密度函数必满足S为拉格朗日乘子4.2离散信源R(D)的计算第五十页，共六十三页，2022年，8月28日这时，R(D)函数和失真函数D的参量方程为参量S是信息率失真函数R(D)的斜率，即4.2离散信源R(D)的计算第五十一页，共六十三页，2022年，8月28日

因信息率失真函数R(D)是D的单调递减函数且是U型凸函数，所以R(D)的斜率S≤0，S随D的增加递增，即。当D由Dmin增大Dmax到时,S的数值随之由Smin=-∞增至Smax=0,当D＞Dmax，R(D)=0,。因此在一般情况下，在D=Dmax处，参量S将从一个很小的负值跳跃到零，S在这一点不连续，而在开区间(0,Dmax)内，S是失真度D的连续函数。4.2离散信源R(D)的计算第五十二页，共六十三页，2022年，8月28日4.2离散信源R(D)的计算第五十三页，共六十三页，2022年，8月28日离散信源函数R(D)求解步骤（4.2-1）（4.2-2）（4.2-3）（4.2-4）

1.根据（4.2-1）求λi，i=1,2,3,….r；2.根据（4.2-2）求，qj；j=1,2,3……s4.根据（4.2-3）求D(S)；4.根据（4.2-4）求R(S)。4.2离散信源R(D)的计算第五十四页，共六十三页，2022年，8月28日某些特殊情况下R(D)的表示式为：4.2离散信源R(D)的计算平方误差失真函数绝对失真函数误码失真：第五十五页，共六十三页，2022年，8月28日上述信息率失真函数的三条曲线如图最大失真率Dmax均对应R(D)＝０,随着Ｄ的减小R(D)单调增加,当Ｄ等于零