信息论+第七章课件

第七章限失真信源编码7.1失真测度7.2信息率失真函数7.3限失真信源编码定理只要R<C，总可以找到一种信道编码方法，使在信道上能够以尽可能小的PE传输信息。有噪信道编码定理回顾信源编码消息信道R<C;PE=ε信道编码增加冗余度，最好地匹配信道特性吉林大学通信学院电子系杨晓萍信宿对真实度的要求：

实际语音信号：20Hz~8KHz

人耳能够分辨：300Hz~3400Hz

图象色差：可达足够多

视觉分辨：256级（黑白）已足够实际需求特点可以允许一定的失真度

完全保真没必要吉林大学通信学院电子系杨晓萍7.1失真测度7.1.1失真函数7.1.2平均失真吉林大学通信学院电子系杨晓萍7.1.1失真函数信源变量信源分布一个非负函数d(xi,yj)表示信源发出符号xi,接收符号yj的失真度的定量描述.经信道传输后,输出序列失真度定义吉林大学通信学院电子系杨晓萍7.1.1失真函数失真度定义失真函数d(xi,yj)有r×s个,可排成矩阵形式失真度性质失真函数d(xi,yj)有距离的概念性质1：时,d=0

性质2：最小距离d=0

性质3：

吉林大学通信学院电子系杨晓萍7.1.1失真函数失真函数的取值原则失真函数d(xi,yj)可以各式各样,应尽可能符合信宿的主观特性,即主观上的失真感觉应与d(xi,yj)的值相对应.d越大所感觉的失真也越大,而且最好成正比.常用的失真函数平均误差失真度：

适用于连续信源及离散信源,特别是表示信源输出符号的幅度值.吉林大学通信学院电子系杨晓萍7.1.1失真函数绝对失真：

适用信源同前相对失真：

相对失真与主观特性比较匹配,但数学处理较繁琐.汉明失真：

认为引起的失真都相同,取常数为1.这种失真称为汉明失真.汉明失真矩阵D为方阵,且对角线上的元素为0.适用于离散信源.吉林大学通信学院电子系杨晓萍7.1.1失真函数例7.1设信道输入X={0,1},输出Y={0,1,2},规定失真函数d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,d(0,2)=d(1,2)=0.5,求D.解：失真函数矩阵这是二元删除信道.例设信道输入X={0,1,2},输出Y={0,1,2},求平方误差失真矩阵D.解：失真函数矩阵吉林大学通信学院电子系杨晓萍7.1.1失真函数信源序列失真度定义设输入输出信源序列的失真度等于序列中对应单个信源符号失真度之和.吉林大学通信学院电子系杨晓萍7.1.1失真函数信源序列失真度定义设输入输出吉林大学通信学院电子系杨晓萍7.1.1失真函数例7.2设信源输出序列,其中每个X={0,1},输出序列,每个Y={0,1}.定义失真函数d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求D(N).解：由序列失真度定义吉林大学通信学院电子系杨晓萍7.1.2平均失真平均失真度定义失真函数的数学期望为平均失真度.吉林大学通信学院电子系杨晓萍7.1.2平均失真

N维信源序列平均失真度吉林大学通信学院电子系杨晓萍7.2信息率失真函数7.2.1保真度准则7.2.2信息率失真函数的定义7.2.3信息率失真函数R(D)的性质吉林大学通信学院电子系杨晓萍7.2.1保真度准则（1）若平均失真度不大于所允许的失真D,即

,称此为保真度准则.（2）对于N维信源序列，保真度准则为（3）当信源固定（p(x)给定），单个符号失真度固定（给定）时，选择不同的信道，相当于不同的编码方法，所得到的平均失真度不同。有些信道满足，另一些.把满足D失真许可信道组成一个集合BD，吉林大学通信学院电子系杨晓萍7.2.2信息率失真函数的定义离散无记忆平稳信源情况下物理意义

并不是实际的信道,而是有失真信源编码或信源压缩的处理.进而可求出平均互信息的最小值.即改变编码方法使平均互信息最小,实质上是选择一种编码方法使信息传输率最小.是信源特性参数,与试验信道的选择无关.反映了信源可以压缩的程度,是在满足一定失真度()要求下,信源可压缩的最低值.吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质是D的函数,当D很小时,应很大。1.的定义域(0,Dmax)吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质解：例7.3删除信道X={0,1},Y={0,1,2}.求吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质解：例7.4设信源,信宿Y={0,1}.求吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质解：例7.5设信源,信宿Y={0,1}.求小结吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质2.是关于D的U型凸函数是满足保真度准则的试验信道.且平均互信息是信道传递概率的下凸函数,即吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质2.是关于D的U型凸函数是满足保真度准则的试验信道.且平均互信息是信道传递概率的下凸函数,即证毕吉林大学通信学院电子系杨晓萍7.2.3信息率失真函数R(D)的性质3.函数的单调递减性和连续性计算的条件是,显然当时,将最小.4.的典型图形证略吉林大学通信学院电子系杨晓萍7.3限失真信源编码定理保真度准则下的离散信源编码定理设R(D)是离散无记忆信源的信息率失真函数,并且为有限值.对于任意D≥0,当信源序列长度N足够长时,一定存在一种信源编码,其编码后的实际传输信息率R>R(D),而平均失真度;不存在信息率R<R(D),而的任何编码.也称香农第三定理.吉林大学通信学院电子系杨晓萍7.3限失真信源编码定理无失真信源编码定理限失真信源编码定理信源冗余度压缩编码信源的熵压缩编码无失真、保熵有失真、熵压缩信源压缩的极限值：信源熵H(S)信源压缩的极限值：率失真函数R(D)存在性、构造性存在性定理香农三大定理的关系和比较吉林大学通信学院电子系杨晓萍7.3限失真信源编码定理香农三大定理的关系和比较信道编码定理限失真信源编码定理给定信道特性p=p(y|x)给定信源p=p(u)及失真测度d(u,v)对于假设的信源p=p(x)对于假设的试验信道p=p(v|u)寻求最优的信道编码C2寻求最优的限失真编码C3产生的误码率pe产生的最大失真