第四章 限失真信源编码

第四章限失真信源编码第1页，共36页，2023年，2月20日，星期三第四章

限失真信源编码

限失真编码：信源编码经过译码后能保留应用要求的信息，允许信源有一定的失真。为什么要限失真编码1°连续信源的绝对熵为无限大，由于信道的带宽有限，受信道容量的限制。不可能实现完全无失真的信源信息的传输。(可能性)2°信道资源和技术经济因素的限制。(可实现性)3°实际应用不必要无失真地恢复信源消息,不必要完全无失真的信源信息的传输.(必要性)

4°数字系统的应用,模拟量的采样,量化也会引入失真.第2页，共36页，2023年，2月20日，星期三语音信号传输语音（音频）信号的带宽：20～20000HZ实际应用音频范围:电话质量:300～3.4KHZ电话公用网调幅广播质量:50～7KHZ有现场感的语音传输高保真音频信号:20～20KHZ高保真音响图像信号传输一路6MHz的普通电视信号数字化后，其数码率将高达167Mbps，对储存器容量要求很大，占有的带宽将达80MHz左右第3页，共36页，2023年，2月20日，星期三表4－1各种图像信号应用的码率应用种类象素数/行行数/帧码率bps压缩前压缩后HDTV192010801.18G20~25M普通电视720480167M4~8M会议电视35228836.5M1.5~2M电视电话1281125.2M56k第4页，共36页，2023年，2月20日，星期三一、连续消息的统计特性时间连续、取值连续2.描述:随机过程1.波形信源：例如：

在一个具体的时间点ti

，{x(ti)}为一个取值连续的随机变量，可用有限维概率密度函数族描述：4.1连续信源的熵和互信息第5页，共36页，2023年，2月20日，星期三平稳随机过程：统计特性不随时间平移而变化的随机过程。★

{x(t)}在时刻t=ti的集平均:{x(t)}在某一时刻ti变量x(ti)的统计平均一、波形信源的特性2.描述:

★

{x(ti)}的时间平均：{x(ti)}某一样本函数x’(t)的时间平均值遍历平稳过程：若一平稳随机过程{x(t)}的集平均以概率1等于其时间平均，则称{x(t)}为遍历的平稳过程。

大部分实际信号可以近似看作遍历平稳过程第6页，共36页，2023年，2月20日，星期三二、连续信源的熵变量X的概率分布与概率密度函数的关系为：1、方法连续消息离散化N次扩展信源时间离散化、幅度分割逼近量化理论采样定理第7页，共36页，2023年，2月20日，星期三

对连续变量X的量化方法如下：

将X的取值范围[a,b]作n等分，每份=(b-a)/np(x)ab0a+(i-1)Δa+iΔPixΔ二、连续信源的熵则X落在第i区间内的概率为：第8页，共36页，2023年，2月20日，星期三则连续信源X:

此信源合理！二、连续信源的熵第9页，共36页，2023年，2月20日，星期三二、连续信源的熵2、相对熵第10页，共36页，2023年，2月20日，星期三三、平均互信息波形信道｛x(t)｝｛y(t)｝采样后:基本公式第11页，共36页，2023年，2月20日，星期三实际应用中,允许信号有一定的失真,当失真超过一定限度后,信息将失去实用价值,因此要规定失真的限度.信息率失真是A/D转换、量化、频带压缩和数据压缩的理论基础.4.2.1失真函数1)失真函数定义信源经过信源编码后输出对于每一对(ui,vj),指定一个非负函数

d(ui,vj

)≥0i=1,2,…,nj=1,2,…,m称d(xi,yj

)为单个符号的失真函数.表示信源发出符号xi,接收端再现yj

所引起的误差或失真.

d(xi,yj

)=0无失真,d(xi,yj

)>0有失真.

4.2信息率失真函数第12页，共36页，2023年，2月20日，星期三2)常用的失真函数

1°平方误差失真函数d(xi,yj

)=(xi-yj

)2

2°绝对误差失真函数d(xi,yj

)=|xi-yj

|

3°相对误差失真函数d(xi,yj

)=|xi-yj

|/|xi

|4°误码失真函数失真函数1°,2°,3°用于连续信源,失真函数4°用于离散信源,失真函数4°也称Hanmming失真函数.3)失真矩阵dn×m矩阵第13页，共36页，2023年，2月20日，星期三4.2.2平均失真

xi和yj

均为随机变量,所以d(xi,yj

)也为随机变量,d(xi,yj

)的平均失真用其数学期望或统计平均值描述,用符号表示.

第14页，共36页，2023年，2月20日，星期三4.2.3信息率失真函数R(D)1)受信道容量的限制,实际应用中必须对信源进行压缩,应1°使其压缩后的信息传输率小于信道容量;2°保证压缩所引入的平均失真不超过预先给定的允许失真度D;3°在满足≤D的前提下,使编码后的信息率尽可能小.不等式≤D称为保真度准则第15页，共36页，2023年，2月20日，星期三2)试验信道1°有失真的信源编码器视作有干扰的信道(假想信道)2°当信源已知(即B(U)已知)时,单个符号的失真度给定,选择一类假想信道,使得≤D,这类假想信道称为D失真允许信道,或D失真允许试验信道.记为

BD={p(vj|ui):≤D;i=1,2,…,n;j=1,2,…m}p(vj|ui

)为信道的传递概率。第16页，共36页，2023年，2月20日，星期三3)离散信源的信息率失真函数在允许信道BD

中,寻求一个信道p(V|U

),使给定的信源经过此信道后,互信息量I(U;V

)达到最小.该最小互信息量称为信息率失真函数R(D),简称率失真函数N维信源符号序列的信息率失真函数RN(D):第17页，共36页，2023年，2月20日，星期三4)连续信源的信息率失真函数连续信源平均失真度为:连续信源的信息率失真函数:第18页，共36页，2023年，2月20日，星期三4)信息率失真函数R(D)物理意义1°R(D)是信源给定的情况下,在可容忍的失真度内再现信源消息所必须获得的最小平均信息量.2°R(D)是反映给定信源可压缩的程度.3°R(D)求出后,就与选择的试验信道无关,而只是信源特性的参量,不同的信源,其R(D)是不同的.5)信息率失真函数R(D)的计算已给定信源概率P(X)和失真函数d(xi,yj

),求信息率失真函数R(D)的问题,可以归结为在约束条件保真度准则≤D下,求极小值的问题.第19页，共36页，2023年，2月20日，星期三6)限失真信源编码定理(香农第三定理)设离散无记忆信源X的信息率失真函数R(D),并选定失真函数,对于任意允许平均失真度D≥0和任意小的ε≥0,当信息率R≥R(D),只要信源序列L足够长,则一定存在一种编码方法,使其译码失真≤D+ε,反之,若R＜R(D),无论用什么编码方法,其译码失真必＞D

存在性定理

※

任何信源的信息率失真函数R(D)是该信源在限失真条件下进行编码的最小信息传输率。第20页，共36页，2023年，2月20日，星期三4.3标量量化编码标量量化----零记忆量化每次只量化一个模拟样本值。均匀量化：线性量化最优量化：使量化器的均方误差σe2最小或信噪比SNR最小的量化。（概率非均匀分布的最优量化算法）第21页，共36页，2023年，2月20日，星期三4.3.1均匀量化量化器输入：x，对应实数值域空间为R；量化器输出：y，对应实数值域空间为Rc；对应取值范围[a0,an]y=Q(x)均匀量化：将区间[a0,an]分割为n个相等距离且互不重叠的子区间[ai,ai+1]，取每个小区间的中点值作为量化值yi，即ai≤x≤ai+1时，yi=(ai+1+ai)/2第22页，共36页，2023年，2月20日，星期三均匀量化的量化误差：量化器均方误差：量化器输入方差：量化器的信噪比SNR：第23页，共36页，2023年，2月20日，星期三量化器的工作区域：1.正常量化区：量化器能得到正常量化。2.限幅区：量化器处于限幅或过载工作状态，产生较大失真。3.空载区：（1）当x=ai时，量化器输出在两个量化级间往返跳动，形成一个矩形输出，结果将产生点状噪声。（2）x在ai之上或之下，量化输出分别为恒定值第24页，共36页，2023年，2月20日，星期三4.3.2最优量化最优量化与p(x)有关，区间分割也与p(x)有关，N足够大时，近似认为在各个区间[ai,ai+1]上的概率分布p(x)为一常数，各子区间上被视为均匀分布。对于x的概率分布非均匀的标量量化采用Max-Livod算法。第25页，共36页，2023年，2月20日，星期三对ai取偏导并置零

d(ai,yi-1)=d(ai,yi)对于均方失真和绝对失真，有ai=(yi+yi-1)/2可知此时边界点在相邻量化值之中点，σe2最小。第26页，共36页，2023年，2月20日，星期三量化值的选定则与概率密度有关。对于均方失真，yi最佳位置在ai和ai+1区间的概率中心。第27页，共36页，2023年，2月20日，星期三Max-Livod迭代方法：1）任取y0;2）由，计算a1;3）根据公式计算y1;4）重复步骤（2）、（3），分别计算出a2,y2,a3,y3,….,直至最后求得yn-15）检验yn是否为[an-1,an]的概率中心，即是否成立，或在允许的一定误差范围内成立。6）若步骤（5）满足，则过程结束，否则，重新选y0。第28页，共36页，2023年，2月20日，星期三实用化必须考虑的问题代价问题---均匀量化失真测度---符合主观特性量化噪声---均方失真概率特性---近似测定截止幅度---过载失真,动态范围使用环境---带宽,质量要求等第29页，共36页，2023年，2月20日，星期三4.4矢量量化编码把多个信源符号联合起来形成多维矢量，再对矢量进行标量量化，量化级数可进一步减小，码率可进一步压缩。——矢量量化LGB算法---最佳标量量化算法的推广第30页，共36页，2023年，2月20日，星期三量化器输入集：X={X1，X2，…，XN}，Xj=（xj1,xj2,…,xjk）Rk划分为J=2n个互不相交的子空间R1，R2，…RJ,子空间的质心Yi(码字或码矢)构成量化器的输出空间Y,Y={Y1,Y2,…,YJ}-----码书矢量量化实质上是判断输入Xj属于哪个子空间Ri,然后输出该子空间代表码字Yi：

Yi=Q（Xj）第31页，共36页，2023年，2月20日，星期三4.5语音压缩编码语音编码就是将模拟语音信号数字化，数字化之后可以作为数字信号传输、存储或处理，可以充分利用数字信号处理的各种技术。为了减小存储空间或降低传输比特率节省带宽，还需要对数字化之后的语音信号进行压缩编码，这就是语音压缩编码技术。第32页，共