相关信源编码PPT学习教案

1、会计学1 相关信源编码相关信源编码 较好地解决复杂系统的输出状 态问题。预测器对样本的预测， 通常是利用样值的线性或非线 性函数关系预测现时的系统输 出。 第1页/共97页 压缩的预测编码理论。 第2页/共97页 第3页/共97页 图31 预测编码原理图 编码器 编码输出 预测器 ui 信源输出 iii uue i u 第4页/共97页 12 (,)i iii k uf uuu (31) 式中：f（）预测函数。 f可以是线性也可以是非线性函数。线性预测函数 的实现比较简单，这时预测值为 1 k i jij j ua u （32） 第5页/共97页 1 k i iiijij j euuua u

2、（33） 根据信源编码定理，若直接对信源输出ui进行编码， 则其平均码长 应趋于信源熵： uL ( )( )log( ), iaii H Up up uuU (34) 第6页/共97页 eL ( )( )log( ) iai H Ep ep e (35) 显然，从信息论观点，预测编码能压缩信源数码率 的必要条件为 euLL (36) 第7页/共97页 预测误差准则的选取，这个问 题决定预测质量标准；其次是 预测函数的选取；最后一个问 题 是 预 测 器 输 入 数 据 的 选 取。 第8页/共97页 定。关于预测器输入数据的选 取，是指选取何处的原始数据 作为预测器的输入依据。一般 可分为开环

3、、闭环和开环闭环 两者的混合三类。开环直接从 信源输出选取待测瞬间i的前k 位，即i-1，i-2，i-k位作为 预测器的输入依据，闭环则取 误差函数的输出端反馈到预测 器中的i位以前的k位作为预测 器的主要输入依据。 第9页/共97页 种混合信号进行有效的预测； 最大误差准则主要用于遥测数 据压缩。可以证明，在均方误 差准则下，按条件期望值进行 预测是最佳预测。 第10页/共97页 第11页/共97页 用实验数据组成一个统计量， 作为某一物理量的估值或预测 值。 第12页/共97页 用预测值编码的方法可分为两 类。一类是对实际值与预测值 之差进行编码。在连续信源的 情况下，就是对此差值量化或

4、取一组差值进行矢量量化。 第13页/共97页 长一串符号可以不传送而只需 传送这串符号的个数， 第14页/共97页 第15页/共97页 （32）所示。 n（3）二维预测，也称为 非线性预测，即预测值与样值 之间为非线性关系。 1 r r uau 第16页/共97页 第17页/共97页 am, 可求出 nE e2r为极小值时的各 个线性预测系数am。 第18页/共97页 22 2 1122 () ( 0 r rr mm rrrkr k m E eE uu aa Eua ua ua u a （37） 于是得： ()0,1,2,r rm E uu umk (38) 第19页/共97页 由式(38)得

5、: 11 () kk r rmmjrjmjrjm jj E u uE u ua uua E uu （39） 式中:Eurjum为urj和um的协方差,记作 Rrj,m,m,j1,2,k。 由式(39)得: Rr,m Ea1ur1uma2ur2umakurkum a1Rr1,ma2Rr2,makRrk,m (310) 第20页/共97页 化，重新调整预测系数， 第21页/共97页 熵，这样采用自适应预测可进 一步减小预测误差和降低数码 率。自适应预测方法很多，一 般可分为线性自适应预测和非 线性自适应预测两大类。 n 第22页/共97页 第23页/共97页 , 同时又将反馈到接收端 线性预测器,

6、以求得下一瞬间 的预测值。由于预测误 差ei的熵(或者方差)远远低于 输入序列ui的熵(或者差值)， 所以经预测后可以很大程度 地提高压缩信源的数码率。 DPCM型编、译码原理及误 差在3.1.4节中介绍。 iu iu iu i y 1i y 第24页/共97页 图32 DPCM型原理图 解码器信道编码器 yi i u 预测器 i y 量化器 uiei 预测器 i u i u xi 第25页/共97页 个不同点是，量化器的位置不 同，PCM在反馈环外，属开 环型，DPCM则在环内，属闭 环型。若仅从预测角度看，基 本原理是一样的，都是由线性 预测滤波器构成的。由于它没 有DPCM的反馈预测环路

7、，因 而 其 实 现 比 较 简 单 。 若 将 PCM型中的量化器改成一种 霍夫曼编码器，则可更好地完 成信源的数据压缩功能。 第26页/共97页 图33 PCM型原理图 解码器信道编码器 yi i u 预测器 i y 量化器 ei i u 预测器 ui 第27页/共97页 可以将量化误差(噪声)纳入闭 合环路内以达到压减量化误差 的目的。 iu 第28页/共97页 第29页/共97页 图34 噪声反馈编码原理图 信道 yi 预测器 i y 量化器 di i u 预测器 ui 滤波器 ei qi xi i u 第30页/共97页 在一定的误差容限值K之下， 传送的数据就越少；反之信号 相关性

8、越弱，传送的数据就越 多。若选择的预测值不仅仅是 前一个样值， 第31页/共97页 第32页/共97页 此时预测值是相邻两个符号值 之差或者就是前一个符号的值， 并对此预测值进行编码。这种 方法不但可用于连续信源，也 可用于离散信源。 第33页/共97页 使图像模糊。采样频率足够高， 相邻样值的时间间隔就小，相 关系数就会接近1，适宜用差 值编码。 第34页/共97页 mm 率。在译码时，为相反变换， 即规定一个增量值，当收到 “1”时在前一个值中加上一个 值作译码输出； 第35页/共97页 以采用一随机噪声序列代替原 来接收到的序列yi，则在一定 条件下也可再现原始信源输出 序列ui。显然，

9、它也是一种变 型线性预测编码。在语音压缩 中，称它为线性预测声码器 (Vocoder)，可见，它是DPCM 的一个特例。由于在DPCM型 中，量化器位于反馈环内，故 又称为闭环型，它可以使环内 残存量化误差大为减少。 第36页/共97页 图35 DPCM增量调制编、译码原理 i u uieixi 信道 yi i y 延时延时 滤波 i u 第37页/共97页 图36 DPCM增量调制编、译码器的输入、输出波形 （a）编码器输入及编码输出;（b）译码器的恢复波形 ui i u 输入波形曲线ui tt9t8t7t6t5t4t3t2t1 111000111 i u t1t2t3t4t5t6t7t8t

10、9t 3 2 (a) (b) 第38页/共97页 过载误差与信号的斜率有关， 斜率越大，越容易出现过载。 下面讨论量化误差对系统的影 响。由式(32)可知,线性预 测器的响应为 第39页/共97页 1 1 1 ( )( ) ( ) k i jij j k j j j k j j j ua u u Za u Z Z p Za Z 其Z变换为 可见，线性预测器的响应为 （312） （313） （314） 式中： aj第j项加权系数； k预测阶次。 第40页/共97页 1 ( )( ) 11 ( ) 1( ) 1 iii i ii k j i j j uu p Zyu p Zx u H z xp Z

11、 a Z （315） （316） 第41页/共97页 iii iii euu xeq (317) (318) 式中：q i量化误差(或量化噪声)。 第42页/共97页 ii i iiii iiiiii uux uuequuuquq 将式(317)、(318)代入式(319)得： （319） （320） 第43页/共97页 第44页/共97页 第45页/共97页 研究阶段的小波变换编码，这 两种方法都具有很强的数据压 缩能力。 第46页/共97页 还大大降低了实现的难度。 n 第47页/共97页 n 式中： P实正交变换矩 阵； nP T 矩阵P的转置 矩阵； nP 1矩阵P的逆矩 阵； nI单

12、位矩阵。 第48页/共97页 T uP x (323) 式中： 1 (,);Mxxxuu 第49页/共97页 变换为什么能解除相关性呢？ 下面讨论这个问题。 第50页/共97页 11121 21222 12 ( )( ) n nT U nnnn E UE UUE U （324） 第51页/共97页 的非零元素代表各分量间的方 差，即自相关性；非对角线上 的元素表示各分量之间的协方 差，即互相关性。 n 第52页/共97页 1 21 12 00 00 00 T n n PAPPAPdig （325） 式中：1,2,n实对称矩阵 A的n个特征根。 第53页/共97页 U （326） 第54页/共9

13、7页 第55页/共97页 第56页/共97页 理论可知，任何矩阵都可相似 于约旦(Jordan)标准型所构成的 矩阵。 第57页/共97页 总能找到对角化或准对角化的 正交变换矩阵。根据矩阵代数 理论，正交矩阵P不是惟一的。 下面介绍几种常用的正交变换 方法。 第58页/共97页 (328) MX协方差矩阵估计值为 1 1 ()() X L TTT MXXiiXX i E XMXMX XM M L (329) 第59页/共97页 的特征值由大到小递减的顺序 来排列各行，得到的 Y是期望 值为零的随机向量， Y的协方 差矩阵： 第60页/共97页 都是变换后第i个变量yi的方差。 1 2 00

14、00 00 T YX N PP (331) 第61页/共97页 胡南列夫(KarhunanLoeve)变 换，简称为KLT变换。KLT变 换不但可解除相关性，对正态 过程还能使分量独立，以利于 信源的压缩，而且还可以忽略 一些高阶项，即从M1到n的 项，而不至于过分影响误差， 下面讨论这个问题。 第62页/共97页 分量，误差可表示为 第63页/共97页 111 22 22 1 () () () () MMM iiijiij ij Mj M T e n eii j M XXyVbVyb V EXEXX Eyb 其均方误差为 归一化正交得: (333) (334) (335) 第64页/共97页

15、 若求2e的最小值,令 2 0,1,2, , e j jMMn b 得: ,1,2, jj bE yjMMn (336) 因正交矩阵 1 2 T T T n V V P V T jj YV X (337) 第65页/共97页 式(336)变为 TT jjjX bE V XV M (338) 代入式(335)得: 22 min 11 2 min 1 () nn jji j Mi M n ei i M E YE Y (339) (340) 所以最小均方误差值为 第66页/共97页 第67页/共97页 上的参考。 第68页/共97页 最优，但是它们在去相关与能 量集中性上仅次于KLT变换， 而且均具

16、有快速算法。 第69页/共97页 上的规律性，且有快速算法, 它已经成为H.261、JPEG及 MPEG等国际标准的主要环节。 n 第70页/共97页 1 0 2(21) ( )( )( )cos,0,1,1 2 M m mk Y kC kx mkM MM (342) 式中 2 ,0 ( ) 2 1,1,2,1 k C k kM YPX （343） 其矢量形式为 第71页/共97页 式中： 2(21) ( )cos, ,0,1,1 2 M M mk PC kk mM MM 离散余弦变换（DCT）形式为 00 11 11 111 222 3(21) 2coscoscos 22 (1)3(1)(2

17、1)(1) coscoscos 222 MM yx M yx MMM M yx MMMM MMM 第72页/共97页 1 0 2(21) ( )( )( )cos,0,1,1 2 M k mk x mC kY kmM MM (345) 式中: 2 ,0 ( )2 1,1,2,1 k C k kM 其矢量形式为 T XP Y (346) 第73页/共97页 00 11 11 1(1) coscos 222 133(1) coscos 2 222 1(21)(21)(1) coscos 222 MM M MM xy M xy MM M xy MMM MM (347) 第74页/共97页 数出现很多

18、的零或小幅值系数， 但是它的这些幅值分布在全空 间范围内，对每个系数均需要 编码。正交变换方法按统计规 律集中分布在一定的区域上， 无需对每个系数编码。 第75页/共97页 1111 22 0000 ( , )( , ) MNMN mnij X m nY i j (348) 式中： 变换前的信号； 变换后的信号。 第76页/共97页 明正交变换能使矢量信号的各 个分量互不相关，即变换域信 号的协方差矩阵为对角线型； 在一定条件下甚至可以使这些 系数相互独立，这样就使有记 忆信源变成了无记忆信源。 第77页/共97页 像扫描因果关系的限制，采用 m阶预测器一般得不到Hm1， 这是因为图像并不是理

19、想的马 尔可夫链，只会与前几个像素 或与周围的部分像素有关。若 用正交变换，可对块内的全部 数据进行变换(去相关性)，因 此，可使变换域内的像素出现 高阶熵，该高阶熵由数据块内 的相关性决定。 第78页/共97页 们不是“最佳”的方法，但是 也有很好的去相关性与能量集 中性，且实现方法方便、快速。 下面简单介绍这些方法的优缺 点。 第79页/共97页 。 更快的运算速度，但其能量集 中的程度比WHT更差。DCT DST既具有运算速度较快 (具有快速算法)，而且经DCT DST后的能量集中性仅次于 KLT。 第80页/共97页 n KLTDCTSLTDFTW HTHRT n若从运算量的大小，它们

20、 由小到大的顺序依次为 n HRTWHTSLTDCTD FTKLT 第81页/共97页 果好(因为DFT、DCT、DST 等正弦型变换均具有渐近最佳 性，即当变换点数趋于无穷大 时，其去相关性能将趋于KLT 的，可把图像等数据的协方差 矩阵对角化，但HRT，WHT 等除外)，但渐趋饱和。若阶 数太大，由于图像本身的相关 性将很小，反而使其压缩效果 不明显，却使运算的复杂性增 加，造成变换的实时性差。因 此子数据块取44，88， 1616为好。 第82页/共97页 中在此部分，需要保留这一部 分。其他部分的系数将被舍去， 恢复信号时再对它们补以零。 这样，由于保留了大部分信号 能量，在恢复信号后，其质量 不会产生显著变化。 第83页/共97页 过该阈值，则保留这些系数 进行编码传输，对于小于阈 值的则补以零。这样，多数 低频成分被编码输出，而且 少数超过阈值的高频成分也 将被保留下来进行编码输出， 这在一定程度上弥补了区域 法的不足。 第84页/共97页 第85页/共97页 合其统计特性的编码器。子带 编码有两个重要的优点：一是, 一个子带编码产生的误差仅限 于这个子带，而不会轻易地扩 展至其他子带，这就避免了误 差在整个频带内的扩散;二是, 对各个子带可以实现不同编码 比特率的分配。这对于实现可 变比特率编码和动态分配带宽 等都是很重要的。 第86页/共97页 复原带