实验分析报告-数据滤波和数据压缩实验

1、实验报告-数据滤波和数据压缩 实验 作者: 日期: 实验题目：使用Haar小波和傅里叶变换方法滤波及数据压缩 1实验目的 （1）掌握离散数据的 Haar小波变换和傅里叶变换的定义，基本原理和方法 （2）使用C+实现数据的Haar小波变换和离散傅里叶变换 （3）掌握数据滤波的基本原理和方法 （4） 掌握使用Haar小波变换和离散傅里叶变换应用于数据压缩的基本原理和方法，并 且对两种数据压缩进行评价 2实验步骤 2.1算法原理 2.1.1 Haar小波变换 （1）平均，细节及压缩原理 设x1，x2是一组两个元素组成的信号，定义平均与细节为a （x1x2）/2， d （x1 x2）/2。则可以将a，

2、d作为原信号的一种表示，且信号可由a，d恢复， x1 a d，x2 a d。 由上述可以看出，当 x1，x2非常接近时，d会很小。此时，x1，x2可以近似的用a 来表示，由此实现了信号的压缩。重构的信号为a， a，误差信号为 | x1 a |，1 x2 a| | d |，1 d |。因此，平均值a可以看做是原信号的整体信息，而d可 以看成是原信号的细节信息。用a近似的表示原信号，可以实现对原信号的压缩，而且丢 失的细节对于最终信号的重构不会有重大影响。对于多元素的信号，可以看成是对于二元信 号的一种推广。 （2）尺度函数和小波方程 在小波分析中，引入记号X1,o）（t），其中，乂口表示区间1，

3、0上的特征函 数。定义 j,k（t）（2jt k）,k 0,1,.,2j 1 称（t）为Haar尺度函数。由上式可知，j,k（t）都可以由0伸缩和平移得到。 小波分析中，对于信号有不同分辨率的表示，当用较低分辨率来表示原始信号时，会丢 失细节信息，需要找到一个函数来描述这种信息，该函数称之为小波函数。基本的小波函数 定义如下： 1,0 t 1/2 (t)X0J/2)(t) X1/2,1)(t)1,1/2 t 1 0,其他 则(t)(2t)(2t 1)。(t)称为 Haar 小波。(t)1,o(t)1,1(t)称为两尺度方程， (t)1,o(t)1,1(t)称为小波方程。 (3) Haar小波变

4、换计算方法 设xz-x”是一个长度为2n(n1)的离散信号序列，记为佝0，%1? 1，该序 列可以用如下的带有尺度函数来表示： f (t)an,0 n,0(t) - an,2n 1 n,2n 1 (t) 一次小波分解的结果： f (t)an 1,0 n 1,0(t)an 1,2n 1 1 n 1,2n 1 1(t)dn 1,0 n 1,0 (t) dn 1,2n 1 1 n 1,2n 1 1 (t) 对上式积分，由尺度函数的正交性, 可得 1 0 f (t) n 1,k (t)dt an 1,k。令 k=0，得到 1,0 (an,0 an,1)/J2 。 13 般的, 1,k (an,2k a

5、n,2k 1)/，2,k 0,1,.2n 同理 dn 1,k (an,2k an,2k 1 ) /2, k 0,1,.2n 2.1.2傅里叶变换 (1) 一维连续函数的傅里叶变换定义 设f(t)为连续的时间信号，则定义 F(U) f(t)e j2 utdt 为 f(t)的傅里叶变换，其反 F(u)ej2 utdu 。 变换为 (2)一维离散傅里叶变换 对连续的时间信号f(t)等间隔采样，得到离散序列 f(n)。 假设米样N次，则序列表示为 f (0), f (1),，f (N 1)。令n为离散变量，u为离散频率变量，则一维离散傅里叶变换 及其反变换定义： N 1 Ij2 un/N F (u)f

6、 (n)e , u 0,1,., N 1 N n 0 N 1 j2 un/N f(n) F (u)ej ,n 0,1,.,N 1 u 0 傅里叶变换的数学性质中，最重要的一点是：一个在时域或空域上看起来很复杂的信号 （比如声音或图像）通常在频域上只集中在很小一块区域内，而很大一部分数值都接近于零。 即一个在空域中看起来占满全空间的信号，从频域中很可能只占用了极小一块区域，而大部 分频率是被为零的。这就得到一个极为实用的结论：一个看起来信息量很大的信号，其实可 以只用极少的数据就可加以描述。只要对它先做傅里叶变换，然后只记录那些不接近零的频 域信息就可以达到数据压缩的目的。 （3）快速傅里叶变换

7、 FFT原理 FFT的基本思想：将大点数的DFT分解为若干个小点数 DFT的组合，从而减少运算量。 n ,kj 2 nk/N 令Wne，则F(u)可改写为 F(k) n k f（n）WJ 。令N=2M，其中M为 一正整数。带入式中，得到 2M 1 In k F(k)f(n)W2M 2M n 0 1 F（k） 1 M 1 d0f(2n)Wn，k 1 f (2 n o iwM,kw2M Fe(k) 令 1 f(2 n)W；k 0 Fo(k) 1 n k f (2n 1)Wm 0 则有 F(k) Fe(k) Fo(k)W2kM F(k 上述推导说明：对一个长度为N的序列进行傅里叶变换可以通过将其划分

8、为2个N/2 的序列进行傅里叶变换， 对于N/2的傅里叶变换，可划分为两个N/4的变换，这一过程不断 迭代，知道两点的序列为止，可计算出该序列的傅里叶变换。 （4）时间抽取的基2FFT蝶形算法 对于（3）中的计算方法，可以采用蝶形运算符号来表示。本实验中采用的算法是时间 抽取的基2FFT算法实现快速傅里叶变换。 2.1.3数据压缩的评价准则 （1）数据压缩比 设原始信号f（n）的数据量大小为 S,经过数据压缩后，信号的数据量变为M，般情况 下MS。则数据压缩比率的定义为: (S M )/S 由上式可知，数据压缩得越小，其数据压缩比越大。 （2）数据失真度 对于压缩后的数据，可以采用反变换等方式

9、还原信号。设原信号为f（n），还原信号为 f1（n），则我们定义还原信号与原始信号的差异为数据失真度。显然，数据恢复越接近原始信 号，数据失真度越小。 2.2算法步骤 (1) Haar小波方法步骤 a) 读入原始数据f(n) b) 对原始数据f(n)进行小波变换。对原始数据进行不同层级(分辨率)下的小波变 换，得到不同的小波变换结果An , Dn c) 对于上步中的小波变换结果，把细节分量Dn置为0，即滤波得到压缩数据An d) 对于滤波结果An，通过小波逆变换，恢复数据 e) 计算恢复数据与原始数据的差异，进行压缩评价 (2) 离散傅里叶变换步骤 a) 读入原始数据f(n) b) 对原始数据

10、f(n)进行离散傅里叶变换。使用蝶形算法计算傅里叶变换结果F(u) c) 对F(u)进行滤波，保留低频成分，舍弃高频成分，即得到原始数据的近似表示 d) 对滤波结果的低频数据，高频分量恢复为零值，使用傅里叶反变换，恢复数据 e) 计算恢复数据和原始数据的差异，进行压缩评价 2.3程序流程图 台 kA / 波变换 变换结果 变换换结果 / _ / _P (-16,80.4371) C-16,3B.6274 C-1S,0) 一圧0-4274、 1 2 3 4 * 5 ? 7 Ifi 11 12 1? H IS IB 1 2 3 4 5 ? 7 ? 10 11 12 13 14 15 1 1 2 1

11、3 4- 9IB1112 一级小波变龄孔 2.12132 4.?4?75 7.7717 16.60G6 2.121327.77B1? 18.60G6 13.435 13-43S 1 召.2635 16.2635 16 21,?203 21.9203 M.7717-,7U71 tfZ-0./U7L07-W.7H71B7-0.7M71B7-M,ZW71U7-H.7W7107-M.7M71W7 0.?C?107 0-707107 0.707107 0.70710? 0*70710? 0-707107 0.707107 0.70710? 二簸小波变换结果. 51321295132129 -2-2-2-

12、2-2-2-2-2 -0.707107-0-?0?10?-0.7007-0.?0?107-0.707107-0.707107-0.7071即-0.70710? l.7H71tt7-0_7W7丄呼一H -TtT/l.7B71WV-0. 7W/107-0.7071 W7-(J. 7(171 M7 KB.74 3514.32 2334.87 73B.391 256.U 131.522 214. 253 912.875 1053.5V 2K4.B5 4225.67 1BG9.IE 447.599 * 一 i 弱 3H2. 42 13S.25 2B23.33 462 肌4 113. 19? 14. 04

13、超 122.329 1190.77 阳醃.21 9717.97 227.1 .06 103. 23 .40C29 i3t.472 54.4479 dSQ.12 1999-19 10?1.E? 7000 _0? 418G _0? 4437.8 17J9.40 324.Ct2 Q8Q .839 219.011 汐丄-J龊 104C -33 2089 .09 3097.77 25G4.6B 927.724 W3 .374 4.0492 364.763 SSS. 2?S 丄503 _48 2791-15 1246.63 4835_9 丄百丄B.16 tl32_38 2008.8? 1059 .25 1

14、104.5 114S.34 12B2.79 970.858 366.281 1974-75 ZbJU.Mi _2b 2V7S .51 21bY.yt L67?.3B 1&M0.1N 28b8.03 4B26.7L 3133.9 1.畑 -础 Hb2b.lS 1352.? lvua.bv 3712.31 3915.25 5176.0Z 2941 .EG 4505 _G8 3935.76 1229.6E 974.393 18EE.05 2439.52 393B.B1 3007 *33 786. 22?1.73 L57S.26 2317.19 3626.75 8531.5 13107,& 11375

15、.2 376? .59 1268.55 110.389 479,418 2315.07 203A.B1 3 0 Q 6 0 0 fl 0 0 R 6 e 8 0 0 0 阿 H P n Fl n 诃 ft R a 幵 n R H 0 9 e e 0 P 0 0 9 e 0 s 0 0 0 9 e 8 0 0 8 0 3 e 0 0 0 0 0 9 e a B 0 0 0 9 e 8 0 0 0 0 涉 e M H t U 甘 u M M H 9 0 e a 0 0 e 0 0 e 0 0 0 e 0 e a 0 0 e a e a Q 0 e 甘 u a Q Q 0 駅 a Q fl a a

16、q a B 0 h R 0 0 Q e 0 0 0 0 3 0 B e 何 fl 0 a 0 6 8 8 a a 0 图8 eggs.txt数据小波变换结果 由上图，对于实验数据，经过小波变换后，大部分的数据都为0。正式小波变换的这一 特点，使得小波变换可以用于数据的压缩。 4实验结论 在文章的上两节中，分别介绍了使用傅里叶变换和小波变换处理数据的方法。由实验中, 可以得到以下两点： 第一，傅里叶变换时数据的整体变换方法，数据经过傅里叶变化后，其 能量主要集中在变换结果的靠前的数据部分，对于后边的能量较小的部分，对于原始数据的 差异描述，在存储时可以忽略， 从而进行数据压缩。第二，小波变换的方

17、法是既考虑数据整 体性，又考虑数据的局部性。数据小波变换后，小波变换的前半部分系数表示数据的整体， 后半部分表示数据的细节特征，对于一个连续的信号，其细节部分是微小的，可以忽略，从 而使得小波变换的后半部分系数为0,从而实现了数据的压缩。小波变换可以在不同的层级 上进行。 对于一个连续的信号，采用傅里叶变换或是小波变换，数据可以得到较好的恢复，例如 实验中的测试样本数据。对于给定的eggs.txt数据集，由于其波动较大，细节差异超过了原 始信号，对其进行压缩，恢复得到的数据跟原始数据的差异很大。 5实验心得体会 1 傅里叶变换和小波变换的原始数据 快速傅里叶变换和小波变换处理的数据都是N 2个。对于不足N的数据，用零补齐 后进行相应的变换，原始数据实际上改变。 （2 ）数据恢复 数据压缩后，为了得到数据，数据恢复是必须的。对于傅里叶变换，采用傅里叶反变换 的方法，可以得到压缩数据的回复数据；对于小波变换，则采用小波重构的方式。由于采用 的压缩方式是有损的，所以恢复得到数据并非原始数据。 （3 ）小波变换可以得到数据的不同分辨率的表示，对于