实验报告-数据滤波和数据压缩实验

1、实验题目：使用Haar小波和傅里叶变换方法滤波及数据压缩1实验目的(1)掌握离散数据的Haar小波变换和傅里叶变换的定义，基本原理和方法(2) 使用C+实现数据的Haar小波变换和离散傅里叶变换(3) 掌握数据滤波的基本原理和方法(4) 掌握使用Haar小波变换和离散傅里叶变换应用于数据压缩的基本原理和方法，并且对两种数据压缩进行评价2实验步骤2.1算法原理小波变换(1) 平均，细节及压缩原理设x1，x2是一组两个元素组成的信号，定义平均与细节为a(x1x2)/2，d(x1x2)/2。则可以将a，d作为原信号的一种表示，且信号可由a，d恢复，x1ad，x2ad。由上述可以看出，当x1，x2非常

2、接近时，d会很小。此时，x1，x2可以近似的用a来表示，由此实现了信号的压缩。重构的信号为a,a，误差信号为|x1a|，1x2a|d|，1d|。因此,平均值a可以看做是原信号的整体信息，而d可以看成是原信号的细节信息。用a近似的表示原信号，可以实现对原信号的压缩，而且丢失的细节对于最终信号的重构不会有重大影响。对于多元素的信号，可以看成是对于二元信号的一种推广。(2) 尺度函数和小波方程在小波分析中，引入记号(t)X1,o)(t)，其中，X1，0)(t)表示区间1，0上的特征函数。定义称(t)为Haar尺度函数。由上式可知，肚都可以由°0伸缩和平移得到。小波分析中，对于信号有不同分辨

3、率的表示，当用较低分辨率来表示原始信号时，会丢失细节信息，需要找到一个函数来描述这种信息，该函数称之为小波函数。基本的小波函数定义如下：则(t)(2t)(2t1)。(t)称为Haar小波。1,01,1称为两尺度方程，(t)1,0(t)1,1(t)称为小波方程。(3) Haar小波变换计算方法该序列可以该序列可以设%,公2宀是一个长度为2n(n>1)的离散信号序列，记为弘臥1J，用如下的带有尺度函数来表示：一次小波分解的结果：f(t)an1,0n1,0(t)an1,2n11n1,2n11(t)dn1,0n1,0(t)dn12n11n1,2n11(t)对上式积分，由尺度函数的正交性，可得0f

4、(t)n1,k(t)dtani,kk=0,得到an1,0(an,0an,1)/2。一般的，有同理傅里叶变换(1) 一维连续函数的傅里叶变换定义设f(t)为连续的时间信号，则定义F(u)设f(t)为连续的时间信号，则定义F(u)f(t)ej2utQt为f(t)的傅里叶变换，其反变换为f(t)f(t)F(u)ej2utdu。(2) 维离散傅里叶变换对连续的时间信号f(t)等间隔采样，得到离散序列f(n)。假设米样N次，则序列表示为f(0),f(1),.,f(N1)。令n为离散变量，u为离散频率变量，则一维离散傅里叶变换及其反变换定义：域中看起来占满全空间的信号，这就得到一个极为实用的结论：从频域中

5、很可能只占用了极小一块区域，而大部分频率是被为零的。一个看起来信息量很大的信号，其实可以只用极少的数据就可加以傅里叶变换的数学性质中，最重要的一点是：一个在时域或空域上看起来很复杂的信号(比如声音或图像)通常在频域上只集中在很小一块区域内，而很大一部分数值都接近于零。即一个在空描述。只要对它先做傅里叶变换，然后只记录那些不接近零的频域信息就可以达到数据压缩的目的。(3) 快速傅里叶变换FFT原理FFT的基本思想：将大点数的DFT分解为若干个小点数DFT的组合，从而减少运算量。令WNnAj2nk/NeF(k)，贝UF(u)可改写为1NNn1f(n)Wk0。令N=2M，其中M为一正整数。带入式中,

6、得到Fe(k)令f(2n)wM,kFo(k)1f(2n1WM,k0则有1F(k)2Fe(k)Fo(k)W2MF(k上述推导说明：对一个长度为N的序列进行傅里叶变换可以通过将其划分为2个N/2的序列进行傅里叶变换，对于N/2的傅里叶变换，可划分为两个N/4的变换，这一过程不断迭代，知道两点的序列为止，可计算出该序列的傅里叶变换。(4) 时间抽取的基2FFT蝶形算法对于(3)中的计算方法，可以采用蝶形运算符号来表示。本实验中采用的算法是时间抽取的基2FFT算法实现快速傅里叶变换。数据压缩的评价准则(1) 数据压缩比设原始信号f(n)的数据量大小为S,经过数据压缩后，信号的数据量变为M,般情况下M&

7、lt;S。则数据压缩比率的定义为：由上式可知，数据压缩得越小，其数据压缩比越大。(2) 数据失真度对于压缩后的数据，可以采用反变换等方式还原信号。设原信号为f(n),还原信号为f1(n),则我们定义还原信号与原始信号的差异为数据失真度。显然，数据恢复越接近原始信号，数据失真度越小。2.2算法步骤(1)Haar小波方法步骤a) 读入原始数据f(n)对原始数据f(n)进行小波变换。对原始数据进行不同层级(分辨率)下的小波变换，得到不同的小波变换结果An,Dnb) 对于上步中的小波变换结果，把细节分量Dn置为0，即滤波得到压缩数据Anc) 对于滤波结果An，通过小波逆变换，恢复数据d) 计算恢复数据

8、与原始数据的差异，进行压缩评价离散傅里叶变换步骤a) 读入原始数据f(n)b) 对原始数据f(n)进行离散傅里叶变换。使用蝶形算法计算傅里叶变换结果F(u)c) 对F(u)进行滤波，保留低频成分，舍弃高频成分，即得到原始数据的近似表示d) 对滤波结果的低频数据，高频分量恢复为零值，使用傅里叶反变换，恢复数据e) 计算恢复数据和原始数据的差异，进行压缩评价2.3程序流程图图1Haar小波变换流程图在图1中，原始数据存放在文本文件eggs.txt中，由程序运行时读入。对结果的滤波是舍弃小波分解的细节部分。计算结果写入dwt.txt文件中。图2Haar小波压缩数据差异计算流程图图2是计算使用Haar

9、小波进行数据压缩后，与原始数据差异。图中的f(n)表示原始数据，A(n)是小波变化结果，f1(n)表示逆变换结果。图3离散傅里叶变换流程图图3是傅里叶变换流程图。原始数据是eggs.txt。对F(u)滤波时，舍弃高频信息。写入fft.txt文件中。计算结果图4离散傅里叶变换压缩数据差异计算流程图图4是傅里叶变化压缩数据后的差异计算。傅里叶逆变换时，对于高频分量补零,来恢复数据f1(n)。3实验结果分析(1)傅里叶变换图5测试数据集的FFT变换及IFFT变换结果在上图中，得到测试数据集的傅里叶变换结果。图中带括号的是数据变换的复数结果，与低频分量与低频分量后边的1/2的数据经过变换之后变为0值。

10、小数是变换后的幅值。可以看出，在傅里叶变换的结果中，有这部分为0值的数据可以采用压缩方式存储，从而压缩原始数据。并且，经过傅里叶反变换后，原始数据可以得到良好的恢复。图6eggs.txt数据傅里叶变换结果使用eggs.txt中的数据时，由于数据量较大，此处只是部分数据截图。数据不足2"的部分用零补齐。可以看出，变换后的数据幅值较大，且基本没有为0数据。此时，采用阈值进行滤波处理，取阈值30，即将阈值小于30的值置为0。（2）小波变换图7测试数据集的小波变换DWT由上图的实验结果可以看出，数据经过小波变换后，其能量集中于数据的靠前的小波系数。对于相同的数据集，可以采用不同级别的小波变换

11、数据。图8eggs.txt数据小波变换结果由上图，对于实验数据，经过小波变换后，大部分的数据都为0。正式小波变换的这一特点，使得小波变换可以用于数据的压缩。4 实验结论在文章的上两节中，分别介绍了使用傅里叶变换和小波变换处理数据的方法。由实验中，可以得到以下两点：第一，傅里叶变换时数据的整体变换方法，数据经过傅里叶变化后，其能量主要集中在变换结果的靠前的数据部分，对于后边的能量较小的部分，对于原始数据的差异描述，在存储时可以忽略，从而进行数据压缩。第二，小波变换的方法是既考虑数据整体性，又考虑数据的局部性。数据小波变换后，小波变换的前半部分系数表示数据的整体，后半部分表示数据的细节特征，对于一

12、个连续的信号，其细节部分是微小的，可以忽略，从而使得小波变换的后半部分系数为0，从而实现了数据的压缩。小波变换可以在不同的层级上进行。对于一个连续的信号，采用傅里叶变换或是小波变换，数据可以得到较好的恢复，例如实验中的测试样本数据。对于给定的eggs.txt数据集，由于其波动较大，细节差异超过了原始信号，对其进行压缩，恢复得到的数据跟原始数据的差异很大。5 实验心得体会（1）傅里叶变换和小波变换的原始数据n快速傅里叶变换和小波变换处理的数据都是N2个。对于不足N的数据，用零补齐后进行相应的变换，原始数据实际上改变。2）数据恢复数据压缩后，为了得到数据，数据恢复是必须的。对于傅里叶变换，采用傅里叶反变换的方法，可以得到压缩数据的回复数据；对于小波变换，则采用小波重构的方式。由于采用的压缩方式是有损的，所以恢复得到数据并非原始数据。（3）小波变换可以得到数据的不同分辨率的表示，对于数据的滤波和压缩也可以在不同的分辨率上进行。原始数据是最高分辨率。采用的分辨率越高，则对于数据的压缩比越小。（4）对于非2n个数据的原始