实验报告-数据滤波和数据压缩实验

实验题目：使用Haar小波和傅里叶变换方法滤波及数据压缩1实验目的（1）掌握离散数据的Haar小波变换和傅里叶变换的定义，基本原理和方法（2）使用C++实现数据的Haar小波变换和离散傅里叶变换（3）掌握数据滤波的基本原理和方法（4）掌握使用Haar小波变换和离散傅里叶变换应用于数据压缩的基本原理和方法，并且对两种数据压缩进行评价2实验步骤2.1算法原理2.1.1Haar小波变换 （1）平均，细节及压缩原理 设{x1，x2}是一组两个元素组成的信号，定义平均与细节为，。则可以将{a，d}作为原信号的一种表示，且信号可由{a，d}恢复，，。 由上述可以看出，当x1，x2非常接近时，d会很小。此时，{x1，x2}可以近似的用{a}来表示，由此实现了信号的压缩。重构的信号为{a，a}，误差信号为。因此，平均值a可以看做是原信号的整体信息，而d可以看成是原信号的细节信息。用{a}近似的表示原信号，可以实现对原信号的压缩，而且丢失的细节对于最终信号的重构不会有重大影响。对于多元素的信号，可以看成是对于二元信号的一种推广。 （2）尺度函数和小波方程 在小波分析中，引入记号，其中，表示区间[1，0]上的特征函数。定义 称为Haar尺度函数。由上式可知，都可以由伸缩和平移得到。 小波分析中，对于信号有不同分辨率的表示，当用较低分辨率来表示原始信号时，会丢失细节信息，需要找到一个函数来描述这种信息，该函数称之为小波函数。基本的小波函数定义如下： 则。称为Haar小波。称为两尺度方程，称为小波方程。（3）Haar小波变换计算方法设是一个长度为(n>1)的离散信号序列，记为，该序列可以用如下的带有尺度函数来表示：一次小波分解的结果： 对上式积分，由尺度函数的正交性，可得。令k=0，得到。一般的，有 同理 2.1.2傅里叶变换（1）一维连续函数的傅里叶变换定义设f(t)为连续的时间信号，则定义为f(t)的傅里叶变换，其反变换为。（2）一维离散傅里叶变换对连续的时间信号f(t)等间隔采样，得到离散序列f(n)。假设采样N次，则序列表示为。令n为离散变量，u为离散频率变量，则一维离散傅里叶变换及其反变换定义：开始开始读取原始数据数据f(n),变换后A(n)对A(n)小波逆变换IDWT，得f1(n)计算f(n)和f1(n)差异结束图2Haar小波压缩数据差异计算流程图 图2是计算使用Haar小波进行数据压缩后，与原始数据差异。图中的f(n)表示原始数据，A(n)是小波变化结果，f1(n)表示逆变换结果。开始开始读取原始数据f(n)傅里叶变换FFT,得到F(u)变换结果F(u)滤波F(u)数据写入文件结束图3离散傅里叶变换流程图 图3是傅里叶变换流程图。原始数据是eggs.txt。对F(u)滤波时，舍弃高频信息。计算结果写入fft.txt文件中。开始开始读取原始数据数据f(n),变换后F1(u)对F1(u)傅里叶逆变换IFFT，得到f1(n)计算f(n)和f1(n)的差异结束图4离散傅里叶变换压缩数据差异计算流程图 图4是傅里叶变化压缩数据后的差异计算。傅里叶逆变换时，对于高频分量补零，与低频分量来恢复数据f1(n)。3实验结果分析（1）傅里叶变换图5测试数据集的FFT变换及IFFT变换结果 在上图中，得到测试数据集的傅里叶变换结果。图中带括号的是数据变换的复数结果，后边的小数是变换后的幅值。可以看出，在傅里叶变换的结果中，有1/2的数据经过变换之后变为0值。这部分为0值的数据可以采用压缩方式存储，从而压缩原始数据。并且，经过傅里叶反变换后，原始数据可以得到良好的恢复。图6eggs.txt数据傅里叶变换结果 使用eggs.txt中的数据时，由于数据量较大，此处只是部分数据截图。数据不足的部分用零补齐。可以看出，变换后的数据幅值较大，且基本没有为0数据。此时，采用阈值进行滤波处理，取阈值，即将阈值小于30的值置为0。（2）小波变换图7测试数据集的小波变换DWT 由上图的实验结果可以看出，数据经过小波变换后，其能量集中于数据的靠前的小波系数。对于相同的数据集，可以采用不同级别的小波变换数据。图8eggs.txt数据小波变换结果 由上图，对于实验数据，经过小波变换后，大部分的数据都为0。正式小波变换的这一特点，使得小波变换可以用于数据的压缩。4实验结论 在文章的上两节中，分别介绍了使用傅里叶变换和小波变换处理数据的方法。由实验中，可以得到以下两点：第一，傅里叶变换时数据的整体变换方法，数据经过傅里叶变化后，其能量主要集中在变换结果的靠前的数据部分，对于后边的能量较小的部分，对于原始数据的差异描述，在存储时可以忽略，从而进行数据压缩。第二，小波变换的方法是既考虑数据整体性，又考虑数据的局部性。数据小波变换后，小波变换的前半部分系数表示数据的整体，后半部分表示数据的细节特征，对于一个连续的信号，其细节部分是微小的，可以忽略，从而使得小波变换的后半部分系数为0，从而实现了数据的压缩。小波变换可以在不同的层级上进行。 对于一个连续的信号，采用傅里叶变换或是小波变换，数据可以得到较好的恢复，例如实验中的测试样本数据。对于给定的eggs.txt数据集，由于其波动较大，细节差异超过了原始信号，对其进行压缩，恢复得到的数据跟原始数据的差异很大。5实验心得体会（1）傅里叶变换和小波变换的原始数据 快速傅里叶变换和小波变换处理的数据都是个。对于不足N的数据，用零补齐后进行相应的变换，原始数据实际上改变。（2）数据恢复 数据压缩后，为了得到数据，数据恢复是必须的。对于傅里叶变换，采用傅里叶反变换的方法，可以得到压缩数据的回复数据；对于小波变换，则采用小波重构的方式。由于采用的压缩方式是有损的，所以恢复得到数据并非原始数据。（3）小波变换可以得到数据的不同分辨率的表示，对于数据的滤波和压缩也可以在不同的分辨率上进行。原始数据是最高分辨率。采用的分辨率越高，则对于数据的压缩比越小。（4）对于非个数据的原始数据集（不采用补零方式），其傅里叶变换应如何计算？参考文献[1]数据挖掘：概念与技术/（加）韩家炜，（加）坎伯（Kamber,M.）著；范明等译.-北京：