【毕业学位论文】（Word原稿）数据分类中特征提取方法的研究

兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 1 第一章 绪论 究工作的背景 计算机技术的快速发展 以及 数据存储、采集和管理技术的进步与企业的需求， 使得 数据库技术得到了广泛的发展和应用。 随着 媒体技术、生物技术等 应用的发展 ， 各种类型 数据的数量也不断增长，相当多 的商业数据库容量 已经达到了海量的水平，甚至有的 数据库中已经存储了上万亿字节的数据。 如此庞大的数据量使人们在分析数据 并 从中获取知识的难度越来越大。 数据分类是最重要的数据分析方法之一， 已经成为当今 数据挖掘、人工智能 、模式识别 等领域研究者的一个重要 研究方向和难题。 在数据分类中，将描 述对象特有的、本质的属性提取出来的过程叫做特征提取 。 特征提取是数据分类的基础， 是必不可少且极为关键的环节。 计算机处理的数据 主要包含两类：一维数据（序列） ，如 时间序列、蛋白质序列、 列、声音信号等 ； 二维数据（图像） ，如 文字、医学图像、人脸、指纹、风景图片等等。 数据中其内容的最基本的属性叫做数据特征，它们可以是原始数据的自然属性，也可以是经过处理后的人为定义的某些参数。 针对不同的数据有着不同的特征提取方法，而不同的特征提取方法也有着不同的分类效率。将数据进行特征提取之后，为了可以准确地对提取的特征进行分 类，必须要通过分类 器 来实现 。 一个分类器的合适与否，直接影响着分类的结果。 数据分类一直是研究热点 之一 ， 国内外学者对此也有着大量的开创性的 研究工作。 在一维序列分类的研究中 ， 文献 1提出了一种基于支持向量机 （ 的 列的分类方法。 出了基于人工神经网络的蛋白质序列分类方法 2。在图像数据的分类研究中 ， 文献 3提出了一种基于 高光谱遥感图像分类方法，并取得了良好的效 果。文献 4使用了 一种基于小波神经网络的医学图像分类 方法。文献 5将 最 邻近 算法 （ 结合 用于生物图像识别，取得了良好的分类效果。 以上 分类 方法 中的数据特征提取 都是在原 始 数据 中 进行 ， 如文献 1将蛋白质序列通过氨基酸的物理化学性质的映射，转换为数字序列 后 直接作为 输入；文献 5采用生物图像灰度共生矩阵 的统计参数作为图像纹理特征输入分类器。 在信号处理技术中，通过变换信号，改变信号的表示域来表示数据，可以兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 2 给后续的工作带来极大的方便 ， 常用的变换有 傅里叶变换、余弦变换、小波变换等。随着这些 信号处理技术的发展 ， 许多研究工作者将信号变换应用到数据分类中 。 通过将一维信号或图像进行信号变换，在变换域进行特征提取算法的设计 ，不仅 可以降低数据维数 ，还可以 提取 到 数据的主要特征， 并获 得 理想 的分类效果 。 在一维数据中， u6提出 了一种基于小波变换系数的 K 最邻近法的时间序列匹配算法 ； 7首次提出了使用 波进行时间序列相似匹配 ； 8,9扩展了 所使用的小波，提出了更广泛的一类小波实现相似匹配。然而，他们在进行特征提取 中，只选取了小波系数中低频空间的前几个系数作为特征向量，完全忽略了细节信息。文献 10应用了一种在小波系数中基于氨基酸的物理化学性质的蛋白质特征提取方法，并采用支持向量机进行序列分类。 在二维数据中， 随着小波分析技术的发展，愈来愈多的学者将小波变换应用到图像特征提取中 。 T. 1提出了一种在小波包变换域提取纹理特征的算法。文献 12将图像纹理属性与多小波变换结合，进行特征提取 ，用于图像分类。文献 13采 用了一种基 于对偶 树 复小波 分解的高频子带对应的模值子带直方图的图像 特征提取方法。 近十年 来，基于内容的图像分类一直是当前最活跃的研究热点之一。 然而，很多基于内容的图像分类方法的结果难以令人满意，主要是因为计算机提取的图像视觉特征与人所理解的图像内容存在巨大的差异。通过关联规则挖掘将图像的底层视觉特征映射到语义特征的特征提取方法，目前处于研究阶段并取得了一些成果。 文献 14提出了基于小波变换的关联规则 挖掘 算法，并应用 于 纹理 图像 分类中，取得了良好的分类效果。 因此 ，论文的研 究工作主要围绕基于 变换 域系数的一维信号 和 二维图像的特征提取 以及 数据分类 展开 ，以期获得良好的结果 。 征提取及 分类方法 对研究对象的特有的、本质的以及重要的属性或特征进行提取并对提取的结果 按照后续工作需要进行转化的 过程 叫做特征提取 。 不同的数据，其特征提取的方法也不同。 维数据的 特征提取 由于一维数据种类和性质的复杂性，数据性质之间不具有统一性，所以不同兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 3 的 数据有着相应的特征提取。 下面列举 几种数据 的特征 提取方法： 1. 蛋白质 序列数据： 蛋白质序列特征提取主要分为两类：基于氨基 酸组成 和 位置 的方法 15和基于氨基酸 物理化学特性 的方法 16。 (1) 基于氨基酸 组成和位置的特征提取算法：氨基酸是构成 蛋白质的基本单位。不同的 蛋白 质 序列其序列中的 20 种氨基酸所出现的频率 和 它 们的 排列顺序也不同 ，所以 基于 蛋白质序列中 氨基酸组成和位置的特征提取算法是 最直观、最简单 的方法， 其特征 主要有 熵密度、 氨基酸组成、 n 阶耦联组成、完全信息集、残基耦联模型以及多肤组成成分 等。 (2) 基于氨基酸物理化学特性的 特征提取方法：氨基酸的侧链 结构 决定了氨基酸的种类， 每 种氨基酸 的侧链在大小、形状、水性、负电性以及酸碱性等方面都存有 差异，正是这 些 差异，使各种不同组合的氨基酸序列形成 了 各种不同的蛋白质结构，并 能够 适应各类环境 ，完成其特定的生理功能。蛋白质的 物 理化 学 性质和生物学活性 决定 了其空间结构的完成，所以仅仅知道蛋白质的氨基酸组成以及 它们的 排列顺序并不能准确 了解蛋白质的结构， 还需要考虑氨基酸的性质。目前，其主要特征有：伪氨基酸组成、自相关函数、 准序列次序作用和疏水模式组成等。 2. 时间序列数据 时间序列数据是指随时间变化的值组成的序列数据，如股票的波动、商品的销售额等等。其主要的特征提取方法有频域表示法、符号表示法和分段表示法。 (1) 频域表示法：将时间序列从时间域映射到频率域，用频谱来表示时间序列，通过频域变换 能有效地解决高维特征向 量的降维问题 17。常用的频域变换方法有离散小波变换 （ 、离散傅立叶变换(等 。 (2) 符号化表示：将连续的时间序列映射到有限的离散的符号上，将时间序列转换为有限符号的有序集合。 (3) 分段表示：用一系列的直线来模拟原始数据，是一种高层次的数据表示方法。主要方法有 分段合计近似、分段多项式表示和分段线性表示等。 3. 声音信号数据 声音信号的特征提取一般分为两类： (a)时域特征提取，将帧声音信号的各个时域采 样值直接构成一个向量。 (b)变换域特征提取，对一帧声音信号进行某种变换后提取特征。前者优点在于计算简单，缺点是不能压缩维数并且不适合表征幅度谱特性。后者的计算比较复杂，但能从不同的角度反映信号的特征。 声音信号的特征 主要有幅度、过零率、邻界带特征矢量、线性预测系数特征矢量、兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 4 谱特征矢量、 谱参数和共振峰 等 。 除此之外还有 其他 种 类 的一维数据 ，如脑电波信号数据 、机械振动信号数据 、不同地区的土壤酸碱度数据等等。由于 一维 数据的种类庞大，其对应的特征提取方法繁多，本文就不一一介绍。 像 特征提取 1. 颜色 特征 颜色特征 或灰度特征是图像的主要视觉性特征，是一种重要的图像特征，在图像分析与处理中有着广泛的应用 。基于灰度直方图的特征提取 方法 和颜色矩特征提取 方法是主要的两种颜色特征提取方法 ，其中应用比较广泛的是直方图特征提取方法。 灰度直 方图 （ 如图 示） 是图像灰 度分 布 密度函数的 近似，其反映了 图像 的 灰度分布情况，横坐标 代表了灰度级，纵坐标代表 该灰度出现的频率。 (a)原始图像 (b)灰度直方图 图 灰度图像及其直方图 虽然灰度直方图描述了 图像的全局信息，但是却无法有效地表示图像的空间信息。因此， 两幅不同的图像，它们的灰度直方图却有可能相同，进而所提取的直方 图特征也会相同， 这就会对后续的图像分类结果造成影响。灰度直方图无法直接作为图像的特征，而反映直方图信息的一些统计参数 可以 作为 图像 特征，通常采用的统计参数有 均值 、 方差 、 歪斜度 、 峰态 、 能量 、 熵 等 。2. 纹理特征 纹理 （如图 示） 是图像的一个重要属性， 可以看作是图像的像素或颜色在空 间以一定的形式变化而产生的模式 18，是图像的一种内在成分的外部表现， 常用于图像分析和识别中 。 通过对纹理视觉感知特性的研究， 人兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 5 提出了纹理具有六种属性：粗糙度、对比度、方向度 、线 像 度、 规整度和粗略度。 图 纹理图像 当前，图像纹理特征的提取主要 是通过 统计法 、 频谱法 、 波、 者灰度共生矩阵得到。 小波变换能为信号提供非常稀疏而有效的表达，用 图像的行和列分别进行一维小波变换，然后 在 压缩域中进行 图像的分类，进而达到数据降维 的效果。 灰度共生矩阵法是图像纹理特征提取的另外一种方法 ， 灰度共生矩阵代表了两个 相距 ( , ) 的灰度像素同时出现的联合概率分布。如果 将图像的灰度级 设定为 N 级， 共生矩阵 则 为 矩阵， 表示为 ( , )( , )M x y h k ， 位于 ( , )元素, 表示 灰度为 h 和 灰度为 k 的 一对 相距为 ( , ) 的像素 所 出现的次数。 灰度共生矩阵无法直接作为图像特征，因此， 可以 采用灰度共生矩阵 的 几个特征量 来 表示 图像的 纹理特征： 能量 、 反差 、相关、熵。 3. 形状特征 形状特征是图像的一种重要 特征， 一种物体会有着不同的颜色，但是其形状基本都是相似的，所以有些检索系统 不针对图像的颜色， 而是查询图像的形状。但是，形状是一个主观性概念，不同的人对同一物体形状有着 不同的理解与描述。而且，当一个人的视线角度不同，或者目标物体的旋转、扭曲等都会改变一个人对其形状的描述。目前，常见的形状特征提取方法主要是采用目标形状的 周长 /面积比、 长 /短轴比、最近点与最远点的连线间的夹角这三个特征作为图像特征。这三个特征对形状的大小变化与旋转都不变，其中长短轴分别定义为形状质心到形状边缘最远点或最近点的连线。 多数情况下， 基于形状的分类 是用户画出 目标 物体的轮廓，进而进行分类。但是，这种轮廓只是一种简单粗糙的描述，可能与真正的物体有着较大的差距。所以，如何 准确地提取目标的形状和如何 寻找 与 形 状的 大小、方向、 扭曲 和 伸缩兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 6 都 无关的 分类 方法 是 基于形状特征分类的 主 要难点与研究方向 。 4. 语义特征 在以往的研究中，大多是从图像的颜色、纹理、形状等 特性来 进行特征的提取 。但是，从用户的角度来讲，相似性是一个非常主观化的问题， 不仅与图像的视觉内容有关，更重要的是与用户的感情、知识、生活经历等主观性因素相联系。 目前，图像 底 层特征提取的研究工作有很多，图像的语义特征提取工作也取得了一些成果 ，但是相对而言，对图像的语义特征的研究及研究成果比较少，其中面临的主要困难有： (1) 必须提供高层语义的描述方式； (2) 必须有将图像内容特 征映射到高层语义特征的方法； (3) 如何将语义特征用于图像识别、基于内容的图像检索。 虽然基于图像的语义特征提取还存在着很多的缺陷 ，但这将是图像 特征提取、 分类研究 的 热点及趋势。 据分类 数据分类 是将所提取的数据特征，根据所设定的规则将 它 们 划分成不同的类别。 数据分类分为两步：第一步，建立模型，描述预定义的数据类别，构建训练数据集；第二 步 ，使用模型对待测的样本进行分类。一般不是直接对原始数据进行分类，通过采用数据清理、相关性分析、数据变换先优化数据，除去与任务不相关 的属性，将数据泛化到高层概念，可以在一 定程度上提高分类过程的准确率和计算 效率 。分类的方法主要有归纳分类法、统计方法和神经网络方法等。归纳分类法比较有代表性的是决策树法；统计方法包括贝叶斯法和朴素贝叶斯法；神经网络法主要是 后向传 播（ 算法。 1. 决策树分类法 决策树是一个类似于流程图的树结构，它的基本原理是利用递归的思想进行变量 的划分。一个属性上的测试由一个对应的内部 节点来表示，每 个分支代表 着一个测试输出， 每个叶子节点 则 代表了类分布，树的最顶层节点是根节点。在决策树 的 构造 中，可以通过 剪枝 提高在未知数据上分类的准确 性。最著名的决策树算法是 法 ，文献 19中 提出的 法 是 一种改进的 法。然而，当这些 方法 应用于现实数据中时，有 效性的可伸缩 性便 成了 需要 关注的问题，因为大多 数 决策树 算法 都限制训练样本在内存驻留 。 2. 贝叶斯分类法 贝叶斯分类法是一种 预测类成员关系可能性的方法， 是一种 建立在贝叶斯定兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 7 理 上 的统计分类方法 。在 贝叶斯分类 中，假定一个属性值对某一 类的影响独立于其他 的属性 值， 则称该假定为 类条件独立。文献 20中提到 ：朴素贝叶斯分 类方法可以与决策树方法和 神经网络方法相媲美， 甚至 在 用于大型数据库时朴素贝叶斯分 类 表现出 了 更 高 的准确率和 速度。 3. 神经网络分类方法 神经网络是一组连接的输入、输出单元，每一个连接都与一个权相联。通过对 权 进行 调整 ， 使网络能够预测输入样本的正确类标号 。目前，比较 流行的算法是 法。 除此之外 ， 数据分类方法 还有 欧氏距离比对方法 、 类 和 等。 究工作的主要内容 在数据的特征提取中， 一类 方法是对原始数据先进行小波变换，然后在变换域进行特征的提取。 小波变换 具有时频局域化性质和多分辨率分析的特点 ，但是小波变换有着较大的频谱混叠， 混叠会导致严重的 平移敏感性， 尤其在处理二维图像信号 方面， 会 影响小波系数表征信号特征的能力，进而影响分类的效率。 因此，在小波域提取的特征无法很好地表征原始数据的特性 ， 而特征提取的结果严重影响着分类的准确率 。 复小波变换 21但保留了小波变换的 时频局域化性质和多分辨率分析的特点， 且 显著改善了传统小波变换的平移敏感性和方向选择性。 复小 波变换可以很好 地 保留信号的有用数据和去除干扰数据，所以可以更好地 提高分类效率。 此外， 在基于变换的特征提取方法中，对变换域系数的选择以及特征的构造有着很大的区别，很多方法并不能取得很好的特征提取结果。 所以论文 研究 的 主要 内容 为 基于复小波域系数的一维信号及二维图像 的特征提取和分类方法的设计 ，结合李雅普诺夫定理及 关联规则挖掘，探索数据分类的 新思路。 1、基于中心极限定理和李雅普诺夫定理，设计了一种在复小波域的一维信号特征提取方法。此方法可将一维信号数据的特征更加精确地提取出来，并可应用于多数类型的一维数据特征提取中，具有较强的适用性。 2、 为证明 论文 提出的基于李雅普诺夫定理特征提取方法具有较强的适用性，论文针对 蛋白质序列、声音信号序列和脑电波信号序列三种一维数据 完成了 特征提取和分类 实验。 3、论文提出了一种在复小波域通过关联规则挖 掘构造纹理图像特征的方法，将挖掘出的关联规则的统计参数作为图像特征，应用于图像分类。论文 对纹理图兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 8 像完成了 基于关联规则挖掘的图像特征提取和分类实验 以 验证 论文 方法 的有效性 。 究内容的创新点 1. 基于中心极限定理和李雅普诺夫定理， 论文 提出了一种 一维数据 复小波域的特征提取方法。通过对序列数据进行阈值量化，建立分段模型，以每段的模作为序列的特征，构建特征向量并应用于序列分类中。此方法可以有效地提取序列的主要特征、保留数据绝大多数的有用信息。复小波分解可以 有效地降低 特征序列的维数， 为后续工作带来极大的方便。实验表 明此方法 提高了分 类的准确率 。 2. 为了提高纹理图像分类的效率， 论文 设计了一种在图像复小波域的基于关联规则挖掘的特征提取方法。 该方法 首先对图像进行复小波变换，在其分解的子带图像中，通过设定的映射关系构建图像的事务集，对事务集进行关联规则挖掘，得到其关联规则，并以它们的统计参数作为图像特征，构建特征向量，最后用于图像分类。 实验证明此方法具有良好的分类准确率 。 文的结构 本文的结构安排 ： 第一章：绪论。 介绍了数据分类的背景 、主要的 一维序列、二维图像的 特征提取方法 和 分类方法，以及 论文 的研究内容和创新点。 第二 章： 复小波变换理论 。 在这一章， 论文 首先介绍了与研究有关的 离散小波变换 、 对偶树复小波 和基于投影 滤波器 的 复小波 的理论基础 。重点论述了复小波变换的结构、特点、实现方法，并 且通过实验描述 了信号 的 复小波变换。 第三 章：基于李雅普诺夫定 理的复小波域序列 特征提取和 分类。 论文提出 了在复小波变换域一维序列的特征 提取 算法 ，并 通过实验验证了其用于序列分类的有效性和适用性 。 第四 章：基于复小波与关联规则挖掘的图像 特征提取和 分类 。 本章主要 描述了在复小波变换域纹理图像事务生成、关联规则挖掘、特征提取以及分类算法，并给出了纹理图像分类实 验结果。 第五 章：论文的总结与展望。 主要对 已完成 的 研究工作 进行了总结 ， 并对 下一步的研究方向 进行了讨论与展望 。 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 9 第二 章 复小波变换理论 小波变换 具有时频局域化性质和多分辨率分析的特点 ， 近年来被广泛地应用于信号处理、图像处理、模式识别等多个领域，且取得了很好的成果。 在数据分类的研究中，通过对数据进行小波分解，在小波域进行特征提取方法的设计，可以有效地提取原始数据的特征，对数据进行降维，提高分类的效率。 但是 小波的频谱混叠会 影响小波系数表征信号特征的能力。在数据分类中，特征提取的结果严重影响分类的效果。而 复小波变换 改善了传统小波变换的平移敏感性和方向选择 性，可以很好地保留信号的有用数据和去除干扰数据，更好地应用于数据的特征提取 与分类 中 。 散 小波 变换 小波变换是一种非平稳信号分析方法 24。它通过一个满足条件 0R x d x 的基本小波函数 x 的平移和伸缩构成一族小波函数系去表示或逼近一个函数。二进制小波是由伸缩因子和平移因子满足一定条件的一组小波函数 构成 ： /2, 22x x k， , （ 对任意平方可积函数 离散小波变换为： *, , ,j k j k j kc f x x f x x d x ， 2f x L R （ 由两路滤波器组来实现。分解滤波器组由一个低通滤波器及抽取（下采样）操作构成，重构滤波器组由一个高通滤波器及插值（上采样）操作构成，如 图 示。 12 2 2图 一维离散小波变换分解与重构 1987 年，法国科学家 计算机视觉领域内的多分辨率分析思想引入到小波分析，推导出相应的快速算法 法 25。通过 法，原始信兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 10 号 号 号 低频信号由原始信号经过低通滤波得到，代表了原信号的总体趋势和走 向；而高频信号由 原始信号经过高通滤波得到，代表了原信号 细节上的差异 26。假设原始 信号长度为 n ，则经过 后的低频信号和高频 信号长度均为 /2n 。 1 ( ) ( 2 ) ( )n h k n a k （ 1 ( ) ( 2 ) ( )kd n g k n a k （ 每进行一次 频 信号的长度 变为 原信号长度的 1/2。尺度越高，得到的低频 信号的长度就越短，信号就越模糊。如图 一个长度为 4000 的序列进行尺度为 3 的离散小波变换，得到长度为 500 的低频 信号。 图 原序列和 3 阶逼近序列 将一维小波基函数进行内积运算便得到 二维离散小波基函数 ，二维小波变换的本质是对图像的行和列分别进行一维小波变换，如此便产生一个低频子带（逼近图像）和三个高频子带（细节图像）。三个高频子带分别反映了原图像在水平（ 垂直（ 对角（ 方向性 信息。 对 低频子带重复进行二维小波分解，便可 获得多分辨率的分解。 二维小波重构与一维小波类似。二 维 小波基函数及其方向性信息如 图 示 。 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 11 图 二维 小波基函数 有临界采样的特性，这一特性在信号分析领域，会导致令人 失望的结果，尤其是在处理图像数据中。 要有以下缺陷： 1、 二维小波变换只有固定的水平、垂直、对角三个方向的信息，对方向信息量大的图像，将无法有效地提取其特征。 2、小波变换中的下采样过程会造成子带频谱混叠，并且 导致了较高的平移变换性，从而不能精确地表征原始信号，进而影响后续的工 作。 3、小波变换的滤波器组都是由实系数的 波器构成，变换缺少相信息。 小波变换 理论 复小波变换是在小波变换的基础上发展而来，由于小波变换中的下采样过程会造成较大的频谱混叠， 导致了其存在平移变化性， 进而影响其表征原始信号的能力。 且小波变换低的方向性分辨率在处理图像数据时，无法准确地提取其方向特征。这些缺陷都限制了小波变换技术的应用，复小波变换理论即是为了克服小波技术的缺陷而产生的。 析信号和 希尔伯特变换 复小波是由一个复数值的 小波 函数和一 个复数值的尺度函数 构成，表示为： c r it t j t （ 设计复小波时，如果对 r t和 i t加以限制，使 r t和 i t构成一个希尔伯特变换对，则 c t就是一个解析函数。若 r t和 i t是一个希尔伯特变换对，则必须 使它们之间 有 90o 的相移。 因此，根据实现 r t和 i t相移的方法不同，产生了两种复小波变换： 对偶树复小波和基于投影 滤波器 的复小波。 复小波变换具有比小波变换高的平移不变性： 解析信号只在 0, 具有频谱，本身具有 平移不变性 。一个实信号和一个解析信号 进行卷积滤波的 结果也兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 12 只在 0, 具有频谱，因此 也是平移不变的。 偶树复小波 对偶树复小波 （ 是 1998年 由 次 提出的 ，目前已应用于信号和图像处理的众多 领域 27。 两路离散小波变换来实 现，一路是变换的实部， 另一 路为虚部 ， 与 其他 的方法 比较 ， 实现是 比较 简单的。 析 与重构 的滤波器级联模式 如 图 示 。 n )n ) 2 2n )n ) 2 2n )n ) 2 2n )n ) 2 2n )n ) 2 2n )n ) 2 2n )n ) 2 2n )n ) 2 2(a)分析部分 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 20 . 50 ()gn(b) 重构 部分 图 联模式 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 13 为 保证整个 复小波 变换是最优解析的 ， 两路的实小波变换分别采用不同的满足理想重构条件的滤波器组，且 采用统一的滤波器设计方法 。图 2.4(a)中的 0 1 树 的低通和高通滤波器组， 0 1 树 的低通和高通滤波器组， 满足正交条件。 两路通道所 对应的小波变换 为 h t和 g t。 滤波器的设计 不仅要 保证理想重构条件 ， 还要保证 t j t 是解析的，即 g t是 h t的希尔伯特变换。 因此， 两个低通滤波器 的设计要 满足以 下条件： 1、在第一层 的 分解中， 001g n h n （ 2、在其后的分解 层 中 ， 00 1 / 2g n h n （ 上式中的半采样延迟， 无法 通过 波器 来精确地 实现，只能 做 近似 的 处理。 的所有滤波器都是实系数的 ， 因此可以看作是两个分离的 计算量是 两倍，冗余度也是 两倍，即 2： 1 的冗余度。 在二维 图像处理中 ， 每个尺度下 解 产生 6 个子带，即 6 个方向 的分辨率， 其 分别 沿着 6 个方向（ 15o ， 45o ， 75o ）区分信息 ， 改进了小波 变换 方向性分辨率低的缺陷。 函数 如 图 示。 图 第四层 函数 对比图 以看出， 子带，其方向信息不仅仅是 垂 直、水平和兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 14 对角 三个方向 。每个子带都有 着明确的方向性基函数，也 不存在 45o 和 135o 的方向特征混合的问题。 图像分解如图 示，原始图像经过 个低频子带图像和 6 个高频子带图像。 (a) 原始图像 (b) 分解图像 图 图像分解 于投影 滤波器 的复小波变换 除了 完成复小波 变换 的 方法 还有 一种 ： 首先对 原始 信号进行希尔伯特变换， 得到原始 信号的解析信号，然后对解析信号进行 从而 实现复小波变换。 但是 ，理想希尔伯特变换 是一种 无限长 且 衰减很慢 的脉冲响应， 现实中无法得到，只能 进行近似 处理 。 2000 年 ， 首次 提出了 一种新的复小波变换方法，即 基于投影滤波器的复小波变换 （ 方法 22,23，从而 简单地解决了小波的平移变化问题。 无论是 及 由 于 二维小波基是由一维 小波基 经过内积 得到 的 ，所以 在每个尺度下 它们 都具有固定的方向分辨 率。而 利用 采样矩阵和 级联非分离滤波器组 可以 实现 在不同尺度下 灵活 可变的方向 性 分辨率。 图 正变换和反变换示意，图中投影和反投影滤波器分别记为 图 出了 谱剖分示意。 n )n )共 轭xx 影滤波器获得解析信号 的 正变换和反变换示意 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 15 2 , H 1 , 率图 谱剖分 设 0 0构 低通滤波器， 它们 在正交系统 中 都是半带的。理想情况下 0 0 图 2.9(a)所示 。 如图 2.9(b)所示 ， 若 0H 、 0G 是 0 0里叶 变换， 分别对 0H 和 0G 进行 /2 的相移，则可获得 0, 的 通带 。通过 进行 相移 所得到 的滤波器 即是 正 投影 滤波器 投影滤波器 (a) 0() (b) ()图 理想 情况下 低通滤波器及 其 平移 /2 的幅频特性 对 于 投影滤波器 012 j n n H e d j h n （ 其 z 变换为 00n n z h n z j h n z H j z （ 同样，可以证明， 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 16 0n j g n ， 0pG z G （ 由于 0， 因此 对于 其 子带能量是不变的。 由此 得到的滤波器 成投影和反投影， 则 是理想重构的 28。 实际 应用 中，不可能 存在 理想低通滤波器， 而 是 要 用 波器 进行 近似，图 通过平滑正交小波 分析低通滤波器生成的投影滤波器 波器 0 . 8 - 0 . 6 - 0 . 4 - 0 . 2 0 0 . 2 0 . 4 0 . 6 0 . 8 100 . 511 . 5图 通过 通滤波器获得 的 投影滤波器 ()经过投影滤波，便可以得到原始信号的解 析信号。解析信号是复数信号，再将其实部和虚部提取出来，分别进行 到两 列小波系数；最后将两列小波系数合并为一列复数序列，即复小波系数。 由此 省略了 进行构建变换滤波器的过程，利用 可以完成复小波变换。 小波变换的应用 复小波变换显著改善了离散小波变换的平移敏感性和方向选择性 ， 如今已应用到 了很多领域，如信号处理 、 图像分割、增强、分类等。 本节中，论文给出了 信 号处理中的应用实例。论文主要做了两个实验： (a)图像 信号 的去噪； (b)纹理图像的分类。实验结果表明 复小波 变换 具有良好的 平移不变性和方向性分辨率，能够精确地反映信号的特征。 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 17 小波去噪 根据小波阈值去噪方法的原理 29,30， 论文 采用 复 小波阈值收缩去噪法 对含噪声图像进行消噪处理 。 含噪声信号 经过复小波变换之后，信号的复小波系数会大于噪声的系数。我们采用阈值的方法保留信号的复小波系数，并使噪声系数置零，从而 达到去噪的目的。复 小波最优阈值去噪 步骤为： 1、将含噪声信号进行 解； 2、 设置阈值，并将幅值小 于阈值 的 复 小波系数置 0，大 于阈值 的系数采取 收缩处理。 3、 通过对第二步得到 的 复小波系数进行逆变换，恢复出 有效的信号。 阈值寻优采用阈值训练的方法。对于同一幅图像，不同的阈值得到的去噪结果也不同，即图像的总体误差不同。通过最优训练方法来研究阈值和误差的关系，从而得到最佳的阈值。阈值处理 方 法为： / ( 1 ) , |0, k 其 它 （ 其中 和 是带噪小波系数和去噪后的小波系数； k 为阈值。 | | , |0, 其 它（ 论文在原始图像中加入 加性高斯白噪声，均值为 0，方差为 分别用 噪 ， 结果如图 示： (a) 原始图像 (b) 含噪声图像 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 18 (c) 离散小波去噪 (d) 对偶树 复小波去噪 图 小波去噪 实验结果表明 ， 由于复小波变换 极大地降低了系数中的频谱混叠，提高了图像的 方向性分辨率， 使其去噪效果 优 于离散小波去噪。 像 分类 实验采用 40 张来自于 理库的图像，如图 示。每幅 图像 代表一个类别，图像大小为 512 512 。每幅 分割为互不重叠的 16 个大小为 128 128的子图像， 共 得到 640 幅子图像 。 对 所有 子图像， 论文 分别采用 行变换，每种变换都进行三层分解，其中 3 个方向， 6 个方向。分别计算其子带的均值和标准差作为子带图像的特征，定义如下： 111 |l i （ 2111 |*l i j k （ 每幅图像各子带的特征按 分解层数自低到高的顺序排列构成一个特征向量。所有 子图像的特征向量构成特征库。 论文采用 欧式距离 作为 标准进行分类 。欧式距离定义为： 2()m n m （ 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 19 图 理图像库 对一幅子图像，遍历 其他 的图像，找到与之 欧式 距离最近的 15 个样本，作为输出结果；然后，再从数据库中剩余的图像中选取一幅子图像，重 复之前的步骤， 直到 数据库中只剩下 16 幅图像，即为输出的最后一类。统计所有样本中分类正确的个数，然后除以 640，即是正确的检索率。 表 这三种方法的平均检索率。 表 以看出，在这三种变换的方法中，由于小波变换在平移不变性和方向选择性上的缺陷，造成其平均检索率最低。相反， 着近似的平移不变性和 高的 方向性分辨率，子带特征更能反映图像的本质，其检索率在三种方法中最高。而 然方向选择性上不如 是由于其具有比 降低频谱混叠上更有优势，所以其平均检索率 也只略微低于 表 平均检索率 方法 平均检索率 合 以上分析 ，复小波变换是一种适用于信号处理、特征提取及图像分类的分析方法。 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 20 结 小波变换的平移变化性和低的方向性分辨率，大大地制约了其在信号处理上的应用。 而复小波变换克服了小波变换的种种缺陷，广泛地应用于图像处理与分析中。 复小波变换的特点如下： 1、复小波变换 可以有效地降低频谱混叠现象，由于输出的高频子带构成了解析信号， 而解析信号具有平移不变性，从 而 整个变换具有较高的平移不变性 ，有效地改善了小波变换平移变化性的缺陷 。 2、复小波变换具有较高的方向性分辨率， 生 6 个 方向的高频子带，是 2 倍。 有 3 个方向的高频子带， 虽然方向性分辨率没有 ，但在消除频谱混叠特性上要好于 3、复小波变换具有相信息，分解系数具有明确的实部和虚部，因而有明确的相信息。 兰州大学硕士研究生学位论文 数据分类中特征提取方法的研究 21 第三 章 基于复小波域一维序列特征提取 算法 述 本章讨论基于中心极限定理和李雅普诺夫定理的一维数据特征提取算法，并利用人工神经网 络对提取的特征向量进行分类。 一维 数据种类繁多， 主要 包括蛋白质序列、声音信号、金融时间序列、 目前 的 一维数据分类的 研究 工作中， 已经取得了相当多的研究成果，比如基于 序列特征提取 1、 基于神经网络的蛋白质序列分类 2、 基于小波变换的时间序列 特征提取 6等等。 随着傅立叶变换、小波分析等信号处理技术的发展，信号处理技术越来越多地 应用到数据分析中。通过对原始数据进行数据变化，可以有效地降低数据维数，实现数据的长度压缩，从而为后续的分类工作带来方便，提高分类的效率。例如：文献 31提出 了一种基于小波变换和神经网络的脑电 波 信号分类方法，文献 32设计出一种基于小波变换和 音频分类算法。 然而，由于小波变换技术的缺陷，限制了其在信号处理领域的应用。复小波变换是由小波变换技术发展而成，克服了小波变换在信号处理中的不足，可以更好地应用到数据的特征提取中。所以， 论文 采取在 一 维数据的 复小波域进行特征提取算法的设计。 由于 数据的种类及数量不断增多，导致 对不同 类型 的数据要采取不同的分类方法，无法进行分类算法的有效统一。 针对一 维数据的特点， 本文基于李雅普诺夫定理，在 信号的复小波域进行特征提取算法的设 计。 论文 算法 的 优势在于 在 表征 原始数据 分布趋势 的 同时又不会丢失其细节 信息，准确地反映了 原 数据特征，并且可以应用于大多数的数据库中，不局限于数据的种类。 征提取算法 以往的基于变换的一维数据特征提 取方法中，大多将信号序列变换域系数作为特征向量或计算其能量值作为特征 用来构建特征向量 ；再 或根据 信号的能量分布，将能量集中的系数段作为特征向量 等 。这几种方法 都 有着明显的缺陷： (a)丢失 了原始信号序列的信息，并不是所有的信息都包含在能量集中的系数中； (b)不具有普遍性，对于很多随机 分布的序列， 无法计算 其 能量分布。 论文提出的基于李雅普诺夫定理的复小波域特征提取算法，可以在 提取 信号的主要信息 分布的同时又不丢失其细节性 信息， 准确地反映了 数据的整体分布趋兰州大学硕士研究生学位