支持向量机在小样本决策中的应用

支持向量机在小样本决策中的应用

随着机械化、复杂性和自动化的发展，故障造成的危害日益严重。该故障的危害越来越严重。他在社会生产中的作用和地位日益突出。故障诊断技术的发展大致可以分为两个阶段:第一个阶段是以传感器技术和动态测试技术为基础,以信号处理为手段的常规诊断技术发展阶段,这一阶段的诊断技术在实际中得到了大量的应用,产生了巨大的经济效益,并大大推动了故障诊断技术的发展。第二阶段是以人工智能技术为核心的智能诊断技术发展阶段,它以常规诊断技术为基础,以人工智能为手段,诊断过程的知识化使得人们致力于研究诊断知识的获取、知识的表示与组织、推理方法的结构、诊断模型的建立以及诊断策略的形成等问题。从20世纪80年代开始,随着人工智能技术的迅速发展,智能化已经成为故障诊断技术的主要发展方向。一方面故障智能诊断具有传统诊断方法无可比拟的优点;另一方面,复杂设备的故障诊断在很大程度上需要依赖专家的经验知识。目前,智能诊断技术主要以基于专家系统和基于机器学习的诊断方法为典型代表。专家系统方法能有效地利用专家经验、物理原理和其它有关设备的知识,通过自动地推理,高效地完成故障检测与诊断任务,而且具有对故障的解释能力和对新型故障的诊断能力,是故障诊断领域最为引人注目的发展方向之一,也是研究最多、应用最广的一类智能诊断技术。专家系统存在的主要问题是知识获取困难、运行速度慢。而机器学习是提高故障诊断智能水平的主要途径。一旦诊断系统具备自学习能力,它就能从环境的变化中学习新知识,不断实现自我完善,它不同于专家系统只是依赖于经验知识库而不能创新和发展。作为机器学习的一个发展阶段和代表算法,人工神经网络(ANN)在过去的十几年里获得了长足的发展,在故障诊断领域得到了较多的研究和应用。人工神经网络方法不需要由知识工程师进行整理、总结以及消化领域专家的知识,只需要使用领域专家解决问题的实例或范例来训练神经网络;具有高度非线性、高度容错性、分布并行处理和联想记忆等特性,能使信息处理和信息存储合二为一;具有自组织、自学习和自适应的能力,能接受、处理不精确和随机的信息。但是,人工神经网络的算法基础是基于渐进理论的传统统计学,只有在学习样本的数目趋于无穷大时,其识别的性能才能有理论上的保证。而对于现实中的故障诊断问题,其故障样本的数目通常是有限的。在有限的样本情况下,往往训练效果很好的神经网络有可能表现出很差的推广能力(泛化能力,Generalization),即出现所谓的过学习问题。另外,神经网络的优化过程存在可能陷入局部极值的问题,网络训练的质量没有保证;神经网络的结构设计(例如隐结点数目的选择)依赖于设计者的先验知识和经验,缺乏一种有理论依据的严格设计程序。与传统统计学相比,统计学习理论(StatisticalLearningTheory或SLT)是一种专门研究小样本情况下机器学习规律的理论。在统计学习理论基础上发展起来的一种新的通用学习方法——支持向量机(SupportVectorMachine或SVM),是专门针对有限样本情况的,其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优解。这一点特别适合于故障诊断这种小样本情况的实际问题解决。与人工神经网络相比,支持向量机不仅结构简单,而且泛化能力明显提高。从推广能力的角度来看,支持向量机更适合于故障诊断这种实际工程问题的解决。智能诊断技术是以常规诊断技术为基础的。由于机械系统的故障多以振动方式表现出来,所以在机械故障的常规诊断技术中,又以基于振动信号的诊断方法涉及的范围最广,研究得最为充分。目前,在振动信号的分析处理和特征提取方面,除了经典的统计分析、时频域分析、时序模型分析外,又发展了频率细化技术、倒频谱分析、共振解调分析、三维全息谱分析、轴心轨迹分析以及基于非平稳信号假设的短时付立叶变换、Wigner分布和小波变换等。事实上,振动信号分析处理技术还在不断地发展之中,新的理论和技术还将不断涌现。以人工智能技术为核心的智能诊断技术,多与振动诊断相结合。利用传感器,从试验或者工业现场获得机械设备的振动信号,经过必要的信号处理后,保留其中大部分的故障信息,作为故障样本,再运用人工智能方法进行故障识别。1统计学习理论和支持向量机在国内的应用以Vapnik为代表的一些学者早在20世纪60年代就开始研究有限样本情况下的机器学习问题。1971年,Vapnik和Chervonenkis提出了SVM的一个重要理论——VC维理论。1982年,Vapnik进一步提出了具有划时代意义的结构风险最小化原理,这个原理堪称SVM算法的基石。由于涉及艰涩的数学理论和方法论上的重大革新,90年代以前并没有提出能够将其理论付诸实践的方法,加之当时正处于神经网络等其它学习方法飞速发展时期,因此这些研究并没有得到充分的重视。90年代初期,有限样本的机器学习理论逐渐成熟起来,形成了一个较为完善的理论体系——统计学习理论,并在此基础上逐步发展起来支持向量机方法。1992年,Boser,Guyon和Vapnik等提出了最优边界分类器。1993年,Cortes和Vapnik进一步讨论了非线性最优边界的分类问题。1995年,Vapnik完整地提出了SVM分类器。1997年,Vapnik,Gokowich和Smola详细介绍了基于SVM方法的回归算法和信号处理方法。由于统计学习理论为人们系统地研究有限样本情况下机器学习问题提供了有力的理论基础,以及在这一基础上的支持向量机所表现出的令人向往的优良特性,人们开始迅速重视起这一早就该重视的研究方向。也因为神经网络等机器学习方法的研究遇到推广能力差、神经元网络结构确定困难、过学习、欠学习、局部收敛等问题,而支持向量机能较好地解决这些问题,所以支持向量机很快就成为机器学习领域最新的研究热点。作为统计学习理论的重要创始人和支持向量机的提出者,Vapnik先后于1995年和1999年两次出版了该研究领域的重要著作——《TheNatureofStatisticalTheory》。该书重点介绍了统计学习理论中的四个方面的重要问题,即经验风险最小化下学习过程一致性的充分必要条件、收敛速度的非渐近理论、学习机推广能力的控制策略以及如何构造理想的学习机,对推动统计学习理论和支持向量机的研究起到了十分重要的作用。清华大学张学工教授对于统计学习理论在国内的发展做出了不懈的努力,早在80年代末就注意到统计学习理论的基础研究成果,并于2000年翻译并出版了Vapnik的重要著作—《TheNatureofStatisticalTheory》(统计学习理论的本质),成为国内统计学习理论的经典译作,为推动统计学习理论和支持向量机在国内的研究和应用起到了积极的作用。现在的事实证明,关于统计学习理论和支持向量机的研究,出现了像在80年代后期人工神经网络研究那样的飞速发展阶段。当前对支持向量机的研究主要围绕着两个方面:一是对SVM本身性质的研究,提出进一步完善的措施,此外还包括多类识别问题和快速训练算法等。二是不断探索新的应用领域。对SVM本身性质的研究和完善方面主要包括:各种标准SVM的变形及改进算法、SVM与其它机器学习方法的有机结合等。比如,One-classSVM算法提出了超球面的概念,克服了标准SVM的超平面无法解决的问题;李蓉、史忠植等提出了一种将支持向量机和最近邻分类相结合的方法,形成了一种新的分类器;模糊支持向量机算法提出了给每个样本都赋予一个模糊隶属度值来提高分类的精度。SVM的训练问题实质上是一个二次规划(QP,quadraticproblem)问题。由于受到计算机内存容量的限制,当训练集的规模很大时,传统的优化方法难以满足实时性要求,而无法处理大数据量问题,因此,提高训练算法的效率和精度,成为SVM研究中的重要内容之一。SVM二分类器的训练算法目前常见的可以分为:分块法、分解算法、SMO(SequentialMinimalOptimization,序贯最小优化方法)算法,除此之外还有几何方法预处理方法等等。标准SVM一般解决的是两类别分类问题,而实际需要解决的一般是多类问题,因此将SVM应用于多类问题对挖掘SVM的应用潜力将具有非常重要的意义。目前,利用SVM处理多类分类问题是当前的研究热点之一,研究者们已提出一些卓有成效的多类支持向量机方法,可以归纳为二大类:第一大类是直接的方法。该方法是以Weston在1998年提出的多类分类算法为代表,只使用一个SVM判别函数实现多分类输出。这个算法在二类SVM理论的基础上,直接在目标函数上进行改进,重新构造多类分类模型。通过对新模型的目标函数进行优化,“一次性”地实现多类分类。这种算法的目标函数十分复杂,变量数目过多,计算复杂性也非常高,分类精度不理想。第二大类是组合的方法。这一大类方法是通过组合多个二值分类器来实现对多类分类器的构造。常见的构造方法是:一对一方法和一对多方法,以及在这二种方法基础上的改进算法:纠错编码支持向量机、层次支持向量机、有向无环图支持向量机和二叉树支持向量机等。1测试样本x所属类别号对于k类多类分类问题,一对多方法将第m类的训练样本作为一类,将除去m类之外的其余所有类别的训练样本作为另外一大类,构造一个二值分类器,并把这个分类器命名为序号为m的分类器,依此类推,一共需构造k个二值分类器。在对测试数据样本的识别时,采用“比较法”。将测试样本x分别输入给k个两值分类器,可得k个输出结果,比较这k个输出结果,求出最大者,则输出为最大的分类器的序号即为测试样本x所属的类别号。这种多分类算法的主要缺点是:1)在构造每个二值分类器时,所有k类的训练样本都要参加运算;在对测试样本进行测试时,所有k个二值分类器都对测试样本分类后,才能判定测试样本的类别,因此,当训练样本数和类别数较大时,训练和测试分类的速度较慢;2)当测试样本不属于k类中的任何一类,而属于其它类别时,会出现分类错误。因为按照“比较法”,k个分类器中总有某一个的输出最大,这样就会将本来不属于这k类的测试样本误判为属于其中的一类。2输出结果的二值分类器这种方法在k类中把每个类别样本和其它类别样本之间一对一地构建二值分类器,每个二值分类器只用相关的二类训练样本进行训练,这样一共可以构造出k(k-1)/2个二值分类器。在对测试样本进行识别时,采用“投票法”。将测试样本x输入给由k类中的第m类样本和第n类样本构造的二值分类器。如果输出结果判定x属于第m类,则给第m类加一票;如果输出结果判定x属于第n类,则给第n类加一票。当所有k(k-1)/2个二值分类器对测试样本x分类后,k类中的哪一类得票最多,就判定测试样本x属于这一类。这种多分类算法的主要缺点是:1)二值分类器的数目k(k-1)/2随着类别数k的增加而增加,这样需要很大的运算量,导致在训练和测试分类时速度很慢。2)在测试分类中,当某两类所得的票数相同时,无法判定属于哪一类,可能造成分类错误。3)当测试样本不属于k类中的任何一类,而属于其它类别时,会出现分类错误。因为按照“投票法”,k类中总有某一类得票最多,这样就会将本来不属于k类中的测试样本误分为其中的一类。3测试样本所属类别是底层的“叶”这种算法在训练阶段和一对一方法一样,但是在识别阶段将所有k(k-1)/2个二值分类器组成一种两向有向无环图的节点,k个类别是底层的“叶”,如图1所示。当对一个测试样本进行分类时首先从顶层的二值分类器开始,根据顶部的二值分类器分类结果,确定采用下一层的左节点还是右节点的二值分类器继续分类,直到底层的某个“叶”为止,该“叶”就是测试样本所属的类别。虽然这种算法的训练阶段和一对一算法一样,但是在分类阶段只用了k-1个分类器,分类速度快于一对一算法。4值分类器的建立这种算法把k类中的k-1类看作一大类,把余下的一类看作另外一大类,建立一个二值分类器。然后再在那k-1类中,取出(k-1)-1类来看作一大类,把那k-1类中余下的一类看作另外一大类,建立一个二值分类器。依此类推,直到对最后两类建立一个二值分类器,如图2所示。对于k类问题,一共需要建造k-1个二值分类器,比前面三种算法都少,重复训练样本量也少,训练和识别速度可以提高。5编码和分类结果纠错编码方法可以把多类问题转化为多个二类分类问题。对于k类分类问题,给每个类别赋予一个长度为L的二进制编码,形成一个k行L列的码本(如表1所示k=5,L=10的情况)。对于其中第i列(i=1,…,L)码字为“0”的所有类别被看作一类,码字为“1”的所有类别被看作另外一类,因此每列对应一个二类分类问题,k类分类问题就转化为L个二类分类问题。对于一个测试样本,L个分类器的分类结果构成一个码字s,k个编码中与s汉明距离最小的码字所代表的类别就是这个测试样本所属类别。有效的编码必须满足二个条件:(1)编码矩阵的行之间互不相关;(2)编码矩阵的列之间互不相关且不互补。这种算法的训练速度较一对多算法有明显的改进,有的文献把一对多算法作为纠错编码多类分类算法的一种特例。6基于决策树的多类支持向量机这种方法首先将所有的类别分成二个子类,再将子类进一步分成二个次子类,如此循环下去,直到最后得到多个单独的类别为止,如图3所示。有的文献把这种算法和二叉树分类算法通称为“基于决策树或者分级聚类的多类支持向量机”。这种方法具有理想的训练速度,同时分类时仅需要非常少量的分类器,在分类速度上具有明显的优势。但是,如果一个属于第一个子类的样本,在开始时没有正确地被划分到第一个子类,那么接下来的次子类分类器无法识别这个样本,就没有机会再被分到第一个子类了。同样,原本不属于第一个子类的样本,如果被划分到第一个子类,以后也就无法再被划分到别的子类了。这样每一层上的误差会逐渐自上而下累积起来,影响这种方法的分类精度。2故障诊断方法虽然SVM是一种非常年轻的机器学习算法,但随着时间的推移,越来越多的应用研究被见诸报道。在模式识别方面最突出的应用研究是贝尔实验室对美国邮政手写数字库进行的实验,用SVM方法得到的识别结果明显优于决策树和多层神经网络,相关的应用还包括SVM与神经网络相结合对笔迹进行在线识别;用SVM进行的人脸检测实验也取得了较好的效果,可以较好地学会在图像中找出可能的人脸位置。其它有报道的实验领域还包括文本识别、三维物体识别、遥感图像识别等。除了在图像处理领域进行分类、识别之外,在控制、建模、预测、综合评价、知识获取等领域,SVM也得到很多的应用,说明其应用范围是非常宽广的,是一项很有发展前途的分类方法。支持向量机针对小样本情况所表现出来的优良性能引起了众多故障诊断领域研究人员的注意。Poyhonen等对SVM在电机故障诊断方面进行了应用研究;Gao等将SVM用于往复式泵故障诊断;Worden等运用SVM进行球轴承故障分类。Jack将SVM用于滚动轴承的状态检测,并采用遗传算法优化SVM的参数,取得比较好的推广性能。Samanta分别用轴承和齿轮故障诊断比较神经网络和SVM的性能,并采用遗传算法优化各自的参数。Chu等运用SVM进行故障检测和运行模式识别。Chiang等分别用Fisher判别式和SVM进行故障诊断,发现SVM的误分率较低。Yang等比较了人工神经网络和SVM在小型往复式冰箱压缩机的故障诊断中的差别。Shin等使用SVM对机电设备早期故障进行检测。Poyhonen等使用SVM对电机进行故障诊断,取得较好的效果。Thukaram等比较了神经网络和SVM在识别故障方面的差异。Crampton等人发现当数据含有噪声时,用SVM检测故障比其它同类方法更有效。Jemwa、Ribeiro等人用SVM进行生产过程故障和品质检测。Hu等人结合经验模态分解、模糊特征提取和SVM,获得较高的故障诊断精度和速度。Wang等人提出一种基于微粒群(PSO)和禁忌搜索的SVM算法用于故障诊断,能有效地避免局部最优点。Hu等基于Dempster-Shafer理论提出一种SVM多类算法,针对不同的信息源进行训练,分类性和鲁棒性更好。Ren用SVM对往复式压缩机阀进行故障诊断和检测,发现其适应性和可靠性很好。Wang结合微粒群和SVM进行特征提取,避免局部最优解,取得满意的诊断效果。Zhang等结合粗糙集和SVM,其推广性和识别率比常规SVM高出很多。肖健华对应用于故障诊断的SVM进行了理论研究,针对样本不对称情况进行了算法改进,并在齿轮故障诊断中进行了应用研究;胡寿松将SVM用于非线性系统故障诊断;马笑潇对SVM在智能故障诊断中的应用进行了详细的探讨;祝海龙在其博士学位论文中对统计学习理论在不同工程领域的应用进行了研究,涉及信号消噪、机械故障诊断和人脸检测,其中故障诊断方面研究了汽车发动机振动故障的自动诊断;张周锁等对基于支持向量机的机械故障诊断方法进行了研究;董明等将其用于大型电力变压器故障诊断模型研究;杨云在电子装备系统故障智能诊断中使用了SVM算法;朱凌云等从数据挖掘的角度,运用SVM分类算法,进行自动缺陷识别的方法研究。于德介等采用SVM对齿轮的工作状态和故障类型进行分类。王国鹏等结合模糊理论和支持向量机用于汽轮机故障诊断。毛继佩等用多类支持向量机对汽轮发电机组进行故障诊断。翟永杰等也用多类支持向量机对汽轮发电机组进行故障诊断。李凌均等证明SVM在具有少样本的故障诊断场合具有很强的适应性,SVM方法在少样本情况下的分类效果优于BP神经网络分类方法。他们还提出了一种利用支持向量机对机械系统故障进行分类的新方法,适合于机械故障诊断中的多故障分类。胡桥等提出了一种基于经验模式分解模糊特征提取的支持向量机混合诊断模型,应用于汽轮发电机组的三种工作状态的识别,有效地改善了分类的准确性;他们还提出一种基于改进灰色系统-支持向量机-神经模糊系统的智能混合预测模型,这是一种针对机电设备状态趋势预测比较有前途的方法。张庆河等在设备状态评估中应用了支持向量机分类法,能够定量地给出反映设备运行状态的优劣指标。王凯等提出了一种基于支持向量机的齿轮故障诊断方法,采用小波变换对齿轮的振动信号进行处理来构造特征向量,在小样本情况下比神经网络获得更高的诊断精度。段江涛和张周锁等分别研究了支持向量机多值分类器,利用齿轮箱和汽轮发电机组的振动信号进行验证,达到满意的效果,可以满足在线诊断的要求。张周锁等利用固定迭代步长来实现核函数一个参数的优化,实现了二分类故障分类器的参数优化,采用在高压缸轴瓦座上直接采集的振动信号作为数据样本,应用于汽轮发电机组的蒸汽激励和轴瓦松动故障的分类,提高了支持向量机故障分类器的分类能力。彭文季等提出了一种利用小波包分析提取水电机组的振动故障特征和基于支持向量机的水电机组振动故障诊断方法。于德介等人对转子系统的振动信号进行经验模式分解,将其分解为若干个固有模式函数(intrinsicmodefunction,IMF),每一个IMF分量建立AR模型,取模型的自回归参数和残差的方差作为故障特征向量,并以此作为输入来建立支持向量机分类器,判断转子系统的工作状态和故障类型。实验结果表明,这种方法有利于故障特征提取,能有效地改善故障诊断性能。彭文季分别将模糊域和粗糙集与支持向量机相结合,取得很好的故障分类效果。贾嵘等提出基于最小二乘支持向量机回归的Hilbert-Huang变换,应用于水轮发电机组故障诊断中,结果表明,该方法有效抑制了端点效应,实现了故障的准确识别。这些针对不同故障对象的诊断研究表明:将支持向量机应用在故障诊断方面,其性能优于许多已有的方法。对于小样本,诊断精度高于神经网络方法;对于高维样本,诊断速度比神经网络快。众所周知,故障诊断的瓶颈之一是故障样本的缺乏,由此可见SVM在机械故障诊断中有很好的应用前景。但是目前绝大多数研究还处于实验室阶段,真正应用到实际中还需要进一步的研究和现场实践。3支持向量机与传统学习机器支持向量机是九十年代初在统计学习理论的基础上产生的,支持向量机算法在解决小样本决策问题时具有较强的推广能力,同时又能解决神经网络算法中的高维问题和局部极值问题,其结构也非常简单,因而在工程应用中具有较强的优势,为统计学习理论的实际应用提供了一种有效的工具。传统的学习机器,如神经网络,在高维情况下往往不能正常工作。当训练样本的维数很高时,神经网络训练质量没有保证,没有一种理论定量地说明神经网络的训练过程是否收敛以及收敛的速度取决于什么条件,无法控制其是否收敛以及收敛的速度,训练和测试结果可能会出现较大的随机性。这是因为神经网络的解往往会收敛于局部极值,而高维空间中可能存在众多的局部极值,不同的局部极值之间有很大差异,因此,神经网络的解常常会呈现随机性。另外,高维空间与样本量是相关联的,样本量的多少是相对的。比如,在低维空间中,只需要很少数量的样本就可以比较充分地描述整个样本空间,而在高维空间中,为了同样程度地描述样本空间,所需要的样本数以指数形式增长。在运算方面,当特征空间的维数增高时,神经网络的运算量将急剧增长,从而使训练和测试过程慢得不可忍受。因此,传统学习理论在应用过程中,通常要将数据压缩到很低维的空间,才能进行有效的学习。而支持向量机则成功地解决了高维问题和局部极值问题。支持向量机使用了大间隔因子来控制学习机器的训练过程,使其只选择具有最大分类间隔的分类超平面(在不可分情况下,又引入松弛因子来控制经验风险),从而使其在满足分类条件的情况下,又具有高的推广能力。而且寻找最优超平面(OptimalHyperplane)的过程最终转化为二次型优化问题,从理论上讲,得到的是全局最优解。与传统的学习机器不同的是,支持向量机是将原始的模式矢量映射到非常高维的特征空间,仍然使用大间隔因子在高维特征空间中寻找最大间隔超平面,得到的高维特征空间中的超平面对应着原始模式空间中的非线性分类面。而实际上,其优化过程并没有真正在高维空间中进行,只是通过一些具有特殊性质的核函数,将高维空间中的内积运算转化为原始空间中核函数的运算,从而巧妙地避免了在高维空间中处理问题的困难,,这一特殊的性质能保证其具有较好的推广能力,同时它巧妙地解决了维数问题,使得其算法复杂度与样本维数无关。而神经网络学习的目标函数是经验风险,只能保证分类误差对于有限个样本是极小的,因而泛化能力不强。支持向量机的另一个优势在于确定学习机器结构方面