（检测技术与自动化装置专业论文）基于支持向量机的传感器非线性校正及应用.pdf

上海大学硕士学位论文 摘要 传感器技术是信息技术的源头和三大基础技术之一，但是传感器受制作工 艺及自身因素等的影响，再加之电磁波、噪声以及外界环境等的干扰影响，使 得传感器的输入输出特性变得更为复杂而呈现非线性特性，造成传感器测量精 度的下降。因此，传感器的非线性校正研究具有十分重要的应用价值。 本文将支持向量机( s v m ) 应用在传感器的非线性校正方面。以电容式差 压变送器、热电偶、热电阻和倾角传感器的数据为研究样本进行了下面的工作： 1 对支持向量机理论，包括分类、回归进行了详细的论述：介绍了几种常 见的支持向量机学习算法，着重讨论了序贯最小优化( s m o ) 算法， 并对s v m 参数的优化算法一粒子群优化( p s o ) 算法概念及其原理 进行了详细的介绍。 2 建立基于不敏感误差函数为损失函数的支持向量回归机传感器非线 性校正模型。详细地介绍了模型建立的步骤。包括：数据的预处理、样 本集的划分和核函数的选择；针对支持向量回归机的泛化性能受参数选 择的影响，引进了粒子群算法作为优化算法。 3 应用建立好的模型对电容式差压变送器、热电偶、热电阻、倾角传感器 进行仿真，对不同样本集、不同核函数下进行了仿真和分析，仿真结果 表明不同的样本集对仿真的结果影响很大，并且基于径向基核函数比 s i g m o i d 核函数更适用此类模型；本文使用粒子群优化算法对s v m 参 数优化，仿真的结果比根据经验选取的s v m 参数有了很大的改善。仿 真后的误差均不大于0 0 6 。 4 设计了基于支持向量回归机的传感器非线性校正系统的硬件和软件设 计。硬件部分，包括各器件的选型、局部电路的设计，以及p c b 板的 调试；软件部分，主要包括整体结构设计、s m o 算法子程序、d s p 定 点运算子程序和s v r 算法子程序。 关键词：支持向量机，粒子群算法，s m o 算法，软件设计 上海大学硕士学位论文 a b s t r a c t s e n s o rt e c h n o l o g yi st h es o u i c 七o fi n f o r m a t i o nt e c h n o l o g ya n do n eo ft h et h r e e b a s i ct e c h n i q u e s ，h o w e v e r , l i m i t e db yt h ep e r f o r m a n c eo ft h es e n s o ri t s e l f , t h eo u t p u t o fs a i s o ra l w a y sb en o n l i n e a r a n di nm o s tc a s e s ，b e c a u s eo ft h ei m p a c t i o no f e l e c t r o m a g n e t i cw a v e s ，n o i s ea n do u t s i d ee n v i r o n m e n t ，t h en o n - l i n e a r i t yo fs e n s o r s b e c o m em o r ec o m p l e x ，w h i c hs e r i o u s l yi m p a c to nm e a s u r e m e n ta c c u r a c ya n d c o n t r o la c c u r a c y t h e r e f o r e ，t h es t u d yo fn o n l i n e a rc a l i b r a t i o no fs e n s o r sh a sav e r y i m p o r t a n ta p p l i c a t i o nv a l u ea n dp r a c t i c a ls i g n i f i c a n c e i nt h i s p a p e r , s e n s o r s n o n - l i n e a rc o r r e c t i o nb a s e do ns u p p o r tv e c t o r m a c h i n e ( s v m ) w e r es t u d i e d ，w h i c ht a k et h ed a t af r o mc a p a c i t i v e d i f f e r e n t i a l p r e s s u r et r a n s m i t t e r , t h e r m o c o u p l e , t h e r m a lr e s i s t a n c ea n di n c l i n a t i o ns e n s o ra s r e s e a r c hs a m p l e s t h em a i nt a s kw a sr e f l e c t e da sf o l l o w s ： 1 i n t r o d u c e dt h es v m t h e o r y ，i n c l u d i n gc l a s s i f i c a t i o na n dr e g r e s s i o n ；d i s c u s s e d s e v e r a ls v ml e a r n i n ga l g o r i t h m ，e s p e c i a l l ys e q u e n t i a lm i n i m a lo p t i m i z a t i o n ( s m o ) ；a n di n t r o d u c e dt h eo p t i m i z a t i o no fs v mp a r a m e t e r s 一一p 硎c l e s w a r mo p t i m i z a t i o n ( p s o ) d e t a i l e d 2 d e v e l o p e d t h e s u p p o r t v e c t o rr e g r e s s i o nm a c h i n es e n s o r sn o n - l i n e a r c o r r e c t i o nm o d e l ，w h i c ht a k et h es - i n s e n s i t i v ee r r o rf u n c t i o na st h el o s e f u n c t i o n i n t r o d u c e dt h es t e p sd e t a i l e d ，i n c l u d e dd a t ap r e p r o c e s s i n g , s a m p l e ss e t p a r t i t i o na n dk e r n e l f u n c t i o nc h o s e n ；d u et ot h i st y p eo fg e n e r a l i z a t i o n p e r f o r m a n c ei se a s yt ob ei m p a c t e db yp a r a m e t e r ss e l e c t i o n ，p a r t i c l es w a r m o p t i m i z a t i o na r i t h m e t i cw a su s e dt os e l e c tp a r a m e t e r s 3 - s u p p o r tv e c t o rr e g r e s s i o nm a c h i n es e n s o r sn o n l i n e a rc o r r e c t i o nm o d e lw a s a p p l i e di nc a p a c i t i v ed i f f e r e n t i a lp r e s s u r et r a n s m i t t e r , t h e r m o c o u p l e ，t h e r m a l r e s i s t a n c e ，a n di n c l i n a t i o ns e n s o r s i m u l a t e da n da n a l y z e dt h er e s u l tt h r o u g h v a r i o u sk e r n e lf u n c t i o n , v a r i o u ss a m p l es e ti no r d e rt oc h e c kt h ee f f e c to f n o n l i n e a rc a l i b r a t i o n t h er e s u l ts h o w st h a td i f f e r e n ts a m p l es e th a sag r e a t n 上海大学硕士学位论文 i n f l u e n c e0 1 1t h er e s u l t , a n dr a d i a lb a s i sk e r n e lf u n c t i o ni sm o r es u i t a b l et h a n s i g r n o i dk e r n e lf u n c t i o nf o rt h i sm o d e l i nt h i sp a p e r , p a r t i c l es w a r m o p t i m i z a t i o na l g o r i t h mi su s e dt oo p t i m i z es v mp a r a m e t e r , t h es i m u l a t i o n r e s u l t ss h o w st h a ti th a sb e e ng r e a t l yi m p r o v e dt h a nw i t h o u to p t i m t z a t i o n a l l t h ee r r o r ss i m u l a t e dw e r en o t g r e a t e rt h a n o 0 6 4 d e s i g n e dt h eh a r d w a r ea n ds o f = l t w a r eo fn o n l i n e a rc a l i b r a t i o ns y s t e mb a s e do n s u p p o r tv e c t o rr e g r e s s i o nm a c h i n e t h eh a r d w a r ed e s i g n , i n c l u d et h ec h i p s e l e c t i o n , p a r t i a lc i r c u i td e s i g na n dp c bb o a r dd e b u g ；d i s c u s st h es o f t w a r e d e s i g n , i n c l u d et h ew h o l e ed e s i g n , s e q u e n t i a lm i n i m a lo p t i m i z a t i o n a l g o r i t h m ( s m o ) s u b r o u t i n e ，d s pf i x e d p o i n tc o m p u t a t i o ns u b r o u t i n ea n d s u p p o r tv e c t o rr e g r e s s i o na l g o r i t h m ( s v r ) s u b r o u t i n ee t c k e y w o r d s ：s u p p o r tv e c t o rm a c h i n e ，p a r t i c l e s w a r mo p t i m i z a t i o n , s m o a r i t h m e t i c ，s o f t w a r ed e s i g n i i i 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：垒址日期：出 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：逝新躲也驾吼蹲立! 兰 上海大学硕士学位论文 第一章绪论 1 1 课题背景 1 。1 1 概述 新技术革命的到来，世界开始进入信息时代，信息社会的表征是社会活动 和生产活动的信息化，其基本活动形式是信息的获取，传递，处理和控制。传 感器技术与通信技术、计算机技术构成了信息产业的三大支柱。在利用信息的 过程中，首先要解决的就是要获取准确可靠的信息，而传感器就是获取自然科 学领域中信息的主要途径和手段，传感器技术作为当今世界令人瞩目的迅猛发 展起来的高新技术之一，不仅是当代科学技术发展的一个重要标志，在一定程 度上还标志着一个国家的科学技术水平。 传感器的研究始于二十世纪三十年代，它是研究非电量信息与电量间转换 的一门跨学科的边缘技术科学，作为感受被测量信息的器件，希望它能够按照 一定的规律输出有用的信号。早期设计的传感器是模拟式传感器，现在通常称 为传统传感器，由于传感器自身性能因素的作用，这种传感器只能进行信号调 理，基本不具备信息处理能力和自我管制能力。这就决定了传感器存在着输入 输出特性具有一定的非线性( 非线性是指传感器输入参数与输出参数之间的特 性图上的线性误差) ；而且在大多数情况下，由于受电磁波、噪声以及外界环境 的影响，使得传感器的非线性变得更为复杂，严重影响检测精度和控制的准确 性。因此，研究传感器的非线性校正具有十分重要的应用价值和现实意义。 智能传感器的出现使传感器技术的发展跃上一个新台阶，它将复杂信号由 集中型处理变成分散型处理，既可以保证数据处理的质量，提高抗干扰性能， 同时又降低系统的成本。它使传感器由单一功能、单一检测向多功能和多变量 检测发展，使传感器由被动进行信号转换向主动控制和主动进行信息处理方向 发展，并使传感器由孤立的元件向系统化、网络化发展。这要归功于计算机技 术的发展。计算机为现代智能测量系统的发展提供了有效的手段，使传统的测 量仪器采用计算机进行数据分析处理成为现实。微电子技术，特别是微计算机 上海大学硕士学位论文 技术的发展，使测量仪器在测量过程的自动化、测量结果的智能化处理和仪器 功能仿人化等方面，都有了巨大的进展。 智能传感器充分利用计算机资源，在人工最少参与的条件下尽量以软件实 现系统功能。因此，在数据处理、灵活性、测量速度等方面，智能测量具有传 统测量技术无法比拟的优势。智能化数据处理是智能传感器最突出的特点。计 算机可以方便、快捷的实现各种算法。所以，对一些新的比较好的算法，可以 很容易的用于智能传感器的非线性校正。而且，可以通过进一步提高智能传感 器的性能，获得并提供更多更可靠的高质量信息。 因此，传感器作为整个智能测量系统的主要信息来源，其性能决定了智能 测量系统的检测性能。准确了解传感器的输入输出特性，提高传感器的测量精 度，直接关系到整个系统测量精度的高低。 1 1 2 传感器的数据处理方法 对传感器的数据处理通常有两种方法：一种方法是硬件补偿法，从传感器 的设计着手，根据传感器工作原理优化结构和参数，减小系统的响应滞后时间； 另一种方法是软件补偿，对传感器的输出信号进行后处理，增加动态补偿环节， 实现对动态测试误差的修正。 1 1 2 1 用硬件方法实现传感器的非线性校正 硬件电路补偿是基于电压源可变来实现传感器特性的显性化，即在传感器 电路中采用一些特定的电子线路进行非线性补偿。多年来，许多学者和研究人 员已经在传感器本身设计、电路环节设计以及非线性校正器设计等硬件方面进 行了长期的工作，基本达到了技术极限。这一补偿办法是针对已知的并能够用 物理原理建模的系统误差。对于一些未知的因素则无法使用这一类方法h 1 。 1 ) 敏感元件特性的线性化 敏感元件是非电量检测的感受元件，它的非线性对后级影响很大，应尽量 使它线性化，如式( 1 1 ) 中，热敏电阻足与t 呈非线性关系，我们可以采用一 个附加线性电阻与热敏电阻并联，所形成的并联等效电阻与t 有近似线性关 系，如图1 1 ，尺口的整段曲线呈s 形。电路并联的电阻r 可由式( 1 3 ) 确定。 r = a e 口7 r ( 1 1 ) 2 上海大学硕士学位论文 q = 器 ( 1 - 2 ) r ：鱼! 墨整! 二兰生：垒( 1 3 ) 心+ 一2 其中，几，舶，尺c 是热敏电阻在低温( 乃) ，中温( 乃) 和高温( 死) 下的电 阻值。 图i - i 并联等效电阻曲线 2 ) 选择与被测量成线性函数关系的量作为测量装置输出量 例如采用电容传感器时，极板的位移和电容量之间成非线性函数关系见式 ( 1 3 ) ，然而如果采用容抗x c - - i r v c 作为传感器的输出，则屁与被测量位移 成线性关系了，恐可称为“校正函数。 c ：旦( 1 - 4 ) 磊一d 肝：型 ( 1 5 ) 、 s s 3 ) 折线逼近法 将传感器的特性曲线用连续有限的直线来代替，然后根据各转折点和各段 直线来设计硬件电路，这就是最常用的折线逼近法。转折点越多，各段直线就 越逼近曲线，精度也就越高，但太多了就会因为线路本身误差而影响精度，所 以转折点的选取与要求的精度和线路有密切的联系，在实际应用中，应采取具 上海大学硕士学位论文 体问题具体分析的办法。 此外，采用硬件方法校正中还有抛物线逼近法、线性提升法、测量桥电路 线性化等等。总之，硬件方法校正，因为其本身需要采用较多的硬件电路，在 实际中做到完全校正是很困难的。随着计算机技术的广泛应用，特别是单片机 的迅速发展，在数据采集系统中用软件进行非线性校正得到了越来越广泛的应 用3 1 。 1 1 2 2 用软件方法实现传感器的非线性校正 智能传感器采用了数据处理软件，实现了在软件的导引下自动进行校准 标定，它不介意输入输出特性的非线性程度，而自动按非线性特性进行刻度转 换。输出系统的被测量值，因此，在同样的硬件条件下，智能仪器中的数据处 理方法的优劣往往决定着仪器的性能，这使得智能仪器的数据处理方法成为研 究的热点问题之一。采用软件方法进行非线性补偿，其方法有函数拟合法、查 表法和插值法等跚。 1 ) 查表法 查表法是一种分段线性差值法。它就是根据a d 的转换精度要求把测量范 围内参数划分成若干等分点，然后由d , n 大按顺序计算出这些等分点相对应的 输出数值，这些等分点和其对应的输出的数据就组成了一张表，把这张数据表 存放在存贮区中。软件处理方法是在程序中编制一个查表程序，当被测参数经 过采样等转换后，通过查表程序直接从数据表中查出相对应的输出参数值。分 段线性差值的方法仅能够在有限的最佳的拟和出函数值，而在给定的数据点间 的函数输出则有一定的误差。这一方法有着良好的使用背景。但制定大规模的 查找表需要大工作量的高精度的测试而如果采用小规模的表则可能出现精度不 够的现象。 2 ) 插值法 实际使用时，可以把计算法和查表法结合起来，形成插值法。插值法就是 在传感器x - y 特性曲线中，把输入量x 分成个均匀的区间，这样每个区间的 端点噩都对应一个输出y 七，把这些( 噩，y k ) 编制成表格存贮起来。实际的检 测值一定会落在某个区间( 忍，珏+ ，) 内，线性插值就是用直线段近似代替区间 4 上海大学硕士学位论文 里的实际曲线，通过近似公式计算出k 。所以线性插值又叫折线法。 实际使用线性插值时，线性化的精度由折线的段数决定。段数越多，精度 和准确度越好，但是表格存贮的容量也就越大，一般分成1 6 到3 2 段折线，对 于分段的等分与不等分要根据传感器特性的具体情况来决定。 3 ) 数据拟合法 目前，数据拟合法就是根据给定的数据表，设法寻找一个解析形式的函数 西( x ) ，来近似地代替这些数据间的函数关系f ( 石) 。此方法分为：直线拟合法 和智能算法。 直线拟合法常用的有：理论直线法、端点线法、端点平移法、最t j 、- 乘法 等等。最常用的是最，j , - - 乘法，这种方法按最小二乘法原理求取拟合直线，该 直线能保证传感器校准数的残差平方和最小口1 。 但是，当用直线拟合时，拟合精度较低，往往不能满足实用要求，用高次 曲线拟合又过于复杂，实现困难。为此，近年来，随着神经网络和统计学习理 论等智能算法的发展，国外不少学者提出了非线性传感器特性线性化的智能算 法，这种方法算法简单，实现容易，尤其是大多数传感器特性具有较大的离散 性，互换性差，而智能算法具有学习能力，且泛化能力较强，只要通过对部分 样本的学习，即可完成线性化。根据其实现方法的不同大致可以分为以下三类： 第一种是经典的( 参数) 统计估计方法。包括模式识别等在内，现有机器 学习方法共同的重要理论基础之一是统计学。参数估计方法中，参数的相关形 式是已知的，训练样本用来对模型的参数进行估计。这种方法需要知道样本的 分布形式，同时基于传统统计学理论的参数估计方法是一种隐含了样本数目无 穷大的渐进理论。由于实际问题中样本的有限性使得基于传统统计学理论的一 些学习方法在实际表现中差强人意。 第二种方法是如人工神经网络( 舢州) 等基于经验的非线性方法。这种方 法无需事先知道样本的分布形式，直接利用已知样本建立非线性模型，克服了 传统参数估计方法的困难。但是这种方法其本质也是建立在样本数无穷大的经 典统计学理论基础上，同时由于缺乏统一的数学理论，在应用上神经网络的结 构确定主要依赖经验的选取。 5 上海大学硕士学位论文 第三种是统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y 或s l t ) 。与传统统计学 方法相比，它是一种专门研究小样本情况下机器学习规律的理论。v p a n i k 等人 从六、七十年代开始致力于此方面研究，统计学习理论是建立在一套较坚实的 理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很 多现有方法纳入其中，有望帮助解决许多原来难以解决的问题( 比如神经网络 结构选择问题、局部极小点问题等) ：到九十年代中期，随着其理论的不断发展 和成熟，也由于神经网络等学习方法在理论上缺乏实质性的进展，统计学习理 论开始受到越来越广泛的重视。 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是发展于统计学习理论的一 门新兴机器学习方法，包括s v r ( 支持向量回归) 和s v c ( 支持向量分类) ， 它可以解决小样本、非线性、高维数等实际问题，已在模式识别、回归预测等 领域得到了较为成功的应用，尤其是在解决小样本和非线性方面使其在传感器 的数据拟合中具有其他方法无法比拟的优势n 。 1 2 本文主要工作 本文应用支持向量机算法构建传感器的非线性校正模型，主要采用理论分 析与实证研究相结合的方法，在结果分析上通过方法内部对比进行研究。检验 支持向量机算法在传感器的数据拟合领域的有效性和优越性。 分析的总体思路是描述机器学习的本质，通过引入统计学习理论中结构风 险最小化的思想解决传统基于经验风险最小化的方法的缺陷，介绍实现了这一 思想并真正将其运用到解决实际问题中的工具支持向量机。实例研究是以 传感器的数据为研究样本，主要运用了争支持向量回归机对参数的设计和选取 进行了深入的研究，给出优化结果，通过模型之间对比验证和产生相关结论。 基于以上的研究方向，本文各章节的安排如下： 第一章是对传感器非线性校正的背景、方法及现状的阐述。 第二章详细介绍了支持向量机算法理论以及序贯最小优化学习算法和粒子 群优化算法。 第三章建立基于争不敏感误差函数为损失函数的支持向量回归算法模型。 针对此模型受其参数选择的影响，泛化性能不太理想的问题，利用粒子群优化 6 上海大学硕士学位论文 算法自动进行参数选择，提高了算法的泛化性能。 第四章应用建立好的模型对电容式差压变送器、热电偶、热电阻、倾角传 感器进行仿真，对不同样本集、不同核函数下进行了仿真和分析，检验其非线 性校正的效果，并对各种核函数仿真后的结果以及与传统的回归方法和神经网 络进行比较；使用粒子群优化算法对s v m 参数优化，改善仿真结果。 第五章介绍了校正装置的硬件设计和软件设计。硬件部分，包括各器件的 选择以及局部电路的设计和电路板的调试；软件部分，主要包括整体结构设计、 算法主程序设计、串口模块设计等。 第六章对全文进行概括性总结，并指出有待进一步研究的方向。 7 上海大学硕士学位论文 第二章支持向量机理论及其优化算法 2 1 支持向量机原理 传统统计学所研究的是渐进理论，也就是当样本趋于无穷大时的极限特性， 但是在实际应用中，前提一般无法满足，因此一些理论上很成熟的学习方法在 实际的表现却可能不尽人意。 与传统统计学的方向不同，统计学习理论针对有限样本统计问题建立了一 套新的理论体系，在这种体系下的统计推理规则不仅考虑了对渐近性能的要求， 而且追求在现有有限信息的条件下得到最优结果。它的一个核心概念是v c 维 ( v cd i m e n s i o n ) 概念，它是描述函数集或学习机复杂性或者说是学习能力 ( c a p a c i t yo ft h em a c h i n e ) 的一个重要指标，在此概念基础上发展出了一系列 关于统计学习的一致性( c o n s i s t e n c y ) 、收敛速度、泛化性能( g e n e r a l i z a t i o n p e r f o r m a n c e ) 等重要结论口一。 2 1 1 统计学习理论 机器学习的目的是根据给定的训练样本求出对某系统输入输出之间依赖关 系的估计，使它能够对未知输出做出尽可能准确的预测。那么，可以通过风险 函数( r i s kf u n c t i o n ，也可称为期望风险) 对学习效果进行评估。 图2 - 1 经验风险最小学习机 对刀个相互独立并服从同一分布的观测样本( x l ，y 1 ) ，( 张y 2 ) ，( 粕y j ) ， 在给定输入为x 的情况下输出为y ，且变量y 与x 之间存在未知依赖关系，即遵 上海大学硕士学位论文 循某一未知的联合概率f ( 五y ) ，那么机器学习的期望风险定义为 尺( w ) = i l ( y ，f ( x ，c o ) ) d f ( x ，y ) ( 2 1 ) 其中，预测函数集 厂( 蕾o s ) ) 可以表示任何函数集合，称作预测函数集，t o 为 函数的广义参数，三( 彭( 五) ) 为用厂( 五) 对y 进行预测而造成的损失， 称为损失函数。不同类型的学习问题有不同形式的损失函数。 学习的目的就是为了使期望风险最小，由于我们利用的信息只有样本数据， 因此期望风险无法直接计算和进行最小化。为此，在实际应用中，一般根据大 数定理即采用算术平均来代替，利用求经验风险( 缈) = 圭三( 乃，厂( 再，国) ) 的 “i = 1 最小值来代替求期望风险的最小值即为经验风险最小化原则( e m p i r i c a l 硒s k m i n i m i z a t i o n ，e 蹦) 。但是，e r m 准则代替期望风险最小化没有经过充分的理 论证明，只是直观上合理的想当然做法。e r m 准则不成功的一个例子就是神经 网络的“过学习问题。训练误差小，并不总能导致好的预测效果，某些情况 下，训练误差过小反而会导致推广能力的下降，即真实风险的增加n 1 3 。 可以看出，在有限样本下，经验风险最小并不一定意味着期望风险最小。 学习机器的复杂性不仅应与所研究的系统有关，而且要和有限数目的样本相适 应。 统计学习理论就是研究小样本统计估计和预测的理论，核心内容包括：基 于经验风险最小化准则的统计学习一致性条件：统计学习方法推广性的界；在 推广界的基础上建立的小样本归纳推理准则；实现新的准则的实际方法。其中， 最有指导性的理论是推广界，与此相关的核心概念是v c 维 ( v a p n i k - c h e r v o n e n k i sd i m e n s i o n ) 。 v c 维的直观定义是：对一个指示函数集，如果存在| i l 个样本能够被函数 集中的函数按所有可能的加种形式分开，则称函数集能够把h 个样本打散；函 数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都有函数 能将它们打散，则函数集的v c 维是无穷大。有界实函数的v c 维可以通过一 定的阈值将它转化成指示函数来定义。v c 维反映了函数集的学习能力，v c 维 越大，学习机器就越复杂。目前尚没有通用的关于任意函数集v c 维计算的理 9 上海大学硕士学位论文 论，只知道一些特殊函数集的v c 维。 对两类问题，经验风险和实际风险之间以至少1 呀概率满足如下关系： ， r ( 国) r 呷( 缈) + 1 h ( 1 n ( 2 h ) + 1 ) - i n ( r 4 ) ( 2 - 2 ) 其中，h 是函数集的v c 维：f 是样本数。这一结论从理论上说明了学习机器的 实际风险是由两部分组成的：一是经验风险( 训练误差) ，另一部分称作置信范 围，它和学习机器的v c 维和样本数，有关，可以简单地表示为 r ( 国) 足脚( 国) + ( ，j 1 ) ( 2 - 3 ) 上式表明，在有限样本条件下，学习机器的v c 维越高，置信范围就越大， 导致真实风险与经验风险之间可能的差别越大，从而出现过学习。机器学习过 程不但要使经验风险最小，还应尽量缩小置信范围，才能取得较小的实际风险， 即对未来样本有较好的推广性。支持向量方法实际上就是这种思想的具体实现。 下面将详细介绍支持向量机n 。 2 1 。2 支持向量机分类 h l 0 2 ，i l w “ 图2 - 2 线性可分情况下的最优分类面 图2 2 中，方形点和圆形点代表两类样本，日为分类超平面，两和琏分别 是过两类样本中离日最近的点，且平行于h 的平面，它们之间的距离叫做分类 间隔( m a r g i n ) 。最优分类面不仅要保证将两类样本无错误地分开，还要求分类 间隔最大。 设线性可分的样本集有刀个样本( 瓢弗) ，其中i = 1 ，2 ，：工，y e 一1 ，1 ) 其中+ 1 和1 分别代表两类的类别标识。在高维空间中，将两类样本无错分开的 l o 上海大学硕士学位论文 分类超平面胃满足 g ( x ) = c o x - b = 0 ( 2 - 4 ) 为使分类面对所有样本正确分类并且具备分类间隔，则要求它满足以下约 束条件： 三：彩+6三。f力oroo+b0 ，篓三+ - 1 1 ) c 2 5 ， 而 力，m =j 所有样本被无错误分开时应满足 乃( 彩一- 1 0 ( 2 6 ) 在高维特征空间中，可以计算两和飓之间的距离为2 l l o j i i 。使分类间隔最 大实际上就是使 ( 国) = 圭。国1 1 2 = 三国r 彩= 三( 国) ( 2 7 ) 最小，即求解最优分类面就是在条件公式( 2 6 ) 约束下求( 2 - 7 ) 式中矽( ) 的 极值。而过超平面两和飓的样本点就是( 2 7 ) 式得到的极值的样本点，它们 共同支持了最优分类面，因此称为支持向量( s u p p o r t v e c t o r ) 。 使分类间隔最大实际上就是对推广能力的控制，这是s v m 的核心思想之 一。统计学习理论指出，在维空间中，设样本分布在一个半径为r 的超球范 围内，则满足条件i i o ) l l a 的正则超平面构成的指示函数集厂( 工，6 ) = s 印 ( x ) + 6 ) ( s i g n ( ) 为符号函数) 的v c 维满足下面的界 h m i n ( 砌2 ，) + 1 ( 2 - 8 ) 因此使i l a 1 1 2 最小就是使v c 维的上界最小，从而实现结构风险最小原理 ( s r m ) 准则中对函数复杂性的选择。 利用l a g r a n g e 优化方法可以把上述最优分类面问题转化为其对偶问题，即 在约束条件 咒口f - - 0 i f l 口o ，i = 1 ，n ( 2 9 a ) ( 2 9 b ) 上海大学硕士学位论文 - f f x 寸a , 求解下列函数的最大值 q ( 口) = 口i 一寺a i a j y l y j ( x ，_ ) ( 2 - 1 0 ) i = i ，暑l 口f 为与每个样本对应的l a g r a l l g e 乘子。这是一个不等式约束下二次函数寻 优的问题，存在唯一解。容易证明，解中将只有一部分( 通常是少部分) 啦不 为零，对应的样本就是支持向量。解上述问题后得到的最优分类函数是 r 。、 厂( x ) = s 印 ( 缈工) + 6 = s 印 a t * 乃( 五x ) + 矿 ( 2 1 1 ) l i = lj 式中的求和实际上只对支持向量进行。6 。是分类阈值，可以用任一个支持向量 ( 满足( 2 6 ) 式中的等号) 求得，或通过两类中任意一对支持向量取中值求得。 另外，可能存在一些样本不能被超平面正确分类，因此引入松弛变量 0 ，f - 1 ，玎 ( 2 1 2 ) 显然，当分类出现错误时，手大于零，蠡是分类错误数量的一个上界， 为此引入错误惩罚分量，因此构造广义最优分类超平面问题就转化为在约束条 件( 2 1 3 ) 乃( 彩- b ) l 一缶，f = 1 ，刀 ( 2 - 1 3 ) 下最小化函数( 2 1 4 ) 舶，6 ) - 扣w ) + 嘻磊 ( 2 1 4 ) 的问题。上式中c 为一个正值常数，c 越大，对错误的惩罚越重。其中第 一项是样本到超平面的距离最大，从而提高泛化能力，第二项是使误差尽量小。 广义最优分类面的对偶问题与线性可分情况下几乎完全相同，只是条件( 2 9 b ) 变为 0 s q g f = l ，万 对于线性不可分的样本，支持向量机的方法是将输入向量映射到一个高维 的特征空间，并在该特征空间中构造最优分类面。它能够避免在多层前向网络 1 2 上海大学硕士学位论文 中无法克服的一些缺陷。并且经过证明可以得到如下结论：如果选用适当的映 射函数，大多数输入空间线性不可分的问题在特征空间可以转化为线性可分问 题来解决1 0 1 。 但是在低维输入空间向高维特征空间映射过程中，由于空间维数急速增长， 这就使得在大多数情况下难以直接在特征空间直接计算最佳分类平面。支持向 量机通过定义核函数( k e r n e lf u n c t i o n ) ，巧妙的将这一问题转化到输入空间进 行计算，其具体机理如下： 在前面介绍的线性可分求解中都只涉及内积运算，因此可以假设有非线性 映射o ：科_ 日将输入空间的样本映射到高维特征空间日中，当在特征空间中 构造最优超平面时，训练算法仅使用特征空间中的点积，即巾( ) 中( ) 。所 以，若能找到一个函数k ( ) 使得k ( 而，) = ( 玉) ( _ ) ，这样，在高维空间 中实际上只需要进行内积运算，甚至不必知道变换的形式。 根据泛函的有关理论，只要一种核函数k ( 五x ，) 满足m e r c e r 条件，它就对 应某一变换空间中的内积。因此，在最优分类面中采用适当的内积函数k ( 五z ，) 就可以实现某一非线性变换后的线性分类，而计算复杂度却没有增加，此时目 标函数( 2 。1 0 ) 变为 q o ) = q 一寺q q 乃乃k ( 而一) ( 2 1 5 ) i = l ，j = l 而相应的分类函数也变为 r 一1 - 八力= s 印 q y i k ( x l 工) + b ( 2 1 6 ) l1 = 1j 而算法的其他条件均不变。由于最终的判别函数中实际只包含与支持向量 的内积求和，因此识别时的计算复杂的取决于支持向量的个数。 由图2 3 可以看出，支持向量机求得的决策函数形式上类似于一个神经网 络，其输出是若干中间层节点的线性组合，而每一个中间层节点对应于输入样 本与一个支持向量的内积，因此也被称作是支持向量网络。 1 3 上海大学硕士学位论文 图2 - 3 支持向量机示意图 在式( 2 1 6 ) 中，满足m e r c e r 条件的内积函数足( 五，x ，) 称为核函数。下面 列出几种常用的核函数： 1 ) 多项式核函数 k ( x ，西) = ( 工而) + l y ( 2 一1 7 ) 此时得到的支持向量机是一个q 阶多项式分类器。其中q 由用户决定的参 数。 2 ) 径向基函数： k ( x , x i ) ：e x p 一呼) ( 2 - 1 8 ) 得到的支持向量机是一种径向基分类器。 3 ) s i g m o i d 函数： k ( x , x t ) = t a n h ( v ( x x s ) + c ) ( 2 1 9 ) 支持向量机实现的就是两层感知器神经网络啪1 。 2 1 3 支持向量机回归 回归分析又称为函数估计，它的目标是通过有限个样本，建立反映输出和 输入之间的函数关系，进而用所得回归函数对新的数据作出计算或预测。这种 函数关系通常是连续的。如果输出和输入之间的联系是非线性关系，称为非线 性回归分析。 设有回归模型实现映射f ( ，形从使得夕= ，( 形，x ) f ( x ) 以求逼近目标 1 4 上海大学硕士学位论文 函数y = f ( x ) ，所产生的误差为 e=y一多(2-20) 回归分析中，首先需要考虑的是回归效果的估计，也是学习机最优化准则 问题。要想在指定的函数类中选取“拟合最优的函数夕= 厂( x ) ，必须明确评 优的标准并对所有训练样本的累计误差最小。 有多种计算累计误差的算法，图2 4 中厶( 力和厶p ) 为多元统计分析中常用 的误差函数 ll ( e ) e 岛( e h 平方误差函数 i 。 e 厶( p ) 。绝对值误差函数 ， 一 岛( p ) ，- 不敏感误差函 图2 _ 4 常用误差函数 通常只考虑误差值大小，正负是等价的，平方函数和绝对值函数都满足对原点 的对称性。不难看出，常用的均方误差和均方根误差函数就属于平方误差函数 厶( e ) 一类，其特点是对于小误差不敏感，对大误差反映敏感。 同样在绝对值误差的基础上，v a p n i k 提出了“一不敏感损失函数 讹叶，i jg 巍 协2 ) l 多专f 巴 如图2 - 4 所示。当占一不敏感损失函数中指定的参数8 = 0 时，t 0 ) 等同于绝对值 函数l 2 ( e ) ；s 0 时，丘( e ) 相当于把厶 ) 的两条射线分别向左右平移占距离。 其含义为：它定义了一个“拟合范围”，当估计器输出夕与期望输出y 误差绝对 值小于g 时，误差可忽略不计，即g 为可忽略误差。当误差超过g 时，误差函数 的值为实际误差减去f 的绝对值。或者说，这种误差函数中间有一个宽度为2 9 1 5 上海大学硕士学位论文 的不敏感带，我们称其为占带或占管道n 1 埔1 。 鉴于分类与函数逼近的内在联系，前面用于分类的s v m 方法，类似地可运 用于回归。在回归中，我们要求它令下式e ( c o ) 最小： 脚) = 专籼川驴) i 。+ u 彩i f ( 2 2 2 ) 其中1 1 ，为上文中介绍的占不敏感损失函数。此时支持向量机的输出函数为 _ i i ， f ( x ，1 7 l ，口) = ( q - a ) k ( x | f ，x ) + a o ( 2 - 2 3 ) i = 1 其中对于任意i ，o s 研，岛且西q = 0 。在约束条件( 2 - 2 2 ) 下构造拉格朗 日函数，并对各个变量求导，令其求导函数等于零，解得： 国= 一( 口；一位，h 1 - 1 西一q = o f = l 将结果代入原始的拉格朗日函数，可得： ( 2 2 4 a ) ( 2 2 4 b ) ( 西，) = 占( 西+ q ) 一乃( 茚一q ) + 。i 1 扣1 ( 2 2 5 ) 去( 西一) ( 哆一q ( 五，x s ) 其约束条件为： o 西，哆s c , i = l ，n 西一q ：o ，；i ( 2 2 6 a ) ( 2 2 6 b ) 式中c 为惩罚因子。对于非线性函数逼近多采用径向基核函数： k ( x ，x i ) = e x p 一卜x , 1 2 o r 2 ) 。 支持向量回归机是统计学习理论的重要内容，支持向量回归机具有很好的 时间序列建模特性，采用支持向量回归机进行非线性系统建模和控制的研究是 1 6 上海大学硕士学位论文 最近两三年以来产生的智能控制的一个研究领域。与其他回归分析相比，s v m 方法颇为有特色。它引入了不敏感误差函数、样本空间到特征空间的非线性 映射1 。基于以上介绍，s v m 回归分析方法的特点归纳如下： 1 ) s v m 回归方法以非线性回归为目标，所以，它“天生”的适用于处理非线 性函数估计问题。 2 ) 引入核函数，避开了非线性映射的显式表达式，其计算量与线性回归方法 相当。与传统的非线性回归方法相比，s v m 回归算法简单，计算量小，易 于实现，可以解决规模较大的问题。径向基函数和反s i g m o i d 函数也是典 型