（机械制造及其自动化专业论文）基于svm的移动机器人定位技术研究.pdf

西南科技大学硕士研究生学位论文第l 页 摘要 以陀螺仪和编码器为移动机器人定位的硬件基础，研究了机器人定位及 误差补偿算法。主要工作如下： 研究了支持向量回归机( s v r ) 及其改进算法、实时小波滤波和无迹卡尔 曼滤波算法。s v r 用于定位误差的预测补偿。定位误差补偿算法分为两部分： 一是陀螺仪的漂移误差的补偿；二是移动机器人定位系统误差的补偿。实时 小波及无迹卡尔曼滤波算法用于对陀螺仪的原始信号进行降噪。 针对v g 9 4 9 型光纤陀螺仪和l y 5 3 0 a l h 型微机械陀螺仪做了误差漂移 研究，通过软件方式补偿陀螺仪误差漂移，改善其输出精度。分别建立了基 于加权最小二乘s v r 的v g 9 4 9 和l y 5 3 0 a l h 陀螺仪误差补偿模型，实现误 差补偿。 设计开发了移动机器人定位系统。定位系统包括软件和硬件两部分：陀 螺仪+ 编码器的定位算法、定位系统误差补偿算法、陀螺误差补偿算法及下 层传感器信息采集传输程序共同组成定位系统的软件部分。定位系统硬件部 分包括基于a t m e g a l 6 的c a n 总线网络及p c 平台。 最后，基于陀螺仪+ 编码器的定位实验证明了定位系统的有效性。 关键词：移动机器人相对定位陀螺仪支持向量回归机 定位误差 a b s t r a c t t h eg y r o s c o p ea n de n c o d e r sa r eu s e di nt h em o b i l er o b o tl o c a l i z a t i o n ，a n d t h el o c a t i o na l g o r i t h mi ss t u d i e d t h ei s s u eo fr o b o t r e l a t i v ep o s i t i o n i n g1 s s t u d i e do nt h eb a s i so ft h ee x i s t i n gp o s i t i o n i n gt e c h n o l o g y t h em a i nt a s k sa r e s u m m a r i z e da sf o l l o w s s u p p o r tv e c t o rm a c h i n e ( s v r ) a n d i t si m p r o v e da l g o r i t h m ，r e a l - t i m ew a v e l e t f i l t e ra n du n s c e n t e dk a l m a nf i l t e ri ss t u d i e d t h ep r e d i c t i o na n dc o m p e n s a t i o no f p o s i t i o n i n ge r r o ri ss t u d i e db a s e do ns v ra n d i t si m p r o v e da l g o r i t h m t h e a l g o r i t h m o ft h ep o s i t i o n i n gs y s t e me r r o rc o m p e n s a t i o nc o n s i s to f t h ep o s i t i o n i n g e r r o rc o m p e n s a t i o na l g o r i t h ma n dt h eg y r o s c o p ee r r o rc o m p e n s a t i o na l g o r i t h m t h eo u t p u td a t ao fg y r o s c o p ei sp r o c e s s e db a s e do nr e a l t i m ew a v e l e tf i l t e ra n d u n s c e n t e dk a l m a nf i l t e r t h ed r i f te r r o ro fv g 9 4 9t y p e so ff i b e ro p t i cg y r o s c o p ea n dl y 5 3 0 a l h t y p e so fm e m sg y r o s c o p e i sc o m p e n s a t e dt om a k eu s eo fs o f t w a r ec o m p e n s a t l o n f o ri m p r o v i n gi t sa c c u r a c y t h ee r r o rc o m p e n s a t i o nm o d e lo fv g 9 4 9t y p e so f f i b e ro p t i cg y r o s c o p ea n dl y 5 3 0 a l ht y p e so fm e m sg y r o s c o p e a r ee s t a b l i s h e d t h e nt h ee r r o ri sc o m p e n s a t e db a s e do nw e i g h t e dl e a s ts q u a r e ss v r t h em o b i l er o b o tp o s i t i o n i n gs y s t e mi sd e s i g n e d t h es y s t e mi n c l u d e st w o p a r t s ，t h es o f t w a r es y s t e m a n dt h eh a r d w a r es y s t e m t h es o f t w a r es y s t e m c o n s i s t so fl o c a l i z a t i o na l g o r i t h m ，e r r o rc o m p e n s a t i o na l g o r i t h ma n du n d e r l y i n g s o f t w a r e t h eh a r d w a r es y s t e mc o n s i s t so fc a n b u sa n dp c f i n a l l y , t h es i m u l a t i o ne x p e r i m e n t a l e f f e c t i v e s h o w st h a tt h ep o s i t i o n i n gs y s t e mi s k e yw o r d s ：m o b i l er o b o t ；r e l a t i v ep o s i t i o n i n g ；g y r o s c o p e ；s u p p o r t v e c t o r r e g r e s s i o nm a c h i n e ；p o s i t i o n i n g e r r o r 一 ， d r 西南科技大学硕士研究生学位论文第l 页 1 绪论 1 1引言 人类对机器人的向往与研究已有3 0 0 0 多年的历史。历史上也不乏古人研 究机器人的事例。西周时代偃师研制出了能唱歌跳舞的机器人；据史料记载， 春秋战国时期鲁班研制过一只木鸟能飞三天；东汉时期张衡阀门了地动仪等 都具有机器人的特征。国外也多有出现古人研发机器人的事例，如1 6 6 2 年日 本竹田晋江发明自动机器人玩偶；1 7 3 8 年法国人瓦克逊发明机器鸭等。 最近几十年，机器入领域包括工业机器人在内都有了突发猛进的发展。 人类期望制造一种似人模样的机器，为人类服务、代替人类完成各种工作。 它是人造的机构或机械电子装置，所以从这个视角来讲，这个机器人仍然属 于机器的范畴。 现代机器人的研究始于2 0 世纪中叶，计算机和自动化的发展，以及原子 能的开发利用为现代机器人的发展提供了必要的技术平台。自2 0 世纪中期以 来，计算机发展过程越来越迅速，速度越来越高、容量越变越大、成本更加 低廉。生成规模的不断扩大更加促进了计算机技术进入了快速、高速发展阶 段，数控机床在这样的历史条件下产生了。制造研发机器人需要较高的控制 技术和更精密的零件，数控机床的产生又为之提供了必要的条件。关于机器 人定义，不同的组织、机构定义又是有差别的。美国工程师协会( a m e r i c a n e n g i n e e r sa s s o c i a t i o n ，a e a ) 认为机器人是计算机控制的可以编程的能够完成 某种工作或可以移动的自动化机械。其他国家关于这个定义有不同的独特见 解，他们认为机器人的定义应该更加系统、更加完整，要用发展的眼光来思 考。进而把机器人阐述为能够获取工作场地信息，可以自规划、自学习、有 情感，对环境有一定的自适应能力，这给机器人提出更高层次的要求。 机器人的发展过程大致经历了三个阶段： 第一阶段是可编程示教机器人。该型机器人是机器人的初级阶段，操作 机构的空间轨迹、作业条件、作业顺序等可以作为示教内容； 第二阶段是离线编程机器人。传感功能和自适应能力的是其显著特点， 也是与第一阶段机器人的区别所在。与一代可编程示教机器人不同的是，该 型机器以柔性方式适应环境的需求，通过计算机对传感器反馈信息进行分析、 处理，再对机器入的动作进行控制，表现出低级智能特点； 第三阶段是智能机器人。该型机器人是人类所真正想拥有的机器人，因 西南科技大学硕士研究生学位论文第2 页 为它能感知多种环境信息，而且可以独立判断和运动，有记忆、推理和决策 的能力，面对复杂问题时有逻辑推理、规划和决策的能力。在工作场地中完 全自主行动。 机器人按研制目的及内容大致可分为三类机器人。一是工业机器人，工 业机器人也是一个非常宽泛的概念。常见的有焊接机器人、喷漆机器人、搬 运机器人和喷涂机器人等。二是操纵机器人，主要用于完成工业生产以外的 各种任务，如服务机器人及特种作业机器人等。三是智能机器人，智能机器 人具有类似人类的感知及判断系统。可以利用自身感知系统对外部信息进行 提取处理，做出适当的决策。在智能机器人领域，本田公司研制的a s i m o 智 能机器人是典型代表。 机器人种类繁多，定位技术也有很大差别。本文研究的机器人属于智能 机器人范畴。重点研究了室内移动机器人的相对定位技术。移动机器人可以 从不同角度进行分类，从工作环境可分为室内移动机器人和室外移动机器人。 移动机器人的相对定位系统概况起来大致有以下两种：惯性定位及测程法。 惯性定位一般采用陀螺仪+ 加速度计的定位方式；而测程法则是用双码盘( 双 单程计) 累计位移，然后推算机器人的坐标信息及方位角。 1 2国内外现状、研究思路及课题意义 1 2 1国内外研究现状概述 移动机器人定位方法概括起来主要有一下四类【卜9 】：a ) 内传感器定位法； b ) 信标定位；c ) 环境模型定位法；d ) 多传感器信息融合定位。 内传感器定位法( 又称相对定位) 主要是指惯性导航定位。通过机器人 自身携带的传感器获得定位信息，进而进行导航定位的，常用的惯性传感器 是陀螺仪和加速度计。陀螺仪定位特点显著：技术领先，定位精确，又容易 与其他传感器数据进行拟合，应用范围较宽。然而有工作费用较高的缺点。 另外，惯性元器件有随时间产生漂移误差的特性，受温度影响较大。信标定 位相当常见，机器人根据自带传感器的定位信息的模糊判断附近的信标位置。 在识别到当前信标后，就可以矫正机器人的位姿，获得当前的准确位姿。三 角几何运算可以得到机器人的坐标变换关系，实现机器人定位 1 0 - 1 6 】。信标定 位法不受环境因素改变的影响，因此定位精度高。环境模型定位法是根据传 感器获取的工作场地中物体位置更新机器人的位姿信息，不需要信标【1 7 珈】。 影响机器人定位的因素是非线性的及不确定的，经典定位算法很难达到 西南科技大学硕士研究生学位论文第3 页 理想的定位，需要开发新的智能计算方法。智能学习算法对输入和输出的映 射的要求不严格，在解决那些输入输出没有精确数学关系的问题上有很大的 优势。文献【1 】使用神经网络和模糊控制算法研究移动机器人在未知环境中的 定位技术，使用超声波作为其定位传感。该算法划分机器人的工作场地， a r t - i i 神经网络完成在线识别，模糊控制器根据已划分的工作场地类型完成 避障工作。文献【2 】通过两模糊子控制器矫正机器人的轨迹，改善定位准确性 及轨迹跟踪准确性。文献【3 】拟合了b p 神经网络算法及模糊控制器使算法的 应用范围更广，可以处理更复杂的工作场地。文献 4 】研究的是多传感器信息 融合在机器人避障中的应用。采集的多种传感器数据输入到数据处理算法中， 达到机器人准确定位的目的。文献【5 】优化了神经网络算法，即a r t - i i 神经 网络算法，使移动机器人定位控制更方便。文献 6 】细致研究了经典模糊控制 理论，采用了以线性插值算法为理论基础的新理论，改进了经典模糊控制算 法，切实解决了一些非常有实际意义的问题，移动机器人轨迹跟踪实验证明 了算法的有效性。 以光纤陀螺仪和定位码盘为依托，运用支持向量机对码盘和光纤陀螺仪 的数据误差做回归、预测分析。通过对实验数据的训练寻找合适核函数及其 参数，从而在自主路径规划中实现定位误差的综合实时补偿。提高自主移动 机器人的定位精度。对于非线性问题，s v m 利用核函数将样本映射到高维线 性空间，然后在此空间构造线性分类器或回归函数。样本在高维空间的点积 运算可以用低维输入空间的核函数来实现，而核函数的类型和参数问接决定 了样本在高维线性空间的分布，关系到支持向量回归机的优劣。选取适当损 失函数对构建支持向量回归机也是非常关键的，最常用的损失函数是瓦普林 克提出的s 不敏感损失函数，参数占的选择是影响s v r 性能的关键因素之一。 特别地，误差惩罚因子c 是数学模型中非常重要的参数，需要慎重选择的该 参数，关系着支持向量回归机的好坏。核函数的参数选择是研究的热点之一， 需要有较好的方法选择它们。另外，码盘及光纤陀螺仪的理论误差模型需要 进一步研究。 总之，基于陀螺仪和定位码盘的定位方式是一种可靠的自定位方式。改 进支持向量回归机算法能很好的完成陀螺仪、定位码盘的误差校正、补偿及 数据拟合工作。 1 2 2 研究思路 首先设计机械本体，再与实验室现有的机器人结合完成研究平台的搭建； 西南科技大学硕士研究生学位论文第4 页 其次设计控制电路；第三步深入研究小波滤波、无迹卡尔曼滤波和支持向量 机及其改进算法。然后编写程序，改善陀螺仪误差漂移、提高其输出精确度。 使用支持向量回归机算法补偿移动机器人定位误差，如图l 所示。 香 图1 - 1研究方法 fig 1 1r e s e a r c hm e t h o d 足厂 目rl 陀螺仪和编码器是移动机器人定位研究的硬件基础；小波滤波、无迹卡 尔曼滤波和支持向量回归机是研究的算法基础。通过研究和改进经典支持向 量回归机，使该算法能较好的适应于处理移动机器人定位误差及陀螺仪漂移 误差。 1 2 3 课题意义 移动机器人想要具备自主定位的功能，就意味不能迷失自己在工作场地 中的坐标和航向。自主定位技术也是智能机器人基础技术，是机器人三大核 心技术之一，也是非常有挑战性的关键技术，是机器人是否能顺利完成问题 的关键。 智能移动机器人自主定位能力非常重要，码盘定位属于相对定位范围， 成本低，使用方便。但是码盘定位技术有它不可忽视的缺点，机器人长时间 远距离航行后，定位误差累计，定位准确性会受到很大影响。目前，改进码 盘定位准确度的方式是码盘误差建模的，可使用这些方法处理的定位结果仍 然存在较大的误差。机器人长时间航行积累的误差没有明显改善，若从根本 上解决误差积累问题需要借助绝对定位方式。但是有很多场合只能使用相当 定位方式，或者工作场地条件限制不具备使用绝对定位方式，所以探索一种 较好解决码盘定位误差积累问题方法很有必要。 码盘定位随时间的增长而产生的误差原因有很多，计算误差和舍入误差 南 西南科技大学硕士研究生学位论文第5 页 在机器人定位精确度方面占了较大的比重。移动机器人在进行坐标变换运算 时，需要一个机器人角度才能推算出下一点的坐标，而这个角度一般是通过 双码盘累计位移推算的。这样就进入了计算误差和舍入误差。特别是当移动 机器人小角度转弯时，这种误差就更加明显。显然，如果能使用另外一种传 感器直接返回机器人一段时间内的角度，就可以大大提高机器人的定位精度。 基于光纤陀螺和定位码盘的移动机器人自主定位技术就是基于这样原理的方 法。另外，该定位算法又引入支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 及 其改进算法处理定位误差问题，用于回归补偿定位误差。支持向量机及其改 进算法可以用于处理回归问题，通过核函数把向量映射到高维空间，进而把 问题转化为线性问题来分析。 自主移动机器人有一定的独立思考能力，具备一定的智能，可以分辨工 作场地中的位姿，完成相应的工作任务。智能机器人理想的工作状体就是自 我规划，自适应工作场地，有序的完成各项规定任务，处理一些简单的故障。 但是完成这些任务要以自主定位为前提。定位导航技术也是机器人技术研究 领域的热点技术，是定位导航的基础技术。移动机器人定位技术多种多样， 不同的定位方法有自己的特点，适用于不同的工作场地。惯性定位、超声波 定位、激光定位、信标定位及视觉定位等是比较常见的定位方法。定位方法 依存于定位系统中，定位系统是一个跨学科的课题。在探索较好的定位方式 的同时，丌发可靠的定位系统也是非常必要的。开发定位系统需要考虑经济 成本、可靠性。从另外一个角度来说，定位系统包括软件部分和硬件部分。 软件部分包括定位算法和数据传输算法；硬件部分主要是传感器数据采集电 路及通信电路。移动机器人在不同领域的应用重要性不断体现，进而对自主 移动机器人的定位技术研究提出了更苛刻的要求，移动机器人定位技术的研 究要不同深入开展。 1 3 研究内容与结构 一 ( 1 ) 主要研究内容 光纤陀螺仪、m e m s 陀螺仪数据处理 移动机器人定位算法( 陀螺仪+ 编码器定位算法) 支持向量回归机及其改进算法研究、滤波算法 机器人定位系统及定位误差预测补偿 研究以实现基于陀螺仪和光电编码器的机器人定位及定位误差预测补偿 西南科技大学硕士研究生学位论文第6 页 为最终目的，深入研究了支持向量回归机及其改进算法、小波滤波和无迹卡 尔曼滤波。 以支持向量回归机及其改进算法、滤波算法为理论基础，处理v g 9 4 9 型光纤陀螺仪和l y 5 3 0 a l h 型微机械陀螺仪输出信号，改善其返回方位角的 准确度。研究了基于c a n 总线的移动机器人定位系统，开发了相应的软件 程序和硬件电路。 ( 2 ) 论文结构 第一章绪论简单介绍机器人定位技术国内外状况、研究意义及研究思路 等。第二章讲述了理论基础，包括小波滤波算法、无迹卡尔曼滤波算法、支 持向量机及其改进算法。 三、四、五章是本文的重点。第三章介绍了光纤陀螺仪v g 9 4 9 、m e m s 陀螺仪l y 5 3 0 a l h 的误差处理算法，并做了相应对比验证实验。第四章介绍 了陀螺仪+ 编码器定位系统的硬件电路设计及c a n 总线通信程序设计。第五 章介绍了基于陀螺仪+ 编码器的移动机器人定位研究，最后研究了定位误差 预测补偿的相关内容。 1 4本章小结 本章概括的介绍了移动机器人定位技术的国内外现状。另外，阐述了论 文的研究思路及课题意义。归纳了论文的主要研究内容，并对简要叙述了论 文结构。 西南科技大学硕士研究生学位论文第7 页 2 算法基础及其改进算法 2 1滤波算法 2 1 1实时小波滤波算法 小波变换( w a v e l e tt r a n s f o r m ) 具有多分辨率特性，在处理非平稳信号 上有其独特的优势，并且随着小波滤波在信号处理中的广泛应用，小波滤波 理论也逐渐完善。小波变换大致分成两类2 1 】【2 2 】：连续小波变换与离散小波变 换。 ( 1 ) 连续小波变换 信号“f ) 的连续型小波变换可表示为： w y ( a , b ) = 忑1d e p ( 学渺( 2 - 1 ) 式中，尺度因子a 0 ，b 为位移因子小波纥。( f ) 为： 纯。( f ) ： 缈( 堂) ( 2 2 ) 需满足： i 缈( f ) d t = 0 ( 2 - 3 ) 或 晔一q 一 弘4 ， 其中，y ( 国) 为缈( 缈) 的f o u r i e r 变换。 ( 2 ) 离散小波变换 在工程应用中，有必要离散化位移因子b 及尺度因子a ，取： a = 口孑，b = n b o a 0 ” ( 2 - 5 ) 式中， 1 ，b o 0 ，m ，刀z ；那么，离散型小波函数是 啪，2 赤缈c 半，2 赤肿堋t o ) ( 2 - 6 ， 则对应离散型小波变换为 西南科技大学硕士研究生学位论文第8 页 眵( m ，力) 2l y ( f ) 戎。( t ) d t ( 2 - 7 ) ，m 实时小波滤波的显著特点是处理固定宽度的滑动窗口内采样数据，滑动 窗口包含最新采样数据为n ( n = 2 j , j ) 个，对滑动窗i ：1 内的n 个采样值进行 小波滤波处理，滤波处理后只输出最后一个值作为系统的输出，这样就实现 了数据的实时小波滤波。算法过程如图2 1 所示。 蟾 图2 - 1实时小波滤波算法 f i g 2 1 r e a i t i m ew a v e i e tf ii t e r i n ga i g o r i t h m 实时小波变换应优先采用快速离散小波变换算法，既m a l l a t 的多尺度 ( 多分辨率) 小波变换；在多尺度算法中，参与小波变换的数据量需是2 的整 数次幂。总的来说，实时小波滤波是通过施加滑动数据窗的方式，总剪切实 时数据中新的一段，再利用区间小波降噪算法，构造出实时小波降噪算法。 2 1 2无迹卡尔曼滤波算法 无迹卡尔曼滤波( u n s c e n t e dk a l m a nf i l t e r , u k f ) ，又叫无味卡尔曼滤波或 西南科技大学硕士研究生学位论文第9 页 去芳香卡尔曼滤波，用采样策略逼近非线性分布1 2 3 。u n s c e n t e dt r a n s f o r m a t i o n ( u t ，无味变换) 变换是无迹卡尔曼滤波的基础，采用k a l m a 线性滤波框架， 采样形式为确定性采样，大大避免p f 粒子点退化问题。 ( 1 ) u n s c e n t e dt r a n s f o r m a t i o n 变换 无味变换以先验知识为基础，计算简单、近似精度更高：在不需要计算 雅克比矩阵及近似非线性函数的概率密度分布上有其优越性。无味变换的算 法如下： ，、 【选择s 堙扰口点采样策略j j 获得：s i g m a 点集 x ，) ，i = l ，l 均值加权权值w ” 协方差加权权值 矿 图2 - 2无味变换算法 fig 2 - 2u n s c e n t e dt r a n s f o r m a tio naig o rit h m ( 2 ) 采用策略 u k f 算法中，有较多的采样策略：对称采样、单形采样、比例修正等采 样策略。根据研究需要，重点介绍比例修正采样策略。比例对称采样策略如 下： 一= x 0 + 口( t x o ) ( 2 - 8 ) 西南科技大学硕士研究生学位论文第1 0 页 彬m w ，o o t ，+ ( 1 a 2 一1 ) f ( 2 9 )。 l 彬a i 0 ”一7 嘭。= i 形w g 州+ f w o 。+ l + 一口2 f = 。 ( 2 - 1 。) 其中，a ( o t o ) 为比例扩大缩小因子；p ( p = 2 ) 为高阶项信息参数。 融合比例修正策略与对称采样策略可推导出比例对称采样算法： k ) _ 晦i + 7 虿孑一7 _ 】 ( 2 11 ) 吩 揽揣，= 仁 咿鼢搿患_ 。 亿聊 其中，7 = 而，见= 口2 ( 刀+ r ) 一靠，1 口 l e - 4 ：, = 2 ，r = o 或3 一n ( 3 ) 无迹卡尔曼滤波实现 基于k a l m a 线性滤波框架，对于一步预测方程，使用无味( u n s c e n t e d t r a n s f o r m a t i o n ) 变换来处理均值和协方差的非线性传递，就成为u k f 算法。 演算方程如下： 预涮算法： z ? ( 尼+ 1lk ) = 【z f ( 尼i 七) ，“( 尼) ，名7 ( 七) 】 l - i 圣( 七十ll 七) = 彬”x t ( k + li 七) i = 0 p ( k + llk ) = 形。 x t ( k + lik ) 一j ( k + 1l 后) 】 拼( j | + lik ) - x ( k + 1i 七) 】7 i = o 弓( 尼+ 1jj | ) = h i 2 f ( 七+ 1i 七) ，“( 尼) ，k + 1 】 l - ! 三( j | + li 七) = 彬“z 肚+ li 七) 足( 七+ lik ) = 彬。【z ，( 七+ lik ) - 三( k + 1l 尼) z ，( 七+ li 七) 一三( 七+ 1i 七) 】7 i = 0 l - i 匕( 七+ li 后) - - e 彬。 z t ( k + lik ) - i c ( k + lik ) l z t ( k + 1i 七) 一主( 七+ lik 7 更新算法： ( 2 - 1 4 ) ( 2 - 1 5 ) ( 2 - 1 6 ) ( 2 - 1 7 ) ( 2 - 1 8 ) ( 2 - 1 9 ) ( 2 - 2 0 ) 西南科技大学硕士研究生学位论文第1 1 页 v ( k + 1 ) = z ( k + 1 ) 一三( 后+ 1 ) ( 2 - 2 1 ) w ( k + 1 ) = 足( 七+ llk ) p 2 ( k + ll 七) ( 2 - 2 2 ) f 0 ( 七+ 1i 七) = r ( k + 1 ) 一巴( 七+ li 后) ( 2 2 3 ) 曼( 足+ 1l 七) = x ( k + li 七) + w ( k + 1 ) v ( k + 1 ) ( 2 - 2 4 ) p ( k + 1i 七) = p ( k + li 七) 一w ( k + 1 ) p w ( 七+ lik ) w 。( 七+ 1 ) ( 2 2 5 ) 特别地，不同的采样算法在s i g m a 点采样及s i g m a 点个数上有所区别。 w ( k ) 为系统过程噪声；i ，( 七) 为量测噪声。 2 2支持向量回归机 2 2 1经典支持向量回归机 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是解决数据挖掘、分类和回归 估计等的高效方法。c o r i n n ac o r t e s 和v a p n i k 等在19 9 5 年提出s v m 后，因 为其在解决小样本、非线性及高维模式识别中表现出的很多独有特点，及可 以用在函数拟合等机器学习中，支持向量机一直是科研工作者研究的热点。 关于支持向量机在回归预测方面的研究也日渐增多且不断深入【2 4 1 。 ( 1 ) 线性支持向量回归机 基于线性s 一不敏感损失函数的线性占一支持向量回归机引入松弛因子 孝p = ( 磊，并，磊，舅) r 及惩罚参数c 。 原始最优化问题 ， m i n i h 2 + c ( 六+ 等) ( 2 2 6 ) w , b f ”， 1 - i = 1 约束条件 【( w ) + 6 卜y j 占+ 缶，f = 1 , 2 ， y f 一【( w t ) + 6 】g + 等，f = 1 , 2 ， 鲁0 ，i = 1 , 2 ， 式中，( 幸) 是表示向量与有“”与无“ 两种情况的简单记号。为推算出式 ( 2 2 6 ) 的对偶问题，引入拉格朗日( l a g r a n g e ) 函数： ll l ( w ，b ，孝n ，口p ，r r ) = 吉, w l l 2 + c ( 磊+ 等) 一( 仇磊+ ，7 ；等) 一i = 1i = l 上 一口i 【占+ 当+ j ，j 一( w 6 ，) 一b 】 西南科技大学硕士研究生学位论文第12 页 - z 口? 【g + 等- y ，+ ( w 饥) + 6 】 ( 2 2 7 ) 式中拉格朗同乘子口= ( 哆，西，q ，西) r ，r = ( 仇，玩，研，斫) 7 ；式( 2 2 6 ) 一( 2 - 2 7 ) 的对偶问题为 以m 矿a 协x ：。一吉善( 西一) ( 口；一口，) ( 玉一) 一占善( 茸+ q ) + 善”( 西一吒) ( 2 - 2 8 ) 约束条件 ( 西一) = o c 一叫“一研= o ，i = 1 , 2 ， 西o ，掰o ，i = 1 , 2 ， 消去变量r p 简化对偶问题，最优化问题变为凸二次规划问题 m 协a x ：。一言丕( 西一q ) ( 嘭一吩) ( _ ) 一g 善( 西+ q ) + 善所( 西一) ( 2 2 9 ) 约束条件 ( 西一) = o 0 口? c ，i = 1 , 2 ， 由以上演算线性g 一支持向量回归机算法概括如下： a ) 给定训练集s = ( 玉，y 1 ) ，( 而，y 2 ) ，( 薯，只) ，其中，y i r ，i = 1 , 2 ，r ”， s ( r ”尺) ； b ) 选择适当参数g ，c ；s o ，c 0 ； c ) 组建及求解凸二次规划问题 口i m 协a x ：。 一吉丕( 西一q ) ( 嘭一吩) ( 薯t ) 一s 丢( 西+ q ) + 善咒( 西一) 约束条件 ( 西一) = o 0 口? c ，i = 1 , 2 ，2 得解口p = ( 嘶，西，嘶，西) 7 ； d ) 求解b ：选取位于开区间( o ，c ) 中的舀的分量巧或瓦，若选瓦则： 西南科技大学硕士研究生学位论文第13 页 万= 乃- z ( a - 5 一面) ( x j ) + e 若选瓦则： 。 b 一= y k - z ( 茸一葛) ( 薯吒) 一占 e ) 获得决策函数 y = ( 彳一面) ( x ) + i ( 2 ) 基于非线性规划的回归机 对线性e 一支持向量回归机使用非线性分划，求得非线性回归函数。既引 入变换五= ( 薯) ，h i l b e r t 空间记为h 中：r ”j x = ，x = ( x ) 原始问题变为 m i n要2 + c i ( 缶+ 等) ( 2 - 3 0 ) w , b f ”， i = 1 约束条件 【( w 中( t ) ) + 6 卜y ，s + 参，i = 1 , 2 ，j y f 一【( w m ( x ，) ) + b l g + ，i = 1 , 2 ， 鲁0 ，i = 1 , 2 ， 引入拉格朗同函数 l ( w , b ，孝“，口t “，7 t + ) ：要o w i l 2 + c i ( 六+ 舅) 一圭( 仇量+ 矽；等) - z 口j 【s + 缶+ y f 一( w o ( x f ) 一纠 - z 口； s + 等- y f + ( w o ( x f ) + 6 】 ( 2 3 1 ) 优化式( 2 3 0 ) ( 2 31 ) 对偶问题可得凸二次规划问题 舞臻。一芝l 舄x 一- ，, 一q ) ( z 一口，) 【( ) ( t ) 】一s 善( z + ) + 蔷y ，( 西- - c r i ) 约束条件 ( 西一) = o 西南科技大学硕士研究生学位论文第1 4 页 0 s ts c ，i - 1 , 2 ，j 至此可得非线性规划的回归算法： a ) 给定训练集s = ( 玉，乃) ，( 恐，儿) ，( 而，y ，) ，其中，咒r ，汪l ，2 ，r ”， s ( r ”尺) ； b ) 选择适当参数占，c ；g 0 ，c o ； c ) 组建并求解凸二次规划问题 m 妇a x ：。一言毫( 西一q ) ( 口；一口m m ( 五) ( _ ) 】一占喜( 西+ 嘶) + 喜以( 口卜) 约束条件 ， ( z - a , ) - - o i = 1 o 彳c ，i = 1 , 2 ， 得解口n = ( q ，西，q ，西) 7 ； d ) 求解万：选取位于开区间( o ，c ) 中的历的分量弓或瓦，若选弓则： b = y 1 一( 瓦一瓦) o ( 薯) ( o ) 】+ s i f f i l 若选瓦则： 万= 儿一( 茸一瓦) 【( 巾( ) m ( ) 卜g ，= l e ) 构造决策函数 y = ( 茸一瓦) 【( ) ( x ) 】+ 万 i f f i i ( 3 ) 占一支持向量回归机 引入核函数可得通常使用的g 一支持向量回归机，算法如下： a ) 给定训练集s = ( 五，m ) ，( 而，此) ，( 而，片) ) ，其中，y l r ，f = 1 , 2 ，薯r ”， s ( 尺”尺) ； b ) 选择核函数k ( x ，) ；选择适当参数s ，c ；占 o c o ； c ) 构造并求解凸二次规划问题 西南科技大学硕士研究生学位论文第1 5 页 m 协a x ：。 一三i 毛t ( 西一q ) ( 口；一吩) k ( 五，) 一s 善( 口) + 荟乃( 西一) 约束条件 ( 彳一哆) = o 0 s 口；i c ，i = 1 , 2 ， 得解口= ( 哆，西，嘶，西) 7 ； d ) 求解石：选取位于开区间( o ，c ) 中的舀+ 的分量哆或仉，若选口，则： ， 石= 乃一( 茸- f f ，) k ( x i ，x j ) + c f = l 若选瓦则： i = 儿一( 虿一瓦) k ( 耳，x j ) - e f = i e ) 构造决策函数 ， y = ( 茸- 瓦) k ( x i ，x ) + 万 2 2 2最, j 、- - 乘支持向量回归机 j a k s u y k e n s j d eb r a b a n t e r , l l u k a s 和j v a n d e w a l l e 首先提出最小二 乘支持向量回归机( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ，l ss v r l s s v r ) 算法，l s s v r 把支持向量机的不等式约束改成等式约束；采用最小二乘线性 系统作为损失函数，求解速度相对加快”。 有训练样本集s = ( 而，m ) ，( 而，少2 ) ，( 而，咒) ，其中，奶r ，i = 1 , 2 ，毛r ”， s ( r ”x 尺) ；算法对应的最优化问题为： m 础i n ，小，p 1 1 w i l 2 + 詈静 ( 2 - 3 2 ) 约束条件 y ，= w 。缈( 薯) + 6 + e i , i = 1 , 2 ， 式( 2 3 2 ) 的对偶问题的拉格朗同多项式 l ( w ，b ，岛口) = j ( w ，e ) - 口， w7 妒( - ) + 6 + 岛- y j 】 ( 2 3 3 ) 式中拉格朗日乘子r ；给出式( 2 3 3 ) 的最优条件 西南科技大学硕士研究生学位论文第l6 页 丝：o 。 o w 丝：o 旦：o j 一= - o c t ， 丝：o 一= w = q 妣) i = l ， 呸= o q = c q ，i = l n w r 识x i ) + b + e i - y , = qf = l n ( 2 - 3 4 ) k 0 舭i 式中y ： y l ，y ：，y 】r ，口+ = k ，口；，口j ：，】r ，17 = 【l ，1 ，1 y , q 扩= k ( 而，y j ) ，f ， 1 , 2 ，j ；q 为核矩阵，求解上式得回归函数： y ( x ) = a i k ( x ，而) + 6 2 3改进最小二乘支持向量回归机算法 2 3 1加权最t j x - - 乘支持向量回归机 为获得较好鲁棒估计特性对式叫 m 础i 吵n jw 瑚= 抑嵯喜e ； 约束条件 y f = w 。缈( 工，) + 6 + e i ，i = 1 , 2 ， 的误差平方岛进行加权，权值为m ；那么上式的优化问题变为： m i n 。j ( w ，p ) = 丢。叫1 2 + 詈喜u 彳 约束条件 y f = w7 缈( x f ) + 6 + e i , i = 1 , 2 ， 分别对拉格朗r 多项式式( 2 - 3 5 ) 中的w , b ，e ，口求偏导，然后消去w , e i 得 西南科技大学硕士研究生学位论文第1 7 页 ， l ( w ，b ，e ，口) = j ( w ，e ) - 口，【w7 缈( _ ) + 6 + 岛- y j 】 ( 2 - 3 5 ) i = 1 坼2 l 乏q 车l 医l = 斟 ( 2 - 3 6 ) 1 b ；isc 1 掣q l e , 4 s 乞 ( 2 - 3 7 ) 1 0 4 其他 却确) ，( 2 粕) 中圪= 抛怯，击) ，岛的标准差鲁棒估计；= 丽i q 而r ， s q r = e t 2 ，q ，c 2 的经典取值为2 5 与，g = q ，+ ；由式( 2 - 3 6 ) n - - i - 求得 6 = 而l r q t i y 口= a - 1 旷1 糌) 式( 2 3 8 ) 与式( 2 3 9 ) 代人 ， y ( 工) = a ，k ( x ，而) + 6 i l l 得加权最d , - - 乘支持向量回归机( w l s s v r ) 回归函数 ( 2 - 3 8 ) ( 2 - 3 9 ) 如，= 扣旷，端湖砷，+ 器 协4 。， 2 3 2梯度优化的在线加权最小二乘支持向量回归机 在线加权最小二乘支持向量回归机( o w l s s v r ) 与一般支持向量回归机 相比有样本更新的过程，窗式移动的样本集是在线w l s s v r 的核心。在k + l 时刻加入新样本( + ，儿+ ，) ，丢弃时间最久的样本( 毛，几) ，此时核函数矩阵变 为9 ( 七+ 1 ) = x ( 薯坩而+ 1 ) ，i , j = l ，2 ，。概况来说，在线加权最小二乘支持向 西南科技大学硕士研究生学位论文第1 8 页 量回归机就是一个样本随时间滚动优化的过程。 梯度优化的在线加权最小二乘支持向量回归机( g a o w l s s v r ) 运用梯 度优化的在线加权最小二乘s v r 算法进行回归运算，用于提高机器人定位准 确度；梯度算法用于优化选择在线加权l s s v r 参数。 ( 1 ) 基于梯度算法参数优化 梯度优化法是遵循一定优化路径逐渐寻找最优点的方法，它是单向寻优， 后一阶段优化是在前一阶段优化的基础上进行的。梯度法是最早的求解无约 束多元函数极值的数值方法，早在l8 4 7 年就已由柯西( c a u c h y ) ) 提出。它是 导出其他更为实用、更为有效的优化方法的理论基础。因此，梯度法是无约 束优化方法中最基本的方法之一。 支持向量机与相关参数无显性函数关系，无法进行直接微分计算。首先 任意选择参数构造初始区域；接着在该区域内搜索区域最优，并以该区域最 优点作为梯度方向进行迭代。基于梯度优化的参数优化算法如下： 若f p f c ，找到最优 若， r 。缸局部最优，调整跳出当前局域 若厂n f 输i l j 参数优化值 图2 - 3梯度优化的在线加权l s s v r 的算法原理 f i g 2 - 3 g r a d i e n to p t i m i z a t i o na n d0 w l s s v ra i g o ti t h m 西南科技大学硕士研究生学位论文第1 9 页 梯度优化算法是刘昌平等提出用于优化l s s v r 模型参数的一种新的方 法，梯度优化的核心思想：一、选择初始参数值构建局部区域；二、在构建 局部区域内以混沌优化法搜索局部最优，该最优点作为下次迭代参数值，即 梯度方向迭代。 图2 3 表示梯度优化的在线加权l s s v r 算法原理。通过梯度算法调整在 线加权l s s v r 核参数c 、占，以达到误差预测目的。点划线框内是梯度优化 对在线加权l s s v r 核参数c 、占的选择优化过程；框外部分是在线加权 l s s v r 误差控制部分。 ( 2 ) g a o w l s s v r 算法实现 下面给出误差预测步骤： s t c p l ：k ( x ，) = c x p ( 一 i x - - x 1 8 2 o r 2 ) ，输入初始训练样本集s 确定初始参 数c 、s 的值，第一次取经验值； s t e p 2 ：计算