（计算机软件与理论专业论文）拉斯噪声和均匀噪声下svr的鲁棒性研究.pdf

摘要 摘要 支持向量机s v m 是实现统计学习理论的通用学习方法，其优异的泛化性能使得支持 向量机在模式识别、回归分析和预测、密度估计等领域都得到了实际应用。当s v m 用于 回归分析和预测时，通常称其为支持向量回归机s v r 。在回归分析中，样本数据通常含 有噪声。如何选择合适的参数使得支持向量回归机s v r 更具鲁棒性，从而对样本数据噪 声产生尽可能强的抑制能力，是一个有着重要的理论价值和应用价值的课题。本文的主 要目的就是研究当输入样本含有两种典型的噪声拉斯噪声和均匀噪声的情况下如 何选择s v r 的参数使s v r 具有更强的鲁棒性。 首先，本文研究了h u b e r s v r 的鲁棒性的问题，即着重研究了当输入样本噪声为拉 斯模型和均匀模型时，h u b e r s v r 的参数选择问题，并在贝叶斯框架下推导出了以下结 论：当h u b e r s v r 的鲁棒性最佳时，h u b e r - s v r 中的参数u 与输入拉斯噪声和均匀噪声 的标准差。间均呈近似线性关系。 其次，本文研究了r s v r 的鲁棒性的问题，即着重研究了当输入样本噪声为拉斯模 型和均匀模型时， r s v r 的参数选择问题，并在贝叶斯框架下推导出了以下结论：当 r s v r 的鲁棒性最佳时， r s v r 中的参数r 与输入拉斯噪声和均匀噪声的标准差。间 均呈近似线性反比关系。这两个结论亦得到了实验的证实。 最后，将h u b e r s v r 和r s v r 用于实际股市数据回归分析，并验证上述两个结论。 关键词：支持向量机，支持向量回归机，损失函数，回归分析，噪声抑制 a b s t r a c t a b s t r a c t s u p p o r tv e c t o rm a c h i n es v m i sag e n e r a ll e a r n i n ga p p r o a c hb a s e do ns t a t i s t i c a ll e a r n i n g t h e o r y , w h i c hh a so b t a i n e di t sp r a c t i c a la p p l i c a t i o n si nm a n ya r e a ss u c ha sp a t t e r nr e c o g n i t i o n , r e g r e s s i o na n dp r e d i c t i o n , a n dd e n s i t ye v a l u a t i o nd u et oi t se x c e l l e n tg e n e r a l i z e dc a p a b i l i t y w h e na p p l i e dt or e g r e s s i o na n dp r e d i c t i o n , w eo f t e nc a l ls v ma ss u p p o r tv e c t o rr e g r e s s i o n m a c h i n es v r i ng e n e r a l ，s a m p l ed a t ai nr e g r e s s i o na n a l y s i so f t e nc o n t a i nn o i s e t h e r e f o r e ， h o wt od e t e r m i n et h eo p t i m a lp a r a m e t e r ss u c ht h a ts v rb e c o m e sa sr o b u s ta sp o s s i b l ei sa n i m p o r t a n ts u b j e c tw o r t ho fs t u d y i n g t h em a i na i mo ft h i sd i s s e r t a t i o ni s t os t u d yt h e t h e o r e t i c a lr e l a t i o n s h i p sb e t w e e nt h es v r sp a r a m e t e r sa n dl a p l a c i a na n du n i f o r mn o i s y i n p u t sr e s p e c t i v e l y f i r s t l y , i nt h i sd i s s e r t a t i o n t h ei s s u eo fh u b e r s v rr o b u s t n e s si sa d d r e s s e d f o c u s e do n t h ep a r a m e t e rc h o i c ei s s u e so fh u b e r - s v rw i t hl a p l a c i a na n du n i f o r mn o i s yi n p u t s r e s p e c t i v e l y , a n db a s e do nt h eb a y e s i a nf r a m e w o r k ，w ed e r i v e dt h ef i r s tr e l a t i o n s h i p ：w i t ht h e b e s tr o b u s t n e s s ，t h ea p p r o x i m a t e l yl i n e a rr e l a t i o n s h i pb e t w e e nt h ep a r a m e t e rpi nh u b 昏s v r a n dt h es t a n d a r dd e v i a t i o noo fl a p l a c i a na n du n i f o d t in o i s yi n p u t si sk e p t s e c o n d lv t h ei s s u eo fr s v rr o b u s t n e s si st h e ns t u d i e d f o c u s e do nt h ep a r a m e t e rc h o i c e i s s u e so fr - s v rw i t hl a p l a c i a na n du n i f o r mn o i s yi n p u t sr e s p e c t i v e l y , a n db a s e do nt h e b a y e s i a nf r a m e w o r k , w ed e r i v e dt h es e c o n dr e l a t i o n s h i p ：w i t h 也eb e s tr o b u s t n e s s t h e a p p r o x i m a t e l yi n v e r s e l yl i n e a rr e l a t i o n s h i pb e t w e e nt h ep a r a m e t e rri nn o r mr - s v ra n dt h e s t a n d a r dd e v i a t i o noo fl a p l a c i a na n du n i f o r mn o i s yi n p u t si sk e p t m e a n w h i l e ，o u r e x p e r i m e n t a lr e s u l t sc o n f i r m e dt h ea b o v e c l a i m s f i n a l l y , h u b e r - s v ra n dr - s v rw e r eu s e d t o r e g r e s sp r a c t i c a l s t o c km a r k e td a t a r e s p e c t i v e l y , a n dt h er e s u l t sc o n f i r m e dt h ea b o v et w oc o n c l u s i o n s k e y w o r d s ：s u p p o r tv e c t o rm a c h i n e ( s v m ) ，s u p p o r tv e c t o rr e g r e s s i o n ( s v r ) ，l o s sf u n c t i o n , r e g r e s s i o na n a l y s i s ，d e n o i s i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 本人为荻得江南大学或其它教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名 弯 ，、h 堰勿 心 7 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规 定：江南大学有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅，可以将学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、 汇编学位论文，并且本人电子文档的内容并口纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定 签名： 导师签名： 第一章绪论 第一章绪论 本章将首先简要回顾统计学习理论和支持向量机s v m ，然后对s v m 的几个相关研 究方向作一些归纳，进而提出本文的研究主题，最后介绍本文所做的工作以及本文的 内容安排。 1 1 问题的提出 通过机器实现模仿人类的行为，已经有很长的历史了。从1 9 5 6 年正式提出人工 智能学科以来，尽管历经曲折和存有争论，这一学科仍然取得了巨大的成就。机器学 习是人工智能研究中的一个主要内容和热点。统计学习可以看作是一种机器学习( 由 于本文的研究方向，本文以后不再区分统计学习和机器学习) 。随着传统统计学理论 的发展，出现了人工神经网络和s v m ，并得到了很多实际应用。本节将从机器学习 出发，通过统计学习理论和支持向量机s v m 的介绍和回顾，引出本文的研究内容。 1 1 1 统计学习理论与结构风险最小化 机器学习问题可以形式化地表示为：已知变量y 与输入x 存在一定的未知依赖关系， 即存在一个未知的联合概率f ( x ，y ) ；机器学习就是根据1 3 个独立同分布观测样本 ( x 1 ，y 1 ) ，( x 2 ，y 2 ) ，( x 。，y 。) ， ( 1 1 ) 在函数集 厂( x ) 中寻找一个函数，使预测的期望风险 r f = il ( y ，f ( x ) ) d f ( x ，y ) ( 1 2 ) - ) “】， 最小。其中， 厂( x ) ) 称作预测函数集，( y ，( x ) ) 称为损失函数，表示由于用函数厂对 y 进行预测而造成的损失。 要使式( 1 2 ) 定义的期望风险最小化，必须依赖关于联合概率f ( x ，y ) 的信息。但 是在实际的机器学习问题中，只能利用已知样本即式( 1 1 ) 的信息。根据概率论中大 数定理的思想，可以自然地用已知样本的算术平均代替式( 1 2 ) 中的数学期望，于是 定义了经验风险 尺卵 厂】= 三 兰i = 1 ( 弛) ) ( 1 3 ) 来逼近代替式( 1 2 ) 定义的期望风险。经验风险最小化作为机器学习问题的基本思想， 长久以来统治了这一领域的几乎所有研究。 然而在有限样本的情况下，经验风险最小并不一定意味着期望风险最小，且学习机 器的复杂性除了与所研究的系统有关外，还应与有限的学习样本相适应。为此提出了 结构风险最小化的思想和理论。 函数集的v c 维是统计学习理论中的核心概念。函数集的v c 维定义为： 江南大学硕士：学位论文 函数集 厂( x ) ) 的v c 维是p ，当且仅当存在样本集 x ， ：，使得 厂( x ) 中的函数 可以用所有可能的2p 种形式将 x ，) 墨。分为两类，而不存在任何q p 的样本集 x ) ：。满足此性质。 机器学习在寻找函数f ( x ) ) 时，如果能在v c 维尽可能小的 厂( x ) ) 中寻找到 使经验风险最小的函数厂，则可以使经验风险与真实风险之间的差最小，这就有效地 解决了经验风险最小化存在的问题。已经证明，下界以概率1 一万成立： 尺i f r 。， 厂 + 、皇旦选兰二! 幽 ( 1 4 ) y仃 故结构风险定义为 如们：+ 掣巡。 ( 1 5 ) y , 机器学习在寻找函数f 厂( x ) 时，用结构风险最小化代替传统的经验风险最小 化，揭示了小样本情况下机器学习的规律，是统计学习理论对传统统计学理论的重要 发展，是对机器学习理论的重要发展和贡献。人工神经网络是基于经验风险最小化的 学习模型，而支持向量机s v m 则是基于结构风险最小化的学习模型。 1 1 2 支持向量机s v m 及其研究进展 支持向量机s v m 是实现统计学习理论的通用学习方法。这是统计学习理论中最 年轻的部分，其主要内容在1 9 9 2 1 9 9 5 年间才基本完成，之后又有新的发展。以 下从s v m 分类器和回归机的介绍入手，回顾s v m 的主要原理，最后归纳几个主要 的研究方向及其进展状况。 分类问题可以归结到两类的分类问题，这样并不失一般性。考虑图1 1 所示的两 类分类问题。 设线性可分样本集为 x ，y ， ：l ，x rd ，y + 1 ，一1 ) 是类别标号。d 维空 间中线性判别函数的一般形式为g ( x ) = ( w ，x ) + b ，分类面方程为 ( w ，x ) + b = 0 ( 1 6 ) 第一章绪论 图1 1 最优分类面示意图 f i g 1 1t h es k e t c hm a po f t h eo p t m is t i cc l a s s i f i c a t i o np l a n e 将判别函数归一化，这样分类1 9 隔就等于南。所谓最优分类面就是要求分类面 l i w i | 不但能将两类无错误地分开( 即经验风险尽可能小) ，而且要使两类的分类空隙最大 ( 即分类函数集的v c 维尽可能小) 。即 m i n 矽( w ) = i 10 w | 1 2 ( 1 7 ) s t y i ( ( w ，x f ) + 6 ) 一l 0 ，f = 1 ，2 ，甩。 由此可解得最优分类面的方程为 ，n、 ( x ) = s g ni a i y 厶一) + b ( 1 8 ) i = 1 其中口，f = 1 , 2 ，刀，满足w = a i y ，x ，且6 满足式( 1 7 ) 的约束条件。对于 线性不可分的样本集，可以用核函数代替上述点积，这相当于作从低维空间到高维空 间的映射，使低维空间线性不可分的样本点集在高维空间线性可分。则式( 1 8 ) 变 为 ，一、 厂( x ) = s g ni o f i y ，k ( x 一) + b ( 1 9 ) 、i = l 此即为支持向量机，那些使口，0 的x ，称为支持向量。 上述过程将结构风险最小化思想应用于分类器的设计，得到了支持向量分类器。 如果将结构风险最小化思想应用于回归器的设计，就可以得到支持向量回归机。 本文中，用s v c 表示支持向量分类器，用s v r 表示支持向量回归机，用s v m 江南大学硕十学位论文 表示s v c 和s v r 的统称。有关统计学习理论和支持向量机的进一步论述，可以参见 文献 2 3 2 5 7 0 。 支持向量机提出后，引了广泛的兴趣，其理论在各个方向都得到了不断发展，其 方法在许多领域得到了实际应用。要完全归纳出支持向量机的研究热点领域及研究进 展是困难的，此处只能大致归纳出一些近几年来支持向量机的主要研究领域及进展： s v m 的改进研究。大致包括：1 、模糊s v m 将模糊逻辑引入s v m 产生了一 些新的结果。如：文献 6 4 】( j h c h i a n g 等2 0 0 4 ) 将s v m 用于模糊建模，给出了基于 s v m 的模糊建模框架，一种显式刻划模糊推理过程表示特征的基于规则的框架。文 献 6 5 ( d h h o n g 等2 0 0 3 ) 提出了支持向量模糊回归机，一种用于线性和非线性模糊 回归建模的s v m 。2 、改进的s 小叫对s v m 的某些问题进行研究，提出经过改 进的s v m 。如：文献 6 6 ( a n g e ln v 等2 0 0 1 ) 提出了一种基于加权最小平方优化的支 持向量分类器的迭代块训练方法，提高了s v m 的训练效率。文献 6 7 ( o l m a n g a s a r i a n 等2 0 0 1 ) 提出了拉格郎日支持向量机l s v m ，该方法避免了用线性规划或二次规划去 求解s v m ，当训练样本集规模很大时有很高的训练效率。3 、解析中心机a c m 。文 献 2 0 ( t b t r a f a l i s 等2 0 0 2 ) 认为分类问题的s v m 的解对应于样本空间最大内接超球 体的几何中心，而如果分类问题的解能对应于样本空间最大内接超球体的解析中心， 则可改进泛化性能，由此提出了解析中心机。文献 6 9 ( 曾凡仔等2 0 0 4 ) 则进一步提出 消除a c m 机的冗余约束可以改进a c m 的性能，并提出了一种精确的基于解析中心 的分类器d r c a c m 。文献 2 1 ( a l e x a n d e rm 等2 0 0 2 ) 贝u 提出了a c m 回归机。关于 s v m的 改进 的 其 它研 究 状况可参见文献 【1 9 2 6 3 0 3 1 5 l 】 3 5 3 8 4 3 4 6 】 4 7 4 8 5 1 6 9 等。 s v m 的参数选择研究。包括：l 、核函数及其参数的选择对于具体的机器学 习问题，提出一些选择合适的核函数及其参数的方法。如：文献 3 7 ( o c h a p e l l e 等 2 0 0 2 ) 通过作用于参数集上的梯度下降算法最小化s v m 的泛化误差，提出了s v m 核 函数参数选择的方法。文献 5 3 】( w w a n g 等2 0 0 2 ) 提出了s v m 高斯核函数参数的选 择方法，这一方法要优于传统的f i s h e r 判别准则。文献 5 5 ( d a n g u i t a2 0 0 3 ) 、 5 8 ( c g o l d a2 0 0 3 ) 和 5 9 】( vc h e r k a s s k y2 0 0 3 ) 也提出了s v m 的超参数选择方法。2 、损失函 数及其参数的选择对于不同的应用情形，提出一些损失函数的选择和评价的方 法。如：文献 6 8 ( gm j a m e s 等2 0 0 3 ) 根据方差作为对一个量的随机性度量和作为随 机性引起的误差率增加的度量，提出了不同损失函数的方差的两种定义，可以应用于 各种使用对称损失函数的分类器。文献 6 0 ( vc h e r k a s s k y2 0 0 2 ) 提出了用于鲁棒的线 性回归的损失函数的选择方法。3 、s v r 的鲁棒性与输入噪声的关系对于一定的 输入噪声，损失函数的参数与抑制噪声的能力之间的关系。如：文献 1 5 】( j t k w o k 等2 0 0 0 ) 给出了s v m 的概率框架，而文献 1 3 】( j t k w o k 等2 0 0 3 ) 则运用s v m 的 概率框架理论，进一步给出了sv r 中的参数与输入噪声之间的关系。有关s v m 的 4 第一章绪论 参数选择研究的状况，可以参见文献 1 4 1 5 1 7 1 18 2 4 7 3 1 等。 s v m 的应用研究。s v m 在模式识别( 如图象识别、故障诊断、噪声的识别和抑 制等) 、回归分析和预测( 如数据挖掘、金融预测等) 、密度估计等领域都得到了重要 应用，这里不再一一列举，有关研究详情可以参见文献 2 7 3 3 3 4 5 0 】 5 2 6 1 6 2 6 3 7 0 7 1 7 2 7 6 等。 1 1 3 支持向量回归机s v r 的鲁棒性及其研究进展 如上所述，s v r 在回归和预测分析以及密度估计等领域都有着重要的应用。但 在上节有关s v r 的研究领域和进展中，大都假定样本集的数据是精确的，而实际应 用中，样本集的数据往往含有噪声，这些噪声将引起s v r 系统决策的误差。是否可 能通过s v r 参数的选择，抑制样本集的数据噪声所引起的s v r 系统决策的误差，提 高s v r 的鲁棒性? 这既需要作出理论的解释，又具有实际的应用价值，是一个值得 研究的课题。对此，j t k w o k 等学者作了一些重要的工作。他们首先将贝叶斯理论 用于支持向量回归机，给出了支持向量回归机s v r 的贝叶斯解释的概率框架。他们 经理论推导得出结论：在输入数据含有噪声的情况下，支持向量回归机的优化模型与 在给定的损失函数的参数的条件下求s v r 的w 的最大后验估计问题是等价的 1 5 】【16 1 。 在此基础上，运用s v r 的贝叶斯解释理论，给出了s v r 中的参数与输入噪声之间 的关系，其结论指出：当s v r 的抑制噪声的能力最强时，损失函数的参数与输 入噪声的标准差。之间呈现某种线性关系【l3 1 。这一重要结果为在已知噪声的情况下 合理地选择参数提供了依据。如前所述，常见的损失函数除了损失函数外，还有 h u b e r 损失函数、平方损失函数和r 范数损失函数。可以进一步设想，对于其它的损 失函数，是否也存在类似的关系呢? 关于这一问题的回答在文献 9 1 1 0 1 1 1 2 已有 详细的证明。但当输入噪声为拉斯噪声与均匀噪声时目前尚未见进一步的研究报道， 而这正是本文的主要研究内容。本文将研究当s v r 的抑制噪声的能力最强时，两种 损失函数( h u b e r 损失函数、r 范数损失函数) 的参数与拉斯噪声与均匀噪声的标准 差之间应有的关系。 1 2 本文研究起点，研究方法及其与已有研究内容之间的联系 1 2 1 本文的研究起点 本文的研究起点主要是基于文献 9 1 0 1 1 i 1 2 1 3 q u 几位学者已做的研究，主要 包括： j t k w o k 等首先将贝叶斯理论用于支持向量回归机，给出了支持向量回归机s v r 的贝叶斯解释的概率框架并经过理论推导得出结论：当s v r 的抑制噪声的能力最 强时，损失函数的参数与输入噪声的方差。之间呈某种线性关系； 在文献 9 】 1 0 】 1 1 1 2 ( 王士同，朱嘉钢2 0 0 4 ) 中两位学者也做过一些很有价值 江南大学硕士学位论文 的推导证明，证明了当输入噪声为高斯噪声时h u b e r - s v r 中损失函数参数p 与输入 噪声的标准差呈近似线性的关系，也证明了当输入噪声为高斯噪声时r s v r 中损失函 数参数r 与输入噪声的标准差呈近似线性反比的关系。 以上这些关系的证明为s v r 在实际应用中参数的选择提供理论的依据。而本文的 研究出发点也正是基于以上的研究成果。 1 2 2 本文的研究内容及其与已有研究内容之间的联系 一本文的研究内容主要有： 1 、研究在噪声输入中选用拉斯噪声和均匀噪声模型，并推导出输入噪声与 h u b e r - s v r ：中的参数u 的关系。 2 、研究在噪声输入中选用拉斯噪声和均匀噪声模型，并推导出输入噪声与r 范 数s v r 中的参数的r 的关系。 3 将s v r 用于股市数据回归实证分析。 二本文的研究内容与已有研究内容之间的联系： 本文所做的工作与已有的研究成果间的关系如表1 1 所示。 1 2 3 本文的研究方法及研究平台 本文所采用的主要研究方法是，利用s v r 的贝叶斯概率框架理论，将求解s v r 的问题转化为等价的的已知噪声模型下求解w 最大后验概率的问题。这种等价转化 的主要步骤是，确定损失函数的概率密度并引入适当的参数，确定w 的先验分布为 高斯分布，利用贝叶斯公式得到对于给定的样本数据集和噪声模型条件下的w 的概 率分布式，然后求w 的最大后验概率，解出损失函数的参数与输入噪声的关系。本 文采用的平台主要是m a t l a b 7 3 0 。 6 第一章绪论 表1 - 1 本文的研究内容与已有研究成果间的关系 输入噪声 拉斯输入 均匀输入噪 支藉朱 高斯输入噪声 量回归机 噪声 亩 一s 乇损失函数的参数与输入噪声之间的关系在文献 1 3 中己 s v r 做过研究，对应的是本文第二章2 4 节的内容 h u b e r - s v r 损失函数的参h u b c r - s v r 损失函数的参数 数与高斯输入噪声之间的关与拉斯输入噪声及均匀输入噪 h u b c r - s 唿 系在文献 9 1 0 q b 已做过研究， 声之间的关系则为本文所要研究 对应本文第二章中的2 5 节中的的问题，对应本文第三章的内容 内容 r - s v r 损失函数的参数r 与r - s v r 损失函数的参数r 与拉 高斯输入噪声之间的关系在文斯输入噪声及均匀输入噪声之间 r s v r 献 1 1 1 2 中已做过研究，对应本 的关系则为本文所要研究的问题， 文第二章2 6 节中的内容对应本文第四章的内容 1 3 本文研究工作概述和内容安排 1 3 1 本文的研究工作概述 本文的研究工作和结果描述如下： 1 、研究了h u b c r - s v r 中参数的选择与输入拉斯噪声和均匀噪声标准差之间的关 系并得出了相应的结论。h u b c r 损失函数为 l 胁( f ( x ) - y ) ：扣( x ) - 力2 ，i 八x ) - 水 i ai 厂( x ) 一y i - i 1 a2 ，其他 h u b e r 提出的h u b e r 损失函数是鲁棒的损失函数，当输入数据的分布未知时具有 较优的性质，因此是常用的损失函数之一。当s v r 用h u b c r 函数作为损失函数时， 当h u b e r s v r 抑制噪声的能力最强时，损失函数的参数“与拉斯噪声和均匀噪声标 准差之间应是什么关系? 即如何选择h u b e r s v r 的参数“? 对此本文进行了研究，并 得出结论，即当h u b e r s v r 抑制噪声的能力最强时，损失函数的参数u 与拉斯噪声 和均匀噪声噪声标准差之间应是近似线性关系。 2 、研究了r 范数s v r 中参数的选择与输入高斯噪声标准差之间的关系并得出了 相应的结论。r 范数损失函数为 l ，( 厂( x ) 一y ) = i 厂( x ) 一y i 7 江南火学硕士学位论文 r 范数损失函数当r 为1 时是拉普拉斯损失函数，而当r 为2 时是平方损失函数， 因此有一定的代表性。可见研究r 范数s v m 中参数r 与鲁棒性的关系也有很大意义。 本文对此进行了研究，并得出了结论，即当r s v r 抑制噪声的能力最强时，损失函数 的参数r 与拉斯噪声和均匀噪声标准差之间应是近似线性反比关系。 3 将s v r 用于股市数据回归实证分析。因为金融数据的噪声的分布是未知的， 所以本部分研究工作的目的就验证s v r 的损失函数参数与一般输入噪声之间的关 系。通过对金融数据的回归分析，得出结论：h u b e r s v r 中的损失函数参数与一般 输入噪声之间也呈近似线性的关系；以及r s v r 中的损失函数参数与一般输入噪声之 间呈近似线性反比的关系。 1 3 2 本文的内容安排 本文共分为五章。 第一章题为“绪论”，介绍支持向量机s v m 及其研究状况、s v r 的鲁棒性问题、 和s v r 用于输入噪声的抑制和识别的研究背景，以及本文的主要工作。 第二章题为“基于m a p 框架的s v r 参数选择已有研究成果”，主要介绍支持向 量回归机、贝叶斯框架、s v r 的参数选择与输入噪声间的关系、h u b e r - s v r 的参数 选择与高斯输入噪声间的关系、r - s v r 的参数选择与高斯输入噪声间的关系。本文也 正是基于以上的研究才开始了第三章、第四章及第五章的研究。 第三章题为“h u b e r - s v r 的参数选择与拉斯输入噪声和均匀输入噪声间的关系”， 研究了h u b e r - s v r 的参数选择与拉斯输入噪声和均匀输入噪声间的关系，从理论推 导及实验仿真两方面进行了论证。结果表明，当h u b e r - s v r 抑制噪声的能力最强时， 损失函数的参数斗与拉斯输入噪声和均匀输入噪声间应是近似线性关系。这一结果为 h u b e r - s v r 参数的选择提供了理论依据。 第四章题为“r 范数一s v r 的参数选择与拉斯输入噪声和均匀输入噪声间的关系”， 研究了r 范数s v r 的参数选择与拉斯输入噪声和均匀输入噪声间的关系，同样依据 s v m 的贝叶斯最大后验概率解释的理论框架进行了理论推导。另一方面，又给出了 经推导而得的r 范数s v r 的解的公式，并根据这个公式所做的实验和实验结果。结 果表明，当r - s v r 抑制噪声的能力最强时，损失函数的参数r 与拉斯输入噪声和均匀 输入噪声间应是近似线性反比关系。类似地，这一结果为r 范数s v r 参数的选择提 供了理论依据。第三章和第四章都是介绍和研究s v r 的参数选择与输入噪声间的关 系，但介绍“r 范数s v r 的参数选择与拉斯输入噪声和均匀输入噪声间的关系”的篇 幅过长，故该部分内容另起一章。 第五章题为“s v r 在股市数据回归中的实证分析”，主要研究了股市数据噪声的 标准差与s v r 损失函数中参数的关系。实事上，金融中的数据是存在着噪声的，如 何根据实际数据来选择s v r 的参数具有现实意义。而本章就是在这方面做些探讨。 第二章基于m a p 框架的s v r 参数选择已有研究成果 第二章基于m a p 框架的s v r 参数选择的已有研究成果 2 1 支持向量回归机与损失函数 如前所述，通过引入合适的损失函数， 即所谓支持向量回归机s v r 。 考虑用线性函数 i ( x ) = ( w ，x ) + 6 逼近样本数据集 d = ( x l ，y i ) ，( x ，y f ) ，x r ”，y r 的问题。其最优回归函数的优化模型为： 支持向量机s v i v i 也可以用于回归分析， ( 2 1 ) ( 2 2 ) 血o ( w ，亏) = 劲w n c 窆+ 嚣) ( 2 3 ) f l ，一厂( x ，”善j ，y ，f ( x ，) 旺 l ( f ( x ，) 一y ，) 劈，s ( x ，) y ，i = 1 ， 【 f f _ ，嚣o ， 其中，c 是一个预先确定的值，等和善广是表示对系统输出进行约束的松弛变量， 三( ) 是损失函数。由这一优化模型可以解得式( 2 i ) 中的w 和b ，从而得到最优线性 回归函数厂( x ) 。可以用核函数代替上述点积，则回归函数厂( x ) 可以是非线性的，此 即为支持向量回归机s v r 。常用的损失函数有平方损失函数、拉普拉斯损失函数、 h u b e r 损失函数和不敏感损失函数等，由此构成了不同的支持向量回归机。 2 2 基于不同损失函数的支持向量回归机 2 2 1 支持向量回归机- s v r 用核函数代替上述式点积( 2 i ) ，对于式( 2 3 ) 的优化模型，若s v r 的损失函 数取不敏感函数 吡( x ) 刊= 0 瓜) 一筘三- ，磐 4 ， 则构成支持向量回归机s v r 。此时：- s v r 的优化模型如下 m i l l ( w ，芎) = 去| | w i l 2 + c 窆+ 嚣) ( 2 5 ) f y ，一s ( x ，) f + 善- s j s ( x ，) 一y f 占+ 劈，i = 1 ， if 厂，f 0 ， 江南人学硕士学位论文 上述模型可以进一步化为如下的二次规划问题 m i n 去壹仁，一a ? k ，一口j 远g 一，) 一圭，一口办f + s 壹白，一口? ) c 2 6 ) f 0 口j ，口? c ，i ：1 ， “1窆仁，一口班o l i = 1 其中k ( ，) 是核函数。在求出上式中的参数0 t , a 后，即可求得回归函数f ( x ) 。 2 2 2h u b e r - 支持向量回归机h u b e r s v r 在支持向量回归机s v r 模型式( 2 3 ) 中，若损失函数取h u b e r 函数 l 。( ( x ) 一夕) ：圭( 厂( x 一y 2 1 f 厂( x ) 一y i y ，i = l ， 【 善f ，嚣0 ， 上述模型可以进一步化为如下的二次规划问题 呼圭喜套o t i a j k ( x ，x ，) 一荟i 口+ 瓦1 善i 口知 c 2 8 ， f - c 口f c ，i = l ， jl l 口，= 0 其中k ( ，) 是核函数。在求出上式中的参数后，即可求得回归函数厂( x ) 。 2 2 3r 范数一支持向量回归机r - s v r 在支持向量回归机s v r 模型式( 2 3 ) 中，若损失函数取r 范数函数 l ，汐( x ) 一y ) = i 厂( x ) 一y i 7 则构成r 范数支持向量回归机r 范数s v r 。模型式( 2 3 ) 就成为 m m( w ，亏) = 却1 2 + c 善偕f + 嚣) “j l 厂( x ，) y ，“= l ，一工 嗜0 ( 2 9 ) 第二章基于m a p 框架的s v r 参数选择已有研究成果 其中c 是设定常数，亏= ( 孝。，f ：，参) ，其中= 1 , 2 ，) 表示约束系统输出的松 弛变量。 2 3s v r 的贝叶斯框架 利用s v r 的贝叶斯框架推导s v r 的参数与输入噪声之间的关系，为鲁棒的s v r 选择合适的参数，是s v r 参数选择的一种新的有效方法。 在参数估计中，贝叶斯方法是一种把待估计参数看作具有某一已知分布的随机变 量，从而进行参数估计的将先验信息数学形式化的方法。通常称这一已知分布为先验 分布。由于利用了先验信息，则当先验信息与实际情形比较一致时，贝叶斯估计要优 于极大似然估计。当将这一思想应用于s v r 时，就有了s v r 的贝叶斯框架，由此可 以推导出s v r 损失函数的参数与输入样本噪声之间的关系，下面对此作简要归纳。 对于给定的样本集 d = ( x 1 ，y i ) ，( x ，y f ) ，x r ”，y r ( 2 1 0 ) 考虑用 y f = 葡r x ，+ 7 7 f - l ， 进行回归时的权参数罚估计问题。其中，x ，q 服从分布p ( ) ，r ，服从分布矽( ) 。 对应于y 的密度函数记为p ix ) = 矽一讨7 x ) 。为简化问题假定所有的x ，具有0 均值。 求解上述问题的s v r 的贝叶斯框架要点如下： 1 、s v r 的损失函数导致以下的对应于y 的概率密度函数 p ，ix ，w ，矽) = c 够，臼) e x p ( - 肛。( y ，一w7 x i ) ) ， 其中，厶( ) 是损失函数；口是其参数，p 是用于控制噪声水平的参数， 一化系数。则 p ( d1 w ，咿) = ( c p ，9 ) ) te x p 一窆肚。，一w t x i ) l 。 i = 1 2 、权参数w 的先验分布为 p ( w ) 。昙唧w l l 2 ) ， 其中，口为某一常数。 3 、权参数w 的后验分布为 p ( wd ，占) 芘p ( dw ，p ，b ( w ) ， ( 2 1 1 ) c ，9 ) 是归 ( 2 1 2 ) ( 2 1 3 ) 则 1 唧( w | d ，胪) - - 争i f 2 一喀。一p ，x f ) ) + l l o g c ( f l ，乡) + 常数。( 2 1 4 ) 于是，估计权参数诗的问题就变成7 x c 于给定的口、目的值求w 的最大后验估计问题。 江南大学硕士学位论文 由此可以进一步推导出损失函数的参数与输入噪声之间的关系，为鲁棒的s v r 的参 数选择提供理论依据，这也是本文第三章和第四章所作的工作。 2 4 - s v r 的参数选择与输入噪声阃的关系n 3 1 本节介绍- s v r 中损失函数中的参数的选择与输入噪声标准差间的关系。先 介绍支持向量回归机s v r ，然后介绍应用贝叶斯框架推导s v r 中损失函数中 的参数的选择与输入噪声标准差间的关系的推导过程和一些实验结果。由于推导过 程过于冗长，以下只给出了主要的推导步骤，有关推导细节请见文献 1 3 。 2 4 1 样本数据集含有噪声时的- s v r 回归模型 为了建立样本数据集含有噪声时的s v r 回归模型，考虑以下的从式( 2 2 ) 的给 定样本数据集中用 ：= 7 1 x + r 1 i = l ，(215y w r l 2) f 2 。x f + ，= l ，z l lj 估计权参数话的问题。 这里，x ，q 服从分布p ( ) ，7 j 服从分布矽( ) 。对应于y 的密度函数记为 p ( yx ) = 矽一罚r x ) 。为简化问题假定所有的x ，具有0 均值。 根据贝叶斯框架，s v r 对应于最大后验估计问题。不敏感损失函数导致了以 下的对应于y 的概率密度函数 尸小以占) = 南e x p ( - f 1 y i - w r x i i 。) ( 2 1 6 ) 则对应于样本集d 的概率密度函数为 耐w 以小( 尚) f e x p 悻y i - - w r 譬i l 。) o 设w 的先验分布为高斯分布 p ( w ) = 丢唧wj 1 8 ) 由贝叶斯公式 p ( wd ，占) 芘p ( dw ，占) p ( w ) ( 2 1 9 ) 可得 1 0 9 加旧加) - 驯圭i = 1 胪w r l i 。) 州。g 南+ 常数( 2 2 。) 于是，若设为一常数，式( 2 3 ) 的优化问题可以被解释为，对于给定的，s 的值 求w 的最大后验估计问题。 第二章基于m a p 框架的s v r 参数选择已有研究成果 2 4 2 - s v r 的参数选择与输入噪声间的关系 1 估计b 和的最优值 为便于分析，用期望 e a ry w 7 x l 。) j y w7 x | 。p ix ) p ( x 阿出 代替式( 2 2 0 ) 中的均值 亨善l w 吼) 则式( 2 2 0 ) 变为 s t ( w 以占) = 一刖1 2 一雕盯- w r 砂m g 渤+ 常数。 ( 2 2 1 ) 将式( 2 2 1 ) 对w 求偏导数并令其为0 ，得 两+ x l 卜ix 协一p ( yx 阿p ( x d x = o ( 2 2 2 ) 为了求得，f 得的最优值，就是要将，占作为变量，使 p ( di ，s ) = f p ( w ，dl ，占炳 = f p ( dw ，占b ( w 炳 p ( dl 南，占b ) w 最大。由此，经推导得到以下两个重要关系 而1 = 舾t l - - e 肌奇融x 砂卜 2 3 ， 和 j 丽1 = e 胛y 一龠7 x i 。) 。 c 2 2 4 ， 式( 2 2 2 ) 、 ( 2 2 3 ) 和( 2 2 4 ) 构成了支持向量回归机后验估计最大化的必 要条件。对于不同的输入噪声矽一罚r x ) ，只需令p ( yx ) = c y 一话7 x ) 后代入式( 2 2 3 ) 和( 2 2 4 ) ，即可求得、占与输入噪声的关系。 2 应用于高斯噪声模型 常见的输入噪声主要有高斯噪声、拉普拉斯噪声和均匀分布噪声。以下主要介绍 当输入噪声是高斯噪声时，不敏感损失函数参数的选择方法。 噪声的高斯为 刖= 丽1 唧f 等 ， 其中仃是标准差。令p ( yix ) = 矽一罚7 x ) 后代入式( 2 2 3 ) 和( 2 2 4 ) ，经推导得：欲使 江南大学硕士学位论文 式( 2 2 1 ) 中的m ，占) 最大就是要使 肚胛l y - w r x 。g 掐 最小，即是要使 五( 吾) = 历唧( 矛e 2 ) ( ( 孑ej 2 + 3 - l ( 一詈e 咖( 去 + 去唧( 导) ) 乩可丽p 嘲2 + 3 1 乩g m 老) + 志唧