（电力系统及其自动化专业论文）基于加权支持向量机的短期负荷预测.pdf

东北电力大学硕i 学位论文 a b s t r a c t p o w e rs y s t e ml o a df o r e c a s t i n g ，w h i c hi st h eb a s eo fp o w e rm a r k e tt e c h n i q u e s u p p o r t i n gs y s t e m ，i sa l le s s e n t i a lp a r to fp o w e rs y s t e mo p e r a t i o n , c o n t r o la n d p l a r m i n g s u p p o r tv e c t o rm a c h i n e s ( s v m ) i s an e wm a c h i n el e a r n i n gt e c h n o l o g y , w h i c hi s b a s e do ns t a t i s t i c a ll e a m i n gt h e o r y i tc a ns o l v es m a l l - s a m p l el e a r n i n gp r o b l e m s b e t t e rb yu s i n gs t r u c t u r a lr i s km i n i m i z a t i o ni n p l a c e o fe x p e r i e n t i a l 磁s k m i n i m i z a t i o n b e c a u s ei th a sq u i t ep e r f e e tt h e o r e t i c a lp r o p e r t i e sa n dg o o dl e a r n i n g p e r f o r m a n c e ，s v mt h e o r yb e c o m e st h en e wr e s e a r c hh o t s p o ta f t e rt h er e s e a r c ho f a r t i f i c i a ln e u r a ln e t i nt h i sp a p e r , s o m er e s e a r c h e sa l ed e v e l o p e df o rs h o r tt e r ml o a df o r e c a s t i n g ( s t l f ) u s i n gs v m i ns e v e r a lp a r t s 1 w a v et r a n s f o r mi sa p p l i e dt od e t e c ts i n g u l a r i t yo fh i s t o r yl o a dd a t a t h e h i s t o r yd a t ai st h eb a s eo fl o a df o r e c a s t i n g b e c a u s ea b n o r m a ld a t am a k e st h eh i s t o r y d a t ad i s t o r t e da n dl o wd o w nt h ea c c u r a c yo ff o r e c a s t i n g w em u s td e a lw i t ht h e h i s t o r yd a t ab e f o r e h a n d t h i sp a p e ru s e sw a v et r a n s f o r mt od e t e c ts i n g u l a r i t ya n d m a k et h et r u t ho f h i s t o r yd a t ac o m eb a c k 2 am e t h o do fa d a p t i v ew e i g h e dl e a s t s q u a r e ss u p p o r tv e c t o rm a c h i n e ( a w l s s v m ) f o rs h o r t - t e r ml o a df o r e c a s t i n gi sr e s e a r c h e d i nw h i c hd i f f e r e n t s a m p l ei sg i v e nad i f f e r e n tw e i g h t , e m p h a s i z i n gc h a r a c t e r i s t i co fd i f f e r e n tt r a i n i n g s a m p l eh a v i n gd i f f e r e n tc o n t r i b u t i o n m o r e o v e r , w l s s v mp a r a m e t e ra l eo p t i m i z e d b ya d a p t i v ep a r a m e t e ro p t i m i z a t i o nm e t h o d ，c o n s e q u e n t l yr e d u c es e l e c t i v eb l i n d n e s s o ft h e m t h es i m u l a t i o nr e s u l tf r o ms h o r t - t e r ml o a df o r e c a s t i n ge x a m p l eo fa c t u a l p o w e rn e t w o r ks h o wt h a tt h ea w l s s v mm e t h o dc a no f f e rm o r ea c c u r a t e f o r e c a s t i n gr e s u l tt h a ns v mm e t h o d 3 as h o r t - t e r ml o a df o r e c a s t i n gm e t h o du s e st h eh y b r i dm o d e lo fw a v e l e t t r a n s f o r ma n dw e i g h e dl e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n ei sg i v e n a tf i r s t ，b a s e d - o nw a v e l e tm u l t i - r e s o l u t i o na n a l y s i s ，t h el o a ds e r i e si sd e c o m p o s e di n t ot h es e r i e s w i t hd i f f e r e n t f r e q u e n c yc h a r a c t e r i s t i c s ，t h e na c c o r d i n gt ot h ef e a t u r e so ft h e d e c o m p o s e dc o m p o n e n t s ，d i f f e r e n tw l s s v ma r cc o n s t r u c t e dt o f o r e c a s tt h e c o m p o n e n t s ，f m a l l yt h ef o r e c a s t e ds i g n a l so ft h ec o m p o n e n t sa r er e c o n s t r u c t e dt o o b t a i nt h eu l t i m a t ef o r e c a s t i n gr e s u t a n a l y s i so ft h ef b 心c a s t i n gr e s u l t so fr e a ld a t a p r o v e dt h a tt h ep r o p o s e dm e t h o di se f f e c t i v e k e yw o r d s ：s h o r t - t e r ml o a d f o r e c a s t i n g ；w e i g h e ds u p p o r tv e c t o rm a c h i n e ； a d a p t i v ep a r a m e t e ro p t i m i z a t i o n ；w a v e l e tt r a n s f o r m - i i i - 论文原创性声明 本人声明，所呈交的学位论文系在导师指导下本人独立完成的研究成果。 文中依法引用他人的成果，均已做出明确标注或得到许可。论文内容未包含法 律意义上已属于他人的任何形式的研究成果，也不包含本人已用于其他学位申 请的论文或成果。 本人如违反上述声明，愿意承担以下责任和后果： 1 交回学校授予的学位证书： 2 学校可在相关媒体上对作者本人的行为进行通报； 3 本人按照学校规定的方式，对因不当取得学位给学校造成的名誉损害， 进行公开道歉； 4 本人负责因论文成果不实产生的法律纠纷。 论文作者签名：扬盔益 日期：缨年墨月丝日 论文知识产权权属声明 本人在导师指导下所完成的论文及相关的职务作品，知识产权归属东北电 力大学。学校享有以任何方式发表、复制、公开阅览、借阅以及申请专利等权 利。本人离校后发表或使用学位论文或与该论文直接相关的学术论文或成果时， 署名单位仍然为东北电力大学。 论文作者签名：杨盔经 导师签名： 左叁主 日期：2 幽年l 月丛e t 日期：三竺堡l 年兰一月二兰z - 日 第1 帝绪论 第1 章绪论 电力系统负荷预测是指利用历史负荷数据来预测未来时刻的负荷值，是能 量管理系统( e m s ) 的一个重要组成部分，已经成为实现电力系统管理现代化 的重要内容之一，在电力系统制定机组组合方案、地区间的功率输送方案和负 荷调度方案中均需用到。有效地提高负荷预测的精度，有利于电力系统的经济 运行与安全运行，是合理地进行电力系统调度、计划、用电与规划的重要依据 之一。 1 1 负荷预测作用及意义 电力系统的作用是为各类用户尽可能经济地提供连续可靠和质量良好的电 能，以随时满足各类用户负荷的需求。负荷的大小与特性，无论是对于电力系 统设计或是对于运行研究而言，都是极为重要的因素。所以，对负荷的变化与 特性，有一个预先的估计，是电力系统发展与运行研究的重要内容，电力系统 负荷预测理论【1 2 - 1 就是因此而发展起来的，在现代电力系统工程科学中占有重要 地位，是电力系统自动化领域中的一项重要内容。电力系统负荷预测是电网调 度部门和规划部门所必须具有的基本信息之一，是实时控制、运行计划和发展 规划的前提。 在电力系统中，负荷指电力需求量或用电量。需求量是指负荷功率的大小， 是能量对时间的变化率。负荷预测包括两方面的含义：对未来需求量( 功率) 的预测和未来用电量( 能量) 的预测。对未来需求量的预测用来决定发电设备 的容量，以及相应的输电和配电的容量；而对未来用电量的预测则决定了应当 安装何种类型的发电容量。 负荷预测实际上是根据系统的运行特性、增容决策、自然条件与社会影响 等诸多因素，研究或利用一套系统的处理过去与未来负荷的数学方法，在满足 一定精度要求的条件下，确定未来某特定时刻的负荷数据。 随着电力系统的商品化和市场化，电力负荷预测的准确性对电力系统安全 东北电力大学硕+ 学位论文 经济运行和国民经济发展具有重要意义。电力负荷预测工作的水平已成为一个 电力企业的管理是否走向现代化的显著标志之一，尤其在我国电力事业空前发 展的今天，用电管理走向市场，电力负荷预测问题已经成为电力系统面临的一 项重要而又艰巨的任务。 短期负荷预测是调度中心制定发电计划及电厂报价的依据，也是能量管理 系统( e n e r g ym a n a g es y s t e m , e m s ) 的组成部分，是电力系统运行调度中一项 非常重要的内容，是保证电力系统安全经济运行和实现电网科学管理及调度的 基础。短期负荷预测的是否准确，将影响到电力系统计划、规划等管理部门的 工作。短期负荷预测是调度合理安排电网运行方式、机组启停计划、交换功率 计划等的基础，因此负荷预测的好坏会直接关系到产业部门的经济利益。一方 面，负荷预测不足可能会导致用电紧张和系统运行安全性下降，因而由费用高 的机组来承担负荷或者从邻近的电网买入价格较高的电能。另一方面，如果估 计过量可能导致过多的旋转备用因而增加运行费用，对于长期负荷预测来说有 可能造成设置过多的设备，引起资金积压。另外，准确的负荷预测也有利于用 电计划的管理，节煤、节油和降低发电成本，制定合理的电源建设规划，提高 电力系统的经济效益和社会效益。 目前，我国大多数系统的短期负荷预测都是由调度人员人工进行，通过寻 找相似日直观的预测。这就完全依赖于调度人员的经验，因此迫切需要有一个 自动负荷预测系统，提前一天或一周预测系统负荷，以满足经济调度和机组调 停的需要。重要的是，这一系统应具有规范化的预报过程，减少对运行人员经 验的依赖性，适用于不同系统并满足精度要求。 1 2 国内外短期负荷预测研究现状 长期以来，国内外电力工作者对短期负荷预测的理论和方法作了大量研究。 其主要出发点大多是以更为先进的理论提高预测的准确性，为电力系统经济性 和安全性提供有力的保障。 目前，电力系统短期负荷预测的方法很多。这些方法可以分为经典方法和 智能技术两大类。经典方法主要是基于各种统计理论的时间序列分析【3 巧1 法，而 第1 章绪论 智能技术包括人工神经网络【6 】、专家系统法 7 1 、小波分析预测方法等【8 ，9 l ( 1 ) 时间序列法时间序列法就是根据负荷的历史资料，设法建立一个数学 模型，用这个数学模型一方面来描述电力负荷这个随机变量变化过程的统计规 律性；另一方面在该数学模型的基础上再确立负荷预测的数学表达式，对未来 的负荷进行预测。时间序列法主要有自回归a r ( p ) 、滑动平均m a ( q ) 和自回归 与滑动平均a r m a ( p ，q ) 等。这些方法的优点是：所需历史数据少、工作量少。 缺点是：没有考虑负荷变化的因素，只致力于数据的拟合，对规律性的处理不 足，只适用于负荷变化比较均匀的短期预测。 ( 2 ) 回归分析法回归分析方法就是根据负荷过去的历史资料，建立可以进 行数学分析的数学模型，对未来的负荷进行预测，也就是用数理统计中的回归 分析方法，即通过对变量的观测数据进行统计分析，确定变量之间的相关关系， 从而实现预测的目的 1 0 a i 。包括线性回归和非线性回归。其中多元线性回归模型 是负荷预测中最常用的方法，式( 卜1 ) 给出了多元线性回归模型的具体形式： y ( 0 = a o + t h x l ( t ) + + a n x ( t ) + 口( f ) ，1 1 、 、， 式中：y ( o 表示负荷；却( f ) ，x 2 ( t ) ，( ，) ，表示与负荷变化相关的变量，诸如 时间变量、气象变量等；n o ，a l ，口n 为回归系数，口( f ) 为误差项。回归系数 珊，口i 一，a n 的估计可以通过最小二乘法实现。 式( 卜1 ) 的模型是建立在相关变量一( f ) ，x 2 ( o ，x 。( r ) 与负荷) ，( f ) 之间的相 关分析的基础上的，因而模型的准确度与相关变量的选取密切相关。正确地选 择相关变量通常需要丰富的实践经验或对负荷变化规律的深入分析，这给回归 预测模型在实际应用中带来了较大的困难。 ( 3 ) 灰色模型法灰色系统理论【1 2 】将一切随机变化量看作是在一定范围内 变化的灰色量，常用累加生成( a g o ) 和累减生成( t a o o ) 的方法将杂乱无章的原 始数据整理成规律性较强的生成数据列。用灰色模型( g m ) 的微分方程作为电力 系统单一指标( 如负荷) 的预测时，求解微分方程的时间响应函数表达式即为所求 的灰色预测模型，对模型的精度和可信度进行校验并修正后即可据此模型预测 未来的负荷。此法适用于短、中、长三个时期的负荷预测。 灰色预测是一种对含有不确定因素的系统进行预测的方法。以灰色系统理 东北电力大学硕i + 学位论文 论为基础的灰色预测技术，可在数据不多的情况下找出某个时期内起作用的规 律，建立负荷预测的模型。分为普通灰色系统模型和最优化灰色模型两种。普 通灰色预测模型是一种指数增长模型，当电力负荷严格按指数规律持续增长时， 此法有预测精度高、所需样本数据少、计算简便、可检验等优点；缺点是对于 具有波动住变化的电力负荷，其预测误差较大，不符合实际需要。而最优化灰 色模型可以把有起伏的原始数据序列变换成规律性增强的成指数递增变化的序 列，大大提高预测精度和灰色模型法的适用范围。灰色模型法适用于短期负荷 预测。 灰色预测的优点：要求负荷数据少、不考虑分布规律、不考虑变化趋势、 运算方便、短期预测精度高、易于检验。 缺点：一是当数据离散程度越大，即数据灰度越大，预测精度越差；二是 不大适合于电力系统的长期后推若干年的预测。 ( 4 ) 综合预测方法综合预测方法是指将多种预测方法所得的预测结果在 一定的条件下进行线性组合，即进行加权组合的一种预测方法。综合预测方法 可分为等权预测方法和优选组合预测方法。 设，( f = 1 , 2 ，k ) 为第f 个模型的预测值，如果用正代表综合预测值，则等 权预测方法得到的预测值为： ，k f = 三yf( 卜2 ) “七智“ 优选组合预测有两类概念，一是指将几种预测方法所得的预测结果，选取 适当的权重进行加权平均的一种预测方法；二是指在几种预测方法中进行比较， 选择拟和优度最佳或标准离差最小的预测模型作为最优模型进行预测。需要指 出的是，综合预测方法只有在单个预测模型不能完全准确描述负荷的变化规律 时才能发挥其优势。若单一预测模型可以很好的反映负荷的变化，它的预测准 确度完全有可能比综合预测方法好。 ( 5 ) 神经网络预测方法神经网络预测方法的特点是不需要建立描述负荷 变化规律的明确数学表达式，而通过模仿人脑的智能化处理功能对负荷历史数 据进行记忆、判断和推理，从而得出预测结果。 第1 章绪论 i i 神经网络预测方法包括多层前向神经网络、误差反向传播神经网络( 又称 b p 网络) 、反馈式神经网络、自组织神经网络等。其中最常用的是b p 网络，b p 算法是在导师指导下，适合于多层神经元网络的一种学习，它是建立在梯度下 降法的基础上的。基于b p 算法的神经元网络的结构见图l - l 。 误差反传( 学习算法) 昏靳一+ 图1 - 1 基于b p 算法的神经网络的结构 赫 | 粤手 b p 网络不仅有输入层结点，输出层结点，而且有一层或多层隐含结点。对 于输入信息，要先向前传播到隐含层的结点上，经过各单元的特性为s i g m o i d 型的激活函数运算后，把隐含结点的输出信息传播到输出结点，最后给出输出 结果。网络的学习过程由正向和反向传播两部分组成。在正向传播过程中，每 一层神经元的状态只影响下一层神经元网络。如果输出层不能得到期望输出， 即实际输出值与期望输出值之间有误差，那么转入反向传播过程，将误差信号 沿原来的连接通路返回，通过修改各层神经元的权值，逐次地向输入层传播去 进行计算，再经过正向传播过程，这两个过程反复作用，使得误差信号最小。 优点是：可以模仿人脑的智能化处理；对大量非结构性、非精确性规 律具有自适应功能；具有信息记忆、自主学习、知识推理和优化计算的特点。 缺点是：初始值的确定无法利用已有的系统信息，易陷于局部极小的状 态；神经网络的学习过程通常较慢，对突发事件的适应性差，因而适用于短 期负荷预测。 ( 6 1 专家系统法专家系统预测法是对数据库里存放的过去几年甚至几十 年的，每小时的负荷和天气数据进行分析，从而汇集有经验的负荷预测人员的 知识，提取有关规则，按照一定的规则进行负荷预测。专家系统法，是对人类 的不可量化的经验进行转化的一种较好的方法。但专家系统分析本身就是一个 东北电力大学硕卜学位论文 耗时的过程，并且某些复杂的因素( 如天气因素) ，即使知道其对负荷的影响，但 要准确定量地确定他们对负荷地区的影响也是很难的。专家系统预测法适用于 中、长期负荷预测。 此法的优点是：能汇集多个专家的知识和经验，最大限度地利用专家的 能力；占有的资料、信息多，考虑的因素也比较全面，有利于得出较为正确 的结论。 缺点是：不具有自学习能力，受数据库里存放的知识总量的限制： 对突发性事件和不断变化的条件适应性差。 ( 7 ) 小波分析预测方法负荷时间序列x ( t ) ，产l ，2 ，- l 。是动力系统演化过 程的外部表现，即系统的可观测量。通常，我们不可能知道系统有哪些状态变 量以及如何来支配系统的演化，但有一点可以肯定，有的变量长期作用于系统， 而有的作用于系统的时间较短。也就是说系统的状态变量具有不同的时频特性 即时间序列携带了长期趋势和短期波动的信息。 作为预测的模型，就是要准确的反应出负荷的变化，而以往的传统方法， 无论是神经网络法还是公认最成功的时间序列法，其模型都没有充分的体现负 荷所具有的不同波动性，而是用一个负荷序列来进行整个预测，这可以说是预 测误差的一个重要来源。 小波分析的预测方法i l3 】就是将负荷时间序列分别投影在各个尺度上，并对 不同的子序列分别采用相应的模型进行预测。最后通过序列重构，得到完整的 负荷预测结果。其精确性比直接用原序列有一定的改善。需要指出的是，小波 分析的预测结果与小波基的选择有很大的关系。 其优点是：能对不同的频率成分采用逐渐精细的采样步长，从而可以聚集 到信号的任意细节，尤其是对奇异信号很敏感，能很好的处理微弱或突变的信 号，其目标是将一个信号的信息转化成小波系数，从而能够方便地加以处理、 储存、传递、分析或被用于重建原始信号。这些优点决定了小波分析可以有效 地应用于负荷预测问题的研究。 1 。3 本文的主要工作 本文在进行大量的文献调研和资料研究的基础上，分别研究了基于自适应 加权最小二乘支持向量机的负荷预测新方法，和基于小波分解和优化加权最小 二乘支持向量机混合模型的短期负荷方法。从而有效的解决了支持向量机参数 选择难的问题，且采用加权模型的支持向量机可根据样本重要程度的不同，赋 予不同的加权系数。体现了负荷预测中“近大远小”的原则。从而为支持向量 机解决回归问题的实用化奠定了基础。 本文所作的工作归纳为以下几点： ( 1 ) 深入了解当前国内外负荷预测研究的现状，对各种预测方法进行细致的 研究，了解它们所适用的范围以及所存在的不足： ( 2 ) 进行负荷特性分析和数据预处理，为精确的预测做好数据上的准备。用 小波模极大值的异常信号处理方法检测出负荷的异常数据并将其剔除。 ( 3 ) 研究了一种基于自适应加权最小二乘支持向量机的短期负荷方法。由于 单独用支持向量机( s v m ) 进行电力系统负荷预测有一定的缺陷：s v m 计算矩 阵存储需要较大的空间。 s v m 的核参数选择至今无通用方法。如何设置影响 算法性能的一些关键参数，才能获得较好的预测效果，一直是研究的热点。 对所有的样本数据，s v m 对其精度要求和偏离精度要求的惩罚是相同的。这种 处理方法对于有重要性差异的训练样本来说是不合理的。最小二乘支持向量机 ( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e ，l s s v m ) 把支持向量机的学习问题转化为 解线性方程组问题，简化了计算，克服了标准支持向量机上述的第一个缺点； 用自适应参数优化法整定l s s v m 的参数，解决了第二个问题。通过加权克服 了第三个缺点。 ( 4 ) 研究了小波分解和优化加权最小二乘支持向量机混合模型的短期负荷预 测方法。电力系统负荷序列既具有波动性又具有特殊的拟周期性，可看作多个 不同频率分量的叠加。每个分量呈近似周期变化，具有相似的频率特性和一致的 变化规律，也具有更强的可预测性。因此，在对负荷进行频域分解的基础上，根 据各频率分量特点进行建模是提高预测精度的有效途径。完成此任务的算法首选 小波变换。本文采用小波多分辩率分析方法将负荷值分解为几个低频段的拟周期 东北电力大学硕十学位论文 量及一个高频段的随机量，分别采用相匹配的预测模型。最后，通过求取各分量 预测结果之和，得到完整的负荷预测结果。本文建立了采用多层动态自适应优化 算法整定参数的优化加权最小二乘支持向量机模型来预测经小波分解后的各负 荷分量。 第2 幸统计学习和芰持向蕈机理论 第2 章统计学习和支持向量机理论 2 1 机器学习和统计学习基本理论 基于数据的机器学习是现代智能技术的重要方面，研究从观测数据( 样本) 出发寻找规律，利用这些规律对未来数据或无法观测到的数据进行预测。包括 模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统 计学。传统统计学研究的是样本数目趋于无穷大时的渐进理论，现有方法也多 是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很优 秀的学习方法在实际中表现的却可能不尽人意。 7 与传统统计学相比，统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y ，s e t ) 是一种 专门研究小样本情况下机器学习规律的理论。vv a p n i k 等人从六、七十年代开 始致力于此方面研究，到九十年代中期，随着其理论的不断发展和成熟，也由 于神经网络等学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来 越广泛的重视。 统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学 习问题提供了一个统一的框架。它能将很多方法纳入其中，有望帮助解决许多 原来难以解决的问题( 比如神经网络结构选择问题、局部极小点问题等) ；同时， 在这一理论基础上发展了一种新的通用学习算法一支持向量机( s u p p o a v e c t o r m a c h i n e ，s v m ) ，它已初步表现出很多优于已有方法的性能，一些学者认为，s l t 和s v m 正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习 理论和技术的方展。 2 1 1 机器学习的基本问题 2 1 1 1 经验风险最小化 机器学习的目的就是根据给定的训练样本求系统输入输出之间的依赖关 系。学习问题一般的表示为：变量y 与x 之间存在的未知依赖关系，即遵循某 一未知的联合概率以暑力。机器学习问题就是根据l 个独立同分布观测样本 东北电力大学硕f 学位论文 ( x i ，乃) ，( 恐，咒) 9a b - 9 ( 葺，y t ) ，在一组函数 f ( x ，w o 中求一个最优的函数f ( x ，w ) 对 依赖关系进行估计，使式( 2 1 ) 的期望风险r ( w ) 最小。 r ( w ) = i l ( y ，f ( x ，w ) ) d f ( x ，力 ( 2 1 ) 其中， f ( x ，w ) ) 称为预测函数集，w 为函数的广义参数。 f ( x ，们 可以表示为 任何的参数集。l ( y ，f ( x ，w ，) ) 为由于用f ( x ，w ) 对y 进行预测而造成的损失。预测 函数也称为学习函数、学习模型或学习机器。 联合概率f 力通常未知，唯一能够获得的信息被包含在训练样本中，所 以在传统的学习方法中通常用经验风险的最小化代替期望风险最小化，这就是 所谓的经验风险最小化原则( e m p i r i c a l 硒s km i n i m i z a t i o n , e r m ) 。也就是说，用 样本定义经验风险8 ( w ) 如下： 1 卫 j k ( w ) = 亡上( m ，( 薯，w ) ) ( 2 2 ) ，i = l 机器学习的目的就是要设计学习算法，使上述风险最小，作为对r ( w ) 的评 估。实际上，经验风险只有在样本趋于无穷时才依概率收敛于期望风险。 2 1 1 2 模型复杂性与推广能力 e r m 准则不成功的一个例子是神经网络的过学习问题。开始，很多注意力 都集中在如何使j 乙。( w ) 更小，但很快发现，训练误差小并不总能导致好的预测 效果。某些情况下，训练误差过小反而会导致推广能力的下降，即真实风险的 增加，这就是过学习问题。 之所以出现过学习现象，一是因为样本不充分，二是学习机器设计不合理， 这两个问题是互相关联的。设想一个简单的例子，假设有一组实数样本 x ，y l ， y 取值在 0 ，1 之间，那么不论样本是依据什么模型产生的，只要函数 f ( x ，口) = s i n ( t r x ) 去拟合它们( 口是待定参数) ，总能够找到一个口使训练误差为 零，但显然得到的“最优”函数并不能正确代表真实的函数模型。究其原因， 是试图用一个十分复杂的模型去拟合有限的样本，导致丧失了推广能力。在神 经网络中，若对有限的样本来说网络学习能力过强，足以记住每个样本，此时 经验风险很快就可以收敛到很小甚至零，但却根本无法保证它对未来样本能给 第2 章统计学习和支持向帚机理论 出好的预测，学习机器的复杂性与推广性之间的这种矛盾同样可以在其它学习 方法中看到。 由此可看出，有限样本情况下，1 ) 经验风险最小并不一定意味着期望风险 最小，2 ) 学习机器的复杂性不但应与所研究的系统有关，而且要和有限数目的 样本相适应。 2 1 2 统计学习理论的核心内容 统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括四个 方面： 经验风险最小化原则下统计学习一致性的条件： 在这些条件下关于统计学习方法推广性的界的结论； 在这些界的基础上建立的小样本归纳推理准则； 实现新的准则的实际算法。 其中，最具有指导性的理论结果是推广性的界，与此相关的一个核心概念 是v c 维 2 1 2 1v c 维 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列 有关函数集学习性能的指标，其中最重要的是v c 维。v c 维是统计学习理论中 的一个核心概念，它是目前为止对函数集学习性能最好的描述指标。模式识别 方法中v c 维的直观定义是：对一个指示函数集，如果存在h 个样本能够被函 数集中的函数按所有可能的2 h 种形式分开，则称函数集能够把h 个样本打散： 函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都有函 数能将它们打散，则函数集的v c 维就是无穷大。有界实函数的v c 维可以通过 用一定的阈值将它转化成指示函数来定义。 v c 维反映了函数集的学习能力，v c 维越大则学习机器越复杂( 容量越大) 。 遗憾的是，目前尚没有通用的关于任意函数集v c 维计算的理论，只对一些特 殊的函数集知道其v c 维。比如在n 维实数空间中线性分类器和线性函数的v c 维是n + l 。对于一些比较复杂的学习机器( 如神经网络) ，其v c 维除了与函数 东北电力大学硕上学位论文 集( 神经网络结构) 有关外，还受学习算法等的影响，其确定更加困难。对于 给定的学习函数集如何用理论或试验的方法计算其v c 维是当前统计学习理论 中一个热点研究问题。 2 1 2 2 推广性的界 统计学习理论系统地研究了对于各种类型的函数集的经验风险和实际风险 之间的关系，即推广性的界。关于两类分类问题，其结论是：对指示函数集中 的所有函数( 包括使经验风险最小的函数) ，经验风险乙。( 们和实际风险r ( 叻之 间以1 一玎的概率满足如下关系【1 4 1 ： r ( 叻曩( 叻+ ( 2 - 3 ) 其中h 是函数集的v c 维，n 是样本数。 这一结论从理论上说明了学习机器的实际风险是由两部分组成的：一是经 验风险( 训练误差) ，另一部分称作置信范围，它和学习机器的v c 维及训练样 本数有关，可以简单地表示为； r ( 叻墨。( 叻+ ( 矗以) ( 2 4 ) 这表明，在有限训练样本下，机器学习的v c 维越高( 复杂性越高) 则置 信范围越大，导致实际风险与经验风险之间可能的差别越大。这就是为什么会 出现过学习现象的原因。机器学习过程不但要使经验风险最小，还要使v c 维 尽可能小以便缩小置信范围，才能取得较小的实际风险，即对未来样本有较好 的推广性。 需要指出，推广性的界是对于最坏情况的结论，在很多情况下是较松的， 尤其当v c 维较高时更是如此。而且，这种晃只在对同一类学习函数进行比较时 有效，由此可见，从函数集中选择最优的函数，在不同函数集之间比较却不一 定成立。v a p n i k 指出，寻找更好地反映学习机器能力的参数和得到更紧的界是 学习理论今后的研究方向之一。 2 1 2 3 结构风险最小化 从上面的结论看到，e r m 原则在样本有限时是不合理的，我们需要同时最 第2 幸统计学习和支持向量机理论 小化经验风险和置信范围。其实，在传统方法中，选择学习模型和算法的过程 就是调整置信范围的过程，如果模型比较适合现有的训练样本( 相当于h n 值 适当) ，则可以取得比较好的效果。但因为缺乏理论指导，这种选择只能依赖先 验知识和经验，造成了如神经网络等方法对使用者“技巧”的过分依赖。 统计学习理论提出了一种新的策略，即把函数集构造为一个函数子集序列， 使各个子集按照v c 维的大小排列：在每个子集中寻找最小经验风险，同时在 子集间折衷考虑经验风险和置信范围，取得实际风险的最小，如图2 1 所示。 这种思想称作结构风险最小化原则( s t r u c t u r a lr i s km i n i m i z a t i o n , s r m ) 。统计学 习理论还给出了合理的函数子集结构应满足的条件及在s r m 原则下实际风险 收敛的性质。 琴髫二5 图2 - 1 结构风险最小化示意图 问 实现s r m 原则可以有两种思路，一是在每个子集中求最小经验风险，然 后选择使最小经验风险和置信范围之和最小的子集。显然这种方法比较费时， 当子集数目很大甚至无穷时不可行。因此有了第二种思路，即设计函数集的某 种结构使每个子集中都能取得最小的经验风险( 如使训练误差为o ) ，然后只需 选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最 优函数。支持向量机方法实际上就是这种思想的具体体现。 东北屯力大学硕十学位论文 2 2 支持向量机的基本原理 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是由v a p n i k 在统计学习理论基 础上提出的一类新的机器学习算法，它基于结构风险最小化原理，与传统机器 学习方法相比，s v m 具有小样本学习能力强、模型推广能力好、高维输入数据 处理能力强等特性。 支持向量机是从线性可分情况下的最优分类提出的： 设存在线性可分的两类样本 ( ，卫) ，扭l ，2 ，可被某个超平面 ( w + 6 = o 没有错误的分离，其中薯e ，弘 一1 ，1 ，为样本个数，彤为n 维实数空间。则与两类样本点距离最大( 称边缘最大) 的分类超平面称为最优超 平面，如图2 2 所示，h 即为最优超平面。其中距离超平面最近的异类向量( ，马 上的点) 被成为支持向量( s u p p o r tv e c t o r ) 。最优超平面将由离它最近的少数样 本点( 称为支持向量) 决定，而与其它样本无关。 最优超平面将会获得最优的推广能力。 图2 - 2 最优超平面的概念 我们用如下形式描述与样本间隔为1 ( 归一化后) 的分类超平面： ( w x ) 十6 = 0 ( 2 5 ) y = 1 ，若( w x ) + 6 1 ；y = 一1 ，若( w x ) + b - i ( 2 6 ) 通过计算可知，分类间隔等于2 州叫i 。使分类间隔最大等价于使0 叫1 2 2 最小。使 第2 章统计学习和支持向量机理论 分类日j 隔最大就是对泛化能力的控制，这是s v m 的核心思想之一。设在n 维 空间中，样本分布在一个半径为r 的超球范围内，则满足条件 ，4 的正则超 平面构成的v c 维满足下面的界： h - m i n ( r 2 4 2 ， ) + l ( 2 7 ) 因此使w 最小就是使v c 维的上界最小，从而实现s r m 准则中对函数 复杂性的选择。 2 2 1支持向量分类模型( s v c ) ( 1 ) 线性支持向量机 最优超平面可通过求解下式获得： 毗w1 1 2 ) s t 只( ( w t ) + 6 ) l ( 2 8 ) 由于目标函数和约束条件都是凸的，根据最优化理论，这个问题存在唯一 全局最有解。按照非线性规划对偶性理论，对其建立没有约束的l a g r a n g e 方程， 并将最小值问题转化成对偶的最大值问题： 三( w ，6 ，口) ：委l l 叫1 2 一圭q ( 只( 而，+ 6 ) 一1 ) ( 2 9 ) 其中饵0 ，是l a g r a n g e 乘子。根据k k t ( k a r u s h k u h n y u c k e r ) 有： 嘉k 喜q 只一- o 伢 杀= 害啦m = 。 协 进而，选用一个支持向量样本五可以进一步确定b ： b = 只一w 薯 ( 2 一1 2 ) 将式( 2 - 1 0 ) 和式( 2 - 1 2 ) 两式代入到l a g r a n g e 方程中，经运算得到原最优问 东北电力大学硕 学位论文 题的w o l f 对偶问题： m a x w ( a ) = q 一去q q 只乃五_ ( 2 1 3 ) s t q 只= o ， q o ， i = l 2 ，l ( 2 1 4 ) 解出式( 2 一1 3 ) 就可确定最优超平面。这里q 大都数都为0 ，不为0 的q 对 应的向量就是支持向量。若彳为式( 2 1 3 ) 的最优解，s t j w * = a j y , x j 为训练 样本向量的线性组合。而选用一个支持向量样本葺可以进一步确惫b ： b + = y f - - w * t 最后得到最优决策函数： m 一柳 w a = s 劬倭训) + 6 + ( 2 - 1 5 ) s i g n l 为符号函数。对输入样本进行测试时，可计算厂( 功来确定x 的归属 线性划分的理想情况是训练样本集可以完全线性分量。当训练样本集不能 分离( 训练样本有重叠现象) 时，引入松弛变量磊0 ，将约束条件放松为： 咒( ( w - ) + 6 ) 1 一毒， f = 1 ，2 ， ( 2 1 6 ) 同时对目标函数引入惩罚项： 庐善) ：劲w 卜c ( 圭毒) ( 2 - 1 7 ) 建立新的凸规划问题并求解，推导所得的w o l f 对偶问题是： m a x w ( a ) = q 一去q q 咒乃而x j ( 2 1 8 ) s t q m = o ，c k a , o ，i = l 一2 ， 唯一的区别是对睨加了个上限限制 ( 2 ) 非线性支持向量机 第2 幸统计学习和支持向量机理论 s v m 方法真正有价值的应用是用来解决非线性问题，在线性不可分的问题 上，v a p n i k 等人成功地引入了核空间理论，将低维输入空间的数据通过非线性 映射函数映射到高维属性空间，从而把分类问题转化到高维属性空间进行。大 多数输入空间线性不可分问题在高维空间可以转化为线性可分问题。由于寻优 函数和分类函数都只涉及训练样本之间的内积运算，所以高维特征空间只需进 行内积运算。而这种内积运算又可以通过原输入空间中的核函数的计算实现， 即核函数茁( ，工，) = “) 妒( 工，) 。这一问题的解决，使得s v m 分类器正式成为通 用的分类器之一。 一般地，对于非线性问题，通过非线性映射变换为一个高维空间线性问题 的困难在于这个变换可能非常复杂。但是根据泛函的有关理论，我们没有必要 知道变换的形式，只要核函数x ( t ，膏，) 满足m e r c e r 条件就一定对应某一空间的 内积i l5 1 。现在只要我们采用适当的核函数k ( x j ，x ，) ，就可以实现某一非线性变换 之后的线性分类。这样就避开了高维变化计算问题，使问题大大简化。图2 3 对 此给出二维样本数据的直观示意图。 广国一戆 图2 - 3 样本空间到赢维特征空间的非线性映射 此时，样本空间中判别函数是： 厂c x ，= s z 印 ；量只足c 一，_ ，一a c z t e ， l 支持相tj 这样，就通过核函数和线性s v m 方法解决了非线性s v m 分类问题。 ( 3 ) 核函数 概括起来，核函数方法的主要特征如下： 核函数的计算量与特征空间的维数无关。核函数的引入避免了直接在变换后 的高维特征空间的运算，大大减小了计算量，避免了“维数灾难”。因此，甚至 可以选择一些核函数，使得特征空间的维数为无穷大，以提高模式分类和回归 能力。 无需知道非线性变换函数庐( ) 的形式及参数。原始输入空间进行的核函数计 算实质上是隐式的对应于在非线性变换函数( ) 变换后的高维特征空间的运 算，这样克服了一般的映射方法中非线性函数结构及其参数的确定以及特征空 间维数的限制。 不同的核函数确定了不同的非线性变换函数4 ( o ) 。核函数的形式和参数的变 化会改变特征空间的性质，因而选择不同形式的核函数k 就可以生成不同的支 持向量机。 核函数方法可以和其他算法结合起来，形成多种不同的基于核函数技术的方 法。而且这两部分的设计可以单独进行，并可以为不同的应用选择不同的核函 数和算法。 所有满足m e r c e r 条件的对称函数都可作为核函数。 目前，常用的核函数有以下几种： 线性核函数( l i n e a r ) ：