（电路与系统专业论文）支持向量机方法在脑功能信号分析与识别中的应用研究[电路与系统专业优秀论文].pdf

西北工业大学硕士学位论文摘要 摘要 以核函数为核心的支持向量机( s u p p o r tv o c t o rm a c h i n e ，s v m ) 方法是建 立在统计学习理论的v c 维理论和结构风险最小化( s t r u c m r a l 鼬s k a f i o n ，s r m ) 原则的基础上，根据有限的样本信息在模型的复杂性( 即 对特定训练样本的学习精度) ，和学习能力( 即无错误地识别任意样本的能力) 之间寻求最佳折衷以期获得最好的推广能力。支持向量机由v a p l l i k 和他领导的 实验室小组自2 0 世纪9 0 年代中期提出以来，其算法及应用得到迅速的发展。 本文以脑电信号为研究对象，以支持向量机方法为研究手段，在深入分析 和讨论支持向量机原理与核函数的基础上，分别建立由四种不同核函数构造支 持向量机分类器，实现一定行为动作下脑功能分析与识别，以寻求适合脑功能 特征提取与分类的核函数，探讨支持向量机方法在脑功能分析与识别中应用的 可行性和有效性。 其中，脑功能信号特征参数的获取采用了四种方法，效果总结如下： ( 1 )以实测单导联原始脑电信号时间序列采样点的值作为特征属性值， 在分类识别实验中，以r b f 为核函数的支持向量机分类器的正识率较高。 ( 2 )把单导联特征参数组合成多导联特征参数，进行分类识别实验，结 果表明，多导联脑电信号更能反映脑活动的整体信息。多导联特征的识别效果 更好，可信度更高。 ( 3 )建立灰色模型，进行特征提取，把提取后的特征进行实验，仍是以 r b f 为核函数的支持向量机分类器的识别效果较好。 ( 4 ) 把经灰色模型提取得到的特征参数，进行组合，提高特征参数维数， 再进行实验，正识率有所提高。 文中在m a t l a b 环境下实现了对脑电信号的分析和处理进行了仿真。研究 结果表明，以r b f 为核函数的s v m 分类器，用于实测单导联原始脑电信号特 征的识别，平均正识率达9 0 以上，用于多导联脑电信号特征的识别，正识率 则更高，用于多维灰色特征效果也很好。本文提出的方法是可行有效的，以核 函数为基础的支持向量机以出色的脑电信号特征学习能力为其在生物神经信号 处理中提出了一种新的应用途径。 关键词：支持向量机，脑电信号，灰色模型，多导联，正识率 西北工业大学硕士学位论文摘要 a b s t r a c t n i es u p p o r tv e c t o rm a c h i n ea l g o r i t h mw h i c ht a k i n gt h ek e r n e lf u n c t i o n 船 f o u n d a t i o ni sb a s e do nt h ev cd i m e n s i o nt h e o r yo fs t a t i s t i c a ll e a r n i n ga n dt h e p r i n c i p l eo fs t r u c t u r a l 黜s km i n i m i z a t i o n i tl o o k sf o r w a r dac o m p r o m i s eb e t w e e n t h em o d e lc o m p l e x i t y ( t h el e a r n i n ga c c u r a c yt ot h es p e c i f i e dt r a i n i n gs a m p l e ) a n d l e a r n i n gc a p a b i l i t y ( t h ef a u l t l e s sr e c o g n i a o nt ot h er a n d o ms a m p l e ) a c c o r d i n gt ot h e f i n i t es a m p l ei n f o r m a t i o n s i n c et h es v mw a sp u tf o r w a r db yv a p n i ka n dh i s c o l l e a g u e si nt h em i d d l eo f1 9 9 0 s ，t h ea l g o r i t h ma n da p p l i c a t i o no fs v m h a v eb e e n a c q u i r i n gar a p i dd e v e l o p m e n t i nt h i sp a p e r , w ea n a l y z et h o r o u g h l yt h ep r i n c i p l eo f s v ma n dk e r n e lf u n c t i o na t f i r s t t h e nc o n s t r u c tf o u rk i n d so fs v mc l a s s i f i e r sw i t hf o u rd i f f e r e n tk e r n e l f u n c t i o n st oa n a l y s i sa n d r e c o g n i z et h eb r a i nf u n c t i o n , w h i c hu n d e rd i f f e r e n tk i n d so f b e h a v i o r a f t e rc o m p a r et h ec a p a b i l i t yo f t h ed i f f e r e n tc l a s s i f i e r sw ec o u l df i n do u ta k e r n e lf u n c t i o nw h i c ha d a p tt oe x t r a c ta n dc l a s s i f yb r a i nf u n c t i o n f i n a l l yi no r d e rt o d i s c u s sa n dp r o v et h ef e a s i b i l i t ya n dv a l i d i t yo f t h es v mm e t h o di nt h ea n a l y s i sa n d r e c o g n i t i o no fb r a i nf u n c t i o n a ls i g u a l ，w eu s et h eo r i g i n a le e gs i g n a l sw h i c hh a v e t w ok i n d so fb e h a v i o rt op e r f o r mf o u re x p e r i m e n t t h er e s u l t sa n dc o n c l u s i o na r e 够 f o l l o w s ： ( 1 ) t h es a m p l ev a l u e so ft h eo r i g i n a le e gs i g n a l si nt i m ed o m a i no fs i n g l e c h a n n e la r et a k e na st h ef e a t u r ev a l u e , a n dt h er e s u l ts h o w st h a tt h es v mc l a s s i f i e r b a s e do nr b fk e r n e lf u n c t i o nm a k e so b v i o u sh i g h e rc o r r e c tr a t eo fc l a s s i f i c a t i o n t h a no t h e r s ( 2 ) t kf e a t u r ep a r a m e t e r so fs e v e r a ls i n g l e c h a n n e l sa r ec o m b i n e d 嬲f e a t u r e p a r a m e t e r so fm u l t i - c h a n n e l sf o rt h er e c o g n i t i o n , t h er e s u l ts h o w st h a tf e a t u r e p a r a m e t e r so fm u l t i c h a n n e l sc o n t a i nm o r ei n f o r m a t i o no fe e gs i g n a l sa n dg a i n s b e a e rr e c o g n i t i o na n dh i g h e rr e l i a b i l i t y ( 3 ) t h eg r e ym o d e l sa r ec o n s t r u c t e dt ot h ee x t r a c to ff e a t u r e sw h i c ha r et ob e c l a s s i f i e d 。t h er e s u l t sa l s oi n d i c a t et h a tt h es v mc l a s s i f i e rb a s e do nr b fk e r n e l f u n c t i o nm a k e so b v i o u sh i g h e rc o r r e c tr a t eo f c l a s s i f i c a t i o nt h a no t h e r s ( 4 ) i fw ei n c r e a s et h ed i m e n s i o no ft h ef e a t u r e st h r o u g hc o m b i n et h ee x t r a c t e d f e a t u r ep a r a m e t e r so fg r e ym o d e l s ，t h er a t eo fc o r r e c tc l a s s i f i c a t i o nw i l lb ea l s o i n c r e a s e s i i i 西北工业大学硕士学位论文摘要 a l lt h es i m u l a t i o no fa n a l y z i n ga n dp r o c e s s i n go fe e g s i g n a l sa r ep r o g r a m m e d w i t hm a t l a b t h er e s u l t si n d i c a t et h a tt h ec o r r e c tr e c o g n i t i o nr a t er e a c h e so v e r9 0 p e r c e n tw h e nt h es v mc l a s s i f i e r , w h i c hb a s e do nt h er b fk e r n e lf u n c t i o n ，i su s e di n t h ed a t ao fs i n g l e - c h a n n e lo fo r i g i n a le e g s i g n a lf e a t u r e a n dt h ec o r r e c tr a t ei s m o r eh i g h e rw h e ni ti su s e di nm u l t i c h a n n e la sw e l la si nm u l t i d i m e n s i o no fg r e y m o d e lf e a t u r e t h em e t h o dp r o p o s e di nt h ep a p e ri sr e l i a b l ea n de f f i c i e n t t h es v m b a s e do nk e r n e lf u n c t i o n ，如i t se x c e l l e n tl e a r n i n gc a p a b i l i t yi ne e g f e a t u r e ，e x p l o r e s an e wa p p l i c a t i o na p p r o a c hi nt h eb i o l o g yn e u r a ls i g n a lp r o c e s s i n ga r e a k e y w o r d ：s u p p o r tv e c t o rm a c h i n e ，e e gs i g n a l ，g r e ym o d e l ，m u l t i c h a n n e l ，r a t eo f c o r r e c tr e c o g n i t i o n i v 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位 期间论文工作的知识产权单位属于西北工业大学。学校有权保留并向国家有 关部门或机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学 校可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存和汇编本学位论文。同时本人保证，毕业 后结合学位论文研究课题再撰写的文章一律注明作者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：嫩 功泸3 月7 日 指导教师签名缘衡乡 姗7 年3 月9 日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所呈交的学位 论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文 中已经注明引用的内容和致谢的地方外，本论文不包含任何其他个人或集体 已经公开发表或撰写过的研究成果，不包含本人或他人己申请学位或其它用 途使用过的成果。对本文的研究做出重要贡献的个人和集体均已在文中以 明确方式标明。 本人学位论文与资料若有不实，愿意承担一切相关的法律责任。 学位论文作者签名 b 0 7 年3 月7 日 西北工业大学硕士学位论文 第一章绪论 第一章绪论 1 1 研究背景 2 0 世纪9 0 年代中期，v a p h i k 和他领导的实验室小组提出了基于统计学理 论和结构风险最小化的支持向量机算法【l 】，进一步丰富和发展了统计学习理论， 使它不仅是一种理论分析工具，还是一种可以构造具有多维预测功能的预测学 习算法的工具，把抽象的学习理论能够转化为通用的容易实现的预测算法。 支持向量机根据有限的样本信息在学习模型的复杂性和学习能力之间寻求 最佳折衷，它可以自动寻找对分类有较好区分能力的支持向量，由这些支持向 量的线性组合构成的分类器可以最大化类与类之间的分类间隔【2 】。 支持向量机算法的优越性主要表现在以下几个方面【3 】： ( 1 ) 由于支持向量机是基于结构风险最小化的而不是传统的统计学的经验 风险最小化，由有限样本得到的最小误差能保证对独立的测试集仍保持最小的 误差。 ( 2 ) 支持向量机算法是一个凸二次规划问题，因此局部最优解一定是全局 最优解。 ( 3 ) 支持向量机算法的另一个优点是，核函数的引入使得该算法克服了“维 数灾难”的问题，而且很容易推广到非线性情形。 支持向量机算法的潜在应用价值是十分广泛的，它吸引了国际上众多的知 名学者对此进行研究，近几年该算法得到了巨大的发展和改进，其理论也在不 断地完善。除了在模式识别领域已经有了一些应用，支持向量机还很好地应用 于时间序列分析和回归分析等领域1 4 。在国外，继b e l l 实验室以后，微软研究 院、i b m 等世界著名的研究所、公司和高校开展了对支持向量机的研究，支持 向量机的理论研究和应用日益丰富。 本文工作得到国家自然科学基金( 3 0 4 7 0 4 5 9 ) 资助。 西北工业大学硕士学位论文 第一章绪论 1 2s v m 的发展与现状 v v a p n i k 是支持向量机算法的奠基人，他在上个世纪6 0 年代就开始了统计 学习理论的研究【5 】。 1 9 7 1 年，vv a p v i k 和ac h e r v o n i n k i s 在“t h en e c e s s a r ya n ds u f f i c i e n t c o n d i t i o n sf o rt h eu n i f o r m sc o n v e r g e n c eo f a v e r a g e st oe x p e c t e dv a l u e s ”文章中 提出支持向量机的一个重要的理论基础v c ( v a p v i k ，c h e r v o n i n k i s ) 维理论 嘲。 1 9 8 2 年，vv a p n i k 在“e s t i m a t i o no fd e p e n d e n c e sb a s e do ne m p i r i c a ld a t a ” 一书中提出了结构风险最小化理论 r l ，为s v m 奠定了坚实的理论基础。 1 9 9 2 年，b b o s c r , l c - u y o n 和v v a p n i k 在“a t r a i n i n g a l g o r i t h m f o r o p t i m a l m a r g i nc l a s s i f i e r s ”一书中，提出了最优边界分类别酊，由此形成了支持向量机 的雏形，支持向量机的提出被认为是机器学习的一个重要里程碑。 1 9 9 3 年，c o m e s 和vv a p n i k 在“t h es o f tm a r g i nc l a s s i f i e r ”一文中，进一 步讨论了非线性最优边界的分类问题。 1 9 9 5 年，v v a p n i k 在“t h e n a t u r e o f s t a t i s t i c a l l e a r n i n g t h e o r y ”一书中， 完整地描述了支持向量机分类算法。 1 9 9 7 年，vv a p n i k 、s o k o w i c h 和s m o l a 发表的“s u p p o r tv e c t o rm e t h o df o r f u n c t i o na p p r o x i m a t i o n , r e g r e s s i o ne s t i m a t i o n , a n ds i g n a lp r o c e s s i n g ”一文中， 详细的介绍了基于支持向量机方法的回归算法和信号处理方法 1 9 9 8 年，s m o l a 在他的博士论文中详细研究了支持向量机中各种核的机理 和应用，为进一步完善支持向量机的非线性算法做出了重要的贡献p j 。 2 0 0 0 年p l a t t 提出了快速支持向量机的算法，为支持向量的应用奠定了基 础。 目前，国际上对统计学习理论及支持向量机算法的讨论和进一步研究逐渐 广泛，虽然我国国内在最近几年也在此领域开展了广泛的研究，但大多还是注 重于支持向量机的应用研究。因此我们需要及时学习掌握有关理论，开展有效 的理论研究工作，使我们在这一有着重要意义的领域中能够尽快赶上国际先进 水平 2 西北工业大学硕士学位论文第一章绪论 1 3 选题的意义 支持向量机是一种新的非常有发展前景的分类技术。它建立在统计学习理 论的v c 维理论和结构风险最小化原理基础之上的。它克服了神经网络分类和 传统统计分类法的许多缺点，具备较高的泛化能力。基于传统的统计学的机器 学习方法，理论体系十分完善，但由于其理论基础的问题，这些学习方法在解 决小样本问题时的表现不能令人满意。v a p n i k 等人提出的统计学习理论是专门 研究小样本机器学习问题的基础理论，在此基础上v a p n i k 又进一步提出了支持 向量机学习算法，它在解决基于小样本的一些实际问题时表现出的性能令人振 奋，但是，作为一种崭新的机器学习算法，s v m 自身难免会存在一些局限性， 其性能还有待进一步提高。s v m 算法的优越性主要体现在它以结构风险最小化 作为泛化性的界，然而，这个泛化性的界是最坏情况下的界，也就是说这个界 比较宽泛，如何寻找一个更紧的界是一个值得研究的问题。支持向量机算法的 两个核心概念是核函数和v c 维，但是，目前对于一个具体的学习机器的v c 维的度量尚未有通用的方法：对一个具体问题，如何选择一个适当的核函数也 没有理论依据，这仍然是一个未彻底解决的问题。 支持向量机算法有着坚实的理论基础，在解决高维空间中的小样本学习问 题时显示了极大的优越性，国内外众多学者对支持向量机的研究方兴未艾，我 们充分相信它是一项很有前途的新的学习方法。研究支持向量机这样优秀的学 习算法是一件十分有意义的事情，对其进行改进并且拓展其应用领域更是一项 极具挑战性的工作。 1 4 论文主要工作 ( 1 ) 学习统计学习理论和支持向量机理论的相关知识，掌握经验风险最 小化、v c 维、推广性的界、支持向量和核函数等基本概念，研究支持向量机 的基本分类算法、块算法和分解算法。 ( 2 ) 分析正常人在睁眼和闭眼状态下的脑电信号的特点，分别构造单导联 脑电信号特征和多导联脑电信号特征，并用支持向量机分类器进行识别，分析 实验结果，寻找适合脑电信号特征的核函数，并对比分析单导联脑电信号特征 和多导联脑电信号特征识别结果。 ( 3 ) 建立灰色模型，对正常人在睁眼和闭眼状态下的脑电信号进行特征提 西北工业大学硕士学位论文 第一章绪论 取，把提取后的两维特征代入到支持向量机分类器中进行训练和识别，寻找识 别效果较好的核函数；把上述两维特征组合成八维、十六维等多维特征代入到 分类器中再进行实验，分析灰色脑电信号从两维到多维变化，对识别结果的影 响，寻找适合灰色特征参数识别的分类器的核函数，探索提高正识率的新方法。 4 西北工业大学硕士学位论文第二章常用的分类识别方法概述 第二章常用的分类识别方法概述 分类器的构造方法有统计方法、机器学习方法、神经网络方法等等。统计 方法包括贝叶斯法和非参数法( 近邻学习或基于事例的学习) 。机器学习方法包 括决策树法和规则归纳法。神经网络方法主要是b p 算法，b p 网络的全称为 b a c k - p r o p a g a t i o nn e t w o r k ，即反向传播网络，它是利用非线性可微函数进行权 值训练的多层网络，包含了神经网络理论中最为精华的部分，由于其结构简单、 可塑性强，故在函数逼近、模式识别、信息分类及数据压缩等领域得到了广泛 的应用。基于统计学习理论的支持向量机是最近发展起来的一种通用学习机器， 尤其适合于解决分类问题。 2 1 分类识别的基本概念口1 我们把输入数据称训练集( t r a i n i n gs e t ) ，它由一条条的数据库记录组成。 每一条记录包含若干条属性( a t t r i b u t e ) ，组成一个特征向量。训练集的每条记录 还有一个特定的类标签( c l a s sl a b e l ) 与之对应。该类标签是由系统输入的， 通常是以往的一些经验数据。一个具体样本的形式表示为样本向量： o ，x ：，而，力，这里的x ，表示属性值，y 表示类别。 分类的目的是分析输入数据，根据训练集中的数据表现出来的特性，为每 一个类找到一种准确的描述或者模型。这种描述常用一个函数表示。由此生成 的模型用来对测试数据进行分类。尽管这些测试数据的类标签是未知的，但是 可以根据模型预测这些新数据所属的类。这种预测通常带有一定错误。通过分 类也可以对数据中的每一个类有更好的理解，即通过模型获得了对这个类的认 知。 分类器性能的好坏，由评价尺度来测得。有三种分类器评价或比较尺度； ( 1 ) 预测准确度。预测准确度是用得最多的一种比较尺度，特别是对于预 测型分类任务。 ( 2 ) 计算复杂度。计算复杂度依赖于具体的实现细节和硬件环境，在数据 挖掘中，由于操作对象是海量数据库，因此空间和时间的复杂度问题将是非常 重要的一个环节。 ( 3 ) 模型描述的简洁度。对于描述型的分类任务，模型描述越简洁越受欢 迎。采用规则表示的分类器构造法得到的分类器相对简单。 西北工业大学硕士学位论文第二章常用的分类识别方法概述 预测( p r e d i c t i o n ) 用来构造和使用模型评估无标号样本类，或评估样本可能 具有的属性值或值区间。根据这个定义，分类和回归是两类主要预测问题，分 类是预测离散值和标号值，而回归用于预测连续值或有序值。但是通常把用预 测法预测类标号定义为分类，用预测法预测连续值为预测。回归分析是一种常 用的预测技术。 回归统计技术主要用于连续值的预测，是一种基于经验数据估计函数依赖 关系的方法，包括线性回归、多元回归和非线性回归。线性回归是最简单的回 归形式。一元线性回归将一个随机变量】，( 响应变量) 视为另一个随机变量z ( 预 测变量) 的线性函数，表示为： y = a 七8 x( 2 1 1 ) 线性回归的任务在于用经验数据估计出参数a 和卢的值，a 和称为回归 系数，从而可以根据变量x 的值预测变量】，的值，】，是一个连续型的实数。求 解回归系数最常用的方法是最小二乘法。给定l 个样本： ( 五，y 1 ) ，( x 2 ，y 2 ) ，( x l ，乃) ，回归系数a 和可以用下式计算 = i l 一- ) ( _ y ，一_ ) 。 一- ) 口= y - , s x ( 2 1 - 2 ) 其中；是而，x ：，而的平均值，7 a y l ，y 2 ，y l 的平均值。 多元回归是线性回归的扩展，涉及多个预测变量。响应变量y 是一个多维 特征向量的函数。如果响应变量与预测变量之间的函数依赖关系是非线性的称 为非线性回归，比如多项式回归。通过变量变换可以将非线性回归转换成线性 回归。 2 2 贝叶斯方法 贝叶斯分类器是一种典型的基于统计方法的分类模型贝叶斯决策理论是 处理分类问题的基本理论，它把分类问题看作是一种不确定的决策问题。决策 的依据是分类错误率最小或者损失风险最小【1 0 1 。贝叶斯推理提供了推理的一种 概率手段。它基于如下的假定，即待考查的量遵循某概率分布，且可根据这些 概率及已观察到的数据进行推理，以作出最优的决策。贝叶斯推理对机器学习 6 西北工业大学硕士学位论文 第二章常用的分类识别方法概述 十分重要，因为它为衡量多个假设的置信度提供了定量的方法。贝叶斯推理为 直接操作概率的学习算法提供了基础，而且它也为其它算法的分析提供了理论 框架 贝叶斯学习方法的特性包括： ( 1 ) 观察到的每个训练样例可以增量地降低或升高某假设的估计概率。这 提供了一种比其他算法更合理的学习途径。其他算法会在某个假设与任一样例 不一致时完全去掉该假设。 ( 2 ) 先验知识可以与观察数据一起决定假设的最终概率。 ( 3 ) 贝叶斯方法可允许假设做出不确定性的预测。 ( 4 ) 新的实例分类可由多个假设一起作出预测，用它们的概率来加权。 ( 5 ) 即使在贝叶斯方法计算复杂度较高时，它们仍可做为一个最优的决策 标准来衡量其他方法。 采用贝叶斯分类器必须满足以下两个条件： ( 1 ) 分类的类别数是一定的； ( 2 ) 各类类别总体的概率分布是已知的。 一般来说，只有独立性假设成立的时候才能获得精度最优的分类效率；或者 在属性相关性较小的情况下才能获得近似最优的分类效果，其算法不需要进行结 构学习，建立网络结构非常简单，实验结果和实践证明，它的分类效果比较好。但 在实际的应用领域中，各个属性相互独立的假设很难成, - r t l l 】，是进一步提高其精 度的主要障碍之一。 2 3 神经网络方法 人工神经网络( a r t i f i e i ain e u r a ln e t w o r k ，a n n ) c 1 2 】指的是一类计算模型， 是生物神经网络的电子模拟，由于它的工作原理模仿了人类大脑的某些工作机 制，因此得名。严格地讲，应称为神经网络计算。它的主要用途是，可以作为 联想记忆器( a s s o c i a t e dm e m o r y ) ，或分类器( c l a s s i f i e r ) 、聚类器( e l u s t e r ) 以及优化 计算( o p t i m i z a t i o n ) 。大脑之所以能够处理极其复杂的分析、推理工作，一方面 是由于其神经元个数的庞大，另一方面还在于神经元能够对输入信号进行非线 性处理。“人工神经网络”是在对人脑组织结构和运行机制的认识理解基础之上 7 西北工业大学硕士学位论文第二章常用的分类识别方法概述 模拟其结构和智能行为的一种工程系统。早在2 0 世纪4 0 年代初期，心理学家 m c u l l o c h 、数学家p i t t s 就提出了人工神经网络的m p ( m c u l l o c h 、p i t t s ) 模型， 从此开创了神经科学理论的研究时代，而r o s e n b l a t t 提出了第一个学习机器的 模型，称作感知器，这标志着对学习过程进行数学研究的开始。其后，w i d o w 和h o p f i e l d 等学者先后提出了感知器模型，使得人工神经网络研究得以蓬勃发 展1 1 3 】。b p ( b a c k p r o p a g a t i o n ) 算法的提出更使人们重新研究神经网络达到了高 潮。 神经网络的主要优势有非线性、高精度、误差容忍性和良好的推广能力， 这是其被许多领域接受并被广泛使用，比如模式识别、数据挖掘、医学数据处 理等。早在2 0 世纪5 0 年代，研究人员就开始模拟动物神经系统的某些功能， 他们采用软件或硬件的办法，对原始特征空间进行非线性交换，产生一个新的 样本空间，使得变换后的特征线性可分。同传统统计方法相比，其分类器是与 概率分布无关的。 对作为分类器的问题的研究，到目前为止，至少存在如下三种主要方法【l4 1 。 一是基于搜索机制的算法( s e a r c hb a s e da l g o r i t h m s ) ，最具代表性的是前向网络b p ( b a c k - p r o p a g a t i o n ) 学习算法和模拟退火算法；二是基于规划的学习方法 ( p r o g r a m m i n gb a s e da l g o r i t h m s ) ，最有代表性的是支持向量机( s u p p o r tv e c t o r m a c h i n e s ) 方法；三是构造性的学习方法( c o n s t r u c t i v ea l g o r i t h m s ) ，如覆盖算法 ( c o v e r i n ga l g o r i t h m s ) 。 b p 网络建模特点【”】： 神经网络具有很强的逼近能力，尤其是反向传播( b a c k - p r o p a g a t i o n ，b p ) 网 络和径向基函数( r a d i a lb a s i sf u n c t i o n ，r bf ) 网络具有逼近任何非线性函数 的能力。它们被广泛用于不确定性非线性系统模型逼近中。用神经网络建模， 可将过程或对象看成一个“黑箱”，只要给定输入输出数据，就可以建立相应 的模型，不必象传统的系统辩识那样把过程或对象分为线性系统还是非线性系 统，也不必对过程或对象内部进行分析，也就是我们可在宏观上进行模式分类， 这对未知过程的系统辩识是十分方便的。与其他方法相比，神经网络有较高的 精度并且容易使用，无需离散化和其它方面处理。常用的神经网络主要有：基 于后向传播算法的多层感知器神经网络、径向基神经网络和似然神经网络。人 工神经网络的主要特点在于其具有信息处理的并行性、自组织和自适应性、具 有很强的学习能力和联想功能以及容错性能等，在解决一些复杂的模式识别问 题中显示出独特的优势。 西北工业大学硕士学位论文第二章常用的分类识别方法概述 ( 1 ) 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。 在建模过程中的许多问题正是具有高度的非线性。 ( 2 ) 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这 使它具有很强的容错性和很快的处理速度。 ( 3 ) 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中 提取出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值 应用于一般情形的能力。神经网络的学习也可以在线进行。 ( 4 ) 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此 它可以利用传统的工程技术( 数值运算) 和人工智能技术( 符号处理) 。 ( 5 ) 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量 系统与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问 题。 在b p 网络中，隐层节点数的选择非常重要，它不仅对建立的神经网络模 型的性能影响很大，而且是训练时出现“过拟合”的直接原因，但是目前理论上 还没有一种科学的和普遍的确定方法。目前多数文献中提出的确定隐层节点数 的计算公式都是针对训练样本任意多的情况，而且多数是针对最不利的情况， 一般工程实践中很难满足，不宜采用。事实上，各种计算公式得到的隐层节点 数有时相差几倍甚至上百倍。为尽可能避免训练时出现“过拟合”现象，保证足 够高的网络性能和泛化能力，确定隐层节点数的最基本原则是：在满足精度要 求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。研究表明，隐 层节点数不仅与输入输出层的节点数有关，更与需解决的问题的复杂程度和转 换函数的型式以及样本数据的特性等因素有关1 1 6 1 。 人工神经网络研究的局限性 ( 1 ) a n n 研究受到脑科学研究成果的限制。 ( 2 ) a n n 缺少一个完整、成熟的理论体系。 ( 3 ) a n n 研究带有浓厚的策略和经验色彩。 ( 4 ) a n n 与传统技术的接口不成熟。 2 3s v m 的优点 支持向量机方法是建立在统计学习理论的v c 维理论和结构风险最小原理 基础上的，根据有限的样本信息在模型的复杂性( 即对特定训练样本的学习精 9 西北工业大学硕士学位论文第二章常用的分类识别方法概述 度，a c c u r a c y ) 和学习能力( 即无错误地识别任意样本的能力) 之间寻求最佳 折衷，以期获得最好的推广能力( g e n e r a l i z a t i o n a b i l i t y ) 。它的主要优点利1 7 】： ( 1 ) 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而 不仅仅是样本数趋于无穷大时的最优值； ( 2 ) 该算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将 是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； ( 3 ) 该算法将实际问题通过非线性变换转换到高维的特征空间( f e a t u r e s p a c e ) ，在高维空间中构造线性判别函数来实现原空间中的非线性问题，这种 特殊性质能保证机器有较好的推广能力； ( 4 ) 同时它巧妙地解决了维数灾难问题，其算法复杂度与样本维数无关： 支持向量机能够自动识别出训练集中的一个子集，此子集基本上代表训练集中 的全部信息，也就是说只有这个子集对分类及回归问题的求解起作用，称之为 支持向量( s u p p o r tv e c t o r ) 。 ( 5 ) 在s v m 方法中，只要定义不同的内积函数，就可以实现多项式逼近、 贝叶斯分类器、径向基函数( r a d i a lb a s i cf u n c t i o n ) 方法、多层感知器网络等许多 现有学习算法，非常方便。 2 4 支持向量机与人工神经网络的比较“町 支持向量机与人工神经网络是目前最流行的学习机之一，人工神经网络方 法避免了从理论上获得样本输入输出值之间的内在关系，直接从观测数据( i j i i 练样本) 来求模式分类器的输入输出依赖关系。但是由于从理论上来说，人工 神经网络方法是经验风险最小化原则的具体实现，而从期望风险最小化到经验 风险最小化并没有可靠的理论依据，只是直观上合理的想当然做法，而经验风 险最小并不一定意味着期望风险最小，因此在实际应用中，神经网络不可避免 的存在着一些问题： ( 1 ) 网络结构的优化困难，并且网络的权系数的调整方法存在局限性； ( 2 ) 神经网络易陷入局部最优，神经网络训练的质量没有保证； ( 3 ) 且前尚无一种理论能定量的分析神经网络的训练过程的收敛速度，及 收敛速度的决定条件，并对其加以控制： ( 4 ) 由于神经网络的优化目标是基于经验风险最小化的，因此不能保证网 络具有很好的泛化能力。 尽管存在上述问题，但在实际应用中由于设计者在设计的过程中利用自己 1 0 西北工业大学硕士学位论文第二章常用的分类识别方法概述 的经验，不断的改善网络的结构，往往也能获得很好的效果，因此神经网络系 统的优劣是因人而异。 支持向量机是以统计学习理论为基础的，因而具有严格的理论和数学基础， 可以不像神经网络的结构设计需要设计者具有丰富的经验知识和先验知识，支 持向量机与神经网络的学习方法相比，支持向量机具有一下特点： ( 1 ) 支持向量机是基于结构最小化( s r m , s t r u c a 】r a lr i s km i n i m i z a t i o n ) 原 则，保证学习机器具有良好的泛化能力； ( 2 ) 通过引入核函数，将输入空间中的非线性问题映射到高维特征空间中 在高维空间中构造线性函数判别； ( 3 ) 支持向量机是以统计学习理论为基础的，主要针对小样本情况，且最 优解是基于有限的样本信息，而不是样本趋于无穷大时的最优解； ( 4 ) 算法最终转化为二次规划中的凸优化问题，因而可保证算法的全局最 优性，避免了神经网络无法解决的局部最小问题。 通过前面的对比可以发现，支持向量机具有较强的逼近能力和泛化能力， 支持向量机因为具有这些优越的性能，正在被越来越多的研究领域的人所重视， 具有很好的应用前景。 西北工业大学硕士学位论文第三章支持向量机理论、方法及应用 第三章支持向量机理论、方法及应用 3 1 支持向量机的基本方法 支持向量机简称s v m ( s u p p o r tv e c t o rm a c h i n e s ) ，是统计学习理论中最新 兴的内容，也是最实用的部分。其核心内容是在1 9 9 2 到1 9 9 5 年间提出的，目 前仍处在不断发展阶段。 统计学习理论的核心内容就是研究小样本统计估计和预测的理论，主要内 容包括四个方面： ( 1 ) 经验风险最小化准则下统计学习一致性的条件； ( 2 ) 在这些条件下关于统计学习方法推广性的界的结论； ( 3 ) 在界的基础上建立的小样本归纳推理准则； ( 4 ) 实现新的准则的实现方法( 算法) 。 其中，最有指导性的理论结果是推广性的界，与此相关的一个核心概念是 v c 维。 3 1 1v c 维 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列 有关函数集学习性能的指标，其中最重要的就是v c 纠1 9 l 。模式识别方法中v c 维的直观定义是：对一个指示函数集，如果存在h 个样本能够被函数集中的函 数按所有可能的种形式分开，则称函数集能够把h 个样本打散，函数集的v c 维就是它能打散的最大样本数目h 。若对任意数目的样本都有函数将它们打散， 则函数集的v c 维就是无穷大。有界实函数的v c 维可以通过用一定的阈值将 它转化成指示函数来定义。 西北工业大学硕士学位论文第三章支持向量机理论、方法及应用 f t 讲 八 t ( a )( b ) 图3 - i v c 维示意图 v c 维反应了函数集的学习能力，v c 维越大则学习机器越复杂( 容量越大) 。 遗憾的是，目前还没有通用的关于v c 维计算的理论，只对一些特殊的函数集 知道其v c 维，比如在行维实数空间中线性分类器和线性实函数的v c 维是 肝+ 1 。对于一些比较复杂的学习机器( 如神经网络) ，其v c 维除了与函数集有 关外，还受学习算法等其它因素的影响，其确定性更加困难。对于给定的学习 函数集，如何计算其v c 维是当前统计学习理论中有待研究的一个问题。 图3 - l ( a ) d p3 个样本能完全被包含三个分类超平面的分开，所以该函数集的 v c 维等于3 ，而图3 - l ( b ) 中有四个样本没有完全分开，只能分成两类样木，所 以该函数集v c 维是2 。 3 1 2 推广性的界 统计学习理论系统的研究了对于各种类型的函数集，经验风险和实际风险 之间的关系，即推广性的界【2 0 】。关于两类分类问题，结论是：对于指示函数集 中的所有函数( 包括使经验风险最小化的函数) ，经验风险月。( 叻和实际风险 r ( w ) 之间的概率满足如下关系： 酬胄唧( w ) + h ( 1 n ( 2 n h ) + l 匦) - l n ( r l 4 ) ( 3 - 1 - 1 ) 其中h 是函数集的v c 维，甩是样本个数。 西北工业大学硕士学位论文 第三章支持向量机理论、方法及应用 这一结论从理论上说明了学习机器的实际风险是由两部分组成的：一是经 验风险( 训练误差) ，另一部分称作置信范围，它和学习机器的v c 维及训练样本 数有关。可以简单的表示为： r ( 们s 以。( w ) + 4 ( h l n ) ( 3 1 - 2 ) 它表明，在有限样木训练条件下，学习机器的v c 维越高，则置信范围越 大，导致真实风险与经验风险之间可能的差别越大。这就是为什么会出现过学 习的现象的原因。机器学习过程不但要使经验风险最小，还要使v c 维尽量小， 以缩小置信范围，才能取得较小的实际风险，即对未来有较好的推广性。 需要指出，