（电路与系统专业论文）加权支持向量机在可靠性预测中的应用[电路与系统专业优秀论文].pdf

摘要 摘要 随着现代工业的不断发展，人们对产品的可靠性要求越来越高。而对工业产 品可靠性的精确预测可以及早发现产品在使用过程中可能产生的一系列问题，从 而可以使人们更好地把握产品使用寿命。因此，可靠性预测在现代工程系统中占 有非常重要的地位。 传统的可靠性预测方法主要包括寿命分布模型、故障树分析、蒙特卡罗模型 和人工神经网络等，这些模型在非线性回归方面已经取得了很好的应用。特别是 神经网络由于在样本拟合方面能够达到较高的精度，已成为国内外学者研究的一 个重要领域，并得到了众多改进的模型。但是，神经网络在其自身的理论方面仍 然存在着一些缺陷，主要在于神经网络采用经验风险最小化原则，往往造成“过 拟合，使得训练机器缺乏泛化能力；同时，对神经网络的训练需要大量的样本数 据，而现实当中样本数一般都是有限的。因此，在样本数比较少的情况下，基于 神经网络的模型往往无法得到满意的预测精度。 支持向量机是9 0 年代初由v a p n i k 等人利用统计学习原理提出的一种新的机 器学习方法，最初主要用于模式识别问题。随着s 不敏感损失函数的引入，支持 向量机已推广到非线性系统的回归估计，并在解决小样本情况下的回归方面展现 了良好的学习性能。支持向量机以结构风险最小化为准则，在对数据的拟合方面 既能达到满意的精度，又有比较好的泛化能力。另外，支持向量机的求解最后转 化成二次规划问题的求解，因此支持向量机的解是唯一的也是全局最优解。 随着人们对支持向量机理论研究的深入，一些新的支持向量机模型被不断提 出。在可靠性的预测当中，不同时间的样本数据对预测结果的影响不同。近期的 样本数据对预测结果的影响要高于早期样本数据对预测结果的影响。基于可靠性 预测这一特性，本文采用支持向量机的一种新模型加权支持向量机对系统可 靠性进行建模和预测。与标准支持向量机对所有样本实施相同的惩罚参数不同， 加权支持向量机通过对不同时期的样本实施不同的惩罚参数，从而能显著提高近 期样本在结果预测中所占比重。同时，通过遗传算法对加权支持向量机的相关参 数进行优化，进一步提高了加权支持向量机的预测精度。对结果均方差的分析显 示，加权支持向量机的预测精度优于人工神经网络和标准支持向量机模型。 关键词：可靠性预测，神经网络，支持向量机，加权支持向量机，遗传算法 a b s t r a c t a b s t r a c t a st h ed e v e l o p i n go fm o d e r ni n d u s t r y , t h er e l i a b i l i t yo fp r o d u c t sh a sb e c o m e m o r ea n dm o r ei m p o r t a n t ap r e c i s er e l i a b i l i t yp r e d i c t i o no fa ni n d u s t r i a lm a n u f a c t u r e c a nh e l pd i s c o v e ras e r i e so fp r o b l e m st h a tm a yb ef o u n dd u r i n gi t sl i f e t i m ea ss o o na s p o s s i b l e ，w h i c hm a yl e a dt oa ne a s i e rc o n t r o lt ot h el i f e c y c l e t h e r e f o r e ，t h er e s e a r c h f o r t h ep r e c i s er e l i a b i l i t yp r e d i c t i o ni ss i g n i f i c a n ti nm o d e r ns y s t e me n g i n e e r i n g t r a d i t i o n a lf u n c t i o n si nr e l i a b i l i t yp r e d i c t i o na r em a i n l yc o n s t i t u t e do ft h em o d e l s t h o s eh a v ea l r e a d yg o te f f i c i e n ti m p l e m e n t a t i o n si nt h ef i e l do fn o n l i n e a rr e g r e s s i o n ， i n c l u d i n gt h el i f e c y c l ed i s t r i b u t i o nm o d e l ，t h ef a u l tt r e ea n a l y s i s ( f t a ) ，t h em o n t e c a r l om o d e la n dt h ea r t i f i c i a ln e u r a ln e t w o r k ( a n n ) ，e ta 1 t h ea n n ，w h i c hm a yb e e s p e c i a l l ym e n t i o n e d ，h a sb e c o m ea ni m p o r t a n tf i e l dt h a ta b s o r b sg l o b a lr e s e a r c h e r s a t t e n t i o n sf o ri t sg r e a tp r e c i s i o no fs a m p l i n gf i t ，a n dt h u sh a sg o tm a n yi m p r o v e d m o d e l s h o w e v e r , t h ea n ns t i l lr e m a i n ss o m el i m i t a t i o n si ni t so w nt h e o r y t h e p r i n c i p l eo fm i n i m i z i n gt h ee m p i r i c a lr i s k ，w h i c hl e a d st oa n “o v e r - f i t t h a tl i m i t st h e a b i l i t yo fg e n e r a l i z a t i o no ft r a i n i n gm a c h i n e ，i st h em a i no n e o nt h eo t h e rh a n d ， t r a i n i n gf o ra n n n e e d sal o to fs a m p l e sw h i l et h es a m p l e si nar e a lw o r l dm a y u s u a l l y m e e tal i m i t s o ，i nm o s ts i t u a t i o n s ，t h e r e sn os a t i s f y i n gp r e c i s i o nf o rp r e d i c t i o ni na n a n nw i t h o u te n o u g hs a m p l e s s u p p o r tv e c t o rm a c h i n e ( s v m ) ，w h i c hi sm a i n l yu s e di np a t t e r nr e c o g n i t i o n p r o b l e m sa tt h eb e g i n n i n g ，i saf r e s hm a c h i n es t u d ym e t h o dp u tf o r w a r db yv a p n i k u s i n gs t a t i s t i c sp r i n c i p l e si ne a r l y19 9 0 s a st h ei m p o r to f i n s e n s i t i v el o s sf u n c t i o n ， s v mh a sa l r e a d yb e e ne x t e n d e di nt h er e g r e s s i o ne s t i m a t i o no fn o n l i n e a rs y s t e m s ，a n d h a sr e p r e s e n t e di t sg o o ds t u d ya b i l i t yi nr e g r e s s i o nu n d e rt h es i t u a t i o no fs o l v i n gs m a l l s a m p l e s v mm a k e sm i n i m i z i n go fs t r u c t u r er i s ka s i t s c r i t e r i a ，a n dg e t sb o t h s a t i s f y i n gp r e c i s i o na n dg r e a te x t e n d i n ga b i l i t yi nd a t af i t t i n g i na d d i t i o n ，t h es o l u t i o n s o fs v mt r a n s f o r mt ot h es o l u t i o n so fq u a d r a t i cp r o g r a m m i n gp r o b l e m sa tl a s t s v mi s t h u st h eo n l ys o l u t i o na n dt h eg l o b a lo p t i m a ls o l u t i o nt o o a sp e o p l e si n d e p t hs t u d y i n go fs v m t h e o r y , n e ws v m sw e r eb e i n gb u i l t i nt h e p r e d i c t i o no fr e l i a b i l i t y , d a t as a m p l e di nd i f f e r e n tt i m em a d ed i f f e r e n te f f e c ti nt h e i i a b s t r a c t r e s u l to f p r e d i c t i o n r e c e n td a t aa f f e c t e dt h er e s u l tm o r et h a nt h ee a r l i e rd a t a b a s e do n t h ev e r yc h a r a c t e r i s t i co fr e l i a b i l i t yp r e d i c t i o n ，t h ep a p e r su s e dan e ws v mm o d e l c a l l e dw e i g h t e ds v m ( w s v m ) t om o d e la n dp r e d i c tt h es y s t e mr e l i a b i l i t y d i f f e r e n t f r o mt h et r a d i t i o n a ls v m s g i v i n gs a m ep u n i s hp a r a m e t e r st oa l lt h es a m p l e s ，w s v m g a v ed i f f e r e n tp u n i s hp a r a m e t e r st ot h es a m p l e so fd i f f e r e n tp e r i o d s t h e r e b y , a s i g n i f i c a n t l yi n c r e a s ei nt h ep r o p o r t i o no fr e c e n ts a m p l e st o o ki nt h ep r e d i c t i o nw a s m a d e a tt h es a n l et i m e ，a l lo p t i m i z a t i o nt or e l a t i v ep a r a m e t e r so fw s v mt h r o u g h g e n e t i ca l g o r i t h mm a d eaf u r t h e ri m p r o v e m e n tt ot h ep r e d i c t i o na c c u r a c yo fw s v m t h ea n a l y s i st ot h em e a ns q u a r ed e v i a t i o ns h o w e db st h ec o n c l u s i o n , t h a tt h e p r e d i c t i o na c c u r a c yo f w s v m w a sb e t t e rt h a nt h ea n na n dt r a d i t i o n a ls v mm o d e l s k e y w o r d ：r e l i a b i l i t yp r e d i c t i o n ，n e u t r a ln e t w o r k ，s u p p o r tv e c t o rm a c h i n e ，w e i g h t e d s u p p o r tv e c t o rm a c h i n e ，g e n e r i ca l g o r i t h m i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：至众日期：c j _ s 年石月2 目 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：量金导师签名：揣破 e l 期：) 吣毫年f 月1 日 第一章绪论 1 1 问题背景 第一章绪论弟一早三百t 匕 制造业是发展国家经济，创造社会财富的重要产业，发展制造业是把知识和 技术创新变成强大市场竞争力产品的最基本、最重要的途径。制造业作为国民经 济的基础产业，其发达程度体现了一个国家科学技术和生产力的发展水平。而在 制造业当中，产品的可靠性对企业的生产具有十分重要的影响。可靠性良好的产 品不仅能够获得市场对企业的认知，同时也有利于企业更好地把握产品的使用周 期和维护计划的制定，避免由于产品事故所造成的重大损失。传统的制造过程往 往仅在产品的设计阶段对其进行评估，而忽视了产品在使用过程中由于环境的变 化可能带来的一些问题。当产品在使用过程中出现问题时，往往没有相应的应急 措施进行补救，从而造成人力和物力的重大损失，增加了用户在产品使用当中的 风险。由此可见，对产品的可靠性预测在产品维护当中具有非常重要的作用。 可靠性预测是为了评估产品( 包括系统、设备、零件) 在给定条件下的可靠 性而进行的工作。它根据组成系统的元件、部件和分系统可靠性来推测系统的可 靠性。这是一个由局部到整体、由小到大、由下到上的一种综合的过程。它是从 过去产品的失效数据调查或进行模拟可靠性试验所得的数据，通过统计分析找出 它们的统计规律，然后利用这些统计规律和参数对相同的产品在相同的工作条件 下的可靠性进行评估。 随着现代工业技术水平的不断提高以及计算机在生产当中的普遍应用，对产 品可靠性的精确预测成为可能。可靠性预测的主要目的是评价量身定制的设计方 案能否满足在规定条件下，规定的可靠性需求、比较多种可供选择的设计解决方 案，识别和消除潜在的可靠性问题、调整达到规定可靠性需求的过程。因此，可 靠性预测是全面设计评估过程中的一项基本工作。虽然预测过程本身并不能直接 提高一个系统的可靠性，但是它所产生的价值在于建立起一个基本准则，用来对 影响可靠性设计的途径进行选择。由于可靠性建模和预测在工业生产当中扮演愈 来愈为重要的角色，因此许多学者都积极投身于这一领域的研究，并且得到了丰 硕的成果。 电子科技大学硕十学位论文 1 2 研究的现状及存在的问题 1 2 1 研究现状 可靠性作为一门独立的学科已经有4 0 多年的历史，其主要理论之一的概率论 早在1 7 世纪初就逐步确立，另一个主要理论数理统计在2 0 世纪3 0 年代初期也得 了迅速发展。作为与工程技术的结合，在三、四十年代提出了机械维修概率、长 途电话强度的概率分布、更新理论、试件疲劳与极限理论的关系；除此之外，1 9 3 9 年瑞典人威布尔为了描述材料的疲劳强度而提出了威布尔分布，后来成为可靠性 最常用的分布之一。 自二十世纪六十年代以来，随着世界经济增长步伐的加快，可靠性技术也得 到了全面、迅速地发展。主要表现在世界各国不断制定、修订了一系列有关可靠 性的军标、国标和国际标准，包括可靠性管理、试验、预计、设计、维修等内容； 成立了可靠性研究中心；深入地进行了可靠性基础理论、工程方法的研究；开发 了加速寿命试验、快速筛选试验这两种更有效的试验方法【l 】。不仅如此，在可靠性 建模方面也得了较快的发展，针对复杂系统的可靠性建模方法越来越多，也越来 越精确。已经从经典的静态建模技术如r b d ( 可靠性框图) 、f t ( 故障树) 、b d d ( - 元决策图) ，到近代的动态建模技术女h m a r k o v 模型、p e t r i 网、g o 流模型等，再到现 在的仿真模型、可靠性与性能一体化模型。 传统的可靠性静态模型，考虑的是系统任务行为不随时间变化的产品，主要 包括以下三类： 1 可靠性框图及网络可靠性模型。i m b 即可靠性框图是一种最基本、最早被设 计出来的可靠性模型( 胡昌寿，1 9 8 8 ) ，以图形化的方式描述系统和组成单元之间的 故障逻辑关系，直观地反映了系统的功能构成。n r 即网络可靠性模型( c a n c e l a ， 2 0 0 3 ) 是在r d b 基础上于近几年发展起来的用于信息网络的可靠性建模技术r d b 和n r 具有图形简便直观，很容易从系统功能图直接转换而来的优点，缺点是“粗线 条”，无法区分故障模式的不同。 2 故障树模型。f t 即故障树模型用于表述单元和系统故障逻辑因果关系，提供 导致系统功能失效的事件组合的数学和图形表达。用故障树图易于进行定量分析， 特别是对系统的“金字塔”结构可以非常直观地加以表达。 3 b d d 模型。以布尔函数表达的图形化逻辑，能直观地表述函数的逻辑结构。 而动态可靠性模型是针对功能结构与任务会随着时间而变化的系统，特点是 2 第一章绪论 要建立随着时间变化的可靠性模型，所以称为动态可靠性模型，典型的动态模型 有m a r k o v 模型( c t m c ) 、动态故障树( d i f t ) 、p e t r i 网模型等【2 】。这类模型在一定的 条件下都可以获得比静态模型更为精确的结果，也因此得到了广泛的应用。但是， 这类模型所依赖的初始假设在实际应用当中往往很难达到，从而造成在工程当中， 对于不同阶段各个模型会有不同的预测表现。此外，在实际应用中还会有其他不 确定因素影响系统可靠性，主要包括系统的复杂性、系统的开发环境以及系统的 开发方式等。通常情况下，这些因素往往具有互相关、非线性等特点，由于传统 建模方法将外在因素假设为相互独立，并且具有线性特征，因此这些因素的存在 极大的限制了传统建模方法的预测精度。 近年来，随着人工神经网络被证明对非线性连续函数具有很好的拟合特性， 众多学者开始将其应用于系统可靠性建模方面，使可靠性预测有了新的发展。与 传统的预测模型不同，人工神经网络具有自学习功能，例如在图像识别领域，只 要先把许多不同的图像样板和对应的识别结果输入人工神经网络，网络就会通过自 学习功能，逐渐学会识别类似的图像。在现存的文献当中，也有许多将人工神经网 络应用于系统可靠性预测方面的模型。例如l l i um c ，s a s t r it ，k u ow 在其文献当中 详细描述了如何使用多层前向反馈感知神经网络( r e e d f o r w a r dm u l t i l a y e rp e r c e p t i o n n e u r a ln e t w o r k s ，m l p ) 预测潜在的失效分布和估计系统参数；a m j a d y 与e h s a n 在他 们的文献中利用基于神经网络构建的一套专家系统来评估动力装置的可靠性；x u k ，x i em ，t a n gl c ，h os l 等在文献中使用m l p 和径向基函数神经网络( r a d i a lb a s i s f u n c t i o n ，r b f ) 来预测机械系统的可靠性，并且与自回归移动平均模型 ( a u t o r e g r e s s i v ei n t e g r a t e dm o v i n ga v e r a g e ，a r i m a ) 在预测精度方面作了比较，结果 显示r b f 能够比a r i m a 和标准神经网络达到更高的预测精度【3 】。本文将在第二章 对人工神经网络作简单的介绍。 虽然神经网络在可靠性预测方面得到了广泛应用，但其本身仍然有许多缺点， 主要在于人工神经网络依赖于经验风险最小化原则，没有严格的理论基础，结构 难于确定，并且存在拟合不足或过拟合、容易陷入局部极小点等问题。在小样本 条件下，人工神经网络的效果也不够理想。 1 9 9 5 年，v a p n i k 在统计学习理论的基础上发展了一种新的机器学习算法支 持向量机( s u p p o r t v e c t o r m a c h i n e ，s v m ) 。这种新算法建立在统计学习理论中v c 维 和结构风险最小化基础上的一种全新的学习机器。它根据有限的样本信息在模型 的复杂性( 即对特定训练样本的学习精度) 和学习能力( 即无错误地识别任意样 本的能力) 之间寻求最佳折衷，以期获得最好的推广能力。与神经网络模型相比， 电子科技大学硕士学位论文 支持向量机主要有以下几个优点： ( 1 ) 它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅 仅是样本数趋于无穷大时的最优值。 ( 2 ) 算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局 最优点，解决了在神经网络方法中无法避免的局部极值问题 ( 3 ) 算法将实际问题通过非线性变换转换到高维的特征空间，在高维空间中构 造线性判别函数来实现原空间中的非线性判别函数。这一特殊性质能保证机器有 较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关 因此，采用支持向量机的方法建模，预测精度高，能够解决人工神经网络结 构难于确定、拟合不够或过拟合、容易陷入局部极小点等诸多问题，并且具有出 色的小样本性能。 1 2 2 现今存在的问题 支持向量机原本用于模式识别方面，随着s 不敏感损失函数的引入，s v m 已 推广到非线性系统的回归函数估计，并展现了较好的学习性能 如上文所述，支持向量机在可靠性预测方面由于采用结构风险最小化原则， 因此较神经网络能够同时在拟合精度和推广能力方面达到最优。在使用支持向量 机进行系统建模时，参数c 和e 的选择对支持向量机的性能影响很大。参数占表明 了系统对估计函数在样本数据点上误差的期望( 误差要求) 。s 越小，估计函数在样 本数据点上的误差要求越小，函数估计的精度越高，但支持向量越多。参数c 是 对与估计函数误差大于占的样本数据的惩罚。c 越大，惩罚越大。在标准回归型支 持向量机方法中，所有样本对应的c 和e - 都是相同的，即对于不同的样本数据的精 度要求、偏离精度要求的惩罚是一致的。但在实际应用当中，常常发现样本的重 要性并不总是相同，尤其对于如股市预测、期货预测、电力负荷预测等动态变化 比较剧烈的时间序列预测问题，近期数据的重要性要远高于早期数据。而在可靠 性预测当中，近期的样本数据往往体现了当前系统所处环境中各项因素的影响， 能够对未来预测提供更多有用的“信息”【4 1 。因此，在描述优化问题时，每个样本 数据应具有不同的误差要求和惩罚系数，即每个s 、c 不同，从而得到更准确的回 归估计【4 1 。 4 第一章绪论 1 3 本文的研究内容 鉴于标准支持向量机算法在处理时间序列预测上所存在的问题，本文将采用 加权系数的方法对标准支持向量机进行改进，并将改进后的支持向量机用于可靠 性的建模和预测。加权支持向量机是在支持向量机的基础上发展而来的，通过对 不同时期的样本赋予不同的惩罚参数和允许误差，从而使样本对拟合结果产生不 同的影响：重要性较大的样本对结果曲线的影响较大，而重要性较小的样本对曲 线的形状影响较小。以此使预测结果更接近实际当中的真实值。 在支持向量机的训练过程中，参数的选择同样对支持向量机的预测性能具有 重要的影响，合适的参数c 和s 能够极大的改进支持向量机的预测精度。因此，在 支持向量机的建模过程当中应当对这两个参数进行优化处理。优化过程本质上是 一个寻求最小值的过程，鉴于遗传算法在模型优化中的良好表现，本文将采用遗 传算法对标准支持向量机和加权支持向量机进行优化，以期使两类支持向量机的 预测性能达到最佳。关于遗传算法在模型优化中的优势，本文将在第四章进行简 要介绍。同时，在现有理论基础上，通过使用上述方法，为基于支持向量机的可 靠性预测寻找一种模型改进方法。 1 4 论文结构 本文一共分为六章 第一章绪论主要介绍可靠性预测问题的背景，国内外研究现状及存在的问 题，本文的研究意义以及论文的组织结构。 第二章传统的可靠性预测方法主要介绍在引入支持向量机之前传统的可靠 性建模方法。 第三章统计学习理论和支持向量机。主要介绍了统计学习理论和支持向量 机，这一章是本文模型的理论基础。 第四章基于支持向量机的可靠性预测研究主要介绍如何使用支持向量机对 可靠性模型进行建模，并介绍使用遗传算法对支持向量机的寻优过程。 第五章基于加权支持向量机的可靠性预测主要介绍如何对标准的支持向量 机进行改进，即对系数c 进行加权处理。实验分析和对比 第六章总结和展望 电子科技大学硕士学位论文 第二章传统的可靠性预测方法 系统可靠性预测是系统可靠性设计的重要任务之一。所谓系统可靠性预测是 指根据组成系统的元件、部件和分系统的可靠性来推测系统的可靠性。这是一个 由局部到整体，由小到大，由下到上的过程，是一种典型的综合过程。尤其在进 行新产品设计时，需要考虑可靠性的估计问题。根据故障率，估计元件、器件、 子系统或系统可能达到的可靠度或者计算系统在特定的应用中符合性能和可靠性 要求的概率。这一过程总称为可靠性预测。 要使新产品具有一定的可靠性，新产品设计人员就要明确不同设计阶段所设 计的可靠性达到的水平，这就要预先知道可靠性方面存在的问题，以便采取措施， 避免新产品在使用时发生问题。这样，无疑对生产厂和用户都是极为有益的。为 了做到这一点应运用以往积累的可靠性数据资料( 市场、工厂、实验室的可选性数 据) ，综合元、器件( 零、部件) 的失效数据，从而迅速地找出新产品可靠性的大致 指标。 由上述可知，在新产品开发中，进行可靠性预测有两个目的：一是在新产品设 计阶段，通过预测了解可靠性是否满足了要求的指标，确定可靠性设计方法：二是 通过预测找出提高可靠性、可维修性的关键问题。再具体些说，可靠性的目的是： ( 1 ) 找出整个系统的综合平衡值，以此作为可靠性的设定指标。 ( 2 ) 将预测值与要求值相比较，探讨所要求的可靠性是否能够实现( 在设计的 初级阶段尤为如此) 。 ( 3 ) 比较设计方式：研究代用方案：分配可靠度；找出设计阶段存在的不可选原 因：确定维修方针。 ( 4 ) 确定和表示可靠性计划的进行情况。 ( 5 ) 比较预测值和实际测得的故障数据，找出产生现象的原因，并提出解决方 法。 ( 6 ) 对进行可靠性预测的基础数据收集计划( 可靠性试验、现场实验的数据) 和分析的方法进行修正与补充。 可靠性预测作为一门学科，已经有很多年的发展。在可靠性建模方面，随着 各种拟合工具的不断出现，对可靠性的建模也出现了越来越多的新方法。自2 0 世纪8 0 年代以来，多元线性回归和人工神经网络作为可靠性预测的经典模型被越 6 第二章传统的可靠性预测方法 来越多的应用于可靠性预测建模，并在实际应用当中取得了良好的效果，下面对 这两种方法做简要的介绍。 2 1 多元线性回归方法 回归分析研究的是客观事物变量间的统计关系它是建立在对客观事物进行 大量实验和观察的基础上，用来寻找隐藏在看起来不确定的现象中的统计规律的 统计方法。多元线性回归方法【5 , 6 , 7 】假设自变量和因变量之间是某种线性关系( 或者 变形的线性关系) ，并且自变量通常不止一个。 2 1 1 多元线性回归模型的形式和参数估计 多元线性回归模型的一般形式为 z = x l l b l + x 1 2 b 2 + + x j k b k + e l 砭= x 2 l b l + x 2 2 6 2 + + x 2 k b 女+ e 2 ： z = x i l b l + x i 2 b 2 + + x 璇仇+ e i l = x h i b i + x n 2 b 2 + + x n k 以+ e h 式中，z 是第t 个样本因变量的观察值，它是包含误差的观察值；是第f 个样本 的第f 个自变量的值，是确定型变量，不包含观察误差；包是第i 个未知参数；e t 是z 的观察误差，1 t ，z ，1 i k 。采用矩阵形式表示，令 y 2 el x = b i 6 2 ： 吮l e l p 2 ： 式中，n 为样本数，k 为自变量个数。这样多元线性回归模型就可以表示为 f y = x b + p e ( e ) = 0 、 【c o v ( e ) 2 y ( 2 1 ) 式中，y 称为观察值向量；n k 阶矩阵x 称为回归设计矩阵；e 称为观察误差向 电子科技大学硕十学位论文 量；b 称为参数向量；沙称为误差协方差矩阵。假设p 为独立正态随机向量， y = 仃2 i 。，i 。为，z 阶单位矩阵，即随机误差满足高斯马尔可夫假定。 若x 列满秩，则式( 2 1 ) 的最小二乘解为 占= ( x r x ) 一1x r y ( 2 2 ) 由于回归系数估计向量占是一个常数矩阵彳：( x r x ) 一1 x r 与正态随机向量y 的乘 积，因而b 也是正态随机向量，其均值和方差分别是 e ( f d = 研7 x ) 一1x r j ， = ( z7 x ) 。1x7 e ( y ) ( 2 3 ) = ( x r x ) 1x r x b = b v a r ( 6 ) = v a r 砂 = a v a r e a r = ( x 丁x ) _ 1 ( 仃2 i ) x ( x7 x ) _ 1 ：仃2 ( x r x ) 一1x 丁x ( xr x ) 一l ( 2 - 4 ) = 仃2 ( xr x ) 。 根据高斯一马尔可夫定理，式( 2 2 ) 的最小二乘解占是6 的最小方差无偏估计。 2 1 2 多元线性回归模型的假设检验 在经典的多元线性回归分析中，只有当总体模型服从高斯一马尔可夫假定时， 有关参数估计及各种模型检验的方法才能有效。 ( 1 ) 复测定系数检验( 拟合优度检验) 记残差e = y 一多，残差的样本方差定义为 2 e 。e _ 盯= ，z 一尼一1 式中，( 胛一七一1 ) 是自由度。 对样本总变异的平方和进行平方和分解，得 ( 2 5 ) 第二章传统的可靠性预测方法 s s t = ( 夕；一歹) 2 持l = ( 多，- y ) 2 + ( y ，一夕，) 2 ( 2 - 6 ) i = 1i = 1 = s s r + s s e 式中，s s r 总变异的平方和，它的自由度为( n - 1 ) ；s s r = ( 允- y ) 2 是可解 i = 1 释的变异平方和，它的自由度为k ；s s e = e ( y ，一萝，) 2 是残差平方和，它的自由 i = 1 度为( ，l k 一1 ) 。 复测定系数( 拟合优度) 定义为 r 2 ：s s r ：1 一s s e( 2 7 ) s s l ls s t 即可解释变异占总变异的百分比。 复测定系数尺2 是衡量模型好坏的参数之一，尺2 越接近于1 ，回归模型的拟合 度越高。r 2 的大小和自变量的个数有关，自变量越多，尺2 越大，但并不意味着 模型的质量越高。在样本容量n 一定的情况下，增加自变量必定使自由度减小， 从而数据统计趋势就越不容易显现。因此，许多统计学家都主张在回归建模的时 候，应采用尽可能少的自变量，尤其在小样本的场合下。 为了使复测定系数中考虑自由度的因素，定义调整复测定系数豆2 为 瓦2 ：1 一s s e ( n - k - 1 )( 2 8 ) 船t ( n 一1 ) 可见，在调整复测定系数中考虑了自由度的因素。r 2 与豆2 的关系是 页：1 _ ! ! 二墨塑竺二! ! ( n k 一1 ) ( 2 - 9 ) 当n 很大，k 很小时，尺2 与万2 之间的差别不是很大；但是，当n 较小，而k 又较 大时，r 2 就会远小于豆2 ，此时就应该考虑减少或调整变量。 ( 2 ) f 检验 9 电子科技大学硕士学位论文 f 检验的目的是检验因变量y 是否与自变量五，x ：，以存在线性关系。原假 设和备择假设为 h o ：b = 0 ；h 1 ：b 0 检验统计量为 ，= 面厕s s r k f ( k , n - k - 1 ) ( 2 一l 。) 一= 一 iz itj ， s s ef t n k n 、 对于给定的显著性水平口，若，c ( 尼，n - k - 1 ) ，则接受h 。，即认为因变量y 与 自变量x 之间无显著的线性关系；反之则否定日。，即认为因变量y 和自变量彳之 间存在线性关系。 2 1 3 多元线性回归的评述 多元线性回归分析作为一种理论上已经十分成熟的统计预测技术，在可靠性 早期预测的建模研究中具有举足轻重的地位。历史上，它一直是最有效、最广泛 的建模方法，现在被广泛接受的模型大部分都是多元回归模型。 但是多元线性回归对于自变量和样本的要求都比较严格。如果主要自变量间 存在明显的多重共线性，或者自变量太多，都可能导致模型误差增大，预测结果 不稳定。而且多元线性回归要求样本数量较大。 2 2 人工神经网络方法 人工神经网络【8 ，9 1 ，是一种抽象的数学模型，它由许多人工神经元构成，在结 构和功能上模仿人脑神经系统，具有自学习、自适应以及非线性处理能力。人工 神经网络有许多不同的类型，根据不同的研究角度和目的可应用于不同的工程领 域。本节主要介绍误差反向传播网络( 简称b p 网络) ，这是2 0 世纪8 0 年代发展起 来的人工神经网络中最有实用价值的部分之一。 2 2 1 人工神经元的结构 人工神经网络是由大量的人工神经元以一定规则有序排列而成的。一个典型 的人工神经元如图2 - 1 所示 1 0 第二章传统的可靠性预测方法 而 吃 ： 奄 毛 图2 一1 人工神经元模型 图中，五，x ：，为神经元f 的输入信号，为突触强度或者连接权。u i 是由输 入信号线性组合后的输出，是神经元f 的净输入。岛为神经元的阀值，1 ，为经过 偏差调整后的值，也称为神经元的局部感应区。 “，= w i j x ， j = l _ = 甜，+ 岛 ( 2 1 1 ) y 。= 厂( w 口+ 6 ) 其中厂( ) 是激励函数，在b p 网络中通常取可导的非线性s 型函数( 通常是s i g m o i d 函数或双曲函数) ，y ，是神经元f 的输出。 2 2 2 多层前向网络及学习算法 多层前向网络中每一层的输出成为下一层的输入。信号从输入层输入，经过 隐层传给输出层，由输出层得到输出信号。 b p 学习算法是一种有监督的学习算法，主要包括两个过程： ( 1 ) 工作信号正向传播：输入信号从输入层经隐层单元，传向输出层，在输 出端产生输出信号，这是工作信号的正向传播。在信号的正向传播过程中网络的 权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输 出层不能得到期望的输出，则转入误差信号反向传播。 ( 2 ) 误差信号反向传播：网络的实际输出与期望输出之间的差值即为误差信 号，误差信号由输出端开始逐层向前传播，这是误差信号的反向传播。在误差信 号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使 网络的实际输出更接近期望输出。 一个三层结构( 包含一个输入层，一个隐层和一个输出层) 的b p 网络如图2 - 2 电子科技大学硕十学位论文 所示。 气 为 _ 毛 图2 2 三层b p 网络示意图 从图2 2 中我们可以看到，这个b p 网络的输入层有，z 个输入，隐层有z 个神经元， 输出层有，1 个神经元，输入单元f 到隐单元的权重是v ，隐单元，到输出单元七 的权重是，隐单元和输出单元的阀值分别是色和依。则隐单元的输出函数为 h _ ，= ( 1 ，_ 一g ) ( 2 - 1 2 ) i = 1 输出单元的输出为 y 女= ( w j k h ，- c k ) ( 2 - 1 3 ) j = l 在训练阶段使用误差反向传播算法。给定一个学习样本( x ，丁) ，其中 t = ( t lf ：，t 。) 是输入为x 时的目标输出，网络的实际输出为y = ( y ly 2 ，y 。) ， 通过对样本的学习来调节网络的权值。 网络对样本进行训练的具体步骤可分为： ( 1 ) 提供训练样本。 ( 2 ) 将各权重和w j , 及阀值日，和吼置为一小随机数。 ( 3 ) 从训练样本集中取出某一样本，分别用式( 2 - 1 2 ) 和( 2 - 1 3 ) 计算隐单元的 输出向量h i 五：，h ：和最终输出向量( y 。，夕：，y 。) 。 ( 4 ) 将输入向量y 。与目标向量气进行比较，计算出各输出误差项瓯和隐单元 误差项巧。 瓯= ( t 女一y 女) 少 ( 1 一y ) 巧：h j ( 1 一h 菠瓯 2 州 1 2 第二章传统的可靠性预测方法 ( 5 ) 依次计算出各权重的调整量 a w j k ( n ) = ? 1 6k h j a v i ( ，z ) = r 8 j x t 式中，7 7 为学习速率，是一个控制学习速度的正常数。 ( 6 ) 调整权重 ( 2 1 5 ) w j k ( n + + ) l v o ( n1 w v ( n 嚣札a w o ( n 嚣+ + + 肚l a w 咏u ( n 二_ ) 1 1 ( 2 舶) + ) =) +)一) 。“ 式中，为惯性系数，用来加快算法的收敛速度。 ( 7 ) 返回第( 3 ) 步，继续迭代，直到权重达到稳定。这时学习训练工作己经完 成，固定当前的权重后，该网络便完成了非线性关系的估计模型。 2 2 3 人工神经网络的评述 人工神经网络适合于处理非线性问题。可靠性预测，其本质上就是一个具有 过程不确定性的函数逼近问题。多元线性回归方法把参数之间具有某种非线性特 性的发展规律假设成某种特定的线性函数变化的关系，这在理论上有一定的缺陷。 而神经网络的方法在一定程度上可以避免这种理论上的缺陷，它利用神经网络本 身反映事物的非线性变化规律来直接对事物的非线性变化特征进行估计。在理论 上已经证明，一个具有三层的b p 网络，当其中间隐层单元的个数不加限制时，可 以以任意精度逼近任何一个非线性函数。 神经网络具有很强的容错性，可以对信息源含糊、不确定、有假相的复杂情 况通过不断学习作出合理的判断，给出有效的预测和估计。因此，很多在9 0 年代 末涌现了很多使用神经网络进行可靠性早期预测的方法【1 0 , 1 1 】。 但是b p 神经网络是基于梯度下降的误差反向传播原理来进行学习的，所以其 网络训练速度通常很慢，而且很容易陷入局部极小点，尽管采用一些改进的快速 学习算法可以较好地解决某些实际问题，但是在设计过程中往往都要经过反复的 试凑和训练过程，无法严格保证每次训练时算法的收敛性和全局最优性。另外， b p 神经网络的稳定性极大地依赖于样本的容量。b p 网络结构的确定也是一个非常 麻烦的问题。 电子科技大学硕士学位论文 第三章统计学习理论和支持向量机 人类可以通过学习，从已知的事实中分析、总结出规律，并且根据规律来对 未来的现象或无法观测的现象做出正确的预测和判断，即具有获得认知的推广能 力。机器学习的目的是通过对己知数据的学习，找到数据内在的相互依赖关系， 从而获得对未知数据预测和对其性质的判断能力。统计学在解决机器学习问题中 起着基础性的作用，但是传统的统计学是样本数量趋向于无穷大时的渐进理论， 在样本数量有限时难以取得理想的效果。v l a d i m i rn v a p n i k 等人从2 0 世纪6 0 年代 起，就开始研究有限样本情况下的机器学习问题，n 9 0 年代的时候形成了个比 较完整的理论体系统计学习理论。1 9 9 5 年，在统计学习理论的基础上，提出 了一种新