支持向量机SVM课件

1、2022/8/10南京航空航天大学智能诊断与专家系统研究室 学 生：郝腾飞姓名：关晓颖导师：陈果 教授专业：载运工具运用工程融合机器学习的改进遗传算法及其在航空发动机智能诊断中的应用研究课题来源* 课题来源1 国家自然科学基金项目：航空发动机智能诊断中学习样本与学习机器的自适应性问题研究2 中航工业综合所技术支撑项目：多源信号数据融合技术在滚动轴承运行状态评估的应用3 江苏省普通高校学术学位研究生创新计划项目：遗传算法在航空发动机滚动轴承故障监测中的应用研究目 录课题研究意义国内外研究现状分析研究方案研究基础研究计划及进度预期成果课题研究意义* 发动机的安全可靠发动机的维修保障费用的可承受性航

2、空发动机作为现代飞行器的动力核心首要任务不可回避的问题课题研究意义* 以航空发动机滚动轴承为例按轴承的设计预期寿命进行定时更换若轴承还没有达到预期寿命便已经发生故障若轴承达到了预期寿命仍然能正常工作，此时更换轴承必然导致维护成本的增加严重威胁飞行安全造成经济上的浪费必须充分了解航空发动机的整个运行状况，采取预防性维修（视情维修）策略，实现在安全性和经济性之间达到平衡解决方法课题研究意义* 准确判断航空发动机当前状态预防性维修策略轴承叶片其他部件发动机当前状态监测和评估预防性维修策略部件很多关键部件课题研究意义* 发动机的气路性能参数转子系统的振动参数磨损状态产生大量数据智能计算（如遗传算法）机

3、器学习技术实现航空发动机故障诊断提高诊断自动化程度、智能化程度诊断准确度诊断效率挖掘有用知识和信息 本课题研究将遗传算法和机器学习技术运用到航空发动机的状态监测和故障诊断中，通过对遗传算法进行深入的研究，结合机器学习技术，提出改进的遗传算法，使算法有效地适用于航空发动机滚动轴承状态特征选择、规则提取等问题，实现航空发动机故障诊断智能化，并达到效率更高、解的质量更好和更可靠的目的。研究关注点目的国内外研究现状分析* 遗传算法及其改进遗传算法在故障特征选择中的应用遗传算法在SVM参数优化中的应用遗传算法在规则提取中的应用国内外研究现状分析-遗传算法及其改进* 遗传算法（Genetic Algori

4、thm，GA）达尔文进化论自然选择适者生存、优胜劣汰初始化种群选择杂交变异计算适应度满足终止条件?N适应度最优个体Y开始结束遗传算法基本流程图优点：遗传算法独立于问题的知识领域之外，实现步骤简单规范，并且具有良好的全局收敛能力、自适应能力和并行能力，适用于解决复杂的非线性和多维空间寻优问题。缺点：易陷入局部最优，即出现“早熟”现象。遗传算子评价个体优劣产生新种群国内外研究现状分析-遗传算法及其改进* 初始化种群选择杂交变异计算适应度满足终止条件?N适应度最优个体Y开始结束遗传算法基本流程图遗传算子评价个体优劣为了克服GA的不足，提高算法的性能，很多学者对遗传算法进行改进1. 算法参数固定取值、

5、自适应调整等2. 算子改进自适应控制、与其他技术结合（小波理论、模糊逻辑控制器、拉普拉斯函数、K-means 法、单纯形法等）3. 并行GA或多种群主从并行GA、细颗粒度并行GA、粗颗粒度并行GA、降维式并行GA等小结：很多学者对遗传算法展开了研究，提出了很多改进的遗传算法，并取得不错的效果。然而，对于航空发动机的故障诊断，现有的研究成果基本上都是基于简单遗传算法，并没有将更多的关注点放在遗传算法的性能改进方面，这将大大地降低了遗传算法在航空发动机智能诊断的应用效果及效率。国内外研究现状分析-遗传算法在故障特征选择中的应用* 从原始特征中选出一些最有效特征，在保证分类准确率的同时以降低数据集维

6、度的过程，是提高学习算法性能的一个重要手段，也是模式识别中关键的数据预处理步骤。特征选择特征选择方法Filter（过滤）法：利用单独的可分性准则来选择特征。可分性准则：距离准则、相关性准则、信息熵准则等优点：速度较快缺点：普适性较差，分类精度较低Filter（过滤）法+ Wrap（包裹）法组合：先采用Filter（过滤）法进行特征选择，然后将得到的特征子集再用wrap（包裹）法进行特征选择。优点：比Wrap法所花的时间少，比Filter法的分类精度高缺点：耗时比Filter法大，分类精度比Wrap法低Wrap（包裹）法：利用分类器进行特征选择分类器：支持 向量机、神经网络等优点：特征选择精度较

7、高缺点：耗时大小结：当前基本都采用这三种方法进行特征选择，并取得一定的成果。特别是Filter（过滤）法，由于它的速度快，被广泛使用。然而，在航空发动机故障特征选择的研究中，针对Filter（过滤）法，如何设计有效的评价准则选出最优特征子集，提高分类精确度，仍然需要进一步研究。国内外研究现状分析-遗传算法在SVM参数优化中的应用* 支持向量机（SVM） 支持向量机建立在统计学习理论和结构风险最小的基础上，在理论上充分保证了模型的泛化能力，目前被广泛用于模式识别的分类器设计中。用于分类器的支持向量机模型有许多参数要进行优化参数对模型的分类精度具有很大影响目前参数尚无统一选择标准根据经验和有限的实

8、验给定参数值网格算法三步搜索技术智能计算方法（如：遗传算法、蚁群算法）参数选择方法 当前研究成果，采用遗传算法进行SVM参数优化，是在给定的区间内优化选取，但这个参数区间在算法的运行过程中是固定不变参数问题国内外研究现状分析-遗传算法在SVM参数优化中的应用* 三步搜索技术1、在两因素构成的二维平面中，找到中心点，以及它周围的 8 个点。以准确率为准则做搜索，选择其中的某一个点作为新的中心点。2、将步长减小一半，计算新的中心点周围的 8 个点并进行比较，选择准确率最大的点作为新的中心点。3、重复 2 的计算，直到步长小于一个单位。4、如果学习精度没达到所需要求，则继续寻找，达到了，则作为选择的

9、参数对。优点：在保证准确率不变的情况下，三步搜索法比完全搜索更加高效。缺点：由于参数是在某个区间上进行搜索，最终得到的参数值，其所获得的准确率不一定是在(-,+)上的最优解。网格算法 给定各参数的区间 ，定义一个步长在区间内穷尽搜索逐个试验 ，找到使得算法在学习对象上性能最好的参数 。缺点：参数的寻优不是并行的进行 ,导致得到的单个最优参数组合在一起不是最优的 ,计算量大。国内外研究现状分析-遗传算法在规则提取中的应用* 模糊控制+GA稳态遗传算法免疫原理+GA基于GA的规则提取方法 当前研究成果，基于遗传算法的规则提取方法，对于得到的规则可能会有冗余规则或规则中含有冗余信息，如何获得提取出简

10、单、可靠、易于理解的规则，仍然需要进一步研究。决策形式背景+GA粗糙集+遗传算法并行GA Pal等提出了基于自组织遗传算法的模糊逻辑控制器规则生成方法，使用遗传算法搜索最优的规则，并且是一个自组织的过程，不需要专家知识或明确的训练数据，适应度函数简单，在保证精确率的同时，实现以花费尽可能少的时间得到最优规则集。该方法采用三个阶段进行寻找最优规则集。Shibuchi等采用单目标和双目标遗传算法进行语言规则提取。Mansoori等提出稳态遗传算法进行模糊分类规则提取。倪世宏等将免疫原理引入遗传算法，实现了飞行状态分类规则的自动获取。王文平等提出了将并行遗传算法应用于关联规则的提取李金海等在决策形式

11、背景中提出了决策规则支持元与支持度的概念，并通过它们给出了协调集和约简的等价判定定理，在此基础上提出了一种基于遗传算法的决策形式背景的属性约简方法。并分析基于遗传算法的约简方法和现有的启发式约简算法的互补性。时文刚等针对粗糙集应用于故障诊断过程中存在的决策表属性连续值离散化和属性约简之间分离的问题，根据粗糙集的约简思想，研究了一种新的基于遗传算法的规则自动提取方法国内外研究现状分析-小结* 1）目前基本上是采用简单遗传算法进行航空发动机故障特征选择和规则提取，没有将更多的关注点也放在遗传算法的性能改进方面，这将大大地降低了遗传算法在航空发动机智能诊断的应用效果及效率。2）由于Filter （过

12、滤）法的特征选择结果不是以分类准确率作为评价准则，就有可能会出现最终搜索到的特征子集的分类准确率不是最高的，也就是说结果的可靠性不能完全保证。而当前关于航空发动机故障特征选择采用的方法，没有充分考虑到这个问题且当前的研究大部分是基于单个评价准则。因此，可以结合机器学习技术，设计多判据融合的评价准则，使算法有效获得结果的同时，还要提高其作为最优特征子集的可靠性。3）目前的基于遗传算法的支持向量机分类器参数优化，对于参数的取值范围在算法的运行过程中都是固定不变。然而，参数的初始取值范围的选择就非常重要。参数的正确值与给定的初始取值范围之间存在两种情况：第一，正确值包含在给定的初始取值范围内；第二，

13、正确值不包含在给定的初始取值范围内。当出现第二种情况，就会对支持向量机的分类精度产生很大的影响。4）基于遗传算法的规则提取方法，对于得到的规则可能会有冗余规则或规则中含有冗余信息，如何提取出简单、可靠、易于理解的规则，仍然需要进一步研究。研究方案-研究目标* 航空发动机智能诊断算法效率更高解质量更好解更可靠目标1：结合机器学习技术，提出改进遗传算法，实现提高航空发动机故障智能诊断的准确率。目标2：研究智能诊断领域应用中的最佳特征子集选择、诊断知识规则的自动提取等关键技术，并结合改进的遗传算法，实现结果可靠性和运行效率的提高。研究方案-研究内容* 初始化种群选择杂交变异计算适应度满足终止条件?N

14、适应度最优个体Y开始结束遗传算法基本流程图进化的搜索过程由适应值引导解的精度较低搜索速度缓慢引导力不足完善算法的理础基础改进算子（选择、交叉与变异算子等）算法参数与算子的自适应控制与其他技术结合，改进算子.改进途径没有充分挖掘和利用算法迭代过程中累积数据的隐藏信息1结合机器学习技术，改进用于特征选择的遗传算法，同时研究特征选择结果的可靠性和稳定性研究方案-研究内容* GA：在加快算法搜索速度的同时避免早熟特征选择：结果的可靠性和稳定性+研究目的解决途径研究方案运用机器学习技术提供有用的信息指导进化设计多判据融合的评价准则航空发动机滚动轴承故障样本数据集采用机器学习技术（如ReliefF）获得各

15、个特征权值指导种群初始化算子设计找到最优特征子集判据1判据2判据n评价提高特征子集作为最佳子集的可靠性研究方案-研究内容* 2基于遗传算法的支持向量机（SVM）参数域的自适应调整及优化ab真实值dab真实值cd参数的初始取值范围与真实值的两种关系：真实值包含在给定的初始取值范围内真实值不包含在给定的初始取值范围内如果没有在搜索的过程中调整参数域，则最终搜索到的解只能是次优解。 当前基于遗传算法进行支持向量机的参数优化基本上是：在整个搜索过程中，参数取值范围都是不变的。研究方案-研究内容* 在GA的搜索过程中，参数的取值范围自适应调整研究目的解决途径研究方案采用多群体GA运用机器学习技术预测搜索

16、区域的收窄或扩大参数的初始取值范围GAGAGA根据每个GA在给定条件下得到的解，结合机器学习技术预测搜索区域的收窄或扩大，从而决定对参数的取值范围作相应的调整标准测试函数各个参数的最优解各个参数的真实值对比验证算法有效性支持向量机（SVM）和核函数参数优化航空发动机故障诊断应用进一步推广到其他应用多群体惩罚因子C、径向基核函数宽度+研究方案-研究内容* 3基于正交设计的遗传算法变量区间组合优化技术研究及应用原因：适应度函数全部或部分变量的不同取值组合得到的适应值非常接近结果：可能导致搜索不到全局最优解或进化缓慢。全局最优解在较平坦的区域内俳徊例如：基于显微磨粒图像处理的磨损故障诊断系统中，图像

17、质量是保证磨粒分析的关键。 而磨粒显微图像的成像质量与摄像机参数、光源参数有非常大的关系，就需要对影响图像成像质量的因素（主要为光源强度和摄像机参数）进行参数优化。N 为像素点数; Ii（i=1,2,3） 为调整图像与标准图像之间第i个像素点的正交特征值的差。增大减小减小增大适应度值非常接近适应度函数：研究方案-研究内容* 设计变量取值区间优化组合，引导算法跳出平坦区域，找到全局最优解研究目的解决途径研究方案采用正交设计法运用统计分析方法挖掘和利用已找到的解的信息+ 显微成像系统要优化的参数增益快门白平衡UB白平衡VR绿光光强红光光强寻找参数子区间优化组合采用GA优化参数图像标准图像对比研究方

18、案-研究内容* 4基于遗传算法的规则提取技术研究提取出简单、可靠、易于理解的规则研究目的解决途径研究方案与其他技术结合（如粗糙集等）改进的遗传算法+ UCI标准数据集规则Weka软件得到的规则对比验证算法有效性应用基于改进遗传算法的规则提取油液光谱故障数据样本航空发动机故障诊断进一步推广到其他应用提取规则研究基础-研究工作积累和已取得的研究工作成绩* 关于基于遗传算法特征选择方面的研究已经进行了一定研究，提出了一种用于特征选择的多准则融合差分遗传算法已经写了一篇论文“特征选择的多准则融合差分遗传算法及其应用”，投稿到了航空学报，正在根据外审意见进行修改。硕士阶段一直从事遗传算法的研究工作，师从

19、国内外计算智能领域知名学者张军教授，进行了“降维式自主迁移并行遗传算法”的研究工作。对于完成本课题研究提供了坚实的理论基础完成了课程学习，对航空发动机检测与诊断技术有了深刻认识和理解，对于完成本课题提供了工程应用基础。研究基础-现有的基础和已具备的实验条件* 目前已经具备多个可以进行滚动轴承模拟试验的试验器，滚动轴承的故障模拟方法是通过在;滚道或滚动体上用电火花加工缺陷的方法来实现。该设备可以为本课题进行滚动轴承故障预测、特征选择、规则提取等研究提供条件。（1）具备了多个航空发动机滚动轴承故障模拟试验器研究基础-现有的基础和已具备的实验条件* 实验平台为洛阳轴承研究所有限公司设计开发的航空轴承

20、失效监控试验系统。用该试验器可以得到滚动轴承整个失效过程的振动信号，从中提取多维特征。该设备可以为本课题利用遗传算法进行滚动轴承故障预测（特征选择和状态评估）研究提供条件。（2）具备了航空轴承失效监控试验系统（3）具备了多功能智能磨粒检测与诊断系统MIDCS 1.0是南京航空航天大学与空军装备研究院航空装备研究所（原空军第一研究所）联合开发的针对军用航空发动机滑 油、液压油以及燃油内磨粒的检测与分析系统。该设备可以为本课题研究提供特征选择、摄像机参数自动调整、磨粒识别规则研究等。研究基础-研究工作积累和已取得的研究工作成绩* 关于基于遗传算法特征选择方面的研究已经进行了一定研究，提出了一种用于

21、特征选择的多准则融合差分遗传算法仿真数据实验为了测试算法的寻优能力，作了如下仿真试验。样本数共281个，三类样本组成，这三类的样本数分别为93，108和80，特征维数为20，其中特征1和特征2是有效的分类特征，特征3至特征20的取值为0到1之间的随机数，对分类基本不起任何作用。可见，遗传优化的目标是得到最优特征组合11000000000000000000。研究基础-研究工作积累和已取得的研究工作成绩* 研究基础-研究工作积累和已取得的研究工作成绩* 滚动轴承故障特征选择采用沈阳发动机设计研究所研制的带机匣的航空发动机转子试验器进行故障模拟实验，分别在试验器垂直上方和水平方向布置加速度传感器，获取机匣的振动加速度信号，振动信号通过NI USB9234 数据采集器进行采集，加速度传感器信号为B&K 4805，采样频率为10.24 kHz，实验的对象为6206型滚动轴承。13个无量纲特征量的符号定义为：歪度S1、波型因数S2、冲击指标S3、峰值指标S4、峭度S5、裕度指标S6、重心频率S7、均方频率S8、频率方差S9、