SVM及其改进方法在地质建模中的应用.ppt

1、研究课题概述,机器学习与支持向量机 现有的机器学习方法大多基于样本数目趋于无穷大时的渐近理论的假设。然而在实际的问题中，样本数往往是有限的。现有的基于传统统计学的学习方法在有限样本的情况下难以取得理想的效果。,研究课题概述,机器学习与支持向量机 支持向量机(Support Vector Machine)是在统计学习理论基础上开发出来的一种非常有效的机器学习新方法。它较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题，具有很强的推广能力。,研究内容引入,Regression 时间序列的预测 非线性建模 优化控制 .,Classification 手写识别 文本

2、分类 特征提取 .,SVM,SVM基本思想,方框和圆圈：两类线性可分样本； H为分类线； H1和H2 ：过两类中离分类线最近的样本且与分类线平行的直线； 分类间隔：H1和H2 的距离； 支持向量：H1和H2上的点 所谓最优分类线为既能正确分类两类样本，又可使分类间隔最大的分类线。,SVM 是从线性可分情况下的最优分类面发展而来的, 基本思想可用下图的两维情况说明.,SVM基本思想,已知：(xi，yi), i = 1, . ，xi Rd ， yi -1，1 求解： 目标：最优分类面 - ( wxi ) + b = 0 这是一个二次凸规划问题，由于目标函数和约束条件都是凸的，根据最优化理论，这一问

3、题存在唯一全局最小解。,求解最优分类面（最大间隔法）,SVM基本思想,首先建立Lagrange函数 最终可以得到： 寻找最大化目标函数 的Lagrange乘子，满足 ， 解得：,SVM基本思想,进而得到： 最终得到分类函数： 其中：xi 是支持向量（Support Vector，SV），i*是支持向量对应的拉格朗日乘子，b*是常数。,支持向量回归,分类 - 回归 分类问题的样本点明确地属于某一类，而回归问题的样本点属于的类别是事先不知道的，这也正是分类问题与回归问题的区别所在。通过样本点集的适当变换，回归问题可以转化为两分类问题。,支持向量回归,假定训练样本集为(x1，y1)，. ，(xL，y

4、L)，其中xiRN 为输入值，yiR 为对应的目标值，N 为样本数。定义 不敏感损失函数为： 其中：f ( x ) 为通过对样本集的学习而构造的回归估计函数， 为不敏感损失函数。学习的目的是构造 f ( x) ，使与目标值之间的距离小于，同时函数的VC维最小，这样可以最优地估计出对应的目标值。 根据结构风险最小化准则，f(x) 应使得 |w|2 /2最小。若考虑拟合误差的情况，则可以引入松弛变量 i 0和i * 0。 C为惩罚因子。,支持向量回归,与上次求解分类一样，可以得到其线性回归的估计函数： 对于大多数的非线性支持向量回归，需要引入核函数这类映射，将输入空间映射成高维的特征空间，然后在特

5、征空间中进行线性回归。 常见的核函数有：,支持向量回归,经核函数升维后的求解目标函数变为： 最终得到的 f(x) 为：,支持向量回归,概括的说，支持向量回归就是通过内积函数定义的非线性变换将输入空间变换到高维空间，并在该高维空间求取回归函数的学习过程。 SVR形式上类似于一个神经网络，输出是中间结点的线性组合，每个中间结点对应一个支持向量，其权值即为对应的拉格朗日乘子。,经查多种文献，发现针对分类精度不高等问题，Mangasarian提出的用于分类的支持向量机算法SOR( Successive Overrelaxation for Support Vector Machines) 算法，很大程

6、度上解决了精度和准确性的问题，可以在本课题里得到推广。 对标准支持向量机回归估计算法加以改进，得到一种改进的支持向量机回归估计算法。SORR( Successive Overrelaxation for Support Vector Regression Machines) 。,改进的支持向量回归,改进的支持向量回归,经SOOR推广到回归后的求解目标函数变为： 依旧利用Lagrange函数求解此问题，最终得到的 f(x) 为：,实验方案,BP神经网络,改进后的支持向量回归 （SOOR）,模型2,数据,标准支持向量回归 （SVR）,模型1,模型3,对比,对比,改进,技术路线,SVM底层,控制层,

7、应用层,支持向量机(SVM)核心设计： 数据结构、 模块设计、 函数实现、 等,抽象出CSVR类，控制SVM的函数模块，提供合适的接口与数据层和应用层进行运算和图像显示,用于实现SVR建模的过程，从读取数据到模型建立到预测回归估计等,数据层,技术路线,Data I/O,SVM_Train,SVM_Predict,SVM,SVM_Save/Load, SVM_Cross_Validation.,SVM_Destory SVM_Get_labels.,经分析，可以得到利用SVR和SOOR进行回归建模的实验流程图如右图所示：,SVR（SOOR）实验流程,具体应用,针对上述地震工区文件内海量离散数据处理效率不高的问题，可以利用快速Delaunay三角网的构建，将需要数据首先预处理，即将一片工区剖分成多个数据量相对小的工区，再结合多GPU的主机进行图像处理建模，可以使得模型建立的效率得到大步的提升。,实验结果,标准