支持向量机基础知识及应用举例

支持向量机及应用简介李承军水电仿真中心第1页，共40页。机器学习的基本问题和方法从给定的函数集Ω中选择出能够最好地逼近系统响应的函数ω系统（S）学习机器（LM）输入x输出y第2页，共40页。有指导机器学习的目的是根据给定的训练样本，求出对某系统输入输出之间依赖关系的估计，使它能够对未知输入作出尽可能准确的预测。可以一般地表示为：变量y与x存在一定的未知依赖关系，即遵循某一未知的联合概率F(x,y)（x

和y

之间的确定性关系可以看作是其特例），有指导机器学习问题就是根据N个独立同分布观测样本在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使期望风险最小第3页，共40页。支持向量机（SVM）支持向量机(SurpportVectorMachines)简称SVM，是统计学习理论中最年轻的内容，也是最实用的部分。其核心内容是在1995年左右,由Vapnik和Chervonenkis提出的，目前仍处在不断发展阶段。第4页，共40页。支持向量分类(Classification)第5页，共40页。线性分类器第6页，共40页。分类面点x0到平面<w,x>+b=0的距离为第7页，共40页。最优分类面第8页，共40页。最大间隔(margin)分类面方程为支撑面之间的距离叫做分类间隔第9页，共40页。线性可分的最优分类模型作广义Lagrange乘子函数由KKT条件,有第10页，共40页。非支持向量的系数为0

b*也由支持向量求得,事实上第11页，共40页。将代入目标函数，由对偶理论知，系数可由如下二次规划问题解得给定x的分类结果特点:稳定性、鲁棒性、稀疏性等第12页，共40页。最大间距:由于对则第13页，共40页。线性不可分(软间隔)第14页，共40页。线性不可分的情况引入松弛变量第15页，共40页。不可分的解方程subjectto作Lagrange函数第16页，共40页。最优性条件由KKT条件若若第17页，共40页。max系数的解方程第18页，共40页。C不同带来的影响第19页，共40页。支持向量回归(Regression)第20页，共40页。回归问题线性回归:给定训练集(xi,yi),找个线性函数f(x)=wTx+b,来拟合数据最小二乘法(LeastSquare)其中为回归误差.记,则目标函数可写为解为第21页，共40页。最小二乘解的不足:数值稳定性问题,增加新数据对解都有影响,为使模型尽量简单需进行假设检验.脊回归(RidgeRegression)数值稳定性较好.还可写为第22页，共40页。ε敏感损失回归ε敏感损失函数(ε-InsensitiveLoss)第23页，共40页。损失函数比较第24页，共40页。模型（线性ε损失）作Lagrange乘子函数第25页，共40页。KKT条件第26页，共40页。代入模型得系数满足的二次规划变量代换：回归方程：第27页，共40页。用二次ε损失函数时，模型为第28页，共40页。KKT条件第29页，共40页。代入模型得系数满足的二次规划变量代换：回归方程：第30页，共40页。非线性SVM与核(Kernel)函数第31页，共40页。非线性变换基本思想：选择非线性映射Φ(X)将x映射到高维特征空间Z，在Z中构造最优超平面第32页，共40页。对分类问题系数可由二次规划对回归问题求系数：回归方程：第33页，共40页。这种变换可能比较复杂，因此这种思路在一般情况下不易实现。但是注意到，在上面的对偶问题中，不论是寻优函数还是分类函数都只涉及训练样本之间的内积运算。这样，在高维空间实际上只需进行内积运算，而这种内积运算是可以用原空间中的函数实现的，我们甚至没有必要知道变换的形式。我们看到，通过把原问题转化为对偶问题，计算的复杂度不再取决于空间维数，而是取决于样本数，尤其是样本中的支持向量数。这些特征使有效地对付高维问题成为可能。定义核函数：第34页，共40页。对分类问题系数可由二次规划对回归问题求系数：回归方程：第35页，共40页。核函数矩阵KK(x1,x1)K(x1,x2)K(x1,x3)…K(x1,xN)K(x2,x1)K(x2,x2)K(x2,x3)K(x2,xN)……………K(xN,x1)K(xN,x2)K(xN,x3)…K(xN,xN)第36页，共40页。核的要求Mercer’stheorem:任何半正定的对称函数都可以作为一个核，即对任意的常用的核函数：对任意满足的g(x)有第37页，共40页。应用设想已经取得了广泛的应用支持向量机水库调度函数：入库径流预报负荷预报、电价预测等第38页，共40页。常规调度图保证出力区降低出力区防洪区zt加大出力区预想出力区基本调度线第39页，共40页。内容梗概支持向量机及应用简介。从给定的函数集Ω中选择出能够最好地逼近系统响应的函数ω。有指导机器学习的目的是根据给定的训练样本，求出对某系统输入输出之间依赖关系的估计，使它能够对未知输入作出尽可能准确的预测。可以一般地表示为：变量y与x存在一定的未知依赖关系，即遵循某一未知的联合概率F(x,y)（x和y之间的确定性关系可以看作是其特例），有指导机器学习问题就是根据N个独立同分布观测样本。在一组函数{f(x,w)}中求一个最优的函数f(x,w0)对依赖关系进行估计，使期望风险。支持向量机(SurpportVectorMachines)简称SVM，是统计学习理论中最年轻的内容，也是最实用的部分。特点:稳定性、鲁棒性、稀疏性等。线性回归:给定训练集(xi,yi),找个线性函数f(x)=wTx+b,来拟合数据。其中