最新支持向量机及应用简介

1、支持向量机介绍n统计学习理论是小样本统计估计和预测学习的最佳理论。n假设输出变量y与输入变量x之间存在某种对应的依赖关系,即一未知概率分布p(x,y)反映了某种知识。学习问题可以概括为:根据 个独立同分布( independently drawn and identically distributed )的观测样本 支持向量机（svm）支持向量机（support vector machine，svm）是由boser,guyon和vapnik发明，并首次在计算学习理论（colt）1992年年会论文中提出。它是继人工神经网络后，智能计算领域发展的又一里程碑。支持向量机以严格证明的统计学习理论为基础

2、，使用核函数把数据从样本空间映射到高维特征空间，将非线性问题转化为线性可分问题，获得最优解，是一重大的理论创新。支持向量机有严密的数学基础，训练结果只与支持向量有关，且泛化性强，成为了解决非线性问题的重要工具，因此，受到智能计算领域学者的广泛关注，在模式分类和回归领域得到了广泛的应用。机器学习的基本问题和方法从给定的函数集中选择出能够最好地逼近系统响应的函数系统（s）学习机器（lm）输入x输出y( , )f x y( , ),f x 有指导机器学习的目的是根据给定的训练样本，求出对某系统输入输出之间依赖关系的估计，使它能够对未知输入作出尽可能准确的预测。可以一般地表示为：变量y与x存在一定的未

3、知依赖关系，即遵循某一未知的联合概率f(x,y)（x 和y 之间的确定性关系可以看作是其特例），有指导机器学习问题就是根据n个独立同分布观测样本在一组函数f (x,w)中求一个最优的函数 f (x,w0)对依赖关系进行估计，使期望风险最小),( ,),(),(2211nnyxyxyx),(),(,()(yxdfwxfylwr期望风险 学习到一个假设作为预测函数,其中w是广义参数.它对的期望风险是(即统计学习的实际风险)： 其中，称作预测函数集，为函数的广义参数。可以表示任何函数集。为由于用对 进行预测而造成的损失。不同类型的学习问题有不同形式的损失函数。 ),(),(,()(yxdfwxfyl

4、wr 而对train set上产生的风险remp(w)被称为经验风险(学习的训练误差): 首先remp(w)和r(w)都是w的函数，传统概率论中的定理只说明了(在一定条件下)当样本趋于无穷多时remp(w)将在概率意义上趋近于r(w)，却没有保证使remp(w)最小的点也能够使r(w) 最小(同步最小)。liiiempaxfyllar10),(,(1)(经验风险最小化准则n因为是由训练样本(即经验数据)定义的，因此称之为经验风险。用求经验风险的最小值代替求期望风险r (a)的最小值，就是所谓的经验风险最小化(erm)准则从期望风险最小化到经验风险最小化的理论依据是大数定理，只有当训练样本趋近于

5、无穷大的时候，经验风险才趋近于期望风险。即：n )()(limararemplproblem: how rich class of classifications q(x;) to use.underfittingoverfittinggood fitproblem of generalization: a small emprical risk remp does not imply small true expected risk r.存在的问题n由于经验风险最小化代替期望风险最小化的理论依据是大数定理，实际的机器学习不能满足训练样本趋近于无穷大这一苛刻的要求，致使经验风险最小化准则算法复

6、杂性大与泛化能力差。n例如：基于经验风险最小化准则人工神经网络研究中，广大学者总是把注意力集中在如何使更小，但很快便发现，一味追求训练误差小并不是总能达到好的预测效果。原因n从理论上看，之所以出现过学习现象，n一是因为训练样本不充分，n二是机器学习的风险准则不合理。n出现这种现象的原因，就是试图用一个复杂的模型去拟合有限的样本，结果导致丧失了推广能力。在神经网络中，如果对于有限的训练样本来说网络的学习能力过强，足以记住每一个训练样本，此时经验风险很快就可以收敛到很小甚至零，但学习机器却根本无法保证它对未来新的样本能够得到好的预测。这就是有限样本下学习机器的复杂性与推广性之间的矛盾。因此，关于学

7、习机器复杂性和推广能力，得到以下的结论,结论n经验风险最小并不一定意味着期望风险最小;n学习机器的复杂性不但与所研究的系统有关，而且要和有限的学习样本相适应。vc维反映了函数集的学习能力，vc维越大则学习机器越复杂(容量越大)。 vcvc维维(vapnik-chervonenkis dimension)(vapnik-chervonenkis dimension)。模式识别方法。模式识别方法中中vcvc维的直观定义是：对一个指示函数集，如果存在维的直观定义是：对一个指示函数集，如果存在h h个个样本能够被函数集里的函数按照所有可能的样本能够被函数集里的函数按照所有可能的2h2h种形式分开，种形

8、式分开，则称函数集能够把则称函数集能够把h h个样本打散。函数集的个样本打散。函数集的vcvc维就是它能维就是它能打散的最大样本数目打散的最大样本数目h h。经验风险与vc维关系经验风险remp(a)和实际风险r(a)之间至少以不下于1-(01)的概率存在这样的关系:),(,()()(lemplemplarhlarar风险h v c维 真 实 风 险上界置 信 范围经 验 风险 (srm) sn s*经验风险经验风险empirical riskh1h*hnhs1s*sn置信范围置信范围confidence interval风险界限风险界限bound on the risk实现方法n设计具有某种

9、结构的函数集，使每个子集中都能取得最小的经验风险(如使训练误差为0)，然后只需选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最优函数。支持向量机就是使用这一思想，实现统计学习理论结构风险最小化准则的典型方法。支持向量回归(regression)回归问题线性回归:给定训练集( , ),找个线性函数( )=+ 来拟合数据最小二乘法(least square)其中 为回归误差.记 ,则目标函数可写为解为niitibxwybwl12)(),(miniitiybxwnttiittxxxxxbww) 1 ,(,),(1) () () (wxywxywltwxxyxwltt22yxxxwtt1)(最小二乘解的不足:数值稳定性问题,增加新数据对解都有影响,为使模型尽量简单需进行假设检验.长度为长度为 间隔间隔=w.wy=w.x+bn引