数据挖掘十大经典算法其中6个svm

1、基于SVM的人脸检测与识别 戚东坡 2010年 05 月 10日目录 支持向量机（SVM基础介绍） SVM的原理介绍 SVM在人脸检测与识别中的应用 存在的问题人脸识别流程人脸检测人脸识别输入图像图像预处理图像处理人脸识别的一般流程正负人脸样本预处理特征提取svm分类器训练保存训练结果输入检测图像预处理svm检测人脸样本预处理特征提取分类器训练保存训练结果svm识别预处理效果图灰度图二值图椒盐噪声的图片均值滤波高斯噪声均值滤波中值滤波腐蚀膨胀的效果1.基于几何特征的人脸识别方法 基于几何特征的方法是早期的人脸识别方法之一。常采用的几何特征有人脸的五官如眼睛、鼻子、嘴巴等的局部形状特征。脸型特征

2、以及五官在脸上分布的几何特征。提取特征时往往要用到人脸结构的一些先验知识。识别所采用的几何特征是以人脸器官的形状和几何关系为基础的特征矢量，本质上是特征矢量之间的匹配，其分量通常包括人脸指定两点间的欧式距离、曲率、角度等。基于几何特征的识别方法比较简单、容易理解，但没有形成统一的特征提取标准；从图像中抽取稳定的特征较困难，特别是特征受到遮挡时； 对较大的表情变化或姿态变化的鲁棒性较差。2.基于相关匹配的方法 模板匹配法：基于几何特征的人脸识别方法具有识别速度快和内存要求小的优点，但在识别率上模板匹配要优于基于几何特征的识别方法。3.基于统计的方法如PCA方法（主成分分析）。利用KL变换得到其特

3、征脸子空间。此种方法现在还在用。4. 神经网络方法神经网络能够通过选择复杂的变换函数，达到经验风险最小，却不能保证真实风险最小，易陷入局部最小值。像一个人有很好的记忆力，却没有很好的推广力。5. Adaboost方法 需要大量的特征得到大量的弱分类器，然后级联成强分类器。需要大量的样本。其提取特征的模板就像早期利用人的五官特征。6. Svm方法略总之，这些经典的方法都是基于灰度值的操作，自然而然就要受到可见光的影响。为了克服可见光因环境因素而变化的影响，相关企业做了大量的研究和技术开发。基于红外与可见光融合的多光源人脸识别方法是人脸识别技术的一项革命性创新，目的在于消除可见光变化对人脸识别的影

4、响。 讲svm之前先来看一个问题：一、 支持向量机Support Vector Machines 支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。 支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度，Accuracy）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能（或称泛化能力）。 所谓VC维是对函数类的一种度

5、量，可以简单的理解为问题的复杂程度，VC维越高，一个问题就越复杂。正是因为SVM关注的是VC维，后面我们可以看到，SVM解决问题的时候，和样本的维数是无关的（甚至样本是上万维的都可以，这使得SVM很适合用来解决文本分类的问题，当然，有这样的能力也因为引入了核函数）。 一般的学习方法(如神经网络)是基于经验风险最小,满足对已有训练数据的最佳拟和,在理论上可以通过增加算法（如神经网络）的规模使其不断降低以至为0。 但是,这样使得算法（神经网络）的复杂度增加, VC维增加,导致实际风险R(w)增加,这就是学习算法的过拟合(Overfitting). under fittingGood fitover

6、 fitting 统计学习因此而引入了泛化误差界的概念，就是指真实风险应该由两部分内容刻画，一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。很显然，第二部分是没有办法精确计算的，因此只能给出一个估计的区间，也使得整个误差只能计算上界，而无法计算准确的值（所以叫做泛化误差界，而不叫泛化误差）。泛化误差界的公式为：R(w) Remp(w) + (n/h) 公式中R(w)就是真实风险，Remp(w)就是经验风险，(n/h)就是置信风险。统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。 SVM正

7、是这样一种努力最小化结构风险的算法。二、SVM的原理介绍线性可分情况 中间的直线就是一个分类函数，它可以将两类样本完全分开。一般的，如果一个线性函数能够将样本完全正确的分开，就称这些数据是线性可分的，否则称为非线性可分的。 我们把分类函数记作 我们发现中间的直线并不唯一，此时就牵涉到一个问题，对同一个问题存在多个分类函数的时候，哪一个函数更好呢？显然必须要先找一个指标来量化“好”的程度，通常使用的都是叫做“分类间隔”的指标。令中间的直线为g(x)=0;每一个样本由一个向量（就是那些特征所组成的向量）和一个标记（标示出这个样本属于哪个类别）组成。那么一个样本点xi到g(x)=0直线的距离为这样间

8、隔就与两个量有关，是样本集到g(x)=0最近的样本的值。 固定|g(x)|=1,使两类所有样本满足|g(x)|=1即使离分类面最近的样本的|g(x)|=1,则间隔与w成反比，求间隔的最大值也就是求|w|或其平方的最小值。对于两类情况，类别标号y=-1，1。所以可得到约束条件为： 因此，满足上述条件且使 最小的分类面就是最优分类面。过两类样本中离分类面最近的点且平行于最优分类面的超平面 、上的训练样本就是上式中使等号成立的那些样本，它们叫做支持向量SV。因为它们支撑了最优分类面。 这样求最优分类面的问题转化为求下面的方程： 定义拉格朗日函数： 为Lagrange系数，问题变成了对w和b求拉格朗日

9、函数的最小值。上式分别对w和b求偏导并令其等于零。得到表达式：带入前面的式子得到： 令 问题转化为在约束条件下对 求解函数Q(a)的最大值。求得变量值得到最后的判决函数：线性不可分情况：1、近似线性可分： 可以在条件中增加一个松弛因子 ，变成：这样最优分类面问题转化为下式：得到对偶问题表达式为：讨论 与C的关系可得到一下三种情况：2.线性不可分 实际中的样本多是线性不可分的情况，对于线性不可分的样本svm的基本思想就是通过特定的非线性变换将样本空间转换到一线性可分的高维特征空间，然后在新的特征空间中利用线性可分情况下求最优分类面的方法在新空间中求最优分类面 。 这样优化函数变为：其中非线性函数

10、影响最大，但不容易求得，另外的非线性变换使得特征空间的维数变得很大，容易造成维数灾难，使计算变得复杂。为了解决维数灾难问题，svm引入了核函数K代替，使 这样优化函数变为：相应的判决函数变为：核函数的内积要求使得核函数的选择不易，理论上核函数既要满足Mercer条件， 又有一些判定条件。常用的核函数有：linearpolyrbfsigmoid 剩下的就是参数的选取，优化函数的最优解法smoSVM在人脸检测中的应用与识别准备训练样本对于检测要准备人脸与非人脸的两类样本。对于识别要准备多类人脸样本。2. 对正负样本进行预处理 （1） 将正负样本缩放到固定大小（例如20*20），既要保证可辨别，又要

11、使数据量最小（有利于计算）。(2)灰度化(3)灰度分布标准化（或直方图均衡化），以消除光照影响。grayi=newfc*(grayi - aver)/fc + newaver；(4)灰度值归一化（？区间） grayi=grayi/255;(5) KL变换（特征提取 特征脸）利用雅克比方法求得变换矩阵Q，然后将各样本通过变换矩阵进行降维处理。人脸的姿态，光照会有影响。(6) Svm分类器的训练 通过变换矩阵降维后的样本便是训练样本，即可送入SVM进行训练（即解优化函数），训练的结果即找出每类的支持向量。包括每个支持向量对应的拉格朗日系数，分类器的参数等。训练的过程包含了svm类型的选择，核函数的

12、选择，各参数的选择优化，优化函数的求解等。（可参考程序） Svm是一个两类分类器，当进行多类识别时，需要训练多个分类器。然后进行级联。常用的级联方式有：一对一，一对多及多对多（DDAGSVM）。1|2 3 412|3 423|434上图是一对多的方式，多对多类似。我们可以看出，一对一方式是在每两类间就训练一个SVM将它们分开，对于N类问题，就需要N*(N-1)/2个SVM分类器。当N较大时，svm的个数很大，识别速度就较慢。但是单个的svm训练量很小，训练速度很快，且训练数据比较均衡，具有很好的扩展能力 。一对多只需构造N-1个分类器，但其单个训练规模大，且数据不均匀、扩展能力不好（加入新样本需重新训练）。DDAGSVM 只需要N-1个分类器。缺点是根节点的选择直接影响分类的结果，不同的分类器作为根节点，其分类结果可能不同，从而产生分类结果的不确定性。(7) 利用训练好的分类器进行检测与识