物流人工智能-支持向量机-SVM

机器学习——支持向量机算法内容纲要线性SVM分类间隔123能力提升在于实践456对偶问题与KKT条件软间隔与正则化核函数SMO算法SVM的总结与碎碎念7相关API与超参数全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——支持向量机算法线性SVM分类间隔线性SVM分类间隔支持向量机(SupportVectorMachine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势。准确线性SVM分类间隔类别1类别2更高维度线性SVM分类间隔X1X2是这个线性分类问题的解但只是无数个解之中的一个因为这样的超平面有无数个这些无数w,b参数都可以解决分类问题线性SVM分类间隔X1X2显而易见在诸多w,b决定的超平面中必定有一个是鲁棒性泛化能力组好的线性SVM分类间隔X1X2我们希望找到一对w,b使得分类超平面“最保险”我们只需要关注超平面最近的点这也是SVM的一大成就“分类边界的构造其实只与少数样本有关”线性SVM分类间隔X1X2我们希望找到一对w,b使得分类超平面“最保险”“限制条件”线性SVM分类间隔X1X2支持向量“限制条件”线性SVM分类间隔X1X21-1如何判断分类正确线性SVM分类间隔X1X21-1线性SVM分类间隔X1X21-1函数间隔间隔越大，说明分类置信度越高线性SVM分类间隔X1X21-1几何间隔线性SVM分类间隔X1X21-1||w||=1时，函数间隔和几何间隔相同线性SVM分类间隔定义:SVM中的”间隔“两个支持向量到超平面距离之和线性SVM分类间隔最优的分类超平面：同时还要保证分类正确：准确:理论上的最优解线性SVM分类间隔目标：求最大间隔的凸优化问题还是那种带不等式约束的全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——支持向量机算法对偶问题与KKT条件对偶问题与KKT条件优化问题对偶问题与KKT条件带有约束的优化问题有请拉格朗日对偶问题与KKT条件拉格朗日乘子法是一种经典的求解条件极值的解析方法，可将所有约束的优化模型问题转化为无约束极值问题的求解。拉格朗日乘子法的一般形式是对偶问题与KKT条件拉格朗日乘子法是一种经典的求解条件极值的解析方法，可将有d个变量与k个约束条件的优化问题转换为具有d+k个变量的无约束优化问题。拉格朗日乘子法的一般形式是在我们的问题中，有2个变量，1个约束对偶问题与KKT条件定义拉格朗日系数乘以约束函数并与目标函数相加得到如下的拉格朗日函数对偶问题与KKT条件因为满足约束条件的w,b会使得为零不满足约束条件时，因此可取正无穷(让为正无穷即可）最小化就成了一个无解的问题

对偶问题与KKT条件所以必须满足约束条件的情况下，将目标转化为一个无约束问题（融合约束条件）对偶问题与KKT条件

仍然不好求，我们转化为他的对偶问题-对偶问题的对偶是原问题-无论原始问题是否是凸的，对偶问题都是凸优化问题-对偶问题可以给出原始问题一个下界-当满足一定条件时，原始问题与对偶问题的解是完全等价的对偶问题与KKT条件原问题对偶问题max和min换了一下，其最优解是相等的吗？弱对偶性:d*≤p*强对偶性:d*=p*任何优化问题成立满足KKT条件时成立对偶问题与KKT条件对w和b偏导为0对偶问题与KKT条件两边求偏导(分别对w与b)，并令其=0对偶问题与KKT条件将结果带回原拉格朗日方程并对偶表达用已知量x,y和拉格朗日系数阿尔法代替了w消去了b对偶问题与KKT条件带回支持向量即可求b对偶问题与KKT条件到这里，SVM的基本分类表达形式已经明确了全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——支持向量机算法核函数核函数准确:理论上的最优解炫酷:解决线性不可分核函数x1x2核函数(x1,x2)线性不可分(x1,x2,x1*x2)线性可分核函数核函数定义核函数关键问题：求也就是求训练集点与测试点在映射之后高维度上的内积核函数注意其中m是数据的维度（原始特征数量）核函数蕴含了从低维到高维的映射思想，从而避免直接计算高维的内积核函数核函数核函数核函数不需要每次都具体计算出原始样本映射的新的无穷维度的样本点直接使用映射后的新样本点的乘就散公式即可减少计算量减少储存空间核函数

高斯核可映射到任意维：

多项式核可映射到n维：

多项式核其实就是线性可分布SVM：核函数全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——支持向量机算法软间隔与正则化软间隔与正则化线性不可分，映射到高维度软间隔与正则化X1X2软间隔与正则化X1X2软间隔与正则化X1X2考虑所有的点构造硬间隔无解软间隔与正则化如果我们能忽略掉噪声点松弛变量X1X2软间隔与正则化X1X2对于点(i=1...n)，不要求所有的点都能都满足而是对于少数的点，可以放宽条件构造软间隔软间隔与正则化X1X2避免了分类面向个别点移动使得分类面间隔更大，或者从无解到有解丢弃了对某些点的精确分类使得分类器整体受到了损失软间隔与正则化使用软间隔：避免了分类面向个别点移动使得分类面间隔更大或者从无解到有解丢弃了对某些点的精确分类使得分类器整体受到了损失+-软间隔与正则化惩罚系数惩罚系数C是一个超参数，不是求解的目标惩罚系数C越大，说明我们越不愿意放弃这些点惩罚系数C小，说明我们对于这些点的死活毫不在意软间隔与正则化拉格朗日乘子软间隔与正则化软间隔与正则化硬间隔软间隔全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——支持向量机算法SMO算法SMO算法软间隔线性不可分：核函数软间隔+核函数，SVM完全体SMO算法如何求解αSMO算法SMO算法求解α的过程是一个二次规划+启发式算法的过程每一对α都要满足KKT条件每一轮优化一对α直到结束如何选择该轮此优化的α如何优化解本轮的αSMO算法如何优化解本轮的α基本型SVMKKT条件完全体SVMKKT条件现在假设我们已经选定了一对αSMO算法如何优化解本轮的α目标函数展开本对α(1,2)剩余α(3,4.....n)SMO算法y=±1SMO算法只包含，令偏导等于=0求起来吧SMO算法SMO算法设定边界L,HSMO算法SMO算法如何选择该轮此优化的α如何优化解本轮的α更新求解的目的是使得每对α都符合KKT条件第一个变量，选违反KKT条件最严重的那个SMO算法第二个变量，选E1-E2最大的，使得更新能有最大限度的变化SMO算法全面推动学习者能力提升升级实践教学激发技术创新助力产业变革机器学习

——支持向量机算法SVM的碎碎念SVM算法的碎碎念SMO算法当前阿尔法对的选择更新α查看是否满足停止条件停止并输出YNSVM算法的碎碎念优点缺点-少量'支持向量'提供分类依据，避免了冗余信息-很好的非线性效果-鲁棒性较强-避开了统计学