非参数判别分类方法

模式识别非参数判别分类方法3.5.3

特征映射法、解决非线性判别分类问题*支持向量机采用的方法与前面提到的方法很不相同，支持向量机提出的方法是利用特征映射方法,使非线性分类的问题可以利用线性分类的计算框架来实现。*原理示意图广义线性判别函数

例如：假设对一个二维空间的分类问题，想用一个二次函数作为判别函数，则二次曲线函数的一般式可以写成：

作为映射后的特征向量，而相应的广义权向量如果我们希望采用广义线性方程的方法，则可以定义则一个线性方程就可以写成,其中,这样一来，线性分类方法就可以直接采用。支持向量机利用特征映射的思想其中,是以下式子求极大值的解

计算上式的极大值只用到训练样本数据间的点积<xi.xj>,而使用的分类器判别函数中权向量的作用也是通过权向量与样本的点积体现出来的，而从（3-104）式子中可以看出，权向量是训练样本中的支持向量的线性组合，因此WTX值的计算可以写成（3-104）（3-105）（3-106）4

它表明在计算判别函数值时，仍然只需要通过计算相应数据的点积即可。

由此可以设想，如果我们将原特征向量用映射的方式转换成

，则相应的式子只需要改变成分类界面方程其中

为相应的常数项（3-107）（3-108）特征映射，核函数分类界面方程

因此选择合适的函数K(.,.)就成为设计中的重要问题

由于特征进行了映射，从x变成了f（x），因此问题是在另一个映射后的空间讨论的。设原空间维数为d，即，而新空间为m维，即

，则一般m维要比d维大得多。权向量的维数也是m维，它是在映射后空间中的支持向量的线性求和。但是支持向量机的提出者进一步发现，并不一定要求出这个权向量，因为分类判别函数中只关心权向量与样本向量之间的点积。因此，又引出了所谓核函数（3-109）（3-110）支持向量机计算示意图核函数

与内积函数值等价的函数K(.,.)称为核函数。理论上的研究对核函数的充分必要条件进行了研究，并已得出一些主要结论（如Mercer条件）。

常用的核函数还局限于以下三种函数形式。多项式类型的函数核函数型式的函数S行函数，如（3-111）（3-112）（3-113）本章小结一、参数判别分类方法与非参数判别分类方法的区别

参数判别方法：它的提前是对特征空间中的各类样本的分布清楚，因此一旦要测试分类样本的特征向量值X已知，就可以确定X对各类的后验概率，也就是可按相应的准则计算与分类，所以判别函数等的确定取决于样本统计分布的有关知识。

非参数分类判别方法：着眼于直接利用训练样本集，省去参数估计这一环节，这样一来，从保证最小错去率的原则出发计算确定判别函数的方法就不适用了。因此，非参数分类判别方法只能根据一些其它准则来设计分类器。分类器的效果好坏，所选择的判别函数型式，所使用的训练样本集，以及所用的算法是对结果都会有影响。二、非参数分类判别方法的基本做法

非参数分类判别方法进行分类器设计主要包含两个步骤：1.确定要使用的判别函数类型或决策面方程类型，如线性分类器，分段线性分类器，非线性分类器等或近邻法等。如果使用人工神经网络，则怎样的网络结构也隐含了所使用的函数形式。

2.在选定的函数类型网络结构等条件下，确定相应的参数，从而完成整个分类器设计。三、决策面方程的显示表示和隐式表示四、基于相似度的分类判别方法

判别函数的隐式表示与使用基于相似程度判别的原则有关。如近邻法是用距离远近表示相似程度，错误修正法用样本向量与增广权向量的点积运算，也可在一定程度上看作相似度，在多类问题上，往往用计算相似度较为方便。*用函数直接表示分界面方程，如线性方程式表示的边界等。*用隐含形式，例如我们用最小距离分类器就代表了这种类

型，其实这两种型式是等价的。如二维空间的最小距离分类器用最小距离表示为：||X-m1||=||x-m2||而其等价于连接m1与m2线的垂直平分线。*本章学习的Fisher准则、支持向量机与局部训练法等用的是

显示表示，而错误修正法和近邻法则可以说是隐式表示。五、Fisher准则

Fisher准则是传统模式识别方法中的典型方法，它强调将线性方程中的法向量与样本的乘积看作样本向量在单位法向量上的投影，如能做到不同类的样本在法向量上的投影呈现类内聚集，类间分开的效果，则对减少错分类有利。所得最佳法向量计算式为

（

见有关课本定义）。这个结果与正态分布协方差矩阵等的贝叶斯决策结果相近，这说明如果两类分布范围绕各自均值的确相近，Fisher准则可使错误率较小。六、感知准则函数方法

这种方法提倡用错分类提供的信息修正错误，这种思想对机器学习的发展以及人工神经元网络的发生发展产生深远影响。七、近邻法

近邻法训练样本数量较多时，从逐渐错误率角度看，其错误率比较小，是经常使用的模式识别分类方法，比较适合在多类别情况下使用。当每类的样本数很多时，存储量与计算量要求都偏高，使用剪辑近邻法与压缩近邻法，特别是压缩近邻法可大量减少训练样本的数量。八、支持向量机

支持向量机是新近提出的影响较大的方法。在理论上有很深的背景，这里指的理论是统计学习理论。

它主要关注的问题是：当训练样本数量有限时。在训练过程中做到使训练样本错误率为最小，是否就意味着系统在实际应用中，也能自然而然做到错误率小呢？对我们来说了解这种理论显然超出我们课程的范围，但是可以举一个例子说明这种问题的确存在。例如下图表示在一个样本集（X，Y），其中X在实数范围内取值，而Y则在[-1,+1]范围取值。例：Sin（ax）拟合红线表示正确拟合得到的结果，但是对于这样一组数据，我们完全可以用一个函数Sin(ax)来拟合它，如图中蓝线表示的函数所示，只要调整参数a总可以使所有数据都落在Sin(ax)曲线上，但是很明显Sin(ax)并不反映这组数据的内在规律，如果再增加一个新数据，参数a很可能就要变。从直观上讲，所用的函数Sin(ax)并不合适，但是从训练样本数据来看，它的拟合程度的确很高。统计学习理论

从我们所讨论的一些方法中，分类器设计的性能，都以队训练样本集有好的性能为目标，而没有办法保证在实际使用时仍能保持好的性能。支持向量机在线性可分时要求隔离带尽可能宽，正是从期望实际的错误率也较低这一点出发。关于