核函数方法及其在过程控制中的应用研究Studiesonthe课件

核函数方法及其在过程控制中的应用研究

Studiesonthekernel-basedmethodsanditsapplicationsinprocesscontrol

核函数方法及其在过程控制中的应用核函数方法及其在过程控制中的应用研究核函数方法及其在过程控1主要内容KerneltrickKernel-basedmethodsKernelchemometricKernelPCA,KernelPCRKernelPLSKernelFisherDiscriminantSupportvectormachinesSupportvectorclassificationmachinesSupportvectorregressionmachinesApplications核函数方法及其在过程控制中的应用主要内容Kerneltrick核函数方法及其在过程控制中的2研究背景人类具有通过事例学习能力，并能举一反三。因此，希望在对机器智能的研究中，也希望它具有该能力。传统方法及其局限性统计学在解决机器学习的问题中取基础作用传统统计学研究的主要是渐近理论，即当样本趋向无穷多时的统计性质Vapnik等人系统地研究了有限样本情况下的机器学习问题，建立了统计学习理论（SLT）的基本体系。SVM在应用研究中展示了良好的性能核函数方法及其在过程控制中的应用研究背景人类具有通过事例学习能力，并能举一反三。因此，希望在3由于工业过程的复杂性，（多变量、非线性、时变、分布参数、信息不完全、信息冗余等）。基于过程机理的方法在应用研究中遇到困难。过程控制借鉴了机器学习中的理论与方法，如ANN。取得了较丰富的成果。ANN的困境缺乏坚实的理论基础解决复杂问题表现出的局限性过学习局部最小点模型结构何参数确定依赖于经验对样本容量与分布特性要求核函数方法及其在过程控制中的应用由于工业过程的复杂性，（多变量、非线性、时变、分布参数、信息4SLT与SVMSLT系统地研究了小样本情况下的机器学习问题。理论扎实SVM是基于SLT的通用机器学习方法SVM方法又促进了核函数方法的应用研究SVM与BPNN的比较，有一系列优点现有的研究表明，SVM在模式识别等领域的应用研究中，对于一些Benchmark问题，结果优于ANN方法。SVM的特点，十分有利于处理过程控制中的复杂特性。核函数方法及其在过程控制中的应用SLT与SVM核函数方法及其在过程控制中的应用5过程控制中广泛存在多变量问题，数据量大，信息冗余。线性多元特征提取方法应用较多。如基于PCA的过程状态监测与故障诊断。但很难提取非线性特性。回归方法，如PCR,PLS等在过程建模上应用较多。它们本质上仍然属于线性方法。用核函数方法改造传统线性Chemometric方法受到广泛重视。核函数方法及其在过程控制中的应用过程控制中广泛存在多变量问题，数据量大，信息冗余。线性多元特6Kerneltrick根据模式识别理论，低维空间线性不可分的模式通过非线性映射到高维特征空间则可能实现线性可分，而且在高维特征空间中再提取特征信息也会更容易。如函数型连接网络。图2函数型连接网络

核函数方法及其在过程控制中的应用Kerneltrick根据模式识别理论，低维空间线性不可7实际上很难单纯采用这种方法，因为存在如下几个难点：

非线性函数形式的确定。特征空间维数的确定。高维特征空间进行计算时的维数灾难。

核函数技术（kerneltricks）的基本思想是把非线性变换后的高维特征空间的内积运算转换为原始输入空间中的核函数的计算，即通过来实现的。把采用kerneltricks的方法称为核函数方法。

核函数方法及其在过程控制中的应用实际上很难单纯采用这种方法，因为存在如下几个难点：非线性8核函数方法的特点：避免了直接在变换后的特征空间的运算，大大减小了计算量，避免了“维数灾难”。采用核函数后，没有必要知道非线性变换函数的形式特征空间的维数甚至可以是无穷大。核函数的选择也不困难，满足Mercer条件的任意对称函数都可作核函数。

核函数方法及其在过程控制中的应用核函数方法的特点：核函数方法及其在过程控制中的应用9图3Kerneltricks示意图

核函数方法及其在过程控制中的应用图3Kerneltricks示意图核函数方法及其在过10高斯核函数

指数型核函数

多项式核函数

感知器核函数B样条核函数常用核函数核函数方法及其在过程控制中的应用高斯核函数

常用核函数核函数方法及其在过程控制中的11SLT与SVM的主要内容统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括四个方面

经验风险最小化准则下统计学习一致性的条件

在这些条件下关于统计学习方法推广性的界的结论

在这些界的基础上建立的小样本归纳推理准则

实现新的准则的实际方法(算法)SLT主要内容核函数方法及其在过程控制中的应用SLT与SVM的主要内容统计学习理论就是研究小样本统计估计和12SLT与SVM的主要内容（续）VC维为了研究学习过程一致收敛的速度和推广性，SLT定义了一系列有关函数集学习性能的指标，VC维是最重要的。定义：对一个指示函数集，如果存在h个样本能够被函数集中的函数按所有可能的种形式分开，则称函数集能够把h个样本打散。函数集的VC维就是它能打散的最大样本数目h。

VC维反映了函数集的学习能力，VC维越大则学习机器越复杂(容量越大)目前尚没有通用的关于任意函数集VC维计算的理论

核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）VC维核函数方法及其在过程控13SLT与SVM的主要内容（续）推广性的界

SLT系统地研究了对于各种类型的函数集，经验风险和实际风险之间的关系，即推广性的界。对于两类分类问题，根据统计学习理论，对指示函数集中的所有函数（包括使经验风险最小的函数），经验风险和实际风险之间以至少1－η的概率满足以下关系：这一结论从理论上说明了学习机器的实际风险由两部分组成：一是经验风险（训练误差），另一部分称作置信范围，它和学习机器的VC维及训练样本数有关核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）推广性的界核函数方法及其在过14SLT与SVM的主要内容（续）

在有限训练样本条件下，分类模型的VC维越高（复杂性越高）则置信范围越大，导致真实风险与经验风险之间可能的差别越大，这就是出现过学习的原因。机器学习过程不但要使经验风险最小，还要使VC维尽量小以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性。核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）在有限训练样本条件下，分类模15SLT与SVM的主要内容（续）结构风险最小化

函数集子集VC维：

图4结构风险最小化示意图

核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）结构风险最小化函数集子集图416SLT与SVM的主要内容（续）实现SRM原则可以有两种思路

在每个函数子集中求最小经验风险，然后选择使最小经验风险和置信范围之和最小的子集。当子集数目很大甚至是无穷时不可行

设计函数集的某种结构使每个子集中都能取得最小的经验风险（如使训练误差为0），然后只需选择选择适当的子集使置信范围最小，则这个子集中使经验风险最小的函数就是最优函数。SVM即采用这种思路传统方法，如ANN，选择模型和算法的过程即为调整置信范围。当确定后，再最小化经验风险。可惜上述选择和调整无理论指导，依赖设计者经验。核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）实现SRM原则可以有两种思路17SLT与SVM的主要内容（续）SVM方法是从线性可分情况下的最优分类面提出的

所谓最优分类面，就是这样的分类超平面，它不但能够将所有训练样本正确分类，而且使训练样本中离分类面最近的点到分类面的距离(定义为间隔)最大

在线性不可分的情况下，通过非线性变换将输入空间变换到一个高维特征空间。在新的特征空间中求取最优线性分类面，而这个非线性变换是通过核函数实现的

支持向量是训练数据集合的子集SVM主要内容核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）SVM方法是从线性可分情况下的18SLT与SVM的主要内容（续）图5最优分类面

核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）图5最优分类面核函数方法19SLT与SVM的主要内容（续）通过使间隔最大化来控制分类器的复杂度、进而实现较好的推广能力

正则化方法应用kerneltricks应用把优化问题转换为二次规划问题，因此避免了局部最小化问题。用于模式识别的SVC推广到实函数估计的SVR核函数方法及其在过程控制中的应用SLT与SVM的主要内容（续）通过使间隔最大化来控制分类器的20SVC简介最优超平面：

已知数据集：支持向量到最优超平面的距离为假设数据集可以被一个超平面没有错误地分开，则与两类样本点距离最大的分类超平面会获得最佳的推广能力。

求最优超平面的问题转化为如下最优化问题：

按照最优化理论中二次规划的解法，可把该问题转化为Wolfe对偶问题来求解。构造Lagrange函数：核函数方法及其在过程控制中的应用SVC简介最优超平面：已知数据集：支持向量到最优超平面21其中是Lagrange乘子根据最优化原理有：

即：

核函数方法及其在过程控制中的应用其中是Lagrange乘子根据最优化原理有：即：核22将两式代回Lagrange函数中，消去w和b，经运算得到原最优化问题的Wolfe对偶问题：其解是原最优化问题的整体最优解。可采用优化算法解出；参数b可根据Karush-Kuhn-Tucker条件求出：

最后求得得最优超平面为：

需要注意的是只有支持向量所对应的Lagrange乘子才不是0。核函数方法及其在过程控制中的应用将两式代回Lagrange函数中，消去w和b，经运算得到原最23对于线性不可分的分类问题，可以将输入x通过非线性函数映射到高维特征空间，在此空间再进行线性分类。最终结果为，以核函数代替上式中的。即

显然，在结构上它等效于三层前向神经网络。核函数方法及其在过程控制中的应用对于线性不可分的分类问题，可以将输入x通过非线性函数24图6SVM结构示意图

核函数方法及其在过程控制中的应用图6SVM结构示意图核函数方法及其在过程控制中的应用25表1前馈神经网络与SVMs比较不同点前馈神经网络SVMs理论基础（优化原则）经验风险最小化结构风险最小化对训练数据要求大样本，数据质量要较高小样本，可处理稀疏数据模型结构和参数确定先确定模型结构，再确定模型参数，反复训练、试凑。经验影响较大结构和参数可以通过训练由训练算法自动同时确定优化的全局性可能陷入局部最小点全局优化模型参数数量模型参数多模型参数较少模型推广能力较差较好模型训练难易程度通常较难相对较容易计算复杂度取决于样本输入变量的维数和样本维数与样本输入变量维数无关，取决于样本维数核函数方法及其在过程控制中的应用表1前馈神经网络与SVMs比较不同点前馈神经网络SVMs26设给定l个训练样本，其中是n维输入；是样本输出。非线性回归就是找到一个非线性函数f，能够逼近输入和输出之间的关系。采用与非线性分类支持向量机类似的方法，首先将输入通过非线性函数映射到高维特征空间F，将非线性函数回归问题转化为高维空间的线性回归。SVR简介设所求逼近函数为：，其中h为高维特征空间维数，b为偏置量。由于是固定不变的，因此影响w的有经验风险的总和以及使函数f在高维空间平滑的。因此有：

其中e(.)是损失函数，是正则化常数

核函数方法及其在过程控制中的应用设给定l个训练样本，其中27最小化便得到用数据点表示的w

其中和是最小化的解，综上所述有：对不同的损失函数e(.)，式（19）的优化问题有不同的形式。

常用的损失函数有Vapnik－不灵敏度损失函数，二次－不灵敏度损失函数Huber损失函数等。参数b可根据Karush-Kuhn-Tucker条件求出。

核函数方法及其在过程控制中的应用最小化便得到用数据点表示的w其中和是28模型选择

SVMs模型性能很大程度上取决于模型参数，SVMs模型选择包括多个方面，正则化参数损失函数核的类型及核参数等核函数方法及其在过程控制中的应用模型选择SVM29KernelchemometricKernelPCA,KernelPCRKernelPLSKernelFisherDiscriminant（KFD）核函数方法及其在过程控制中的应用KernelchemometricKernelPCA,30国内外研究现状研究主要集中在各种改进型SVM，如LS-SVM,v-SVM,FuzzySVMSVM算法SVM应用，特别是模式识别问题目前应用领域与成果模式识别回归估计数据挖掘工程应用研究结果令人满意核函数方法及其在过程控制中的应用国内外研究现状研究主要集中在核函数方法及其在过程控制中的应用31SVM算法SVMlight为代表的分解算法在线训练算法序贯分类算法SMO，适用于回归和函数估计对多类分类问题，标准算法是对于n类问题构造n个两类分类器，第i个SVM用第i类中的训练样本作为正的训练样本，而将其它的样本作为负的训练样本，这种算法称为“一对多”（oneagainstallmodel）。这样需要构造的SVM分类器的数目等于数据样本的模式数目。这种方式的缺点是对每个分类器的要求较高。第二种是“一对一”（oneagainstonemodel）策略，即为了对n个类的训练样本进行两两区分，分别构造n(n+1)/2个SVM分类器。在测试时，使用成对的SVM进行鉴别比较，每一次淘汰一个SVM分类器，而优胜者间继续进行竞争淘汰，直到最后仅剩一个优胜者。该优胜SVM分类器的输出决定测试数据的类别。核函数方法及其在过程控制中的应用SVM算法对32核函数方法及其在过程控制中的应用核函数方法及其在过程控制中的应用33我国研究现状80年代末，边肇祺等注意到该研究，但由于SVM还没提出，研究较少90年代末，研究逐步增多，到2000以后，迅速增多，形成研究热点2000年后，过程控制领域的应用开始见诸报道软测量系统辨识但多数是仿真研究，工业应用研究报道较少。核函数方法及其在过程控制中的应用我国研究现状80年代末，边肇祺等注意到该研究，但由于SVM还34本人工作介绍基于SVM和核函数方法的过程软测量建模研究SVM软测量建模PCA-SVM软测量建模，KPCA-SVM软测量建模核函数PCA、核函数PLS、核函数PCR等软测量建模基于SOM-SVM的多模型软测量建模基于SVM的故障诊断方法研究故障诊断是典型的小样本问题，因此用SVM方法研究故障诊断问题是十分合适的SVM用于故障诊断：直接建立故障诊断模型用于残差分析分别采用SVM分类中的“一对多”和“一对一”策略，将复杂故障诊断问题分解，研究其基于SVM的递阶故障诊断方法核函数方法及其在过程控制中的应用本人工作介绍基于SVM和核函数方法的过程软测量建模研究核函35本人工作介绍（续）基于SVM的动态建模方法研究研究适合于动态建模的核函数及参数选择策略提出SVM-PLS混合模型建模方法，并用于复杂工业过程动态建模基于SVM的数据挖掘方法及其在过程控制中的应用研究基于SVM的数据挖掘方法在过程优化中的应用基于SVM的数据挖掘方法在状态监测中的应用核函数PCA等