基于半监督的SVM迁移学习算法研究

基于SVM的半监督迁移学习的算法研究摘要在数据挖掘中，合理的采用相关数据域去帮助新的数据域分类已经成了一项重要课题。半监督学习已经广泛应用于数据挖掘、机器学习的分类等研究中，但结合迁移学习方式的方法却较少见。SVM在处理大数据方面也越受到关注，不同学习方式结合SVM的算法也陆续提出。本文结合半监督SVM（Semi-supervisedSVM）算法与迁移学习的方法，给出了一种半监督迁移SVM分类方法，通过对辅助数据域的局部与目标域的全局一致学习（LLGC）得到目标方程，并以半监督的方式对目标方程进行迭代，收敛得到最终的SVM分类器，对目标任务中未标记样本得到最终标签。应用该方法得到分类器具有较高的精确度。关键词数据挖掘；半监督学习；迁移学习；一致学习1引言在传统分类方法中，大部分都是有监督的，即用带标签的数据来训练分类模型，并且只局限于目标数据域。然而，收集带标签的实例是非常困难且要耗费巨大的[1]，不带标签的数据却是相当巨大，很容易获取。如果只有少量的带标签的数据和大量未标记的数据可用，那么半监督学习在一定程度上便能弥补因训练数据不足而导致过拟化的分类误区。很多机器学习的方法，无论是传统的机器学习还是半监督学习问题，都是建立在一个共同假设：测试数据与训练数据属于统一数据分布与同一特征空间。一旦数据分布有差异，很多学习方法便无法表现的很好。于是又要重新标记大量数据去训练模型来适应新的数据分布，这样的代价是昂贵的。基于这个局限，便引入了迁移学习[3]，目的是从其他相关辅助数据域中迁移知识去帮助目标域中解决学习任务。例如，在网页分类中，我们能利用迁移学习从大学网页迁移知识来帮助F分类任务训练一个分类器[4]。虽然大学网页与社交网络的数据分布十分不同，但是始终存在一些共同的分类知识来构建知识迁移的桥梁帮助提高分类器性能。近年来，随着研究的深入，半监督、迁移学习等方法也逐渐应用于数据分类、社交网络分析和图像处理等方面。如QiangYang等人迁移学习对于文本挖掘的应用[5]。目前，在解决实际的文本分类问题中，人们提出了不同类型文本分类方法，很多针对文本像基于贝叶斯的文本分类方法[6]、基于SVM的文本分类方法[7][8]以及基于KNN的文本分类方法[9]等。随后基于这些基本方法的迁移学习也成为了当今热点，如跨域SVM方法[10][11]。而迁移学习在各领域的应用也是层出不穷，如在社交网络的推荐系统中便提出了跨域推荐(CDR)[20]和社交网络中的异构迁移对于图像聚类的方法[21]，在图像处理和信号处理方面也有应用[22][23][24]。在这篇文章，我们提出了一种基于SVM的半监督迁移学习方法，我们的贡献有：（1）我们合理的利用了目标域中未标记的数据与少量带标签的数据，并采用局部化SVM(LSVM)进行局部和全局一致学习（LLGC），采用半监督的学习方式来加强分类器精度[12][18]。并给出了这种方法的目标方程;（2）为了给分类器得到更好的泛化误差，我们引入了迁移学习的方法对目标方程进行迭代，给出了迭代终止目标函数，产生更为精确的分类器并得到数据标签[13]。本文的组织结构如下。在第二节，我们将简要介绍一下基于SVM的半监督学习和基于SVM的迁移学习方法(TLSVM)。在第三节，我们提出基于SVM的半监督迁移学习方法。实验部分的内容则在第四节。最后，第五节是我们对以后工作的总结。2相关工作由于我们关注的是基于SVM的半监督(4)s.t.类似A-SVM[19]，我们也想要保证这个新的决策边界在旧的辅助数据的判别属性，但是这个技术有个特别的优点：就是没有强迫这个正规项限制新决策边界相似于旧的。代替这个，基于本地化的主意，这个判别属性仅在与目标数据有相似分布的重要辅助数据样本中被处理。特别地，采用了高斯函数的形式：(5)控制来自的重要支持向量的退化速度。越大，支持向量的影响就越小同时也就远离。当非常大，一个新的决策边界单独基于新的训练数据学习得到。相反，当非常小，来自的支持向量和目标数据集同等对待并且算法相当于运用共同训练一个SVM分类器。通过这样控制，与传统方法对比，这个算法更一般化和灵活。控制参数实际上能通过系统验证试验来优化。对于上面所产生的一个初始弱SVM分类器，我们得到了目标域中未标记数据的一组初始标签，接着把加入训练集中一起训练，就形成了我们所提出的半监督迁移的方法。其基于SVM的半监督迁移学习算法的分类器对于两类问题的定义如下：(6)s.t.3.2半监督迁移算法的描述对于目标域数据，假设是包含个样本且给定标签的训练集，是包含个样本且未带标签。本文提出的基于SVM的半监督迁移算法的步骤如下：利用目标域中少量带标签的数据集和辅助数据集中经过预处理得到一组支持向量作为原始训练集，训练出一个弱分类器SVM1。利用SVM1标记目标数据域中未标记的数据，获得初始一组标签。将目标域中未标记数据集加入训练集中，共同训练出分类器SVM2，并得到其各参数和。此时的标签为。迭代下去，