MIML多示例多标记学习

1、 MIML：多示例多标记学习*周志华I张敏灵21南京人学计算机软件新技术国家重点实验室，南京210093河海人学计算机及信息工程学院，南京2100981.引言在利用机器学习技术解决实际问题时，常见的做法是先对真实对彖进行特征提取，用一个特征向屋来描述这个对彖，这样就得到了一个示例(instance),然后把示例与该对象所对应的类别标记(label)关联起來，就得到了一个例子(example)。在拥有了一个较人的例子集合之后，就可以利用某种学习算法來学得示例空间与标记空间Z间的一个映射，该映射可以预测未见示例(unseenmstaiice)的标记。假设每个対彖只有一个类别标记，那么形式化地來说，

2、令尢为示例空间、为标记空间，则学习任务是从数据集(刼皿)，佃2,血)，(如，如)中学得函数n，其中血尢为一个示例而m为示例所属的类别标记。在待学习对彖具有明确的、单一的语义时，上面的学习框架已经取得了巨大的成功。然而，真实世界的对彖往往并不只具有唯一的语义，而是可能具有多义性的。例如，图1(a)中的这幅图像，既可认为它属“人彖”这个类别，也可认为它属于“狮子”、“草地”甚至“热带”、“非洲”：图1(b)中的这个网页，既可认为它属J：“体育”这个类别，也可因为贝克汉姆娱乐明星味十足而认为它属J：“娱乐”类，甚至可以因为皇家马德里足球队出访的旅游、赚钱性质远人J：比赛性质而认为它属J-“旅游”类、

3、“经济”类。由这样的多义性对彖不再只貝有唯一的语义，这就使得前述的只考虑明确的、单一的语义的学习框架难以取得好的效果。值得注意的是，对多义性对彖进行学习是一个非常重要的问题。目前实际应用中遇到的很多难题都是由对喙的多义性所造成的。例如在基内容的图像检索中，众所周知的难题是“语义鸿沟”，即从图像的低层特征到高层语义Z间存在难以逾越的障碍。笔者认为，这一语义鸿沟存在的本质原因之一，就是因为图像是一种多义性对彖：同样的特征描述、不同的语义。试想，如果一幅图像只具有唯一的语义，那么哪里还会有什么语义鸿沟呢？笔者认为，要解决多义性造成的问题，首先需要从某个任务所涉及的众多“可能语义”中把某个具体的多义性

4、对彖所能具有的“合适语义”找出来，然后再根据具体的上卜文从这些“合适语义”中确定当前的“语境语义”。而其中第一步，实际卒本文得到国家|然科学基金(60635030)、江苏省|然科学基金(BK2008018)和江苏省333高层次人才培养工程基金的资助(a)一幅图像APFhoiaSoccarairb4tdEd4inIjuHbhoiliA4nxconfancinSin沪pccoCflJulyNEWSAiemRealMadridSetsOffforWorldTourrtvJug400PMETMADPID.-RrlMaoeqinninq&合刃odd:ouftBangkok1willoethesecond

5、triptcsixw-eekforBeckhamsrMichal6闭nr4iowreEnjUndnational1earnirOftugesemcrieiderijjismakethejourrey.(b)个网页eaiMadridsirstgsmev.OhcagoonSuidaj3iMddlg.Me人Qu.Gi：comMaya:hel_gAngckaoforomovingnntoAcq.图1多义性对象的两个例子上就是要为对象赋予合适的类别标记子集，而不再是唯一的类别标记。针对这个目的，笔者提出了MIML即多示例多标记学习”(Multi-InstanceMulti-Labelleanuiig)这

6、一学习框架W本章将对这方面的研究进展做一个简介，主要内容及更详细的介绍可参见。MIML框架提出MIML的基本考虑，是多义性对彖往往具有复杂的内涵，只用一个示例(即一个特征向最)来进行表示是一种过度简化，在表示阶段就丢失了有用的信息，后续的学习阶段将面临极人的困难。事实上，一个多义性对彖往往可以用多个示例來描述。例如对图像來说，如杲使用某种技术将图像划分为若干个区域，那么每个区域都可以用一个示例來描述，这样，一幅图像就可表示成多个示例组成的一个集合；对文档來说，如果使用某种技术将其划分为若干部分，例如不同的章节段落，那么每个部分都可以用一个示例來描述，这样，一个文档就可表示成多个示例的集合。考虑

7、到多义性对象具有多个语义，我们所要学习的实际上就是从示例集合到类别标记集合上的一个映射。形式化地來说，令尢表示示例空间，表示类别标记空间，则多示例多标记学习：给定数据集(Xi,X)，(X2匕)，(Xf)，目标是学得/:2VT2儿其中，X-c为一组示例龙门血2,，血忑“尢&=1,2,，7右)，iftix-cy为X,的一组合适类别标记“1.列2,，如门，yiky(k=乙)。7鮎为X,中所含示例的个数，A为X中所含标记的个数。对多义性对彖的学习，机器学习界在多标记学习(multi-labellearning)3这一框架(fiamewoik)卜已经有一些研究。在这一框架卜，每个对彖由一个示例描述，该示

8、例具有多个类别标记，学习的目的是将所有合适的类别标记赋予未见示例。形式化地來说，多标记学习:给定数据集1.、勺,（叼.，（如$“）,目标是学得t2儿其中XiG尢为一个示例，YiC为M的一组合适类别标记如，孙2,，/，yik（k=1,2,乙）。心为X中所含类别标记的个数。利用一个示例集合来描述一个对彖，这一技术在多示例学习（multi-instanceleammg）同框架卜已有很多研究。在多示例学习框架下，每个対彖由一组示例（即一个示例包”）描述，该示例具有一个类别标记，学习的目的是预测未见示例包的类别标记。形式化地來说，多示例学习：给定数据集（X1,心（X22），（尤心如）,目标是学得其中，X

9、iC尢为一组示例力门.2,XijX（J=1.2,-,彼），m为与X；的类别标记。n.j为X,中所含示例的个数。如果再考虑本章开头时所提到的传统监督学习（单示例、单标记）框架，那么我们就有了四种学习框架。图2给出了一个直观的对比。instanceinstanceobjectlabelmstaiice # # # #instance/（a）传统监督学习（单示例、单标记（b）多示例学习（多示例.单标记）Jabelinstance/labelinstancemstaiiceinstance（c）多标记学习（单示例.多标记）/label、object（d）多示例多标记学习四种机器学习框架(UP) # #

10、 既然已经有了好几个学习框架，为什么我们还需要MIML呢？首先，从表示能力上来看，传统监督学习框架可视为多示例学习框架或者多标记学习框架的特例，而传统监督学习框架、多示例学习框架以及多标记学习框架均可视为MIML的特例。换句话说,其他三种框架卜所覆盖的情形，MIML框架也覆盖了：而MIML所覆盖的一些情形，其他三种框架未必能够覆盖。在刈真实世界学习问题求解时，好的表示往往至关重要，在一定程度上共至直接决定了学习的成败。采用了合适的表示，有可能更好地捕获学习对彖所含的信息，从而使得学习任务变得容易完成：采用不合适的表示，有可能已经丢失了重要信息，从而使得学习任务变得极其困难。使用MIML来对多义

11、性对彖进行表示，有助明示示例与类别标记Z间的联系，从而有助学习任务的解决。实际上，多标记学习框架所面临的困难，很人程度上是因其用一个示例來描述多义性对彖所造成的。如前所述，在多标记学习框架卜，学习目标是从图2(c)可以看出，这是一个一对多映射(从一个示例到多个类别标记)，而一対多映射并不是一个合式函数。与多标记学习框架相比，MIML框架更加合理一些，虽然多对多映射看起来比一对多映射复杂，但是多对多映射毕竞是一个合式函数，具有很多一对多映射所不具备的数学性质，这就使得学习任务可能得以较好地完成。值得一提的是，与简单地对合适标记进行预测相比，了解一个対彖为什么具有某个类别标记可能在某些场合具有更重

12、要的意义，而MIML为此提供了一种可能。如图3所示，与图3(a)中难以了解类别标记的原因不同，在图3(b)中，我们可能可以知道，对彖具有label】的原因是因为其含有iiistaiiccn*JI有的原因是因为其含有instancopiflJ该对象同时包含instancoi与insUuig则使得其具Wlabcljo:;pabelobject_z-Linstance0mstaiice；y?zmstanceimstance/I|z辺abeQ(a)一个具有/个类别标记的对彖(b)示例与类别标记之间的关系图3MINIL为理解示例与标记之间的关系提供了可能除了多标记学习问题，NAML还有助涉及复杂概念的单

13、标记学习问题的解决。如图4(町所示，対J：非洲”这个语义内涵丰富的概念，与Z对应的图像在表现形式上具有很人的差异性。因此，対图4(町左上角所示的图片，将其正确地分类为“非洲”是一个困难的问题。然而如图4(b)所示，如果我们能够允分利用该图片包含的树木、狮子、人彖、草地等子概念”，由这些子概念和对而言更加明确且易学习，因此我们先利用MIML学习出子概念，然后再利用这些子概念导出“非洲”这一高层概念，这可能比直接对“非洲”进行学习要容易很多。(a)“非洲”是一个复杂.难以学习的高层概念b)利用MIML学习“子概念”，再山“子概念”导出复杂高层概念图4MIML有助丁学习复杂高层概念为了发挥MIML框

14、架的能力，就蛊耍设计出有效的算法。为此，我们基J：退化策略提出了MIMLBOOST算法和MIMLSVM算法山巴基J：正则化(regulaiization)机制提出了D-NHMLSVM算法和M3MIML算法。本章第3节将对这些工作进行简介。如果能够直接接触原始数据对彖，那么我们可以利用MIML进行建模1何获取更多的有用信息，但在不少应用中，尤其是数据挖掘应用中，我们往往只能得到第二手数据，这些数据已由他人进行了特征提取并将一个对象表示为一个特征向嵬。在这种情况卜，虽然不能利用MIML表示的效力，但是MIML学习仍然能发挥重要的作用。我们提出了INSDIF算法，将单示例多标记样本转化为MIML样本

15、进行学习以获得更好的性能。本章第4节将对此进行简介。如前所述，MIML框架还有助J：对复杂高层概念的学习，为此我们提出了SUBCOD算法巴通过发现目标概念的子概念来将单标记样本转化为多标记样本，从而利用MIML的帮助提高学习性能。本章第5节将对此进行简介。MIML学习算法3.1基于退化策略的MIML学习算法如第2节所述，传统监督学习是多示例学习或者多标记学习的特例，而传统监督学习、多示例学习以及多标记学习均是多示例多标记学习的特例。因此，一种简单的MIML求解策略是以多示例学习或者多标记学习为桥梁，将MIML问题退化为传统监督学习问题进行求解。策略1-以多示例学习为桥梁：多示例多标记学习的目标

16、是学得f:2a，该目标可以简化为一个多示例学习问题，即学习相应的目标函数/a/zl：2a，x-l.+lo此时，对丁任意的?/e”m（Xz）=+i当且仅当妙eX否则f.wL（Xz）=-i基于此，给定新样本X*,与之对应的类别标记集合为“=|沟”旳山（中,?/）=+1。该多示例学习问题还可进一步转化为传统监督学习问题，其目标是学得fs/SZ一1.+1并指定如何由fsiSLxtj.y）（j=1.2,，彼）的取值确定hIIL（Xi,y）的取值。此时，对于任意的?/eAfsiSL（Xihy）=+1当且仅当2/eK否则fsJSL（Xij,y）=-1。特别地,我们采用文献7中的方法将多示例学习问题转化为传统

17、监督学习问题，即hIIL（Xt,y）=如口刀工内兀厶（小）。值得注意的是，上述转化过程也可采用其他方法实现。策略2-以多标记学习为桥梁：多示例多标记学习的目标是学得f:2a，该目标可以简化为一个多标记学习问题，即学习相应的目标函数血“:zT2儿此时，対J：任意的冇ez，fMLL（Zi）=/（XJ3且仅当=0（XJ,:2，vtZ。基J：此，给定新样本X*,与之对应的类别标记集合为二九“厶该多标记学习问题还可进一步转化为传统监督学习问题，其目标是学得fsisL：2Xyt7+1。此时，对于任意的?/ey,fsiSL（Zi.y）=+1当且仅当?丿GX否则.fsiSL（Zi.y）=-lo基J此，=vfs

18、iSL（i,y）=+lo本文采用文献8中的“构造性聚类（constructiveclustering）”方法实现所需的映射函数旅值得注意的是，上述转化过程也可采用其他方法实现。基丁策略1.我们设计了多示例多标记学习算法MIMLEOOST。该算法以多示例学习为桥梁,将MIML问题退化为传统监督学习问题求解。首先，MIMLBOOST算法将每个多示例多标记样本（冷转化为|M个多示例单标记样本（Xi，/凶,创）协wy。其中，凶，“包含為个示例（切,切,，（中崩），每个示例由X所含示例与类别标记妙拼接而来。此外，GpG,?/=+i当且仅当?/GK，否则=1/其中偽，舒几。假设采用仃损失函数度最心Z2)，

19、则式(2)中的优化问题可以重写为：As7力”闻+II等细+為戸+為&1(4)t=l0一必/f(Xj.iiutxff(xij)1-4ok,(如6-必0,/y.某样本在每一个类上的输出，MMIML算法定义X)在第厶类上的间隔为：K(2)max.xeXi(伽,a?)+bjllwJI其中，,)用丁计算向量Z间的点积。m3miml算法进一步假设模型在(X,K)上的间隔由各个类上间隔的最小值确定，并且模型在整个训练集上的间隔(记为)由所有样本间隔的最小值确定。在理想情况卜，假设模型可以对训练集中的所有样本正确分类。则V/!，存在模型伽,切)卩使得卜式成立：乂maxwx,(x+bt)l(7)并且对丁任意的l

20、ey,最少存在一个z1.2m使得式(7)取等号。由此即为:minmlniimley必ma%A(5Q+0)l|w；|(9)(9)(9)(9)=minminleyiimy(Qmaxgext(suchthat(max(wf1,ifIeY/I.ifZGV/ 其中，h表示X在中的补集。式所示的不等式按照X取值为+诫_1两种不同的情况在式(9)中对应不同的约束条件。而最人化式(8)所示的间隔mm相当最小化iiuixUwJI2,对应J-式(9)中的优化目标。式(9)在优化目标和约束条件中均涉及nmx函数，难以使用优化技术直接寻优。为此我们利用如卜所示的不等式在一定程度上放宽优化目标和约束条件：inaxl|w

21、/|21-Oiij(1j0.0dj0(1jnt)其中Si=ilim,leYi是具有标记Z的样本对应的索引集合。相应地，S=/|1im,/K为不具有标记Z的样本対应的索引集合。W=wi.w-j.,w-f所有权值向量构成的参数矩阵而b=加,.，歼为所有偏置构成的参数向量。E=&|1i77Z,IeYi和G=匍川im.IYi.ij仏为和应的松弓也变屋集合。此外，目标函数中的参数Q用平衡系统在训练集上的经验误差和间隔。优化问题式(11)是一个具有凸目标函数和线性约束条件的二次规划问题，但仅仅假设了线性模型用r样本分类。为了使得系统具有非线性分类能力，我们将式(11)在其対偶形式卜利用核技巧求解,相应的优

22、化问题变为：(12)subjectto:V21yin,IEysuchthat()anGif/6Kt00紺C(ljif/$K工+工Is=0圧Sf迢3v=l/其中,集合4=ai（lim,IeK，B=&J1im.ZT7,1j%，r=为|1?：m,leK以及=如川iSM/eK,lj0,/where/（）=刀（计士（码,庁iScj=lM3NUML算法的貝体细节请参见5。利用MIML学习单示例样本如前所述，如呆能够直接接触原始数据对彖，那么我们可以利用MIML进行建模而获取更多的有用信息，但在不少应用中，我们只能得到他人进行特征提取后的数据，一个对彖由一个特征向量表示。事实上，対J：采用单示例表示的対彖，

23、此时该対彖多个类别标记所蕴含的多样性信息仅仅内嵌单一的示例中。如果能将对彖单一示例的表示形式合适地转化为包（一组示例）的表示形式，使得包中的每个示例能从特定方面反映对彖所包含的某种信息，那么将有助J：学习问题的解决。基丁上述考虑，我们设计了INSDIF（INStanceDIFferentiation）方法。该方法将单示例多标记样本转化为多示例多标记样本，从而利用MIML框架获得更好的学习结果。总的来看，INSDIF采用了基“示例区分”策略的两阶段学习算法。在算法的第一阶段，INSDIF将每个样本转化为包的表示形式从而在输入空间中显式地描述对彖歧义性。在算法的第二阶段，INSDIF利用多示例多标

24、记学习器对转化后的数据集进行学习。令S=（几加）.，（如,为训练集。其中，爼疋尢为一个示例，而YiCy为与对应的一组类别标记。此外，设每个示例都是一个维的特征向量。在算法的第一阶段，INSDIF为每个可能的概念类/G，计算一个原型向最切该向屋为具有类别/的所有训练样本对应的均值向最：whereGS,IGYJ(14)INSDIF基J：上述原型向最将对彖转化为包的表示形式。貝体来说，在求得每一类的原型向屋后,INSDIF将每个样本劝转化为一组示例构成的包3,包中的每个示例対应J：样本与某个原型向翁之间的差值：J3f=Xi-vtly（15）基J：式（15）,每个样本由单一示例的表示形式血转化为包的表

25、示形式B，且包的人小等所有可能的概念类别数。特别地，包中的每个示例（即血-讪考察了给定样本与类别泛间的空间关系，从而蕴含了该样本与此类别相关的某种信息。实际上，除了利用上述方式实现单示例表示向多示例表示的转化，还可采用其它策略来实现该目标。在算法的第二阶段，INSDIF采用MIML学习算法对转化后的数据集S*=（场#），0“,心）进行学习。在提出该算法时叫我们使用了一种类似J：RBF神经网络的两层分类结构來实现该目标，但其他的MIML学习算法，例如本章第3节中所述的算法都可用于此处。具体地说，该结构的输入为一个包含7?个示例的包=加2,.,包中的每个示例加为一个d维的属性向量加.如2,加仃该结

26、构的输出包含了7个实值，好，其中每个实值输出劭与标记2相对应。该结构的第一层由M个包Ci.C2,-,6”组成，其中每个包Cj对应丁簇Gj的中心且Gi,G2.-.,Ga/将训练集划分为M个互不相交的子集，即U芸1Gj=”1,“2.，血且（7,Gj=0。该结构的第二层对应J：权值矩阵W=【切其中吟为连接包C卢输出yi的权值。我们将每个包看作一个原子对彖，基J：Hausdorff距离度鼠包Z间的距离并利用-medoids算法 将集合內小2Mm划分为M个不相交的簇G.G2厂小这样，每个子集Gj対应的中心G即为：Cj=arginin刀血（人“）（16）AGBqG.其中，亦（A.用J：计算包”与包Z间的H

27、ausdorff距离。由聚类过程有助发现数据集的内在结构信息，因此基J：上式求得的子集中心可能蕴含了不同包的分布信息。由此，每个包刀可以转化为一个M维的属性向量如（）,如，必（），其中0（3）=切（.0）。INSDIF算法所需的第二层权值矩阵W=wjiy.IxT可通过最小化如卜的误差平方和函数得到：=（17）其中，？力）=刀舊专如旳为分类结构相対丁包D在第Z类上的实际输出。此外，必为算法和対J：包D在第2类上的期望输出，当？GK时必取值为+1否则取值为-1。将上式相対J：变最吟求导并设导数值为0,则最小化上述误差平方和函数等价J：求解如卜的方程组：（勺）W=T（18）其中，矩阵=0tjrrtx

28、.v/且含有元素如=0J（3），矩阵T=tdrnxT且含有尤素/=侏这里，我们使用奇异值分解來对上式求解。在INSDIF算法的两阶段训练过程完成后，给定新样本分，与之对应的类别标记集合为Y*=“加附）=刀芝1纱如*）0,/G。其中，少=-Vil为与分对应的包的表示形式。INSDIF算法的貝体细节请参见26。利用MIML学习复杂高层概念如前所述，MIML框架还有助対复杂高层概念的学习，为此我们提出了SUBCOD（sub-conceptdiscovery）算法叫通过发现目标概念的子概念來将单标记样本转化为多标记样本，从而利用MIML的帮助提高学习性能。SUBCOD采用了基J：“子概念发现”策略的两

29、阶段学习算法。在算法的第一阶段，SUBCOD基J：训练包中的所有示例进行聚类分析。由此，算法发现与高层概念对应的一组低层子概念，并将多示例单标记样本转化为多示例多标记样本。在算法的第二阶段，SUBCOD利用监督学习器获得低层子概念与高层概念Z间的映射关系。由此，某JMIML学习器对转化后的数据集进行学习，并利用监替学习器所得的映射关系对新样本的类别标记进行预测。令s=，(x,n,如)为训练集。其中，x：c尢为一组示例构成的包，而加6y为与尤对应的类别标记。在算法的第一阶段，SUBCOD将所有训练包中的示例构成数据集=可1,，叼切，皿”小为了方便起见，我们将D中所有示例重新索引并记为，0?n。其

30、中，N=K严。我们利用具有M个混合成分的混合高斯模型对数据集D进行建模，并将所得模型中的每个混合成分作为相应的低层子概念。我们基J：标准的EM算法对高斯混合模型中的参数进行学习。简要地说，我们首先随机初始化各个高斯混合成分的均值向量“人.，协方差矩阵工人.以及混合系数叶伙=1.2.M)。在EM算法迭代的每一轮中，我们首先求得D中每个样本隶属J：各混合成分的概率：=珂人“山耳：刃J仏刀舊可“仙庇，令)(19) # # # (20)(21)(22)然后，基丁所得数值対模型参数进行更新:刀舊*FT在上述EM过程收敛或迭代达到指定轮数后，我们通过如卜方式确定D中每个样本对应的低层子概念:sc(xi)=

31、argmax(k=L2.A/)(23)b基J：上述结果，我们为每个训练包X,赋予一个M维的二值类别向最C以表达其隶属的一组低层子概念。其中，切=+1代表X,具有第j个高斯混合成分所代表的子概念，否则C1J=-lo特别地，基于式(23),cj=+l当且仅当3a;X/:sc(x)=j,否则c=一1。值得注意的是，对于两个具有相同高层概念的包而言，由J：它们所含的示例不同，其対应的低层子概念有可能不同。由J：上述确定子概念的过程基非监督聚类的方式实现，因此并未考虑每个包所含的高层概念。为此，我们通过考察子概念与X,的高层概念(即s)Z间的关系対二值类别向鼠做进一步的修正。具体来说，我们采用最人化间隔

32、策略來实现该目标。设竝为用J：子类别标记修正的M维实值向最，向量的每一维切0=1,+1.0区间Z内。其中，zij=+1代表标记5的取值应保持不变而Zij=1则代表应翻转标记dj的取值。此外，设向量7；=CiOZj,其中qij=CijZij(j=1,2.M)。另设ci,C2,，Cm中至少有0个标记不能被翻转。基于上述表示,SUBCOD算法将求解如卜的优化问题：(24)mm舟|训瑕+Cgls.t.yi(wf(ciZi+6)1V1m其中,Z=zi,W2.，通过优化上述问题，我们可以得到最人化间隔意义卜的修正值Z。我们迭代地求解式(24)。在迭代过程开始前，我们将Z的每一个元素初始化为1。在迭代优化的

33、每一轮中，我们首先固定Z的取值来优化变鼠血与从二次规划问题)：然后，我们固定变尿0与加勺取值来优化修正值Z(线性规划问题)。上述迭代过程不断重复直至收敛或达到指定迭代轮数。此后，我们利用修正值Z将每个训练包X刈应的二值类别向最修正为乙。其中，劭=+1当且仅当切知0，否则=-1o上述修正过程完成后，初始的多示例单标记训练集S=(Xi,：“).,(X,”,：如J即可转化为相应的多示例多标记数据集S*=(XbCi),-,(Xm,Cm)o基于转化后的数据集亍,我们可以学习得到一个MIML学习器人：2t2$(=1,2,，M)。在算法的第二阶段，为了将测试样本在上的多标记输出映射到所需的单标记，SUBCO

34、D使用一个监督学习算法从(Cb/A),-.?(C/n,?/,)中学习得到一个分类器/：2T”在SUBCOD算法的两阶段训练过程完成后，给定新样本X*,与之对应的类别标记即为:=/(力.(X*)。SUBCOD算法的具体细节请参见2。结束语NflNlL是一个有潜力的而向多义性对彖的学习框架，本章対这方面的一些初步工作皿MS进行了介绍。最近，在基JXHML的图像标注问、MIML的距离度屋学习的以及生物信息学应用】方面又有一些新进展。作为一个新框架，XHML还有很多内容需要进一步探索。我们相信，在今后的几年中，在MIML的学习理论、高效算法、新型应用等方面都会有新成果出现。 参考文献ZhouZH.Zh

35、angM-L.Multi-instancemulti-labellearningwithapplicationtosceneclassification.In:ScholkopfB,PlattJ.HofmannT.eds.AdvancesinNeuralInformationProcessingSystems19(NIPS06).Cambridge,MA:MITPress,2007,1609-1616.ZhouZH、ZhangM-L.HuangS-J.Li-F.NIINIL:Afiainewoikforlearimigwithambiguousobjects.CORRabs-08083231,

36、2008.TsoumakasG,KatakisI.Multi-labelclassification:Anoverview.InternationalJournalofDataWarehousingandMining,2007,3(3):1-13.周志华-多示例学习.见：刘大有主编，知识科学中的基本问题研究，北京：清华大学出版社,2006.322-336-ZhangM-L,ZhouZ-H.Amaximummarginmethodformulti-instancemulti-labelleaimng.In:Proceedingsofthe8thIEEEInteniationalConferenc

37、eonDataMining(ICDW08),Pisa,Italy,2008,688-697.ZhangM-L,ZhouZH.Multi-labellearningbyinstancedifferentiation.In:Proceedingsofthe22ndConferenceonArtificialIntelligence(AAArO7)9V1ancouver.Canada,2007,669-674.XuX,FrankE.Logisticregiessionandboostingforlabeledbagsofinstances.In:Proceedingsofthe8thPacific-

38、AsiaConferenceonKnowledgeDiscoveryandDataMining(PAKDD04)ySydney,Australia.LNAI3056,2004,272-281.ZhouZH.ZhangM-L.Solvmgmulti-instanceproblemswithclassifierensemblebasedonconstructiveclustering.KnowledgeandInformationSystems.2007,11(2):155-170.BoutellMR,LuoJ,ShenX.BrownCM.Learnmgmulti-labelsceneclassi

39、fication.PatternRecognition.2004、37(9):1757-1771.GaitnerT.FlachPA、KowalczykA、SmolaAJ.Mult卜instancekernels.In:Proceedingsofthe19thInteniationalConferenceonMachineLearning(ICML02),Sydney,Australia.2002,179-1S6.EvgemouT.MicchelliCA,PontilM.Learningmultipletaskswithkernelmethods.JournalofMachineLearningResearch.2005,&615-637.CheungPM.KwokJT.Aregularizationfiameworkformultiple-instanceleaimiig.In:Proceedingsofthe23rdInternationalConferenceonMachineLearning(ICML06),Pittsburgh.PE,2006,193-200.SmolaAJ,VishwanathanSVN.HofinannT.Kernelmethodsformissingvariables,hi:Proc