智能学习的论文翻译

1、P-N学习：受结构性限制的自举二元分类器摘要本文展示了通过结构化的未标记数据，二元分类器的性能可以得到显著提高。例如，通过了解一个样例的标记去限制其他样例从而使数据结构化。本文计划使用一个新奇的范例通过标记的和未标记的样本来训练一个二元分类器，这一过程就成为P-N学习。这一学习过程是在积极和消极的限制下被指导进行的，这些限制限制了未标记集合的标记过程。P-N学习评估分类器的未标记数据，识别出与结构化限制分类相抵触的样本，通过迭代过程将正确的范例增加到训练集合中去。本文提出了关于在何种情况下P-N学习可以确保初始分类器的性能提升的理论，并将其运用到综合性的真实数据中。P-N学习可以应用于解决追踪

2、过程中目标探测的在线学习问题。本文验证了通过一个简单的范例和一个目标可能出现的未标记的视频序列就可以得到精确的目标探测。这一算法与相关的方法进行了比较，在发展现阶段已经在一系列不同种目标上得到了验证（面部，行人，汽车，摩托车和动物）。1.简介近年来，关于半监督式学习的研究大热，比如，在分类器训练中同时使用标记的和未标记的数据6,24。已被验证的是，对于某些特定问题，未标记的数据引人注目地改善了分类器。大多数普通的学习算法将未标记的范例假定为相互独立的。因此，这些算法就不能将未标记范例间的相关性加以利用，而这些相关性中潜藏着大量的信息。在机器视觉中，数据极少是独立的，因为时空相关性，数据的标记都

3、是相关联的。具有从属性的标记的数据被称作结构化的。例如，目标探测的任务就是标记出一个输入图像中所有可能的图像块是积极的（目标），还是消极的（背景）。在一幅输入的画面中，独特的对象仅能占据一个位置。如图2所示，在一个视频中目标的变化位置定义成一个轨道。轨道代表着视频序列中标记的结构化。靠近轨道的图像块都有着同样的积极标记，远离轨道的则是消极的标记。另一个结构化数据的例子是在一个场景中探测目标各部分或是对多级目标的识别。在这些情况中，对整个图像的标记是通过预设的或学习过的目标部分的空间构型所限制的。本文提出了一个从结构化的未标记数据来学习的新范式。这一方式是通过所谓的积极和消极结构性限制来利用数据

4、结构，即强制将未标记集合进行确定标记。积极限制器列举了可接受的具有积极标记的图像块，例如，靠近目标轨道的图像块就是积极的。消极限制器列举了可接受的具有消极标记的图像块，如轨道周围环境的部分就是消极的。这些限制器是并联使用的，并且可以证明，将它们组合使用可以使它们各自的误差得到相互补偿。这些限制器是作用在整个未标记集合上的，因此比起那些仅作用在单个样例上的分类器来说可以利用更多不同的信息资源。由一小部分的标记过的样例和许多结构化的未标记样例的可用性可以得到如下的学习策略：（i）使用一个标记过的例子，训练一个初始分类器，然后用标记过的数据来调整预设过的限制器；（ii）用分类器对未标记的数据进行标记

5、，然后识别出那些与结构化限制器相矛盾的样例标记；（iii）纠正这些矛盾标记，并将其添加进训练集合中，对分类器进行再训练。我们将这一自举过程称作P-N学习。本文的工作在于将解决离线和在线学习问题的P-N学习计算范式形式化。本文对这一过程进行了理论分析，并且列举了在何种情况下学习过程可以确保初始分类器的改善。在实验部分，本文将使用P-N学习去在追踪过程中训练一个目标探测器。本文提出了一种简单却有效的限制对于从视频中提取的图像块的标记的限制器。本文采用的学习方法是实时处理图像序列，得到的探测器结果达到了先进水平。本文的其余部分的内容是这样安排的：第二章回顾了利用未标记数据的多种方法；第三章展现了P-

6、N学习的形式化过程并讨论了其收敛性；第四章中这一理论被应用于从一个视频中学习目标探测；第五章中用综合性的数据对其进行了验证；第六章将这一系统与已有的方法进行对比，并详细进行了分析；本文最后进行了总结和对未来工作的展望。2.利用未标记的数据在半监督式学习中，是由监督的信息指导着对未标记数据的处理6。这类信息通常是以一种与其中一些范例相关的标签的形式出现的。另一种设定是提供一种例如“这些未标记的点都具有一样的标记”的限制器1。这种形式的监督更具有一般性，且适用于去描述数据间更为复杂的关系。期望值最大化（EM）是一类求解概率性模型参数的算法。在分类方面，这些参数可能是与标签分类相符合的。EM方法将数

7、据可能性最大化，因此，如果在类别边界出的未标记范例如果分布较少的话，会表现较好。这通常叫做低密度分离假设6。EM方法成功应用于文档分类17和学习目标种类18。EM方法有时会被解释为一种自主学习的软方法24。自主学习大概是半监督式学习的最古老的方法了6。它首先通过用一个标记过的训练集合来训练一个初始分类器而开始，然后这个分类器被用于评价未标记数据。最具有确定性的范例将与估计的标记一起被加入训练集合中，然后这个分类器被重新训练，这是一个迭代的过程。这个自主学习被应用于人眼探测20。从中得出一个结论：当未标记数据是通过独立的测量而挑选出的，而不是通过分类器的自主挑选时，探测性能会改善更多。这表明，低

8、密度分离假设对于目标探测并不适用，可能其它方法可行性更高。在相互训练4中，描述范例的特征矢量被分为两个部分，也称作视图。通过在每一个视图中训练一个单独的分类器来初始化训练，再将每一个分类器对未标记数据进行评估。第一个分类器中确定标记的样本被用来加入第二个分类器的训练集合中，反之亦然，迭代进行。相互训练的根本假设就是这两个视图在统计意义上是完全独立的。这个假设应用在有两个模态的问题中是合适的，例如，文本分类4（文本和超链接），或者生物计量中的识别系统19（样貌和声音）。在视觉目标探测中，相互训练被应用于监控系统中的车辆探测14以及移动目标识别10。本文认为相互训练并不是针对目标探测的一个好的选择

9、，因为这些范例（图像块）是从一个简单模态中提取的样本。从一个简单模态中提取的特征可能会相互有关联，因此违反了相互训练的基础假设。相互训练还有一个不足之处在于，由于每个范例被认为是相互独立的，因此数据的结构不能被很好的利用。利用数据结构的学习是与目标追踪适应性相关的，例如，逐帧地估计目标的位置，更新改写目标模型。要追踪的目标可以看做是一个简单的标记过的范例，而视频可以看做是未标记的数据。许多研究者使用了自主学习9,2,7,15。这种方法用一个跟踪装置预测了目标的位置，并用靠近当前位置的积极范例和远离当前位置的消极范例来更新了模型。这一策略使跟踪装置可以适应于新外观和新背景，但是一旦跟踪装置出了一

10、个错误则就会崩溃了。这一问题在文献22中，利用在追踪背景下用相互训练的方法得到一个有创造性的和识别力的分类器的方法加以处理。这种追踪算法演示了重复追踪的可能性，在挑战视频序列时，与自主学习跟踪装置相比，表现也更好。另一个例子是MIL学习，在这种方式中，训练范式是通过空间上相关的单元来传递的，而不是独立的训练范例。文献12提出了一种将适应性跟踪装置与目标探测相结合的算法。这种学习是基于所谓的增减项目方法。这种方法展现了在具有挑战性的情况下，追踪性能的鲁棒性。从某些方面来说，这一方法推动了我们的研究。3.P-N学习这一部分将P-N学习的离线版本形式化，之后将其推广到在线学习问题。设为特征向量中的一

11、个元素，设为标记向量中的一个元素。一个范例的集合和与之相对应的标记集合被记为标记过的集合。P-N学习的任务就是通过一个先验的已标记集合来学习一个分类器，并且通过为标记的数据来自举其性能。本章所讨论的P-N学习方法流程如图3所示。3.1 分类器自举电路分类器来源于一族由参数表示的函数。与半监督式设置相似，对于分类器的P-N学习与从训练集合中估计得出的相符。唯一不同的在于：通过限制器从未标记数据中提取出的范例不断迭代加入训练集合中。训练过程的初始化时通过往训练集合中嵌入一个先验的已标记范例，并估计得到一个初始分类器参数。然后就进入迭代过程。在第k次迭代过程中，在第k-1次迭代中被训练的分类器给未标

12、记的范例分配标记，即给所有按的规律来分配标记。此处应注意到，分类器一次仅作用于一个范例上。接着限制器就要确认被分类器分配的标签是否与之前对数据做出的假设相符。与限制器相违背的范例标记被更正后添加进训练集合中。分类器被更新后的训练集合重新训练后这一步迭代结束。这一过程重复迭代知道收敛或者符合了其它的停止条件。在整个训练过程中，任何一个范例都可以多次被限制器选中，因此在训练集合中，一个范例可以重复被甚至不同的标签所描述。3.2限制器限制器可以是任意函数，其输入时一个由分类器给出的带有标记的范例集合，其输出是一个将标记进行了改变的范例子集。P-N学习允许使用任意数目的这类限制器。为了将两类限制器加以

13、区别，我们分别将其叫做P和N。P限制器是用来识别被分类器标记为消极的，但限制器认为是需要一个积极的标记的范例。在第k次迭代中，p限制器将范例的标记改成积极，并将之加入训练集合中。这些限制器扩展了积极训练范例库，因此可以提高分类器的普遍适用性。N限制器则是用来识别被分类器标记为积极的，但限制器认为是需要一个消极的标记的范例。在第k次迭代中，n限制器将标记为消极的范例加入训练集合中。这些限制器扩展了消极训练范例库，因此可以提高分类器的识别能力。现在来解析性地分析一下限制器对于分类器性能的影响。假设一个分类器将任意的标记分配给未标记的集合，然后根据限制器的输出来改正其分配。限制器纠正了分类器，但实际

14、上也可能因为错误重新标记了一些范例而引入了误差。在第k次迭代中，分类器的误差可以被描述为若干被错误地标记为积极的范例的数量和若干被错误地标记为消极的范例的数量。令第k次迭代中被P限制器正确地纠正为积极标记的范例数量为，被错误地纠正为积极标记的范例数量为。因此P限制器共将个范例的标记变为积极。相似的，N限制器将个范例标记变为消极的，其中是正确的纠正数量，是错误的纠正数量。则分类器的误差就变为：从方程1a可以看出，当时，错误标记为积极的范例数量就会减少，即被正确重新标记为消极的范例数量多于被错误重新标记为消极的范例数量时。同样的，当时，被错误标记为消极的范例数量就会降低。为了研究收敛性，需要建立一

15、个将P-N限制器的性能与和这些参数联系起来的模型。 限制器的性能是由四个度量值来描述的。P准确度是用正确标记为积极的范例数量数以P限制器输出的样本总数，即。P查全率是指正确标记为积极的范例数量除以错误标记为消极的范例数量，即。N准确度指正确标记为消极的范例数量除以N限制器输出的样本总量，即。N查全率是指正确标记为消极的范例数量除以错误标记为积极的范例数量，即。由于本文假设对于限制器的描述量是贯穿于整个训练过程的修正量度，因此时间标记可以省去。在第k次迭代过程中，正确或者错误标记的范例数量可以表述成：将方程2a，2b代入方程1a，1b中，得到：以及现在定义一个状态向量，其转换矩阵为：由这些量可以

16、将方程写作矩阵形式：。这些递归方程与离散化的动力学系统相符。动力学系统的理论已经发展成熟，由其中可以得到当转换矩阵M的特征值小于1时，状态向量收敛于0。满足这种情况的限制器被称为消除了误差的限制器。图4描述了当时三种情况下误差的变化过程。矩阵M代表着2维空间中分类器误差的线性化，特征值就是由特征向量定义的沿着维度的缩放比例。当缩放比例小于1时，每一步迭代中误差都会减小。实际上，去确定分类器的每个误差可能是比较困难的。因此，训练过程不会收敛到少误差的分类器，但是可以稳定在某一水平上。基于以上分析，可以总结得出，将有缺憾的限制器组合使用，有可能可以消除它们的误差。P-N学习不对单独限制器的性能有任

17、何要求，只要M矩阵的特征值小于1，甚至是准确度非常低的限制器也是适用的。在线P-N学习:在许多问题中，未标记的数据在训练开始之前是未知的，在训练过程中才循序出现。令表示在第k次迭代中出现的未标记样本的集合。则直到此时可见的所有未标记数据被定义为。在线P-N学习与离线形式的运作原理类似，只有一个不同，即可供使用的未标记集合越来越大。收敛性分析则是与离线形式完全相同。4.从视频中学习目标探测本章描述的是将P-N学习应用于如下问题的一个过程：给定目标的一个简单范例，由未标记的视频序列中在线学习目标探测。这个问题被形式化为在线P-N学习，其中学习过程的一个迭代步就是离散化的时间，第k步迭代的一帧就对应

18、于未标记的数据。分类器目标探测是在输入的图像中判定目标是否出现，确定目标位置的算法。本文考虑一种基于扫描窗口战略的时事探测21：扫描所有位置和范围，在每个子窗口下由一个二元分类器来判定目标是否存在。此处采用随机森林分类器5是考虑到其速度快，准确度高，并且具有增量更新的可能性。采用的分类器是由许多蕨类18（简化的树）组成的，在每个块中并行地进行评价。每个蕨类对于针对每块得到大量的测量数据，表现在特征向量中，指向带有后验概率的树叶代码。由所有蕨类得到后验概率取平均，如果平均值大于50%，则分类器输出积极的结果。每个蕨类的测量是随机演绎地生成的，在整个学习过程中保持不变13。考虑到对光照的不变性，以

19、及采用积分图像时安置多尺度的有效性，本文采用2字节二值模式12。后验概率代表了分类器的积分参数，并且在整个学习过程中递增地估计。每一个树叶代码记录了积极范例p和在训练过程中改变的消极范例n的数量。后验概率用最大可能性估量来计算，即，或者当树叶是空的时候，就设为0。在第一帧执行对于初始分类器的训练。后验概率初始设置为0，然后通过300个由挑选出的块经过仿射变形生成的积极范例来更新13,18。然后通过所有的块来评价分类器。远离目标出的探测结果代表着消极范例，并且将后验概率进行了升级。这种提取消极训练范例的方法与自举电路关联性很大，此方法来源于先验族的高度不对称性，。限制器图2所示的应用方案可以用来

20、解释用于在线探测学习的P-N限制器。从视频中提取的每一块表示一个未标记范例。在一幅图像内的块在空间上相互关联，例如，具有空间结构性。块与块之间还由一帧一帧地联系起来，例如具有时间结构性。因此，知道了一个简单块的标记，比如从第一帧中选取一个，就可以就此对其它块的标记做出假设。一个简单目标只会出现在一个位置，因此它的轨迹可以被定义为视频量中的一条曲线。限制器是基于这个事实而引入的。由于剪辑或是低帧率，曲线是不连续性的。甚至如果目标不出现，曲线就无法明确。由合适的Lucas-Kanada16追踪器给出部分曲线，这个追踪器逐帧跟踪选定的目标。当追踪器正确跟踪目标时，进行估计是有必要的，因为追踪器可能会

21、消失。由于这个原因，可以在被追踪的块和第一帧中被选中的块之间定义一个追踪器的置信度NCC。如果最后一帧中轨道的置信度高于80%，就可以认为连续的轨道是正确的。如果轨道得到确认了，就可以启用利用数据结构的P-N限制器。P限制器令那些靠近经验证的轨道附近的块附有积极标记。N限制器令经验证的轨道的背景处的块附有消极标记。值得注意的是，积极标记块的出现是不受限制的，但是只能作为在未标记数据中发现的轨道的结果加入训练集合中。在背景中找到的消极范例当然是有别于杂乱点或是来自于同组的目标。对视频序列的加工在第一帧中通过学习初始探测，并设置LK追踪器的初始位置来初始化P-N学习。对每一帧探测器和追踪器找到目标

22、的位置。由追踪器给出的靠近轨道的块和远离轨道的探测结果分别用作积极范例和消极范例。如果轨道通过了验证，则这些范例就被用作更新探测器。但是，如果一个探测信号远离轨道，则追踪器被重新初始化，收集到的范例都被丢弃。追踪器的轨道被表示为P-N追踪器，因为它是使用被在线P-N学习所训练的探测器来重新初始化的。在处理视频序列的所有帧后得到的探测器被称做最终探测器。评价探测器和追踪器的性能由标准准确度P，查全率R和f度量值统计值F。P是正确的探测结果的数量除以所有探测结果的数量，R是正确探测结果的数量除以应该被探测到的目标出现的数量。F组合了以上两个度量值，。如果探测器与地面实况边界框的重叠率大于50%，则

23、认为探测器是正确的。设置分类器参数分类器有两个确定其精度和速度的参数：森林中蕨类的数量和每个蕨类测量的特征数量（深度）。树越多，随机森林的性能相应提高15，但速度会线性相关地降低。本实验中使用了10个蕨类，这一数量是经过调整以使在本文中测试的大多数目标都适合的一个值。没个蕨类的特征数量决定了分类器的辨识能力。一个简单的2字节二值模式输出四个可能值，如果使用了d个特征值，则每个蕨类的树叶代码数量为。本实验中选取了深度范围为，而所有的表现非常类似。考虑到一致性，全文将深度固定为，但是并没有对这个决定进行验证。5.针对P-N学习应用于综合数据的分析实验中采用了模拟的P-N限制器在真实序列中来训练一个

24、目标探测器。通过仿真可以分析限制器的任意误差。本实验证明了如果P-N限制器误差被消除，则初始分类器的性能得以提高。正如在3.2节中叙述的，当矩阵M的特征值小于1时，限制器的误差就被消除了。M矩阵是基于四个参数的，分别是。为了减少参数的四维空间影响，我们在误差率相等的情况下分析系统性能。参数设置为，其中表示的是限制器的误差。矩阵M就变形为。其中矩阵是2*2的矩阵，元素全为1。这个矩阵的特征值就是。因此当时，P-N学习的性能得以提高。在实验中，误差在范围中变化。现在使用图8中的序列6来进行评价。限制器是按照如下方式生成的。假设在第k帧中，分类器生成了个错误的消极标记。P限制器将其中个标记更正为积极

25、，保证了。为了满足，P限制器将额外的个背景样本重新标记为积极。则第k次迭代中被重新标记为积极的范例总数是。N限制器也是用类似的方式生成的。探测器的性能与处理过的帧数的函数关系如图6所示。可以观察到，在的情况下，训练数据越多，探测器的性能越好。虽然在这个序列中，导致了性能提升，但大多数情况下，时结果是不稳定的。提高噪声电平会导致分类器突然退化。仿真结果和这一理论是相符的。现在来详细分析一下无误差的P-N学习情况。在此种情况下，所有的分类器误差都被识别，没有被漏标记的范例被加入训练集合中。三种不同的分类器由（i）P限制器，（ii）N限制器，（iii）P-N限制器来训练。分类器性能由准确度，查全率和

26、f度量值统计值来度量，结果如图7。由P限制器训练得到的准确度（左图）下降，因为训练集合中只加入了积极范例，这将使分类器过于有生产力。由N限制器训练得到的查全率（中图）下降，因为只有消极范例被加入，导致分类器过于具有辨识力。f度量值结果图说明一起使用P-N滤波器工作效果最佳。可以注意到即使是低误差的限制器单独使用也会引起分类错误，会导致分类器准确度和查全率较低。如果一起使用P-N限制器则会使准确度和查全率都提高，因为这种情况下误差可以相互抵消。6.真实数据实验对于目标探测的学习在10个视频序列中得以测试，结果展示在图8中。这些序列包含了在具有挑战性的情况下多种目标，这些情况包括摄像机突然的变动，

27、运动模糊，外貌改变和局部或者整体遮挡。所有的序列都按第四章中所述的来设置了同样的参数，进行了处理。每个实验的输出包括了初始探测器、最终的探测器以及由P-N追踪器给出的轨道。对P-N追踪器的评价序列1-6在文献22中被用来对比现有的追踪系统15,7,2,22，本实验增加了3和本文的P-N追踪器。性能是体现在系统无法从错误中恢复过来的帧数。表1是性能结果。6个视频中5个P-N追踪器可以一直追踪目标到序列结束。在第3个视频序列中27帧后P-N追踪器失败了，但是文献3可以追踪到101帧，文献22可以追踪到140帧。这段视频中出现了突然的摄像机抖动，Lucas-Kanade追踪器立刻就失效了。因此P限制

28、器就无法确定足够的训练范例去提高初始探测器性能，它也就无法使追踪器从失效中恢复过来。详细的性能分析对图8的10个视频序列的P-N学习的详细性能分析如下。初始探测器，最终的探测器和P-N追踪器的性能由准确度，查全率和f度量值来反映。接下来，P-N限制器由和对时间取平均来度量。表2第三列是初始探测器的评价结果。除了序列9和序列10，这个探测器针对大多数序列都具有很高准确度。序列9很长（9928帧），其中有个很明显的背景混乱，其中的物体也与目标（汽车）很相似。初始探测器的查全率对于大多数序列都很低，只有序列5除外，查全率达到73%。这表明目标的外形并不会显著改变。最终探测器的评价结果列于表二的第四列中。探测器的查全率显著提高，而准确率小幅下降。而对于序列9来说甚至准确率都从36%提高到了90%。这表明了初始分类器中错误标记为积极的标记被N限制器找出并纠正了。对于整个集合来说，序列7-10是最具挑战性的，而性能提高也最为显著。要不是最终探测器的f度量值在25%-83%的范围内。初始探测器此处就会失败。这论证了P-N学习的优点。第