Robust Object Tracking with Online Multiple Instance Learning.docx

Robust Object Tracking with Online Multiple Instance Learning（多示例学习作用在跟踪过程中的哪个位置）跟踪模块外观模型自适应外观模型同时对目标和背景建模多示例学习跟踪分为三个模块：1、外观模型，评估目标在某个位置的可能性2、运动模型，将目标位置与时间关联起来3、搜索策略，在当前帧找到目标最可能的位置本论文重点研究的是第一个模块外观模型外观模型的表示：1、静态外观模型（人为定义或者通过第一帧训练得到（先验知识）弊端：无法处理外观剧烈变化的情况，如变形、平面外旋转、场景光照变化2、自适应外观模型（在跟踪过程中，随着目标变化，外观模型自己改进）弊端：有很多参数要调节、局部遮挡时会出现漂移本论文研究的是自适应外观模型，想达到的目标是能够跟踪到部分遮挡的物体而不出现明显的漂移，并且只有较少的参数自适应外观模型的建模方式：1、只对目标建模：建模后在后续帧进行模板匹配（产生式方法）2、同时对目标和背景建模：把跟踪当成二分类问题，用目标和背景训练分类器，然后用分类器寻找目标（判别式方法）同时对目标和背景建模，并使用判别式分类器区分前后背景，跟踪效果更好。所以现在主要采用后者，本论文也是采用的后者同时对目标和背景建模，在外观模型更新时如何选择正负样本（目标是正样本、背景是负样本）是一大难题，选择正负样本的方式有：1、把当前跟踪位置作为单个正样本，在其周围采样得到若干负样本这样做，如果跟踪器确定的位置不精确，会导致误差积累，出现漂移。2、从当前跟踪位置附近采样得到多个正样本，在其周围采样得到若干负样本这样做，目标模型会变得混乱(有多个正样本，不知道具体选哪个做下一帧目标位置)，其判别能力会减弱，同时也会出现样本不精确导致的跟踪漂移3、把跟踪位置的确定看作一个多示例问题（即知道目标的大概位置，但是具体位置不知道），用多示例学习解决多示例学习的基本思想：在训练过程中，样本不再是单个图像块，而是将多个图像块放在一个包里，整个包有一个标签。如果包里至少有一个正例，则标记为正。否则，标记为负。即从当前跟踪位置附近采样得到多个样本，放在一个包里，标记为正（至少有一个正样本），在其周围采样得到若干负样本，每个负样本都单独放在一个负包里（也可以把所有负样本都放在一个负包里，结果一样。因为负包里的样本都是负样本）本论文就是使用了多示例学习实现目标的实时鲁棒跟踪总结：研究内容：跟踪问题，即跟踪任意目标，除了知道第一帧的位置，没有其它先验信息（也叫做“model-free” tracking，即无模型跟踪）研究目标：提出一种更鲁棒的自适应外观模型更新方法鲁棒表现在处理局部遮挡时不会发生严重漂移，参数调节最简化解决方法：多示例学习MIL + 在线提升Online Boosting 在线多示例学习Online MIL论文的创新点：提出了一种在线的基于MIL的外观模型(online MIL-based appearance model)用多示例学习MIL和在线提升Online Boosting技术训练出了一个MIL分类器，从而对样本进行鲁棒分类MIL跟踪的运动模型：MIL跟踪的流程：1、由前一帧目标位置l*t-1得到当前帧目标可能位置的集合Xs，并计算相应的特征向量（使用Haar-like特征）l(x)表示图像块x的位置，包括坐标(x,y)和尺度；l*t-1表示第t-1帧（前一帧）的目标位置；s为参数，度量图像块与前一帧目标位置的最大距离。2、使用MIL分类器计算集合Xs中所有图像块的概率p(y=1|x)（图像块x中包含目标的概率）3、选出概率最大的图像块作为当前帧的目标位置4、得到目标位置以后，扩展样本：扩展正样本，放在一个包里，标签为正；扩展负样本，每个负样本单独放在一个包里，标签为负5、用扩展后的正包和负包更新MIL外观模型同时也可以考虑引入尺度变换参数，这样的好处是结果可以更加的准确；坏处是增加了参数的空间维度。可根据需求决定MIL分类器的在线训练过程一、多示例学习MIL1、用传统算法训练分类器：训练样本：，为单个示例(样本)，为示例标签，用训练样本训练得到分类器H，用分类器对新样本进行分类，p(y|x)2、用多示例学习训练分类器：训练样本：，为包，里面是若干个示例，为包的标签，为示例标签正包：包中至少有一个正例负包：包中所有示例都是反例包的标签与示例标签的关系：在实际训练过程中，示例标签是未知的。本论文MIL分类器在线训练开始阶段，更新弱分类器要用到示例标签(弱分类器是示例分类器，即是对示例进行分类的)，是直接将包的标签复制给示例二、在线提升Online BoostingBoosting是改善学习算法准确度的一般方法，即把较弱的学习算法变成较强的学习算法。也即将多个弱分类器h加权线性组合，得到一个强分类器H。三、Online MILBoost(OMB)Online MILBoost实质是通过多示例学习(MIL)在线(Online)挑选弱分类器，然后将弱分类器加权线性组合(Boost)成强分类器的过程（弱分类器的挑选是个迭代的过程，前一步的结果会影响后一步）重点：如何挑选弱分类器挑选弱分类器的标准：最优化目标函数J，即(1)（其中，是前面k-1个弱分类器合成的强分类器，是所有弱分类器的集合。是得到的第k个弱分类器，是对应的权重）在本论文里，目标函数J是计算所有包都是正包的概率（然后取对数），即(2)所以本论文的弱分类器挑选标准是：(3)（结合(1)(2)），即挑选使所有包都最可能是正包（概率最大）的弱分类器hK次迭代挑选出来的弱分类器h加权线性组合成一个强分类器H，即在本论文里，权重被融进了弱分类器，所以组合方式变为备注：1、目标函数里的表示一个包是正包的可能性，用NOR模型计算得到，即2、为简化问题，权重被融进了弱分类器，这样分类器的返回值不再是0或1，而是实数3、NOR模型里的是单个示例的概率，计算方式为，(sigmoid函数，能够把输入的连续实值压缩到0到1之间)，H(x)表示用强分类器对示例x分类之后输出的结果，是实数，不是二进制0、14、弱分类器h总共有M个，在这M个里挑选K个，组合成一个强分类器H5、弱分类器是用示例更新的，示例标签是直接从包的标签复制过来的。负包里的示例都是负示例，正包里的示例可能有负示例，直接复制标签会有误差。所以用所有包都是正包的概率作为目标函数，找出使目标函数最大的弱分类器。训练MIL分类器的主要步骤：从弱分类器池(M个)中挑选出K个弱分类器，进行K次循环，每次循环挑选一个弱分类器，每次循环都执行以下步骤：1、用，(sigmoid函数)计算每个示例的概率2、用NOR模型计算每个包是正包的概率3、计算所有包都是正包的可能性然后找出使所有包都是正包的可能性最大的弱分类器，作为当前循环的输出。最后将挑选出来的K个弱分类器加权线性组合成一个强分类器，即（权重被融进了弱分类器）训练MIL分类器的完整步骤：注释：输入：训练集，包含N个包（1个正包，N-1个负包）1、用带标签的示例更新弱分类器池中的全部弱分类器（M个）因为弱分类器是示例分类器，所以更新时需要用到示例信息，即xij,yi训练集中，只有包的标签已知，示例标签不知道论文里的做法是，将包的标签直接复制给示例2、对所有的示例xij（第i个包中的第j个示例），初始化时Hij=0Hij保存的是要对示例xij进行分类的分类器，实际等于前k趟挑出的弱分类器的加权线性组合（由11可以看出）3、进行K趟循环，每趟从弱分类器池中选出一个弱分类器hk4、每个弱分类器的选择都是从弱分类器池（M个）中挑选的挑选标准是：挑选使包的可能损失函数最大的弱分类器hm5、计算示例的概率，Hij保存的是前一趟得到的强分类器，用Hij和第m个弱分类器hm叠加以后，共同对示例xij进行分类，返回结果是示例的概率，为一个实数6、计算第i个包是正包的可能性（每个弱分类器都会对应一个值）7、计算所有包都是正包的可能性（每个弱