TLD算法原理及应用实例

1、汇报内容1 TLD概述 TLD：Tracking-Learning-Detection TLD是英国萨里大学的一个捷克籍博士生Zdenek Kalal在其攻读博士学位期间提出的一种新的单目标长期跟踪算法。该算法与传统跟踪算法的显著区别在于将传统的跟踪算法和检测算法相结合来解决被跟踪目标在被跟踪过程中发生的形变、部分遮挡等问题。同时，通过一种改进的在线学习机制不断更新跟踪模块和检测模块，从而使得跟踪效果更加稳定和可靠。TLD可以解决的问题：极其复杂的视频，比如跟踪失败的情况经常发生的视频，目标经常丢失的视频如果前后的视频帧中没有包含很相关的信息，比如说目标物体发生了严重形变，检测器的效果也从不会

2、被弱化实时运作1 TLD概述 1 TLD概述2 TLD关键技术2.1 跟踪器设计 TLD的跟踪部分改进了基于Lucas-Kanade光流的跟踪方法，提出一种Median Flow（中值光流法）跟踪方法，并在此基础上囊括了跟踪失败时候的检测。中值光流跟踪器跟踪矩形框里的目标，并估计他的运动。跟踪器估计出矩形框内的一些点的移动，估计他们的可靠性，然后，通过取一些最可靠的移动的中值作为最后的矩形框的移动。跟踪器实现流程跟踪点的选择 选择了一种brute force selection mechanism（强制选择机理）： 在整个图像序列中跟踪第一帧中的每个像素； 通过FB错误方法来估计轨迹； 计算每

3、个像素的误差。最后得到Error Map（误差图），表示整个图像序列中跟踪点的可靠性。 左边的图是第一帧图像，红色的点表示最可靠像素的1%。右边的图是Error Map。深色表示低的FB错误：A区域表示树影，B区域表示行人的身体部分。亮色区域是很难或者不可能跟踪的：被遮挡的（C），从相机视野中消失的（D），缺少纹理信息的（E）。这个实验表明FB错误方法能够用于选择可用于可靠追踪的特征点。前后向错误（Forward-Backward Error）2.2 检测器设计 检测器采用滑动窗口的方法在图像中寻找目标，利用级联分类器输出结果。级联分类器包含三部分：方差比较、合并分类器以及最近邻分类。 滑动窗

4、口的扫描策略为：每次尺度变化为1.2，水平和垂直位移为宽度和高度的10%，最小框图大小为20个像素。 方差比较：对滑窗图像与目标图像计算灰度值方差，将结果低于原图50%的结果抛弃。 合并分类器：首先对于输入图像进行平滑滤波处理降噪，而后在图像内部生成13个像素比较对，最终的像素比较结果输出为一个13位的二进制像素编码，该二进制编码将映射到某后验概率。依据各基分类器输出的后验概率结果平均，如果其得分大于0.5，将进入下一步，否则将被舍弃。 最近邻分类器：合并分类器的输出结果再经过最近邻分类器输出检测器的结果。2.3 P-N学习 P-N学习的主要思想就是检测器的错误能够被两种类型的约束标识出。 P

5、-expert的作用是发现目标的新的外观（形变），并以此来增加正样本的数量，从而使得检测模块更具鲁棒性。 N-expert的作用是生成负的训练样本。N-expert的前提假设是：（被跟踪的）前景目标仅可能出现在视频帧中的一个位置，因此，如果前景目标的位置时确定的，那么其周围必然是负样本。2.3 P-N LEARNING这一部分介绍TLD算法的学习模块，学习模块（learning）通过对视频的在线处理来提升检测器（detector）的性能。在每一帧里，我们希望评估当前的检测器，发现它产生的错误（identify its errors），不断更新检测器以避免将来它再次犯错。PN学习的关键思想是检测

6、器产生的错误结果可以被“P专家”和“N专家”发现和识别。P专家识别假的负样本，N专家识别假的正样本。当然P专家和N专家本身也会犯错。然而，P专家和N专家是相互独立的，它们可以相互弥补对方发生的错误。P专家发生的错误，N专家纠正，反之亦然。P-N学习过程P-N学习步骤如下：在当前帧评估检测器；利用P-N约束来估计检测器的误差；根据由P-N约束所产生的标注样本来更新检测器；在训练学习的最后所获得的检测器就叫做最终检测器。P-N学习实例3 TLD局限性 目前的TLD架构只训练检测器，而跟踪器则固定不变。这样的结果就是跟踪器会总是产生相同的错误。一个比较好的改进就是对跟踪模块也进行训练和学习。 TLD目前还只能跟踪一个