面向鲁棒跟踪的视觉特征自适应选择与融合方法研究

1、面向鲁棒跟踪的视觉特征自适应选择与融合方法研究视频图像中的运动目标跟踪作为计算机视觉研究当中的一个基础性跨学科问题，融合了图像处理、模式识别、机器学习等多个不同领域的理论和知识。近些年来随着高性能计算机的发展、日益增长的自动视频分析需求，运动目标跟踪已经成为计算机视觉领域的一个热点研究问题。在视觉导航1，视频压缩编码2，智能监控3，智能交通4，人机交互5，医学6，军事7等领域有着广阔的应用前景.在运动目标备受研究者们的关注的同时，也有很多因素使得鲁棒精确实时地定位运动目标存在一定程度的困难。这些因素主要包括：背景干扰，摄像机抖动，障碍物遮挡，光照变化，目标自身姿态的变化等等。在这些复杂条件下，

2、仅使用单一的特征来描述目标表达能力不够，因此，有很多研究者从众多的特征描述子中挑选出最具表达能力的k个特征，然后将其有效地融合，从而提高复杂场景下多特征的描述能力。1. 常见的特征描述子1.1颜色特征颜色特征8是在图像检索中应用最为广泛的视觉特征，主要原因在于颜色往往和图像中所包含的物体或场景十分相关。此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进行

3、自动分割的图像。当然，颜色直方图可以是基于不同的颜色空间和坐标系。最常用的颜色空间是RGB颜色空间，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，RGB空间结构并不符合人们对颜色相似性的主观判断。因此，有人提出了基于HSV空间、Luv 空间和Lab空间的颜色直方图，因为它们更接近于人们对颜色的主观认识。其中HSV空间是直方图最常用的颜色空间。它的三个分量分别代表色彩（Hue）、饱和度（Saturation ）和值（Value）。计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间成为直方图的一个bin 。这个过程称为颜色量化（color quantization ）。然后

4、，通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。颜色量化有许多方法，例如向量量化、聚类方法或者神经网络方法。最为常用的做法是将颜色空间的各个分量（维度）均匀地进行划分。相比之下，聚类算法则会考虑到图像颜色特征在整个空间中的分布情况，从而避免出现某些bin 中的像素数量非常稀疏的情况，使量化更为有效。另外，如果图像是RGB格式而直方图是HSV空间中的，我们可以预先建立从量化的RGB空间到量化的HSV空间之间的查找表（look-up table），从而加快直方图的计算过程。颜色特征作为一个最具代表性的全局特征，计算简单，在很多条件下用颜色特征来描述目标都能取得比较鲁棒的结果。但是，在一

5、些复杂条件下，如光照变化，背景干扰等情况下缺乏鲁棒性。1.2 HOG特征HOG即histogram of oriented gradient, 是用于目标检测的特征描述子，该技术将图像局部出现的方向梯度次数进行计数，该方法和边缘方向直方图、scale-invariant feature transform类似，不同的是hog的计算基于一致空间的密度矩阵来提高准确率。Dalal9首先在05年的CVPR中提出HOG，用于静态图像or视频的行人检测。HOG的核心思想是所检测的局部物体外形能够被光强梯度或边缘方向的分布所描述。通过将整幅图像分割成小的连接区域（称为cells），每个cell生成一个方向

6、梯度直方图或者cell中pixel的边缘方向，这些直方图的组合可表示出（所检测目标的目标）描述子。为改善准确率，局部直方图可以通过计算图像中一个较大区域(称为block)的光强作为measure被对比标准化，然后用这个值(measure)归一化这个block中的所有cells.这个归一化过程完成了更好的照射/阴影不变性。与其他描述子相比，HOG得到的描述子保持了几何和光学转化不变性（除非物体方向改变）。因此HOG描述子尤其适合人的检测。1.3纹理特征图像纹理是一种重要的视觉手段，是图像中普遍存在而又难以描述的特征。纹理特征提取的目标是：提取的纹理特征维数不大、鉴别能力强、稳健性好，提取过程计算

7、量小，能够指导实际运用。纹理的定义一直为人们所关注，但是图像纹理定义问题至今没有得到圆满的解决，仍然不存在为众人所公认的定义。其中的共识是一：纹理不同于灰度和颜色等图像特征，它通过像素及其周围空间邻域的灰度分布来表现，即局部纹理信息；二：局部纹理信息不同程度的重复性，即全局纹理信息。Ojala10等提出了一种非常有效的纹理特征描述子，称为LBP。LBP描述子被定义为灰度尺度不变纹理测量，他是来源于局部邻域的纹理定义。LBP纹理特征最重要的特性在于对光照变化不敏感，另外一个同样重要的特性在于他的计算特别简单。近年来，出现了很多由LBP演变而来的特征，如：LTP11和MB-LBP12等。1.4 尺

8、度不变特征转换表达SIFT尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种是用于图像处理领域的一种局部特征描述子，它在寻找空间尺度的极值点，并提取出这些点的尺度、位置和旋转不变量。该算法由 David Lowe13-14在1999年所发表，2004年完善总结。因其在尺度转换方面的不变特性，且对光线、噪声等变化也比较鲁棒，所以在视觉跟踪领域得到了广泛应用。Zhou15等用SIFT特征来关联感兴趣的区域，然后用Mean Shift算法来搜索相似度最大的区域，通过两者的结合来找寻到最大似然概率分布的区域，从而进行连续鲁棒的跟踪。但是当背景模糊时，

9、SIFT特征匹配会导致一对多的问题，与Mean Shift所搜索的结果可能会自相矛盾。基于SIFT特征表达具有较高的特征维数，计算耗时，并且在某些情况的目标SIFT特征点稀少也会使得匹配不稳定。1.5 加速鲁棒特征表达SURFSURF（Speed Up Robust Feature）算法由Bay等16提出来的，是对SIFT的改进。它借鉴了SIFT中的简化思想，使得模板对图像的滤波只需要进行几个简单的加减法。在计算速度上要远快于SIFT，并且很稳定。He等17提出了基于SURF的跟踪算法，通过判断局部SURF特征和全局运动的兼容性，这种跟踪算法对目标外观变化和背景模糊比较鲁棒。2 多特征自适应融

10、合在实际的复杂动态变化的跟踪场景中，基于单个视觉特征的目标描述很难对目标及场景所有的变化都足够鲁棒，从而使得基于单个视觉特征的目标跟踪算法变得不可靠。如果能基于实际场景内容将目标的多个视觉特征自适应的融合在跟踪算法中，则可以利用不同特征之间的互补性，更好地适应场景变化，实现更为鲁棒的目标跟踪。近年来，由于各种各样的特征描述子的出现，越来越多的研究者关注多特征的联合表达，包括局部特征和全局特征18。有一些研究者关注多特征的融合，提出了一些融合多特征的新颖的特征描述子。Zoidi19等提出了一个基于外观表达的目标跟踪框架，利用了局部steering描述子和颜色直方图信息。Wu20等联合了已经存在的

11、一些视觉特征，将其应用到boosting框架中来提高跟踪的精度和速度。Wang21联合LBP和HOG特征提出了一种新的LBP-HOG描述子用来做行人检测，在处理部分遮挡的行人上取得了不错的效果。然而，大部分在特征集的静态多特征描述子不能解决运动目标的形变问题。也有一些研究者，将已有的特征描述子，如：颜色，梯度，边缘和纹理等联合起来，在决策级融合他们的输出以便提高跟踪精度。Yang22等发现了一个特殊特征的超平面结合，能够最好的在一个特征池里面将样本分为两类。Zhou23等用颜色和SIFT特征来定位下一帧中最可靠的目标。尽管，许多研究都表明了多特征融合跟踪的有效性，仍然存在一些问题，如：对跟踪目

12、标和背景先验知识的需求，缺乏自适应的跟踪策略以及计算负担偏重等。如果,研究者们仅考虑将几种固定的特征进行融合，在复杂场景下其跟踪效果不一定能达到最优，因为在不同的场景下最具表达能力的特征并不相同。正因为存在这样的问题，越来越多的研究者关注特征的选择。也就是，从一系列的特征中用一定的方式选择出最具表达能力的k个特征然后再进行自适应的融合。一些研究者24=26提出从特征池中选择出最具表达能力的特征来提升跟踪的精度。然而，这种情况下只有一种特征被利用了，当特殊的情况发生的时候将可能跟踪失败。在线特征选择27-29提升了实时目标跟踪的鲁棒性和精确性。Li30等将几种特征看作一个整体而不是将他们单个的进

13、行赋予权值，从而选择出最具区分能力的一个特征子集。Yoon31等提出了一种包括跟踪器选择和融合的框架来提高跟踪的性能。然而，这些方法都没有提出一个自适应决定每一个特征在跟踪中重要性的跟踪框架。3 常见的目标跟踪算法视频图像中的运动目标跟踪技术在近些年来发展迅速，根据应用场合的需要，研究者们提出了许多方法。其中主要的基于单摄像机的跟踪算法有点跟踪、核跟踪和轮廓跟踪等。3.1点跟踪在基于点的跟踪方法中，跟踪实际上就是通过相邻帧之间的一些用来描述目标的的位置或者运动信息的点进行关联。这种方法需要一个外部机制在每一帧中来检测目标。根据关联方式的不同，点跟踪可分为基于确定性的跟踪和基于统计方法的跟踪。确

14、定性方法先采用一组运动约束对相邻帧的目标定义一个代价函数。通过最小化这个代价函数来跟踪目标。从视频图像中测量所得到的数据总是包含有噪声的，并且目标的运动也会有随机的干扰。基于统计的方法引入概率统计的思想，将不确定性观察（如概率密度函数）与不同的状态相联系，从而不再假设运动系统输入与输出的完全确定性，对目标的状态参数，例如位置、速度和加速度等建立空间模型，然后从目标检测模块获取目标信息，通过估计目标状态进行跟踪。3.2核跟踪核跟踪中的“核”指的是目标的形状和外观。例如矩形模板或者是用关联直方图表示的椭圆。核跟踪通过在连续帧中计算目标核的运动来跟踪目标，这种运动通常指的是是参数转换形式如平移，旋转

15、和放射变换等。这类算法主要包括三个要素：目标外观模型、相似性度量以及搜索策略。根据这三个要素的选取方法不同，把核跟踪方法分为三类：基于模板的方法、基于概率模型的方法和基于多视角模型的方法。基于模板匹配的方法是最常见的核跟踪方法。模板匹配就是在当前帧图像中搜索与目标参考模板最匹配的图像区域。通常使用图像的亮度特征和颜色特征来形成模板。由于图像亮度特征对光照敏感，图像的梯度也可以用来作为特征。经常采用的匹配度量有互相关系数、差的平方和、平均绝对差等等。然而模板匹配由于采取蛮力搜索策略，使得计算非常耗时。为了减少计算代价，研究者经常在目标上一帧的位置附近设置一个搜索区域。基于概率模型的方法将目标的一

16、种或者几种特征，例如颜色、边缘、纹理等用概率分布模型表示。常采用的用来表达目标外观的分布形式有直方图、颜色空间联合概率分布、加权直方图、高斯近似等。常用的相似性度量方法有直方图相交法、EMD法，巴氏系数法（Bhattacharyya）等。其中巴氏系数计算简单，可以构造出具有度量结构的距离空间，常用来计算直方图之间的相似度。常见的基于概率模型的搜索策略有目标函数优化法。例如Mean shift迭代搜索。Comaniciu等提出的基于Mean Shift的目标跟踪算法，用加权直方图建模目标的颜色概率分布，根据Bhattacharyya系数来度量概率密度的相似度，通过计算Mean-shift向量迭代

17、到收敛得到目标函数的极值，从而完成目标的跟踪定位。物体从不同的角度可能会显示出不同的外观，在跟踪过程中，有时候目标的跟踪视角会发生变化，这种情况下原来建立的外观模型就无法描述好目标，会导致跟踪失败。为了克服这种问题，研究者们提出了基于多视角模型的方法。通过学习不同视角的目标来进行跟踪。常用的多视角跟踪方法有基于主成分分析（PCA）的方法、基于支持向量机（SVM）分类器的方法、基于Adaboost分类器的方法。基于分类器的方法先用目标正样本和背景负样本来训练好分类器，在跟踪过程中，通过最大化分类得分来得到跟踪结果。Lu Zhang等32通过嵌入目标的结构信息到SVM分类器中提出了SPOT跟踪算法

18、，技能对单目标进行跟踪，也可以跟踪多目标。Xi Li等33利用一种哈希方法来提取目标特征，将特征转换成二进制串，并将其用LS-SVM(最小二乘的支持向量机)训练分类器来进行目标跟踪。3.3轮廓跟踪某些目标可能在运动过程中有着复杂的形状，例如行人，飞机等。这种情况下用矩形或者椭圆等几何形状来表示目标不太合适，而用目标轮廓能比较好地描述目标形状，这里的轮廓包括目标边界和内部。目前主要的基于轮廓跟踪的方法有形状匹配方法和基于边界曲线演化的方法。基于直接形状匹配方法通过寻找当前帧中和参考模板轮廓最匹配的区域来跟踪目标。但这种方法只适应于跟踪形状不变的做平移运动的目标。基于边界曲线演化的方法则可以随着目

19、标的形变而调整边界线的形状。主要包括两类边界曲线演化方法：基于状态空间的方法和基于能量函数最小化的方法。当跟踪摄像机静止下的目标时，通常采用帧间差分或者减背景法来获得目标轮廓，再用相关的特征关联来进行跟踪。4 总结复杂场景下的运动目标跟踪是计算机视觉领域的一个热门领域。近年来，越来越多的研究者关注复杂条件下地运动目标跟踪，试图解决背景以及目标自身变化给跟踪带来的困难。由于融合多特征来描述运动目标的能力远优于单特征的描述能力，因此在解决复杂条件下的运动目标跟踪方面备受关注。目前，多特征融合应用于跟踪领域已经取得了一定的研究进展，将来一定会取得更大的突破。参考文献1 Bonin-Font F, O

20、rtiz A, Oliver G. Visual navigation for mobile robots: A survey. Journal of Intelligent and Robotic Systems, 2008, 53(3): 263-2962 Vieux W E, Schwerdt K, Crowley J L. Face-tracking and coding for video compression. Computer Vision Systems. Springer Berlin Heidelberg, 1999: 151-161.3 Zhu J, Lao Y, Zh

21、eng Y F. Object tracking in structured environments for video surveillance applications. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(2): 223-2354 Sun Z, Bebis G, Miller R. On-road vehicle detection: A review. IEEE Transactions on Pattern Analysis and Machine Intelligence

22、, 2006, 28(5): 694-7115 于汉超,唐晓庆,刘军发等. 手掌姿态自适应的单指尖鲁棒跟踪方法.计算机辅助设计与图形学报, 2013,25(12):1793-18006 Withey D.J., Pedrycz W., Koles Z.J. Dynamic edge tracing: Boundary identification in medical images. Computer Vision and Image Understanding, 2009, 113(10): 1039-10527 罗迎,张群,李松,梁颖. 基于分布式组网雷达的弹道目标三维进动特征提取. 电子

23、学报, 2012, 40(6): 1079-10858 D. Comaniciu, V. Ramesh, and P. Meer, “Kernel-based object tracking, ” IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 5, pp.564577, May 20039 N. Dalal and B. Triggs “Histograms of Oriented Gradients for Human Detection”, CVPR IEEE Computer Society Conference on. IE

24、EE, 2005, vol.1, pp. 886-893.10 T. Ojala, M. Pietikainen, T. Maenpaa, Multiresolution gray-scale and rotation invariant texture classification with local binary patterns, IEEE Trans.Pattern Anal. Mach. Intell. 24 (7) (2002) 972987.11 X. Tan, B. Triggs, Enhanced local texture feature sets for face re

25、cognition under difficult lighting conditions, AMFG, 2007.12 S. Liao, S. Li, Learning multi-scale block local binary patterns for face recognition, in: ICB, 2007.13 Lowe D G. Object recognition from local scale-invariant features. In: The proceedings of the seventh IEEE International Conference on C

26、omputer Vision, 1999, 2: 1150-115714 Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91-11015 Zhou H, Yuan Y, Shi C. Object tracking using SIFT features and mean shift. Computer Vision and Image Understanding, 2009, 113(3):

27、345-35216 Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF). Computer Vision and Image Understanding, 2008, 110(3): 346-35917 He W, Yamashita T, Lu H, et al. Surf tracking. In: 12th IEEE International Conference on Computer Vision, 2009: 1586-159218 L. Sun and G. Liu “Visual Objec

28、t Tracking Based on Combination of Local Description and Global Representation” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 21, NO. 4, APRIL 2011 pp.408-42019 O. Zoidi, A. Tefas, and I. Pitas, “Visual Object Tracking Based on Local Steering Kernels and Color Histograms” IEEE

29、 TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 23, NO. 5, MAY 2013 pp. 870-88220 B. Wu, R. Nevatia, Optimizing discrimination-efciency tradeoff in integrating heterogeneous local features for object detection, in: CVPR, 2008.pp.1-821 X. Wang, T. Han, S. Yan, A HOG-LBP human detecto

30、r with partial occlusion handling, in: ICCV, 2009.(pp. 32-3922 Yang F, Lu H, Yang M. Robust Visual Tracking via Multiple Kernel Boosting with Affinity ConstraintsJ. 2013. Circuits and Systems for Video Technology, IEEE Transactions on  (Volume:24) pp.242 - 25423 H. Zhou , Y. Yuan, C. Shi Object

31、 tracking using SIFT features and mean shift “” Computer Vision and Image Understanding 113 (2009) 345352113(3)24 H. Stern and B. Efros, “Adaptive color space switching for face tracking in multi-color lighting environment, ” in Proc. IEEE Int. Conf. on Automatice Face and Gesture Recognition, Washi

32、ngton, DC, 2002, pp.24925425 J. Wang, and Y. Yagi, “Integrating Color and Shape-Texture Features for Adaptive Real-Time Object Tracking” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 17, NO. 2, FEBRUARY 2008 pp.235-24026 V. Nedovic, M. Liem, M. Corzilius and M. Smids “Kernel-based object tracking using adaptive feature selection”Project Report, 200527 T. Woodl