视频目标跟踪在很多场合下具有非常重要的应用修改.doc

键入文字跟踪窗口尺寸自适应调整的粒子滤波跟踪算法彭青艳 赵勋杰 陈家波（苏州大学物理科学与技术学院，江苏 苏州 215006）摘 要：当目标尺度发生变化时，传统的粒子滤波跟踪算法的跟踪窗口尺寸不变，在目标尺寸变化较大时容易丢失跟踪目标。针对这一问题，提出了一种跟踪窗口自适应调整的粒子滤波跟踪方法。该方法依据运动目标区域内粒子到目标中心点的平均距离与目标尺寸的关系，建立跟踪窗口尺寸的数学模型。实验结果表明，当目标尺度发生变化时，跟踪窗口能够很好的随目标的尺寸变化而自适应地连续调整，在目标尺寸变化率很大时仍能够稳定跟踪目标。关键词：目标跟踪；粒子滤波；Bhattacharyya系数；自适应窗口；粒子平均距离Adaptive window object tracking for particle filterPeng qing yan Zhao xun jie Chen jia bo（School of Physical Science and Technology, Soochow University, Suzhou 215006）Abstract: This paper puts forward an adaptive window object tracking method based on particle filter. It figures out size-changes of moving objects during target tracking. This method firstly establishes the gray histogram statistics of the observation model, using Bhattacharyya coefficient similarity for forecasting center position of target. Then sets up a mathematical model for adjusting object size with a target window according to the average distance changes. The average distance is the particles in the moving target window to the target center. Experimental results indicate that the algorithm of tracking window can be very well adaptationally changing with size-changes of moving objects, and the target results are good.Key words: target tracking; particle filter; Bhattacharyya coefficient; adaptive window; particle average distance 引言目标跟踪问题是机器视觉研究中的一个重要分支，是高级机器视觉研究的基础，有着广泛的应用，如军事制导、道路交通监控，工业自动化生产监控，客流量统计等。在人们提出的诸多跟踪算法中，基于粒子滤波和Mean-Shift算法是研究的热点。在这两种算法中，目标跟踪窗口是由跟踪目标的初始大小决定的，在整个跟踪过程中，跟踪窗口的大小保持不变。然而，当运动目标尺寸越来越小时，如果跟踪窗口固定不变，则在跟踪窗口内包含目标区域的同时混入了一些背景噪声，最终导致运动目标跟踪不准确。当运动目标尺寸越来越大时，大到超出跟踪窗口的范围，固定不变的窗口常常会导致运动目标的跟踪失败。近几年，针对基于Mean-Shift的跟踪算法人们提出了一些改变核窗口大小的算法。文献1提出了一种10%增量的核窗口修正方法。该方法需要分别计算当前帧中原始核窗口以及10%核窗口的Bhattacharyya系数，选出最大的Bhattacharyya系数所对应的窗口为最佳核窗宽。当目标尺寸变小时，该方法可以得到比较好的跟踪效果，但当目标尺寸变大时，由于Bhattacharyya系数的相似性度量常常会在较小的核窗口内达到局部最大，所以跟踪窗口的尺寸很难扩大，经常是越来越小。文献2提出了一种先进行空间定位再确定目标尺度的跟踪算法，该方法利用对数极坐标的旋转和尺度不变性来映射模板目标和候选目标确定目标的尺度和方向，但是这两者的中心必须对齐，否则得不到目标的尺度和方向。文献3提出了核窗宽根据连续帧中运动目标的仿射模型的伸缩幅值进行更新，但是该方法需要对每一帧图像进行边缘角点特征检测，比较耗费时间，而且不适用于非刚性的物体。文献4提出了基于不变矩的方法，但是这种方法计算时特别耗费时间，大大影响了Mean-Shift跟踪的实时性。相比之下，针对粒子滤波跟踪窗口自适应改变问题的研究却很少。文献5提出了一种自适应改变跟踪窗口的方法。该方法采用一种较复杂的计算方法计算目标区域所含的信息量并以此来判断目标的尺寸变化，这给原本计算量大的粒子滤波算法又增加了计算量。本文提出一种自适应改变跟踪窗口的方法，本方法根据粒子滤波跟踪算法中的粒子权重值及其位置信息推算目标尺寸的变化，因此不增加额外的计算量。实验结果显示本算法能自适应连续地调整跟踪窗口。1 粒子滤波算法原理粒子滤波是一种通过蒙特卡罗积分模拟来实现对贝叶斯滤波器近似的递推技术, 它的核心思想是利用一系列加权的随机样本和表示系统的后验概率密度, 进而估计系统的状态。1.1 最优贝叶斯滤波设系统的状态更新方程为 (1)其中，是系统状态的函数；是平稳过程噪声序列。系统的测量方程为 (2)其中，是系统状态的函数；是平稳测量噪声序列。从(1)和(2)式中，我们可以看出，状态的更新函数和量测函数没有做任何的假设条件，也没有对过程噪声和测量噪声作高斯白噪声的假设，利用含有噪声的测量信息估计系统的状态。最优贝叶斯滤波算法的基本思想是：若已知状态的初始概率密度函数，利用到时刻为止的所有测量信息构造状态的后验概率密度函数，从而可得在任何准则下的理论最优估计和滤波值。设已知状态的初始概率密度函数为，根据Chapman-Kolmogorov方程，时刻的先验概率密度函数可通过系统状态方程预测为(3) 在得到时刻的测量值之后，可利用贝叶斯准则对预测值进行更新，则后验概率密度函数为 (4)那么在最小方差意义下的最优估计可由如下公式的条件均值给出 (5)1.2 粒子滤波算法设表示到时刻为止的所有状态，表示时刻粒子集的归一化权值，即，N为粒子数。粒子滤波就是用样本集来近似表述状态后验概率分布密度函数，随着样本数的增大，粒子的概率密度函数就逐渐逼近状态的后验概率分布密度函数6。直接从状态的后验概率密度函数中取样是比较困难的。文献7提出了重要性采样的方法，其思想是：从一个已知的并且易于采样的分布（称为重要性密度函数）中获得粒子，如果重要性分布函数满足，通过对重要性密度函数采样粒子点的加权来近似。假设状态转移是一个马尔可夫过程，重要性分布函数仅依赖于当前观测值和前一个状态。利用序列重要性采样原理8，样本的权重递归估计可定义为（6） 则时刻的后验概率密度函数可近似为 (7) 式中d是Delta函数。2 跟踪窗口自适应调整模型当跟踪区域和粒子数N确定后，目标区域内的粒子到目标中心的平均距离与目标大小有关。如图1所示，图中的框代表目标区域，框内的每个黑点代表一个粒子，即采样点。当运动目标的尺寸变小时，粒子在目标上的分布就比较集中（如图1(a)所示），则粒子到目标中心的平均距离就变小。当运动目标的尺寸变大时，粒子在目标上的分布就比较分散，从而粒子到目标中心的平均距离就变大，如图(b)所示。(a)目标变小时粒子的分布 (b)目标变大后粒子的分布图1 目标大小变化后粒子的分布示意图Fig.1 Diagram of particles distributing after target size changes基于以上分析，我们建立如下的窗口调整模型：由粒子滤波算法预测目标中心坐标为，粒子的位置为，为该粒子的权值，i=1,2, M，M为权值大于某一阈值的粒子数目，则粒子与目标中心的平均距离为 (8)自适应窗口调整模型为 (9)其中为前一帧窗口中粒子到目标中心的平均距离；为前一帧跟踪窗口尺寸； 为当前帧跟踪窗口尺寸。 表1给出了跟踪窗口(hxhy)和粒子到目标中心的平均距离d之间的关系。表1 跟踪窗口(hxhy)和粒子平均距离dTable 1 target window (hxhy) and particle average distance d 跟踪窗口(hxhy)/像素粒子的平均距离d/像素342612.0044282811.9928302410.9074262010.012222229.7223从表1中可以看出，跟踪窗口越小，粒子到目标中心点的距离也就越小。在计算粒子平均距离时，我们仅考虑了那些权值大于设定阈值的粒子，原因是当粒子权值太小时，说明粒子区域与目标区域重叠很少或没有重叠，即粒子不在目标区域内，对估计目标尺寸没有贡献。3 自适应窗口粒子滤波跟踪算法本文采用目前常用的重要性函数选择方法9，即，则每个粒子的权值按下面的公式计算 (10)从式(10)可以看出，每个粒子的权值仅仅与观测似然函数值相关。本文中用矩形表示目标，目标的状态表示为(11)其中，x和y分别为矩形的中心，x和y分别为目标中心在图像中x和y方向的速度。hx和hy分别为矩形的长和宽。 采用(12)式的状态转移模型 (12)其中为采样周期；为多变量高斯白噪声。算法步骤如下：Step 1 初始化根据先验信息来初始化粒子状态分布设置跟踪窗口的长hx和宽hy以及粒子到中心点的平均距离 (3/7是根据实验统计出来大概值)Step 2 For Step 2.1 重要性采样根据式(12)来传递，得新粒子Step 2.2 权值更新计算每个粒子状态对应的观测似然函数根据式(10)计算每个粒子的权值，并归一化权值Step 2.3 重采样计算累计概率，选取服从均匀分布的随机数找到一个使得最小的j，令 Step 2.4 输出估计状态Step 2.5 根据式(8)计算粒子到中心点的距离Step 2.6 根据式(9)计算跟踪矩形窗口的长和宽4 算法实验验证为了验证本文算法的合理性和有效性，我们以两种目标模型为例进行仿真实验。4.1 加权灰度直方图目标模型采用加权灰度直方图描述目标。将灰度信息划分为个等级。仅考虑目标区域内灰度分度情况，假设目标的状态为，其中目标区域的中心为，跟踪窗口大小为h=(hx,hy)目标区域内像素的位置为，为目标区域内像素的总数，则目标模型为 (13) 其中是Delta函数；函数是在处的灰度级，为第级灰度；为权值函数，本试验采用的权值函数为 (14)函数的引入主要考虑到目标轮廓的变化或者被遮挡的情况，目标区域中属于目标的像素满足一定的概率。也就是说，在区域中心周围的像素一定属于目标，在区域边界的像素可能属于目标，也可能不属于目标。当计算出目标区域和目标候选区域的灰度分布后，本文采用Bhattacharyya距离来衡量两个分布的相似程度。假设目标模板的灰度分布为，候选目标的灰度分布为，则和之间的相似程度可以表示为 (15)其中，是Bhattacharyya系数，其表达式为 (16) 在得到Bhattacharyya距离后，定义如下的观测似然函数 (17)其中，为高斯方差。式(17)中的值越大说明候选目标与目标模板的灰度分布越相似，则候选目标的权值就越大。在该目标模型下，我们对一个50帧的视频进行了跟踪实验（算法基于VC+6.0和OPENCV1.0编制），该视频单帧图像的大小为12896。我们取粒子的个数，高斯方差，选择了人脸区域作为跟踪目标，初始跟踪窗口hx=hy=30，计算平均距离时粒子权值阈值取0.02，实验结果如图2所示。图2 人脸目标跟踪效果Fig2.Results of human face 图2是给出了部分跟踪帧的跟踪结果。实验结果表明，跟踪窗口的大小能够很好的适应目标尺寸的变化。4.2 加权颜色直方图目标模型为了进一步验证本文算法的可行性，我们又采用下式给出的加权颜色直方图作为目标模型。在实验中，将颜色信息RGB划分成的等级，则目标区域内的颜色分布可采用（13）式来表示。其中函数是在处的颜色等级，为第级颜色；为权值函数，本实验采用的权值函数为 (18)函数主要作用是离目标中心越远的像素属于目标的可能性就越小，当像素离目标中心越近时，给予该像素越大的权值。这里仍采用（17）式定义的似然函数。我们对一个95帧的视频（单帧图像大小为256192）进行了跟踪实验，选择了小车作为目标跟踪，实验数据跟上一个实验一样。图3给出了部分跟踪帧的跟踪结果。图3 目标迅速变小时的跟踪结果Fig.3 Results of target getting smaller从图3我们看到，当目标迅速变小时，跟踪窗能实时的自动变小。5 总结在视频目标跟踪中，运动目标大小的变化具有随意性。在分析了较大权值粒子与目标中心的平均距离与目标尺寸关系的基础上，提出了一种实时更新跟踪窗口尺寸的方法，将跟踪窗口的尺寸与连续两帧中粒子到目标中心的平均距离的比联系起来。论文对所提出的方法在两种目标模型上进行了实验验证。实验结果表明该算法的跟踪窗口能够随着运动目标大小的改变而自动改变。本算法同样适用于其他目标特征模型。本方法基本不需要增加额外的计算量，从而不影响粒子滤波跟踪速度。参考文献：1 Comaniciu D, Ramesh V, Meer P. Kernel-Based object tracking. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2003, 25(5):564575. 2 康文静，丁雪梅，刘功亮，崔继文，敖磊. 带宽自适应Mean-Shift跟踪算法J.光电子激光，2008(1):135-138.3 彭宁嵩，杨杰，刘志，张风超. Mean-Shift跟踪算法中核函数窗宽的自动选取J. 软件学报，2005，16(9):1542-1550.4 Bradski GR. Computer vision face tracking for use in a perceptual user interface. In: Regina Spencer Sipple, ed. IEEE Workshop on Applications of Comput