视频监控中采用Meanshift的运动目标跟踪算法

1、视频监控中采用mean shift的运动目标跟踪算法游雪峰i,张惊雷2(1.天津理工大学 天津市复杂系统控制理论及应用重点实验室，天津300384； 2.天津理工大学自动化学院，天津300384)摘要：由于传统的kalman滤波方法在非线性、非高斯跟踪问题上的不足，为满足智能监控系统对运动 目标准确跟踪的需求，提出了一种改进的自适应mean shift算法。该算法利用bhattacharyya距离来度量 颜色模型之间的相似度，通过几次迭代运算定位目标并实现目标的准确跟踪,通过自适应调整跟踪窗口大 小，提高了跟踪的实时性和鲁棒性。利用改进的mean shift算法对行人与车辆目标分别进行了跟踪实

2、验, 实验结果表明，本文方法对刚体与非刚体目标的跟踪比传统的kalman滤波方法具有更好的实时性和准 确性。关键词：目标跟踪；kalman滤波；mean shift;跟踪窗收稿日期：2012-；修回日期：基金项目：天津市教委科技发展基金()资助项目作者简介：游雪峰(1987-),男，湖北鄂州人，汉，硕士研究生， 天津理工大学，主要研究方向为图像处理、目标识别()；张惊雷 (1969-),男，副教授，硕导，主要研究方向为图像处理、模式识 别图1 mean shift示意图中图分类号：tp 391文献标志码：a目标跟踪是图像处理和计算机视觉领域的热点研 究内容之一，它在智能人机交互、医疗诊断、智能

3、视 频监控等领域中有着广泛的应用。目标跟踪方法一般 分为基于相关的目标跟踪和基于特征的目标跟踪两 类。在视频监控场景中，对运动目标的跟踪大多采用 的是基于特征的跟踪方法。经典的kalman滤波方法适用于处理线性、高斯 型的问题。然而实际视频监控场景中许多因素可能导 致非线性、非高斯分布的出现，比如图像噪声、目标 复杂运动、光照变化、相似干扰等，跟踪问题往往是 非线性、非高斯的。因此经典的kalman滤波方法对于 行人、车辆等运动目标的跟踪具有局限性，一些新的 跟踪方法不断被提出来。其中基于mean shift的目标 跟踪算法因具有实时性、鲁棒性和易于实现等特点， 在对行人及车辆等运动目标的跟踪

4、中取得了较为理想 的效果。mean shift采用核概率密度来描述目标的特征，其 本质上是一种具有线性收敛性的梯度下降算法。 fukunaga等最早提出了 mean shift的概念。cheng 在1995年对它进行了改进，定义了一簇核函数，使得 不同的样本点对均值偏移向量的贡献不一样，。 comaniciu等成功将它应用到图像分割和目标跟踪领 域i虬本文采用改进的自适应mean shift算法对运动目 标进行跟踪，并与传统的kalman滤波方法进行对比。 实验验证表明，本文方法对刚体与非刚体目标跟踪都 具有较好的实时性、准确性。实际道路车辆检测结果 表明，本文方法对车辆目标的跟踪的准确率比传

5、统的 kalman滤波方法要高。1 mean shift 原理1.1 基本 mean shiftmean shift算法一般可以描述为:给定d维空间刑 中的n个样本点，= n ,尤点的 mean shift 向量则定义为：的心)三! zq f)(1)式中，s.是一个半径为龙且满足以下关系的顶点集合 的高维球形区域：s3)三(2)其中，&指的是在样本点毛中落在s,区域内点的个 数。s*是样本点也相对于点尤的偏移向量。如图1所 示，假设岛表示大圆圈所在的区域，小圆圈表示样本 点七邳力,黑点表示mean shift的基准点x,箭头则描述 了样本点相对于基准点x的偏移向量。均值向量 即表示对这

6、k个样本点尤相对于点的偏移向量 求和后的平均，因而它指向样本分布最多的区域，也就 是指向概率密度函数的梯度方向。1.2 扩展的 mean shift从(1)式中容易看出，落入&内的所有采样点对 计算的贡献均一样。然而由于离x越近的采样 点对估计尤周围的统计特性越有效，在计算mjx)时要 考虑到距离的因素，因而引进核函数(如图2所示) 的概念。由于所有的样本点另的重要性并不一样，对每 个样本引入一个相应的权重系数，从而基本的mean shift形式扩展为：0 -命心)0 f)m(x)三 (3)ng心-尤)心)1=1其中(x. -x) = h'/2 g(h1/2 (. -x), g

7、(x)是一 个单位核函数，k(xz)>0是指定到某个采样点x,的权 重，h是一个正定的对称矩阵,也被称为带宽矩阵，它 往往被取为正比于单位矩阵，即h = ivl o这里仅需确 定一个系数们因此(3)式又可以变换为：comaniciu等把mean shift应用于图像分割和目 标跟踪，提出了用bhattacharyya系数来定义相似性度 量，能够对机动目标进行较好的跟踪。对于视频监控 系统中运动目标的实时跟踪，我们采用目标的灰度或 色彩分布"i来描述此目标，假设目标的中心位置为工。, 则该目标可以表示为：(7)位于y的候选目标可以表示为:(8)因此对运动目标的跟踪即可简化为找出使

8、得九(力与 /最相似的最优y值。我们采用bhattacharrya系数来 度量力()，)白(力与> 的相似性分布:p(y) = pp(yq =如(9)文。(土三)心心)虬，三£。(七一)而0)旨 h将(4)式中的x提到求和号的外面来，得到(5)式的形式:(4)上式在a (晶)点进行泰勒展开可得：(10)其中:£g(y)w(x,)x,住)=x(七二)似q岩 h(5)妇v pu(3o)di)我们把上式右边的第一项记为(尤)，即:我们可以利用mean shift算法，对(10)式右边的第二项 进行最优化。2.2(12)(6)具体应用中，假设给定一个初始点x，核函数g(x),

9、 £为容许误差,mean shift算法按下面三步循环执行算, 直至满足结束条件：(1) .计算；(2) .若|时(x)-圳ve，循环结束，否则继续；(3) .把叫赋给1,转步骤(1)循环继续进行。当满足一定条件时，mean shift算法必收敛到选定 点附近的峰值。2基于改进mean shift运动目标跟踪图2高斯核函数自适应跟踪窗口根据mean shift向量所得的搜索窗口零阶矩和一 阶矩，目标的质心位置坐标为x - 10 . y - 01其中:2.1模型表达州。=密1=1(13)相应的二阶矩为虬。= £ g 4舟| i心）;斯核函数的曲线图，对目标的搜索窗口一般也选择

10、为 这个大小区域。在实际的跟踪过程中，跟踪窗口的大 小会随着目标区域的变化而自动调整"此 从图4容易 看出，传统的矩形搜索窗口只能大概确定运动目标的 位置，本文方法根据椭圆长短轴在水平与垂直方向上 的投影自动调整搜索窗口大小，能够精确定位到运动 目标区域，提高了对运动目标跟踪的实时性和准确性。m”=£g七_l也)料r-1 n(14)如图3所示，设椭圆的长轴长为length,短轴长为 width,它们在水平方向上的投影分别为乌、与，在垂 直方向上的投影分别为七、弓，轴向角为。，那么：/, = length x cos。,上=width x sin 0,t3 = width x

11、 cos 3,t4 = length x sin 0j（cos2 m20 + 2cos<9xsinoxm +sin2x m02length = 4图4 mean shift跟踪窗口（左）与自适应跟踪窗口（右）对比3实验结果及分析(15)8«0(16)j(sin20x a/勺 一 2cos0x sin ox m1 + cos2 0x a/(p):材00(17)实验在visual c+6.0编程环境下，主频为2.81 ghz、内存为2.00g的pc机上调试通过。图5与图6 分别给出了利用kalman滤波法和本文方法对行人目 标的跟踪结果。行人图像序列是在实验楼走廊中采集 得到的，包

12、括170帧。图5的kalman滤波法中，在第 104帧两人握手时跟踪出现重叠，在第132帧时出现部 分目标的跟踪丢失。对比图5与图6,本文方法对行人 目标的跟踪效果较为理想。2此3 = arctan 0(好购=_ 024(虬1 )2 + (归20 _ “02 )2峋临 v皿 峋峋(18)frame72frame 104frame 132(19)相应的匹配窗口的长和宽分别为： windowslength = max(4, t2), windowswidth = max(r3,r4)图5 kalman滤波法对行人跟踪的结果frame72frame 104 frame 132图3自适应窗i i示意图

13、本文算法是对传统mean shift算法的改进。数带宽咧是个非常重要的参数，图2所示即为一个高图6本文方法对行人跟踪的结果车辆跟踪实验采用的是longroad视频序列。对比 图7与图8, kalman滤波法对车辆的跟踪容易受到噪 声干扰，跟踪过程中出现误跟踪。核函frame606frame610frame616图7 kalman滤波法对车辆跟踪的结果framc606 framc610framed 16图8本文方法对车辆跟踪的结果表1为市区某干道白天上午3小时内车辆检测的 结果。在车流比较密集的情况下，两种方法的车辆检 测准确率均可达到90%以上，但是本文方法的漏检的 个数明显要少于kalman

14、滤波法，对车流信息的表达更 为准确。由于车辆图像之间相互遮挡、粘连以及个别 车辆速度较快等导致少数车辆无法有效统计上。表1道路测试数据时间驶过车次kalman 法检测车次本文方法检测车次8:00 9:001520148215089:00 10:0062558761810:0011:00135612831342i . agbinya j i, rees d. multi-object tracking in videoj.real-time imaging. 1999, 5(5): 295-304.2j. kalman r e, others. a new approach to linear

15、filtering and prediction problems!j. journal of basic engineering. 1960, 82(1): 35-45.3 .宋新，沈振康,王平,等.mean shift在目标跟踪中的应用j.系统工程与电子技术.2007(9): 1405-1409.4 . fukunaga k, hostetler l. the estimation of the gradient of adensity function, with applications in pattern recognitionfj. information theory, iee

16、e transactions on. 1975, 21(1): 32-40.5 . cheng y. mean shift, mode seeking, and clusteringj.pattern analysis and machine intelligence, ieee transactions on. 1995, 17(8):790-799.6 . comaniciu d, ramesh v, meer p. real-time tracking ofnon-rigid objects using mean shift: computer vision and pattern re

17、cognition, 2000. proceedings. ieee conference on|z. 2000: 2, 142-149.l7j,李乡儒，吴福朝，胡占义.均值漂移算法的收敛性j.软件 学报.2005(3): 365-374.l8j.张涛，费树岷，李晓东，等.基于色彩相关直方图的粒子滤 波跟踪算法j.系统仿真学报.2009(17): 5423-5426.9 .李培华.一种改进的mean shift跟踪算法j.自动化学报.2007(4): 347-354.10 .彭宁嵩，杨杰，刘志，等.mean-shift跟踪算法中核函数窗宽的自动选取j.软件学报.2005(9): 1542-1550.ii .林庆，陈远祥，王士同，等.窗口尺寸变化目标的遮挡跟踪j.计算机科学.2010, 37(008): 273-275.4结束语本文首先简要介绍了 mean shift算法基本原理， 重点研究了应用改进的