融合超像素与动态图匹配的视频跟踪_张君昌

1、2017年2月第35卷第1期西北工业大学学报Journal of Northwestern Polyle<4inical I niversilyFeb. 2017Vol.35 No.l融合超像素与动态图匹配的视频跟踪张君昌门，周艳玲I,万锦锦2(1西北T.业大学电子侑息学院.陕西两安710129; 2.光电控制技术巫点实验室.河南洛阳471000 )摘 要:针对视频跟踪过程中目标的形变、遮挡、我转和背录干扰问题，提出一种融合超像索与动态图 匹配的视频跟踪方法。首先，采用艇合局部爛特征的简单线性迭代聚类(simple linear itriativr clustr- iing,SLIC )

2、方法经聚类分析生成超像素集合,使生成的超像素边缘贴合度更好。其次，采用图像分割(graph L-uts )方法生成候选目标趨像素集合，并融合在线支持向量机学习算法Online S M lraniing algorithm, LASM )分类预测结果，使前景与背景分离的准确度更离。然后，充分利用目标的几何结构 信息构建思于图模聖的相似度矩阵，解决目标的形变和遮拶问题.理论分析与仿真结果表明：相比 规有其他视频跟踪方法，新方法对跟踪过程中的遮挡和形变情况具有较强的鲁棒性，对一定程度的背 景干扰和旋转问题跟踪效果良好。关 键 词：目标追踪；信息融合；简单线性迭代聚类；超像素；图像分割中图分类号:TP

3、391文献标志码：A文章编号：10002758 (2017 )012017 China Academic Journal Electronic Publishing House. All rights reserved, 2017年2月第35卷第1期西北工业大学学报Journal of Northwestern Polyle<4inical I niversilyFeb. 2017Vol.35 No.l71994-2017 China Academic Journal Electronic Publishing House. All rights reserv

4、ed, 2017年2月第35卷第1期西北工业大学学报Journal of Northwestern Polyle<4inical I niversilyFeb. 2017Vol.35 No.l收稿日期：2016-09-19基金项目：比电控制技术乘点实验宋和航空科学基金(2016515303 )资助作者简介：张君吕(1969).西北匸业人学制教授、光电控制技术敢点实验室客座研究人员主安从爭仏号处理与无线通花 研究。随着计算机网络、数字通信和微电子技术的迅 速发展视频跟踪技术已经成为计算机视觉领域的 审要研究方向之一。视频跟踪方法是闱绕并如何解 决视频跟琮过程中所遇到的问题而发展起来的。视

5、频跟踪过程中常见的问题冇形变、遮拌、旋转、背景 杂波等。【韦I绕这些问题专家学者们提出一系列的 视频跟踪方法。冇的方法是根据冃标与背景的差异 n通过二朮分类解决视频U标踉踪问题：有的方法 是根据II标的状态预测目标位置。这2类方法虽可 以跟踪到H标但是所需的数据笊大实时性不理 想。因此堆于模板匹配的跟踪方法因其原理简单、 易丁实现、实时性好逐渐成为根据视频LI标跟琮技 术的主流方法。堆于模板匹配的跟踪方法主要是通过一定的准 则来寻找目标与候选模型之间的相似度来确定目标 的最终位置。最经典的城丁恢板匹配的方法就是均 值飘移算法虽然经典的均值漂移方法运行速度快. 在简单场景中的跟踪效果良好但在场景

6、复杂或忖 标运动状态变化迅速时跟踪效果变羞。针对于此, Xu Yamning 人将严巫分割的权巫进行结合，意 在不降低实时性的条件下解决严朿遮拶问题；为了 减小相似背景对目标的干扰,Li Ning等人3引入目 标与环境的比例系数以确保冃标模型的准确更新。 而且，在某些基于匹配的方法中可以根据跟踪悄况 实现核窗口宽度的口动调整。然而尽管冇不少学者研究了H标跟踪过程中 的遮掛或形变问题但很少冇人会同时考虑遮拼和 形变问题.针对于此本文提出了一种堆于超像索 纭动态图匹配的视频跟琮方法以超像索作为系统 处理的茶木单元.并结合图i普匹配进行视频鬥标跟 踪。由于在构建图模空时融合J'结构信息因而实

7、 现了対目标的右效跟琮，并在处理II标形变、遮描旋 转和背景下扰等问题时具冇较高的曾棒性。1基于超像素的视频目标跟踪系统本文采用卑于模板匹配的方法视频跟踪过程 即是在连续帧间建立匹配的过程。它主要包含超像 索生成、图像分割、图模型构建、图模型间的匹配、模 71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#型更新等儿个部分。原理框图如图1所示。首先采 用融合信息爛的SLIC方法对输入的每一帧图像进 行超像索牛成并将超像索作为肩续处

8、理的珪本单 元。其次采用gmph cuts 3图割算法，并融介在线分 类器的分类预测结果获得标签值为1的候选H标 超像素集。然厉采用图构建方法运用候选目标超 像索集构建出一个既包含W点信息乂包含边缘信息 的、能冇效呈现H标内部结构信息的候选图模型。 彊斤将前一帧更新后的图模型作为预测图模也运 用谱方法通过构建相似度矩阵实现图模型间的匹 配并根据匹配的结果准确定位u标的最终位n。 在更新模块中实时地更新颜色血方图特征、H标图 模型节点使衆踪算法保持健壮能适应环境及冃标 自身的变化。71994-2017 China Academic Journal Electronic Publishing Ho

9、use. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#图1廉理梃图71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#71994-2017 China Academic

10、 Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪1351）基于爛的sue超像素生成方法甚于像素的视频纵踪方法山于计算量大跟踪 实时性很差。因此本文采用一种皋于超像素的视 频跟踪方法。综合考虑计算代价、分割效果以及所 需参数的复杂度，本文采用SLIC方法生成超像素。SLIC方法住成超像素是在以中心点为中心的 某个邻域内根据茨离值调榕聚合中心从而确定聚 类中心点的位置。距离值的度虽结合了颜色和空间 信息,其度量方法如（1 ）式所示：I）、=九 + #心（1）式中，0是2个像索点的距

11、虬仏和化分别衣示的 是颜色距离和空间距海：通过改变加们:的大小町以 影响茨离因素所占的比朿;S为毎个区域的边长假 设每幅图像冇n个像素则s二/Wo由于SLIC算法中运用lab色彩空间中的l、a、b 和像素点的位置信息來农达像索点的待征在进行 聚类时根据特征的相似性将像素点I丿I为不同的超像 素所以特征选取的准确性对超像素的划分至关甫 要。而lab色彩空间中的/表示亮度信息“和b表 示颜色信息.亮度信息对像索点的描述并不是很明 显而且在后续銀踪的过程中H标容易受到光照的 影响。所以本文采用信息煽信息代替亮度信息进 行超像素分割。图像的信息爛町以有效反映图像中 的像素点与周围像素点的差异，进而将其

12、与颜色信 息与位程信息进行融合町以更冇效地反映该像素点 的持征使得超像索对十背棗I：扰和H标旋转更貝 有鲁棒性。图像中选取以像素点为中心的邻域范 围求収信息爛值，作为当前点的爛信息。计算公式 可以表示为：h 二-P9log 幅）Q）式中J"二/心）/丫农示像索点 i= t j-IGJ）处的灰度值。不同像索点之间爛的距离町以衣示为血=1九儿I（3）式中，必表示2个爛之间的距离人和A.分別表示 超像素点*和超像素点i的爛。距离.町以重新表示为D、= aduh +0厶 + Adly（4）式中，a、Q、入为常数满足条件a + Q +入=I。2 ）融合graph cuts和LASVM的图像分割

13、方法视频跟踪需要从超像素集合m I中挑选出标 签为1的超像素集合17,. 1,，即生成候选超像素 集。为了得到精确的候选趙像素，本文采用graph 蚀卜方法对超像素进行分离。同时在能就函数项 中融合LASVM 41分类器的预测结果o LASVM是 SV M分类器堆础上发展起来的能够更好地适应对 连续变化的图像进行分类。这使得分割的结果更加 特确降低了课分割的概率最于graph cuts的图像分割方法中能就函数包 含区域项和边界项，本文中将LASVM分类器的分 类结果融合到区域项中从而当能蜃函数达到就小 化时町以得到更加精确的分割结果。狂十graph cuts图像分削方法中的能聊函数包 含区域项

14、和边界项，本文中将LASVM分类器的分 类结果融合到区域J页中从而半能就阪数最小化时. 町以得到更加椿确的候选冃标超像素集合。3）图模型间的匹配将前一帧更新后的预测超 像素和候选超像素分别以图的形式表示。梵中超 像素表示图节点花域内超像素之间的茨离表示 图的边缘，通过预测图模型和候选图模型之间的匹 配实现L1标跟踪。同时预测图模型是通过不断更 新目标图中的节点得到的候选图模型是通过对当 前帧图像进行图像分割得到的。匹配的方式是通过 构造相似度矩阵a求解其彊大特征值对应的待征 向量。在A中对角线尤素表示预测图和候选图中节 点之间的茨离非对角线元素表示预测图和候选图 中对应边缘之间的关系。A中的对

15、角线尤素 /?,匕）和非对角线元索仏a丄）分别衣示如f： edxpa>%）26）式中，6 =1.D （,）农示口标图模型颜色特征/与 候选图模型中颜色待征/之间的代方距离。/表示 的是超像素的HSV颜色特征与K（；B颜色特征相 比HSV更加符合人类视觉对色彩的感知。从视觉 的角度看该特征更加有利于外观颜色特征的农达。 2 幼，勺）二 exp|- | （It - /y）- Qi -）II i|6） 式中.6二厶r二丿WH/NJ与-表示目标图模72型中两节点位置信息/, - I,表示网节点之间的距 离丿，与厶表示候选图模型中网节点的位誉信息仏 -厶表示两节点之间的茨离。因此仏匕心）表示 II

16、标图与候选图中节点之间边缘的对应关系。该信 息町以反映出标发生一定形变时的边缘变化从 而在一定程度下对形变具冇鲁棒性。矩阵A中虽然包含J'冃标的外观颜色特征以及 结构边缘信息但是，将H标图中的任意一个节点与 候选图中的每个节点都进行计算会适成A的维度过 大而且也不具冇实际意义因此通过卜最近邻法 对待匹配的超像素点进行约束，对于每一个节点，只 取5个距离域近的节点进行计算，进而对图中的俗 点进行限制。同时，为了进一步减小背景的F扰，对 II标图和候选图中的对应节点之间fi V距肉和角皮进 行了一定的阈值限定。采用谱技术6求解矩阵A的特征向最.谱技术 与二次方程方法相比复杂性小易于计算。公

17、式表 示如（7 ）式所示x'AxX = arg max -* XXs.t. xlx = 1（7 ）求解出的敲大特征值对应的特征向量F代农 了对应每一个对应对对应成功的町能性P匕），但 是由于所有可能性的总和为I,所以,特征向量中的 值并不是二元化的，为了将其二尤化以便找出可能 的目标超像權文中运用贪心算法将F转化为只 含有0和1的特征向量/取出向量/中值为】的 尤素集合根据相应的位置进行加权定位。4）目标更新为了适应L1标的动态变化保证跟踪的准确性. 需要对颜色比方图、预测图节点进行更新。颜色比 方图的更新主要是保闕初始帧的颜色信息以便于 准确加踪。更新预测图中节点时，将图中节点分为3

18、种状 态:节点i不与预测图中的任意节点匹配或到预 测图中任意节点的儿何距离满足一定的阈值条件. 则被视为新生节点;肖点i能够成功匹配其他芳 点则披视为稳定节点;如果一个节点在连续5帧 都没冇与Jt他节点匹配则被视为死亡节点。当一个冃标矩形框确定之后新牛节点将会被 添加到预测图中,稳定节点将会被保留在预测图中, 死亡节点将会从预测图中删除进而实现预测图模 型中节点的更新。2仿真与结果分析实验是通过C + +语异在VS2012上编程实现 的，计算机的配置为Ink-） （R ） Core （TM ） CPU 2. 2OHz.32位Window7系统,内存为2GB.所选用的 数据主要是具冇形变、遮拶、

19、旋转以及一定的背景相 似性恃点的数据，同时将本文的跟踪算法与当前跟 踪领域的一些主要跟踪算法逬行比较（如CT算法, Fmg算法,MIL算法,TLD算法以及DGT算法） 通过定性和定笊分析町以验证该算法的优越性。1）定性分析定性分析主要是分析不同算法产定的跟踪框对 H标跟踪的阡确程度。本文中选用2组典空的视频 数据Qx»lt. lemming ）进行定性分析，具体跟踪结果 如图2所示。针对上述6种算法分别用不同的线 型表示，其中CT和MIL算法分别与Frag和TLD线 型一样，但是CT和MIL算法颜色为灰色，Fr咚和 T【)颜色为黑色。所选的视频数据中，1标主要经 历了形变、遮拶、旋转

20、以及相似-疗景扰等变化。在 Boh视频序列中跟琮冃标为位于图中间跑的较快 的运动员,#0128怔目标经历了不同程度的背景 扰及沿轨道旋转的变化CT算法、'III.算法、TI.D算 法以及Fmg算法冈为太过于注帀外在信息而忽略 r内部结构信息因此冃标丢失。而本文方法更能 准确跟踪口标。在lemming视频序列中，跟踪目标 为矩形框较果中的棕色玩具.#0320帧背景对U标a) boltb) lemming图2不同算法任不同视频序列上的跟踪结果产牛相似性的I：扰同时出现严币遮拶由于爛信息 的运用对比可以看出本文方法的跟踪框的准确性 明显好于其他跟踪算法。但本文方法町以准确的跟 踪到目标。2)

21、定就分析在定就分析中本文采用2种方法对跟琮算法 进行定曲分析，一种是中心误差准则它町以定义为 口标实际位置与于动标注位世之间的距离的均方 根。由于当误差距离太大时跟踪矩形框已经基木 偏离冃标不具冇研究意义。所以，本文仅统计中心 误差趾离小于25的帧图像的平均中心课差作为判 断依据。计算结果如表1所示；另一种方法是成功 跟踪的帧数,即成功率大于0. 5的祯数目，其中，跟 area(RT A Rc)踪的成功率町以定义为SC =和area( KT U 心)心分别为跟踪算法和手动标注的LI标矩形框,as 则表示目标跟踪状态的面积。当SC大于0. 5时，则 表明成功的跟踪了H标。统计结果如表2所示。从

22、衣2町以看出，本文方法的跟踪性能优于其他算法。71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#表1中心误差率视频序列CTFragMILTLI)I)(；T本文方法basketball89. 1113.0291.92

23、213. 865.925.90bolt363. 8()183. 38393. 549(). 927. 666. 93david38 & 6613. 5529. 6820&006. 396. 38lemming32. 25126. 8712. ()615.996. )56. 1520.7115. 705. 6245. 3611.306. 26表2成功跟踪的帧数视频序列CTKra?MILrunDGT本文方法basketball19150520018708712boh237451302307(Iavi(l38820517226217229lemming9095421083793127

24、91281f(x»tlxilll6255829255971994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪137总体看来本文方法和DGT算法的性能较为优 越。但进一步分析可以看出，与DGT算法相比，本 文方法

25、由于增加了爛信息,对相似背景的扰具有 一定的曾棒性因此提高了匹配的粘度，增加了成功 匹配的超像素数目，如表2所示。但由于爛信息着 朿于提高了兀配成功的超像素数冃对中，匚、点的准 确性仅有略散提高。因此单就计算中心渓耒而H， 本文方法略优于DCT算法如表1所示。总之本 文方法对榕体性能冇所提高。3结论本文通过充分利用超像索以及信息描i的优点, 将需要跟踪的H标特征充分的表现出来使其貝冇 鮫强的俘棒性。本文通过图模型的构建允分衣现出 超像素点之间的边缘关系，通过预测图模熨和候选71994-2017 China Academic Journal Electronic Publishing House

26、. All rights reserved, 第1期张右昌等:融介超俾耗与动态图匹配的视频跟踪#71994-2017 China Academic Journal Electronic Publishing House. All rights reserved, 第1期张苕吕等:融合超俾董与动态图匹配的视频跟踪#图模型之间的边缘以及颜色特征之间的匹配使得比实脸结果表明本文方法与其它銀踪算法相比跟目标不仅在发生形变和遮描的情况下具有鲁棒性，踪效果更好。同时对旋转和-i'TST扰也具有较好的处理效果。对参考文献：1J Xu Yanming An Improved Mean-Shift Mo

27、ving Object Deleclion and Jrackin Algorithm Based on Segmentation and Fusion Mechanism C IEEE Conference on Systems Process and Control. 2013:224-2292 IJ Ning. Zhang Dan. Gu Xiaorong. el al. An Improved Mean Shift Algorithm for Moving Object trackingC /( IEEE Conference on Electrical and Comniter En

28、gineering 9 2015： 1425-14293 Yuan Jimv Tang Shunting, Wang 卜bi. Zhang Hong. A Kobust K<»ii(i Segmentation Method Based on (；niph (ail with Immablp Neighboring Unk Weights C /IEEE Conference on Intelligent Transportation Systems« 2014： 1644-4649.4 .Antoine Bordes. Seyda Erlekin Jason Wlo

29、n. et al. Ea>t Kernel Classifier uith Online and ?dive loaming J . Journal of Machine Learning Research. 2005 . 6 6 )： 1579-1619.5 Egozi A. keller Y, Gutennan H. A Probabilistic Approach to Sjiectral Graph Matching IEEE Trans on Pattern Analysis N Machine Intelligence. 2013. 35 (1 )： 18-27_6 Cai

30、Z. Wen L. Lei Z, et al. Kobusl Defonnal)le and Occluded Object Tracking with Dynamic Graph J. IEEE Trans on linage Proc伽ing. 2014. 23 (12 )： 5497-509Video Tracking Method Jointing Superpixel andDynamic Graph MatchingZhang Junchang1,2, Zhou Yanling1, Wan Jinjin2(1.School of Elec tronics Information,

31、Northwestern Polytechnical Universityt Xi'an 710072, China、 2.Science and Technology on Electro-Optic Control I.alkiraton*. I.uoyang 471(XX). China)Abstract: Focusing on the problem of target deformation 9 occlusion 9 rotation and background inteiference» a video tracking method jointing superpixels and dynamic graph matching was proposed in this paper. Firstly, superpixels were generated bv thr simple linear itriative clustering analysis method integrating the local entropy feature, so that wr can get sujiripixrls that thr edge fit brttrr. Secondly thr candidate tar