DS的运动目标图像跟踪算法与实现工学基础

KarthikHariharakrishnanandDanSchonfeld,SeniorMember,IEEE摘要[本文为正文！以下开始就是研究了。]我们提出一个目标跟踪快速算法---用运动矢量数据来预测目标物体轮廓。除了目标的初始化，在基于区域的方法中通用的分割步骤是可以避免的。我们用遮挡/遮挡恢复检测来更新目标轮廓,并用块向量预测目标边界从而实现跟踪。一种自适应的基于模板的方法已经被用于估计帧间的物体运动。一种能高效的控制帧间距的调制方案被用于运动估计。检测遮挡恢复的算法分两步进行。首先，从帧差中估计未遮挡区域。遮挡和遮挡恢复视为二元事件并对它们的关系做出详细解释。依据二元性原理，将遮挡恢复检测算法修改使之发展成为遮挡检测算法。该跟踪算法在计算方式上要优于现存的基于区域的目标跟踪方法。实现该该算法的程序采用了MPEG-4的视频压缩和基于H.264标准的内容检索。初步的仿真结果展示了该算法的表现。关键字：自适应运动估计，K-均值聚类，分割，视觉跟踪。Ⅰ序言视觉跟踪已经成为计算机视觉领域中被广泛研究的一个课题。面对新兴多媒体标准如MPEG-4的出台，发展一个能让视频跟踪高效运行的的系统平台已经越来越重要。该视频追踪程序运用到了视频压缩，视频检索，交互视频，场景组成等等。多种技术手段已经被运用在提取视频场景中的有意义的目标。最常见的方法被归纳为几下几类：基于区域的跟踪、主动轮廓跟踪和基于网格的追踪。谷对知于第一种方嚼法（基于区紫域跟踪）精，视频对象闪由用户/物较体识别算法供来初步确定蛛。然后采定用经典的工拼具，如小流魔域改造来对父视频序列进止行分割。连稻续帧中的分久割区域之间倾的通信建立斤并能够跟踪驱后续帧图像接中的视频目遣标[3桥],[7昏],[屈13]爷。臣主动轮廓方积法通常不运订用全局物体怠的空间和运蠢动信息，而影只是依赖视臭频目标的边雅界附近的信粥息[2扫],[5预],[姿11],煤[12体],[1楚6]。蠢“蚁蛇形浮动制”壁[10狂]是一种采碌用带参量的绢光滑曲线（赌运动轮廓）冈来跟踪视频律目标边界的摩方法。混基于网格巡的方式[撒1],程[9]孟,[15龙],[哑18]以宫斜率和运动姥信息为基础挥定义了边界疫上节点和目验标内部的初丹始设置。这掘些节点设置师依据一种和赛Delau步nay三角删形类似的三闭角规律进行嘉合并，产生规符合要求的天网格。依靠降光流估计对质节点信息进使行采样，跟煤踪节点设置掩[8]茅。拖一群种基于区域瘦跟踪的变形烧（隶属于基群于运动的跟稠踪），在[炕17]述中有所介绍瞧。基于运蜜动的聚类法割（运用光流埋）已经被用主于产生连续蹲运动的区域叫。尽管运动辱提供了对于活视觉图像的诱有力的描述讲，但是孤立辨的基于运动趟的标准却不糊能够胜任目纹标跟踪。什跟管踪算法中最井主要的问题鹿之一是部分钟遮挡。对于晓视频序列中梨的遮挡检测照已经提出来视了一些解决掀方法[1膝],[5外],[1铁4]。饲迄今为止提欠出的遮挡检灾测的方法多豆集中在解决熊因为遮挡物丈体而出现的状目标的部分坟藏匿[1细],[5给],[盼14]钳。在这些著蓬作中，对与速遮挡恢复的孔检测并没有钳做出最够的手重视。狱目渴标跟踪系统司的计算量的半复杂与否取仅决于图形分熔割、光流或骆是运动估计虎操作。因此冤，实际中的驻实时系统必积须避免这些壁操作的重复陷。本文提出墨的算法的主西要目的就是使在不需要用缝户交互的情料况下长时间河持续地预测程目标边界。勇坡第诉二章节给出紧了所提算法残的细节信息宰。第三章忽节论述了该桨算法在视频带序列中用于睛鉴别遮挡/例遮挡恢复。穗第四节包含奇实验结果证凑明了这一方倘法的有效性座。结论和进慢一步研究已游包括在最后仆一节。惭吹虏发瘦经Ⅱ遭基本跟弊踪算法则A.一般方阁法雾所肢提出的算法索可以被归类停为基于区域让的跟踪算法业。遮挡和遮榴挡恢复技术宅已经被发展期成为能够应淡用在其它的述基于区域的乐技术上以提基高跟踪精度亩。整体算法跑在(图.1份)中进行了民概述。所局有的步骤(燕图.1)，逼在下面几个唐章节会有解怀释。在以下勺章节中，殃重新分割是器指运用遵循奖以下提到的总用户交互的他算法进行的嘉帧图像分割逢，以重新初拴始化目标部宰分。计算帧间（k&k+N计算帧间（k&k+N0)的运动均值用户自定义掩膜(第k=k0帧)计算并更新目标掩膜k=k+N0合并（移除）属于（不属于）目标的区域遮挡及遮挡恢复检测在(k&k+N0)帧间进行运动回归估计是否高速运动恨歼貌拉N设0进=1怎同想宫是是茧讲下逢厚否西这手N汽0西=3钉泡草色假塘桶图势.1.计跟踪算法滑.息B.目标掩嗓膜的初始化冒为秩了初始化跟棚踪算法，我静们采用基于族一种联合算树子的分割算弄法。此联合罢算子给出目宫标区域信息怪。[6]提私出的分割方健法与固定阈睛值分割比较使有更好的效拳果。下面殊给出初始化驶对象的算法询。爸杜1）用干4个波段多列值分割法对侄初始帧进行郊分割[6辣]。初底步分割图由第标注。尺迅2）这栽一步骤的目厌的是找出目作标区域。为集了找出这些浓区域，我们嫂计算在分割倚图中所有区宰域的运动矢岗量。所有运医动合理的区族域会被标记泼为一个掩膜钓中的目标区焦域。腥赔3）前缸一步可能包至含属于背景阅的区域。因柄此，需要自巴检测操作以天去除一些小著的区域。开咱放空间的处浑理已应用在辣形态学后期愤处理。将掩兔膜中的孔填等充以成为最刑终掩膜。如医果获取的掩矛膜误差太大带，手工进行穷初始化。垮在游鱼序列华中按照以上由步骤运行的钩结果在（图斗.2）中展陈示。以上斑提到的方法竞对与静态的动摄像机取景旬有很好的效甲果。目标也殖可以在图形顿界面中的手餐工初始化。喜如果将要被袭跟踪的目标赌类别是知道哲的，同样可赠以采用自动万初始化。例位如，肤色可颤以用来初始辞化一个面部培跟踪。跟踪甲算法的效果画取决于初始盖化后的良好童的范围。一桃个完美的初址始轮廓是对晶于一个跟踪男算法的最好允的输入值。动第四章节会遇分别给出手题工初始化和牧自动初始化赔的跟踪结果土。鞋涂图.2飘目标初始您化：（a）仆分割图尖，（b）分惯割图中运动霸合理的区域用躬图.3舟对游鱼免图像序列的差种子块估计禽：（a）第关75帧，谁（b）第7于8帧中的运姐动种子块（暮黑色---跌不确定块，劫白色---曲目标的运动绩种子快，灰喜色---背衡景的运动种排子快）刊C.运动估谱计服运熟动估计是目宜标跟踪中的醒根本要素，泽因此准确的纵运动估计是程最重要的步摘骤之一。本云文提出的计台算块尺寸的婆方法依据块史的位置。改测变目标边界港的块的大小财，此法等价伴于基于网格姻的运动估计假。因此，运恩动估计比传原统的块匹配弟技术要更加奏准确。妨1建）块分类故：令视频序斧列的第k帧侄为I（x,劣y,k），孤并且（x,哀y）表示一狭个像素点。送每一帧都会商估计种子运柏动块。一个圣种子运动块搞任意取在目搁标或者背景硬中。该算法漂以淹一兴个大小为1头6×16像悦素的块开始分并且估计反册向运动叛.I(x,扣y,坛k+N搞0树)中的每个牺快与I(x跑,y,功k弊)中的对应榨的新块相匹配。田并且。用一扁个32×3箭2的窗进行夏遍历搜索以气计算运动矢全量。肺运动估计已底经被运用在蚀Y,U,V唇空间。位于久边界的块被舱标记为不确衬定的块，它镜们会在估计品步骤的下一昨环节被处理债。（图.）膨3显示游鱼怪序列中算得钢的种子快。途。葡这劫些不确定的煮块会被细分各为更小的块浩（8补×雕8）并且新辛的种子快会族被重估计轻。搜搜索范香围同样会被炭限定，以保盾证不会出现寿错误分类。动这个过程乡会一直持续赖到出现一个集固定的大小墙为（8秋×起8）像素的馆块。羊D.调制方柱案河在很多视频藏序列中，连插续帧之间的炸运动是比较物少的。在所纵提出的方法出中，跟踪是醉每三帧执行目一次。一种烛调制方案被应提出以计算猜帧间（k归&血k+N当0敬）的目标运仍动，并且在瓦被预测的运岗动较快的轻瞒快的情况下缠调低运动估竟计。这种调宿制方案能在蝇视频序列中扛的运动较慢湿的情况下很械好的节约资洗源。基于僚运动估计算粗法中的初始难化部分（图可.3）所得率出的初始化愤种子块，我铲们建立一个中运动模型并丛算出帧间的沈运动均值。宫性仿射模型有替下面的公式秆定义勺,i=1,隐2...6诵，在矩阵A腰中是模型参青数。该转换围移动参考帧胖中的点疑(x,y,很k+N雹0缸)习，到前呜一帧图像中测的(歪x',y'判,k)梁。最小二乘剩算法用来提脚取运动模型牌参数。拦该仿射模型游中的转换要打素反映了目雄标的运动过健程。如果上谎述L2模较牺大的平移分鹊量大于阈值甩（标η间），相幕邻帧的运动彼估计是重复钱的（N由0辱=1）。胶如果该算法尤一次在三帧异图像上应用借，能纠正跟罩踪误差（N府0潮=3）。表如果目标的贡尺寸比帧图慨像的尺寸小宅，有可能不恼存在任何目苦标种子块。趁在这种情况网下，依据较夏小的块（如耐：4乳×录4）算得的嘴运动向量会宵被用来寻找厅仿射模型辈。谱E.耀目标掩膜的滥产生记旺前一帧中与顽目标相符的沟部分用宏表示，它的寇目的是在给线出运动向量爬的条件下产馒生当前的目针标部分用来候支持辨。让本来描述计算在出的运动向呜量，得到区陕域（块）折。此外让贯表示X由膜转化得出的尝值。在这，屑h代表每个桶块的运动向劲量。当前帧峰的每个块都大进行运动补筋偿腹以找出坐落术在庙中的部分块绳。这会给我筛们当前帧师的目标支持谁。科目标掩膜需垄要进行合适膊的修改以便穷照顾遮挡和白遮挡恢复。青遮挡和遮挡若恢复用下一伐章节的具体吧方法来解决外。缩颤变幕寨背III.安遮挡和遮挡晌恢复泄用来处理遮胆挡/遮挡恢策复的最长用域的方法在于肾找出全局运次动向量中的霞运动补偿帧链[1]具。该补偿帧迫是初始帧与历阈值（径）的差值，趟给出当前帧鬼的离群像素庆。如果前向数运动估计为通）并且第k袭帧以第性帧重建，离波群像素与第齿帧中将被覆清盖的区域相蜓符。对于落烂后的运动，倘第芳帧使用第只k骄帧重构.。兴这种情况下秃检测到的离比群像素对应明第科帧中出现的要新的（未覆辛盖）区域。可理想的情况索下，新的区震域应该对应毛遮挡恢复而笛覆盖区域对阁应遮挡。但邪在许多情况离下，其中的子一些为覆盖道区域并不对骄应遮挡恢复帝，一下会做掘出解释。遮刷挡恢复算法批的目的是用验来检测事实碎上属于遮挡歇恢复的未覆罩盖区域。郑以下段落解据释了用于遮耽挡恢复的算闹法。二元性桨原理可以被忽应用于构建数遮挡检测算狭法。况不能被准确杰地运动补偿际的区域被表奶示成覆盖或厦为覆盖区域煤。在很多情贡况下，现存迟的不能被准蜜确的运动补灾偿的区域归唉因于非刚性想结构或光照艺变化。在这隶些情况下，滑覆盖和为覆亭盖区域并不肢符合遮挡和赛遮挡恢复。誉很明显需要损进一步的分采类来找出实滚际中的未覆浮盖区域中的择遮挡恢复部皮分。要达到蚀这个目标可葱使用基于运痰动的标准。菌二元原理叹遮质挡和恢复被给看作是双重蝇的事件。为株检测下遮挡诚遮挡恢复雪(遮挡)沉，当前帧剖用下一帧来姿进行欲动补次偿以企鹅的兴未被覆盖（狂被覆盖）的限区域。在案拿件称遮挡恢复老(遮挡)炒，具有尸目标运动特跪性的的未遮盟挡（遮挡）女区域中与目栋标相似（但伤彼此不同）脱。这种检封测海遮挡恢复慈(遮挡)武的算法能找龄出这种运动帐相似性。酬在此二元性数的基础上，木执行遮挡恢泳复检测的算析法可以被公穷式化，做些符合适的修改漆就可以用来跨检测遮挡。惩木B.遮挡哄恢复河检测渐中张1）质未覆盖区域宫：竖为了执行遮厦挡恢复检测离步骤意，励未来几帧图光像中的未遮贯挡区域需要豆被预测出来阵。目标轮廓木已经用运动严矢量预测，凑所用公式为掏。跃新的区域可窑能出现在当避前帧中(唱)继。顾为了估计这洽些区域，当蒙前帧(不)会用第聋k购帧来进行运挑动补偿种。晃一些预处理通操作被应用蒙于掩膜来去锤除噪音。恭栋坚2）区域舰分类：如前掏所述，娃未遮挡区域夏不符合实际灾中的厦遮挡恢复s戚。茄我们用色彩变为标准来预魂测未遮挡的呆区域糠。战在分类的第贺二个阶段陶，运动配被用来作为冻标准东。以下接是实际中的哥属于目标的柴未遮挡区域班。牢乒•坦属于目标的盈未覆盖区域截应该具有和悉目标相似的既特性利。胡•呀与未覆盖区斤域的其它目翻标相比较，先检查运动的熟一致性理。阁估计未覆盖春区域平均运飘动向量的一浪致性。然后蠢做相似的测扛试将未覆盖乒区域分成实诚际遮挡恢复膝和误报两类旅。昆察队骂崭图.兄4提取密目标（工人搜）纹医台绢眉图.类5提取练目标（车内再男子）棕运动矢量聚查类：删除蚁所涵盖的区叙域，形成一你个新的掩膜陆。岛中的运动矢撕量用如下所份述的K-均幼值算法[4疼]群集。这座些区域中的确被覆盖部分耽应为运动矢壮量不准确而镜被移除，因毁此可能在聚晃类的时候导副致错误。乓采用了基于饰块的办法进标行来运动估浴计，每一个赵块只有一个沾矢量。这些蛋块矢量会被闸聚类。聚类过仅仅需要依捞据掩膜赢中的像素来喝执行。因此趴，计算每一群个块在掩膜仰中的像素点获数目，得到厉聚类的加权泰采样屑茂如投代表带宏的厉运动矢量，王是指处于合中的宏块所就包含的像素申，壤M慈则是指在全帜部或部分在左中的宏块数按目。其中运膝用了一种用讽来选择自适况应集群的聚肝类算法。雹隙B候）相似性测追试：以下的祸相似性测试咐是针对所有否未覆盖区域盆：令坟代表未覆盖配区域侨中的前向运俗动矢量，糖代表目标型的运动集群纠的中心。每歼次计算眠套交远斩恩只有粱在喜(冲当题)述的情况下，学区域喜被认为是包东含在恒中的遮挡恢拨复。根据讯来更新目标刻掩膜。不符价合上述条件偷额未覆盖区虽域是虚警。千遮挡检测算遗法可以同理胞得出因此在舱这里省略。尘寸湿寨混咸IV.香仿真表猎跟踪已经对喝一些常见的副MPEG测枪试序列与实顺时视频序列砍做珍过测试。所主提出的方法充（即目标跟何踪可以被认蹈为是许多基感于跟踪技术喷的区域的集娘合）授已被文献报摆道。糟该方法主要冻依据运动矢封量来预测目杂标轮廓，这慕也意味这现胖如今需要一约种针对视频毫压缩数据的球的跟踪算法艇。墙计算一帧所废需的时间御已经与其他姑两个润基于区域的马的跟踪办法颠进行了比较疾。铃依据该算法称编写的程序厉并没有旋全部什得到优化榆，改进后应屑能获取更佳灵的效果辩。视频序列妄在序列（工蜡人）中，目宪标运动不是赚始终如一的争，因此当观邮察到有意义惧的运动时跟红踪会放缓。偷图吨。4显示底了提取包含切在众多干扰让项中的视频裤目标。该方腐法生成的目膊标掩膜与基抓于分割的方情法一样基本绿准确，同时承它只耗费较俘少的计算资贪源。与基于尝区域的方法利相比较的情绩况如图.5厚。势B.挤检测调制方稼案筛友职潜紧图.6葡工人序炎列和游鱼序冈列的跳帧数刺目浇该调制方案棕为在萍II-D魂中描述过的悉在目标运动考相对较慢时勤跳帧。对于胃跳帧的目标荷轮廓可以内级插。图.6貌显示了工人缘序列和游鱼做序列中的跳句帧和。在游显鱼序列，1喇10帧以前鉴的目标运动虽都非常迟缓栗。该调制方痒案侦测到高长速运动，并精放缓运动估第计。放缓跟唱踪处理能够才长时间准确芽地跟踪目标卷。如图所示秩，工人序列惯的众多对象师中有高速运鲜动。泛C.辣遮挡检测和廊遮挡恢复检章测给彩图.7显示筹了前一节所齐述的遮挡恢劈复检测的效睛果。再次出地现的鱼尾与澡鱼的躯干部洞分颜色不相娇似，所以基寄于颜色相似辱的区域融合河的算法会失五效。而应用才我们的方法浑遮挡恢复部饲分被检测出销来并与相符眼的目标融合严。该算法同充样被用在实厦时视频。陆炎馒卫则图皇.8这遮挡逮和遮挡恢复迎的检测透图.9只带有遮挡讽/遮挡恢复浴检测的人体霸跟踪姻戏狗栋图.7截遮挡忽恢复的检测呆和融合帖图.8说处明了遮挡检夏测算法的效汁果。另一人健阻挡了被跟丙踪目疫标的一部分呈然后走开。阻块匹配算法弦依赖对平移哄模式，而且障通常是不适劫合非刚性物给体。然而，勿当跟踪非刚娇性物体时，堪遮挡/遮挡宽恢复检测算家法包含/抛崖弃靠近目标担边界的像素爷。这在一定乖程度上处理坐非刚性目标节。知D.某算法比较级小差香假图巴10跟品踪经方格处罩理过的目标浓淹肠妖湖图.11苹依据特征摧区域跟踪目钥标勤脑罢拴遮臣睛抄钳图.12颜手动初揪始化跟踪目略标次落厕雹图.13锈自动初肚始化跟踪目难标（双手都颜被跟踪）遣以下序列显喝示了本文提址出的算法与注基于双区域醒的方法相比贸较得出的目擦标提取效果虚。给出了一抛张不同的方午法的计算时架间表。比较湿下面两种方啄法。悄1）用格夏分类运算提馅取目标[种6],同[7]素。石2）基于变区域的的数倦学形态学视食频编码[草12]饶,[13记]。殊图.9显示氏了遮挡/遮牺挡恢复的相普关算法对于耗向前运动和矩向后运动的箱输出。图篇.10和图阁.11显示凉的算法应用稀的结果用于励比较。盗对于这个玩例子目标跟驳踪优于基于别区域的方法挤。避免向前革运动加快了鉴算法，但提旨取的质量受砍到影响。为团了成功的跟旁踪手，采用竭遵循遮挡/招遮挡恢复分利类的自适应袜K-均值聚剥类是必要的掏。在目标跟库踪的像素准北确度要求不散十分严格的炮情况下，跟闸踪算法主要订是被设计应其用在基于对涌象的视频编销码。因此与恋基于区域的故方法比较，惠被跟踪目标口的边界不是病很准确。桂下表（表一积）列出了所突涉及的各种选算法的运算横时间。所有皮算法在MA闷TLAB上都实现。因煌此，纯粹的街时间并不能言表明很大的掀意义。我们挖也有一个C赖编写的程序冶，它根据所愤跟踪目标的女尺寸大小每未秒处理4-躺10帧。如雪果提出前向堡运动只保留队后向运动，抵速度可以达酒到两倍。我醉们正在进一死步研究这个挑问题。洋习E.法自动/手动忠初始化的结关果假在蔑随后的视频帜序列（图1使2和13劣），我们悟比较自动和灰手动初始化宏得出的追踪是结果。自动助初始化能在昂背景稳定的胜情况下正常洞工作。如果沈背景是变化旬的就必须应言用一种更加今精确的初始柔化方式。在事图.12和皱图.13中趴，显示的是患对手的视频记序列的跟踪咸结果。自动江初始化中，若我们也用了别一个肤色模份型结合第二宗节所提到的矩算法。我们赠其实只想跟维踪画画的手土。自动初始口化让我们对腹两只手同时拿跟踪。在这朴种情况下，耻因为我们有燕一个强大的航肤色模型，挂所以初始化贿差不多完美顷的。但在其止它很多视频拌中，利用第滴二节中所提苗到的琐碎的翻初始化算法朗效果并不好断。侵拦逆艰桌妄V.挽讨论访在情这篇文章中千，我们提出线了一个简单陡的跟踪算法绿，避免了除喊开初始帧中零的目标部分馅的图像分割样。用块运动蹄矢量进行目栋标跟踪很少抗被应用。这梦种办法可以箭运用并行处并理器，因此性适合于实时嘉处理。目标望是要发展一谱种算法用以忆提取物视频椅对象，其精溜度接近于基之于区域的方灶法，并且能觉够高效地运尚算。遮挡和劳遮挡恢复被烛看做是对立猫的问题。提越出一个高效漂的用以检测筛遮挡的算法同并运用二元胃性原理将之戏修改，发展勉成为一个检救测遮挡修复讽的算法。因探为目标掩膜兰被修改以照刑顾遮挡和遮研挡恢复，独目标可以准寒确地被跟踪猫一个较长的版时间，而不茂需要重新初价始化/重新渴分割。跟踪担算法可以用香前向的方式逮被拓展成为洪能够跟踪多诱个目标。但剥是这种算法横对实际中很度小的目标的朽跟踪效果不渠理想，正在草进一步研究滥和改进。这穗种方法可以访结合蛇形浮犯动来跟踪目筒标轮廓。依汤靠仿射模型顾和处理的改五进可以纠正扩预测偏差。刃这种做法类减似于以卡尔炉曼滤波为基科础的办法。显这种做法，哨也正被考虑荣用以将来的摄研究。运动浊估计依靠显怖著不同特性灶的和而不考铺虑高斯噪声过会使运动向症量有偏差从赚而导致跟踪赖效果的降低寇。这一方面亏仍需进一步断研究。敏REFER闸ENCES件[1]Y示.Alt球unbas氧akan猴dA.垫M.Te湖kalp,邀“遮挡-敲adapt灯ive,逗conte领nt-ba焦sed翅mesh驶desig朝nand霸forw衣ardt僵racki畅ng,”算IEEE植Trans来.Ima拦gePr闷ocess辛.,vo聪l.6,声no.9浮,pp.翅1270网–1280小,Sep鼓.199赢7.岔[2]A答.A.座Amini铸,T.勾E.Wey篮mouth吗,and夕R.C肥.Jai敏n,“U车sing魔dynam猾icpr灯ogram需ming谢fors朋olvin俗gvar炉iatio配nalp祖roble摆msin鸣visi哑on,”沸IEEE脉Trans排.Pat团tern击Anal.远Mach坡.Int柱ell.,句vol.历12,旗no.9泡,pp.仗855–栋867,奥Sep.础1990.楼[3]M决.J.刘Black部and势A.Je距pson,偶“Eig揉entra最cking默:rob撑ustm买atchi筒ngan奋dtra恒cking旨ofar惠ticul辅ated夜objec篇tsus疫inga取view询-base冠drep取resen剃tatio顾n,”I豆nt.J疼.Com打put.雨Vis.,仁vol.弓26,精no.1欧,pp.尾63–8味4,19据98.验[4]B毫.Eve壳ritt,相Clus篇terA丙nalys苍is,3嘉rded策.复Londo辞n扩,租U.K.眯:Hod始der,剖1993.登[5]Y园.Fu,港T.E卖rdem,潮and乡A.M.神Teka辫lp,“乎Track莫ingv戴isibl堆ebou炭ndary舞ofo警bject鹿s全using凤遮挡a啦dapti滑vemo洋tion该snake第,”IE猴EETr向ans.殊Image诉Proc木ess.,代vol.谱9,no牺.12,健pp.臭2051–面2060,笼Dec.腊2000胸.脂[6]D任.Gat熔ica-P志erez,避C.G归u,an削dM.送T.Su楼n,“S挨emant徒icvi造deoo登bject悟extr悔actio怒n娇using尊four向-band砍wate怖rshed膏and篮parti烟tion胁latti捆ceop习erato填rs,”匪IEEE纯Trans屑.Cir裕cuits斥Syst址.Vid表eoTe旗chnol症.,vo览l.11隆,pp.忌603–抖618,停May2妻001.悉[7],捷“Mul群tivie辅wexte乖nsive破part堤ition为oper湾ators姻for简seman泄ticv并ideo融objec束t疾extra吧ction菠,”IE阀EETr轻ans.面Circu描itsS塘yst.悼Video交Tech纯nol.,深vol.柱11,同no.7春,pp.刺788–8符01,J猛ul.2稳001.罩[8]B抚.K.瞎P.Ho艳rnan尺dB.腐G.Sc胳hunck飘,“De究termi您ning饮optic库alfl引ow,”严Artif镇.Int剪ell.,罚vol.机17,p岭p.18甩5–203恋,198功1.堪[9]C慢.-L.耕Huang戴and病C.-Y.袜Hsu,再“An幅ewmo贞tion屯compe话nsati蜜onme追thod台for委image哈sequ盏ence粱codin泪gusi深nghi芽erarc景hical舅grid逗inte尝rpola次tion,丘”IEE寿E缸Trans耻.Cir呆cuits蓬Syst台.Vid领eoTe裙chnol秀.,vo拒l.4,肾p.4高251,牢Feb.起1994.探[10]呈M.Ka期ss,A徒.Wit故kin,雕andD陶.Ter指zopou己los,干“Snak右es:a初ctive德cont艇our齿model狸s,”I土nt.J侄.Com结put.细Vis.,悄vol.砍1,p哀p.32活1–331谜,198愈7.手[11]孩N.Pe溜terfr林eund,茧“The你velo镜city剂snake勺,”Pr花oc.I押EEEN颠onrig品idAr嗽ticul推ated壶Motio夕n,pp惰.70–破79,1桶997.苗[12]烛P.Sa政lembi灾eran唇dM.低Parda尺s,“H愿ierar落chica码lmor框pholo劈gical震segm捕entat劈ion俯fori截mage透seque如ncec陈oding爱,”IE崖EETr谦ans.款Image底Proc页ess.,小vol.设3,n闻o.5,火pp.6臂39–65济1,Se糊p.19康94.别[13]解P.Sa伍lembi展er,L犁.Tor或res,代F.Me挖yer,镜andC昏.Gu,狭“Reg潜ion-b边ased舍video碌codin够gusi爸ngma袖thema拌tical勤morp场holog税y,”P透roc.常IEEE,校vol.待83,弯no.6投,忌pp.8斗43–85启7,Ju拥n.19层95.罗[14]努D.Sc虫honfe影ldan耀dD.很Leles通cu,“蕉VORTE伏X:vi笋deor掉etrie姥vala抓ndtr含ackin朋g耽from邮compr巾essed谢mult竞imedi秃adat我abase呈smul佩tiple港obje斧cttr苏ackin宁gfro萄m灰MPEG-扇2bit语strea懂m,”J艇.Vis稿.Com土mun.壁Image叙Repr摇esent借.(Sp询ecial卫Issu雄e虫onMu管ltime抖diaD誓ataba他seMa那nagem色ent),图vol.卡11,姿pp.1和54–18献2,20俯00.著[15]彼A.M.喝Teka忧lp,P枕.Van挽Beek钥,C.筹Toklu委,and嘉B.G铅unsel愉,“Tw摧o-dim稿ensio门nal赚mesh-毙based炒visu锣alob馒ject抵repre犹senta享tion桨fori穴ntera唯ctive泛synt治hetic泡.Nat当ural灿digit厌alvi呜deo,”启Proc饿.IEE呼E,vo激l.86欠,no.化5,p懂p.10咐29–10膜51,J享un.1胆998.绣[16]弯D.Te疼rzopo素ulos爬andR什.Sze攻liski辣,“Tr俭ackin堆gwit风hKal骨mans霜nakes饭,”in杆Acti牙ve宗Visio涂n,A.勾Blak限eand丛A.Y烤uille泳,Eds挠.鸣Cambr骡idge去,耗MA怀:MIT糊Pres友s,记1992,鬼pp.鼓3–20.泥[17]星J.Y.翅A.W押anga铜ndE.树H.A乞delso坚n,“R袄epres榴entin意gmov浪ingi他mages盯with秀layer影s,”I愧EEET捡rans.温Imag输ePro四cess.攻,vol捞.3,稼no.5招,pp.啊625–排638,轻Sep.1994.咳[18]以Y.Wan抵gand淹O.L匀ee,“而Activ夫emes届hAfe郊ature柄seek跟inga汗ndtr蜓ackin这gima挖ge护seque舌ncer解epres瘦entat触ions丘cheme欠,”IE和EETr靠ans.推Image危Proc御ess.,考vol.烤3,缴pp.6配10–62帅4,Se押p.19舒94.犁Karth滥ikHa榨rihar肢akris蚀hnan岗was目born椅in乘Tamil狭Nadu赚,听India右,in滥1979.爽Her枕eceiv吸ed洲昆theB己.E.d酒egree愤ine绘lectr吩onics仙and好instr菜ument装ation告from倒the漠Birla浙Inst垂itute舍哨ofTe狱chnol兼ogya船ndSc贱ience灵,涨Pilan群i刊,际India润,and树the裙M.S.喜degre南ein堤elect寒rical如增andc咳omput探eren规ginee泽ring艳from永the三Unive陡rsity竟of基Illin娱ois等at莲Chica唱go模in2谊003.丢训InJu繁ly20章04,h陈ejoi侮nedt枕heDS丢Pand融Mult筒imedi妇aGro好upof助Moto统rola,凳Indi良a.His圈curr杆entr业esear诉chin犹teres袜tsar祸ein圈multi抖media恩comp伟ressi园onan扮dret饮rieva览land宽斤signa亡l,im刃age,铜andv百ideo摧proce交ssing绘.才DanS普chonf京eld(模SM’05校)was练born扎inWe彻stche霉ster,泊PA,学in19也64.H膀erec躺eived恨the已捏B.S.煎degre贞ein愈elect瓣rical岩engi亿neeri伶ngan伏dcom晴puter飘scie蚂ncef伶romt纯he愤Unive等rsity坦鉴of征Calif姓ornia寨,功Berke陶ley暖,and谣the着M.S.津andP驰h.D.窝degre跟esin锈elec浩trica拼land厨comp醒uter怕旱engin姜eerin愉gfro命mthe体枝Johns缴何Hopki附ns雷与Unive选rsity秩,秃Balti韵more商,借MD瞧,in帽1986,扁1988,纵and采1990,学resp渴ectiv淹ely.坐毙InAu尖gust六1990,每hej斩oined返the蛛Depar带tment甘ofE扯lectr铅ical瓣Engin宝eerin淋gand积缴Compu私terS何cienc损e,弃Unive显rsity玻of丰Illin蓄ois撇,量Chica方go搂,whe赖rehe驳isc着urren按tlya的nAss陷ociat归e桌助Profe骆ssor亚inth耽eDep搂artme四ntso萍fEle暮ctric监alan首dCom棋puter塘Engi担neeri争ng,菠丢Compu冶terS吉cienc蜜e,an陪dBio盖engin识eerin奥g,an畏dCo-属Direc捐toro恒fthe绳Mult权imedi寿a阀阳Commu鸭nicat敲ions伐Labor蔬atory怖(MCL搞)and单memb学erof民the颈Signa乒land猫Imag龟e满轰Resea炊rchL左abora零tory浴(SIRL滤).He鉴has继autho炼redo炒ver6狠0tec觉hnica贯lpap色ersi侵n黑通vario祸usjo兵urnal六sand谜conf袖erenc耻es.H款ehas无serv歉edas王aCo等n