DSP的运动目标图像跟踪算法与实现-工学基础

1、 家里蹲大学研究生专用论文范文 PAGE 25 Karthik Hariharakrishnan and Dan Schonfeld, Senior Member, IEEE 摘要本文文为正文文！以下下开始就就是研究究了。 我我们提出出一个目目标跟踪踪快速算算法用运运动矢量量数据来来预测目目标物体体轮廓。除除了目标标的初始始化，在在基于区区域的方方法中通通用的分分割步骤骤是可以以避免的的。我们们用遮挡挡/遮挡挡恢复检检测来更更新目标标轮廓,并用块块向量预预测目标标边界从从而实现现跟踪。一一种自适适应的基基于模板板的方法法已经被被用于估估计帧间间的物体体运动。一一种能高高效的控控制帧间间距的调调

2、制方案案被用于于运动估估计。检检测遮挡挡恢复的的算法分分两步进进行。首首先，从从帧差中中估计未未遮挡区区域。遮遮挡和遮遮挡恢复复 视为为二元事事件并对对它们的的关系做做出详细细解释。依依据二元元性原理理，将遮遮挡恢复复检测算算法修改改使之发发展成为为遮挡检检测算法法。该跟跟踪算法法在计算算方式上上要优于于现存的的基于区区域的目目标跟踪踪方法。实实现该该该算法的的程序采采用了MMPEGG - 4的视视频压缩缩和基于于H.2264标标准的内内容检索索。初步步的仿真真结果展展示了该该算法的的表现。 关键字字：自适适应运动动估计， K-均均值聚类类， 分分割，视视觉跟踪踪。 序序言 视视觉跟踪踪已经成

3、成为计算算机视觉觉领域中中被广泛泛研究的的一个课课题。面面对新兴兴多媒体体标准如如MPEEG - 4的的出台，发发展一个个能让视视频跟踪踪高效运运行的的的系统平平台已经经越来越越重要。该该视频追追踪程序序运用到到了视频频压缩，视视频检索索，交互互视频，场场景组成成等等。 多多种技术术手段已已经被运运用在提提取视频频场景中中的有意意义的目目标。最最常见的的方法被被归纳为为几下几几类：基基于区域域的跟踪踪、主动动轮廓跟跟踪和基基于网格格的追踪踪。 对对于第一一种方法法（基于于区域跟跟踪） ，视频频对象由由用户/物体识识别算法法来初步步确定。 然后采采用经典典的工具具，如小小流域改改造来对对视频序序

4、列进行行分割。连连续帧中中的分割割区域之之间的通通信建立立并能够够跟踪后后续帧图图像中的的视频目目标 3 , 7 , 13 。 主动轮廓方方法通常常不运用用全局物物体的空空间和运运动信息息，而只只是依赖赖视频目目标的边边界附近近的信息息 22 , 55 , 111 , 12 , 166 。“蛇形浮浮动” 110 是一种种采用带带参量的的光滑曲曲线（运运动轮廓廓）来跟跟踪视频频目标边边界的方方法。 基于网格格的方式式 11 , 9 , 15 , 188 以以斜率和和运动信信息为基基础定义义了边界界上节点点和目标标内部的的初始设设置。这这些节点点设置依依据一种种和Deelauunayy三角形形类似

5、的的三角规规律进行行合并，产产生符合合要求的的网格。依依靠光流流估计对对节点信信息进行行采样，跟跟踪节点点设置 8 。 一一种基于于区域跟跟踪的变变形（隶隶属于基基于运动动的跟踪踪），在在 117 中有所所介绍 。基于于运动的的聚类法法（运用用光流）已已经被用用于产生生连续运运动的区区域。尽尽管运动动提供了了对于视视觉图像像的有力力的描述述，但是是孤立的的基于运运动的标标准却不不能够胜胜任目标标跟踪。 跟跟踪算法法中最主主要的问问题之一一是部分分遮挡。对对于视频频序列中中的遮挡挡检测已已经提出出来了一一些解决决方法 1 ,5, 114 。迄迄今为止止提出的的遮挡检检测的方方法多集集中在解解决因

6、为为遮挡物物体而出出现的目目标的部部分藏匿匿 11 ,5, 144 。在这这些著作作中，对对与遮挡挡恢复的的检测并并没有做做出最够够的重视视。 目目标跟踪踪系统的的计算量量的复杂杂与否取取决于图图形分割割、光流流或是运运动估计计操作。因因此，实实际中的的实时系系统必须须避免这这些操作作的重复复。本文文提出的的算法的的主要目目的就是是在不需需要用户户交互的的情况下下长时间间持续地地预测目目标边界界。 第第二章节节给出了了所提算算法的细细节信息息。 第第三章节节论述了了该算法法在视频频序列中中用于鉴鉴别遮挡挡/遮挡挡恢复。第第四节包包含实验验结果证证明了这这一方法法的有效效性。结结论和进进一步研研

7、究已包包括在最最后一节节。 基基本跟踪踪算法A.一般方方法 所所提出的的算法可可以被归归类为基基于区域域的跟踪踪算法。遮遮挡和遮遮挡恢复复技术已已经被发发展成为为能够应应用在其其它的基基于区域域的技术术上以提提高跟踪踪精度。整整体算法法在(图图.1)中进行行了概述述 。所所有的步步骤(图图.1)，在下下面几个个章节会会有解释释。在以以下章节节中， 重新分分割是指指运用遵遵循以下下提到的的用户交交互的算算法进行行的帧图图像分割割，以重重新初始始化目标标部分。计算帧间（ k&k+N计算帧间（ k&k+N0 )的运动均值用户自定义掩膜(第 k=k0帧)计算并更新目标掩膜 k=k+N0合并（移除）属于

8、（不属于）目标的区域遮挡及遮挡恢复检测在(k&k+N0)帧间进行运动回归估计是否高速运动 N0=1 是 否 NN0=3 图. 11. 跟跟踪算法法.B.目标掩掩膜的初初始化 为为了初始始化跟踪踪算法，我我们采用用基于一一种联合合算子的的分割算算法。此此联合算算子给出出目标区区域信息息。66提出出的分割割方法与与固定阈阈值分割割比较有有更好的的效果。 下面给给出初始始化对象象的算法法。 1 ）用44个波段段多值分分割法对对初始帧帧进行分分割 6 。初初步分割割图由标标注。 2 ）这一一步骤的的目的是是找出目目标区域域。为了了找出这这些区域域，我们们计算在在分割图图中所有有区域的的运动矢矢量。所所

9、有运动动合理的的区域会会被标记记为一个个掩膜中中的目标标区域。 3 ）前一一步可能能包含属属于背景景的区域域。因此此，需要要自检测测操作以以去除一一些小的的区域。开开放空间间的处理理已应用用在形态态学后期期处理。将将掩膜中中的孔填填充以成成为最终终掩膜。如如果获取取的掩膜膜误差太太大，手手工进行行初始化化。在游鱼序列列中按照照以上步步骤运行行的结果果在（图图.2）中中展示 。以上上提到的的方法对对与静态态的摄像像机取景景有很好好的效果果。目标标也可以以在图形形界面中中的手工工初始化化。如果果将要被被跟踪的的目标类类别是知知道的，同同样可以以采用自自动初始始化。例例如，肤肤色可以以用来初初始化一

10、一个面部部跟踪。跟跟踪算法法的效果果取决于于初始化化后的良良好的范范围。一一个完美美的初始始轮廓是是对于一一个跟踪踪算法的的最好的的输入值值。第四四章节会会分别给给出手工工初始化化和自动动初始化化的跟踪踪结果。 图.2 目标初初始化：（a）分分割图 ，（bb）分割割图中运运动合理理的区域域 图.3 对游游鱼图像像序列的的种子块块估计：（a）第第75帧帧 ，（bb）第778帧中中的运动动种子块块（黑色色不确定定块，白白色目标标的运动动种子快快，灰色色背景的的运动种种子快）C.运动估估计 运运动估计计是目标标跟踪中中的根本本要素，因因此准确确的运动动估计是是最重要要的步骤骤之一。本本文提出出的计算

11、算块尺寸寸的方法法依据块块的位置置。改变变目标边边界的块块的大小小，此法法等价于于基于网网格的运运动估计计。因此此，运动动估计比比传统的的块匹配配技术要要更加准准确。 11 ）块块分类：令视频频序列的的第k帧帧为I（xx,y,k），并并且（xx,y）表表示一个个像素点点。每一一帧都会会估计种种子运动动块。一一个种子子运动块块任意取取在目标标或者背背景中。该该算法以以一个大小小为166166像素的的块开始始并且估估计反向向运动.I(xx,y, k+N0)中的的每个快快与I(x,yy,k)中的的对应的的块相匹匹配。并并且。用用一个332332的窗窗进行遍遍历搜索索以计算算运动矢矢量。运运动估计计已

12、经被被运用在在Y,UU,V空空间。位位于边界界的块被被标记为为不确定定的块，它它们会在在估计步步骤的下下一环节节被处理理。（图图.）33显示游游鱼序列列中算得得的种子子快。 这这些不确确定的块块会被细细分为更更小的块块（88）并并且新的的种子快快会被重重估计。搜搜搜索范范围同样样会被限限定，以以保证不不会出现现错误分分类。 这个过过程会一一直持续续到出现现一个固固定的大大小为（888）像像素的块块。D.调制方方案在很多视频频序列中中，连续续帧之间间的运动动是比较较少的。在在所提出出的方法法中，跟跟踪是每每三帧执执行一次次。一种种调制方方案被提提出以计计算帧间间（k & kk+N00）的目目标运

13、动动，并且且在被预预测的运运动较快快的轻快快的情况况下调低低运动估估计。这这种调制制方案能能在视频频序列中中的运动动较慢的的情况下下很好的的节约资资源。 基于运运动估计计算法中中的初始始化部分分（图.3）所所得出的的初始化化种子块块，我们们建立一一个运动动模型并并算出帧帧间的运运动均值值。 仿射模型有有下面的的公式定定义,i=1,26，在在矩阵AA中是模模型参数数。该转转换移动动参考帧帧中的点点(x,y,kk+N00) ，到到前一帧帧图像中中的(xx,yy,kk)。最最小二乘乘算法用用来提取取运动模模型参数数。该仿射模型型中的转转换要素素反映了了目标的的运动过过程。如如果上述述L2模模较大的的

14、平移分分量大于于阈值（ ） ，相邻邻帧的运运动估计计是重复复的（NN0=1） 。如果果该算法法一次在在三帧图图像上应应用，能能纠正跟跟踪误差差（N00=3） 。如果果目标的的尺寸比比帧图像像的尺寸寸小，有有可能不不存在任任何目标标种子块块。在这这种情况况下，依依据较小小的块（如如：44）算算得的运运动向量量会被用用来寻找找仿射模模型。 E. 目标标掩膜的的产生 前一一帧中与与目标相相符的部部分用表表示，它它的目的的是在给给出运动动向量的的条件下下产生当当前的目目标部分分用来支支持。让让来描述述计算出出的运动动向量，得得到区域域（块）。此外让表示X由转化得出的值。在这，h代表每个块的运动向量。当

15、前帧的每个块都进行运动补偿以找出坐落在中的部分块。这会给我们当前帧的目标支持。目标掩膜需要进行合适的修改以便照顾遮挡和遮挡恢复。遮挡和遮挡恢复用下一章节的具体方法来解决。 IIII. 遮遮挡和遮遮挡恢复复用来处理遮遮挡/遮遮挡恢复复的最长长用的方方法在于于找出全全局运动动向量中中的运动动补偿帧帧1。该补补偿帧是是初始帧帧与阈值值（）的的差值，给给出当前前帧的离离群像素素。如果果前向运运动估计计为）并并且第kk帧以第第帧重建建，离群群像素与与第帧中中将被覆覆盖的区区域相符符。对于于落后的的运动，第第帧使用用第k帧重构构.。这这种情况况下检测测到的离离群像素素对应第第帧中出出现的新新的（未未覆盖）

16、区区域。理理想的情情况下，新新的区域域应该对对应遮挡挡恢复而而覆盖区区域对应应遮挡。但但在许多多情况下下，其中中的一些些为覆盖盖区域并并不对应应遮挡恢恢复，一一下会做做出解释释。遮挡挡恢复算算法的目目的是用用来检测测事实上上属于遮遮挡恢复复的未覆覆盖区域域 。以以下段落落解释了了用于遮遮挡恢复复的算法法。二元元性原理理可以被被应用于于构建遮遮挡检测测算法。不能被准确确地运动动补偿的的区域被被表示成成覆盖或或为覆盖盖区域。在在很多情情况下，现现存的不不能被准准确的运运动补偿偿的区域域归因于于非刚性性结构或或光照变变化。在在这些情情况下，覆覆盖和为为覆盖区区域并不不符合遮遮挡和遮遮挡恢复复。很明显

17、需要要进一步步的分类类来找出出实际中中的未覆覆盖区域域中的遮遮挡恢复复部分。要要达到这这个目标标可使用用基于运运动的标标准。 二元原理 遮遮挡和恢恢复被看看作是双双重的事事件。为为检测遮遮挡遮挡挡恢复 (遮挡挡) ，当当前帧用用下一帧帧来进行行欲动补补偿以企企鹅的未未被覆盖盖（被覆覆盖）的的区域。在在案件遮遮挡恢复复 (遮遮挡) ， 具具有目标标运动特特性的的的未遮挡挡（遮挡挡）区域域中与目目标相似似（但彼彼此不同同）。 这种检检测遮挡挡恢复 (遮挡挡)的算算法能找找出这种种运动相相似性 。在此此二元性性的基础础上，执执行遮挡挡恢复检检测的算算法可以以被公式式化，做做些合适适的修改改就可以以用

18、来检检测遮挡挡。 B. 遮遮挡恢复复检测 1 ）未未覆盖区区域：为了执执行遮挡挡恢复检检测步骤骤，未来几几帧图像像中的未未遮挡区区域需要要被预测测出来。目目标轮廓廓已经用用运动矢矢量预测测，所用用公式为为。新的区区域可能能出现在在当前帧帧中 ()。为了估估计这些些区域，当当前帧()会用用第k帧来进进行运动动补偿。一些预预处理操操作被应应用于掩掩膜来去去除噪音音。 22 ）区区域分类类：如前前所述，未遮挡区域不符合实际中的遮挡恢复s 。我们用色彩为标准来预测未遮挡的区域。在分类的第二个阶段，运动被用来作为标准。 以下是实际中的属于目标的未遮挡区域。 属于目目标的未未覆盖区区域应该该具有和和目标相

19、相似的特特性。 与未覆盖盖区域的的其它目目标相比比较，检检查运动动的一致致性。 估计未未覆盖区区域平均均运动向向量的一一致性。然然后做相相似的测测试将未未覆盖区区域分成成实际遮遮挡恢复复和误报报两类。 图.44 提提取目标标（工人人） 图.55 提提取目标标（车内内男子）运动矢量聚聚类：删删除所涵涵盖的区区域，形形成一个个新的掩掩膜。中的运运动矢量量用如下下所述的的K-均均值算法法4群集。这这些区域域中的被被覆盖部部分应为为运动矢矢量不准准确而被被移除，因因此可能能在聚类类的时候候导致错错误。采用了基于于块的办办法进行行来运动动估计，每每一个块块只有一一个矢量量。这些些块矢量量会被聚聚类。聚聚

20、类仅仅仅需要依依据掩膜膜中的像像素来执执行。因因此，计计算每一一个块在在掩膜中中的像素素点数目目，得到到聚类的的加权采采样 如如代表带带宏的运运动矢量量，是指指处于中中的宏块块所包含含的像素素， MM则是指指在全部部或部分分在中的的宏块数数目。其其中运用用了一种种用来选选择自适适应集群群的聚类类算法。 B）相似似性测试试：以下下的相似似性测试试是针对对所有未未覆盖区区域：令令代表未未覆盖区区域中的的前向运运动矢量量，代表表目标的的运动集集群的中中心。每每次计算算 只有有在(当 )的情况况下，区区域被认认为是包包含在中中的遮挡挡恢复 。根据据来更新新目标掩掩膜。不不符合上上述条件件额未覆覆盖区域

21、域是虚警警。遮挡挡检测算算法可以以同理得得出因此此在这里里省略。 IV. 仿仿真 跟跟踪已经经对一些些常见的的MPEEG测试试序列与与实时视视频序列列做过测试试。所提提出的方方法（即即目标跟跟踪可以以被认为为是许多多基于跟跟踪技术术的区域域的集合合）已被被文献报报道。该该方法主主要依据据运动矢矢量来预预测目标标轮廓，这这也意味味这现如如今需要要一种针针对视频频压缩数数据的的的跟踪算算法。计算一一帧所需需的时间间已经与与其他两两个基于于区域的的的跟踪踪办法进进行了比比较。依据该该算法编编写的程程序并没没有全部部得到优优化，改改进后应应能获取取更佳的的效果。视频序列在序列（工工人）中中，目标标运动

22、不不是始终终如一的的，因此此当观察察到有意意义的运运动时跟跟踪会放放缓。 图图。 44显示了了提取包包含在众众多干扰扰项中的的视频目目标。该该方法生生成的目目标掩膜膜与基于于分割的的方法一一样基本本准确，同同时它只只耗费较较少的计计算资源源。与基基于区域域的方法法相比较较的情况况如图.5。B. 检测测调制方方案 图图.6 工人人序列和和游鱼序序列的跳跳帧数目目该调制方案案为在III-DD中描述述过的在在目标运运动相对对较慢时时跳帧。对对于跳帧帧的目标标轮廓可可以内插插。图.6显示示了工人人序列和和游鱼序序列中的的跳帧和和。在游游鱼序列列，1110帧以以前的目目标运动动都非常常迟缓。该该调制方方

23、案侦测测到高速速运动，并并放缓运运动估计计。放缓缓跟踪处处理能够够长时间间准确地地跟踪目目标。如如图所示示，工人人序列的的众多对对象中有有高速运运动。C. 遮挡挡检测和和遮挡恢恢复检测测 图.7显示示了前一一节所述述的遮挡挡恢复检检测的效效果。再再次出现现的鱼尾尾与鱼的的躯干部部分颜色色不相似似，所以以基于颜颜色相似似的区域域融合的的算法会会失效。而而应用我我们的方方法遮挡挡恢复部部分被检检测出来来并与相相符的目目标融合合。该算算法同样样被用在在实时视视频。 图.8 遮挡挡和遮挡挡恢复的的检测图.9 带有有遮挡/遮挡恢恢复检测测的人体体跟踪 图图.7 遮挡恢恢复的检检测和融融合图.8 说说明了

24、遮遮挡检测测算法的的效果。另另一人阻阻挡了被被跟踪目目标的一一部分然然后走开开。块匹匹配算法法依赖对对平移模模式，而而且通常常是不适适合非刚刚性物体体。然而而，当跟跟踪非刚刚性物体体时，遮遮挡/遮遮挡恢复复检测算算法包含含/抛弃弃靠近目目标边界界的像素素。这在在一定程程度上处处理非刚刚性目标标。 D. 算法法比较 图 110 跟跟踪经方方格处理理过的目目标 图.111 依据特特征区域域跟踪目目标 图.12 手动动初始化化跟踪目目标 图图.133 自自动初始始化跟踪踪目标（双双手都被被跟踪）以下序列显显示了本本文提出出的算法法与基于于双区域域的方法法相比较较得出的的目标提提取效果果。给出出了一张

25、张不同的的方法的的计算时时间表。比比较下面面两种方方法。 1 ）用格格分类运运算提取取目标 6 , 77 。 2 ）基于于区域的的的数学学形态学学视频编编码 12 , 113 。 图.9显示示了遮挡挡/遮挡挡恢复的的相关算算法对于于向前运运动和向向后运动动的输出出。 图图.100和图.11显显示的算算法应用用的结果果用于比比较。 对于这个个例子目目标跟踪踪优于基基于区域域的方法法。避免免向前运运动加快快了算法法，但提提取的质质量受到到影响。为为了成功功的跟踪踪手，采采用遵循循遮挡/遮挡恢恢复分类类的自适适应K-均值聚聚类是必必要的。在在目标跟跟踪的像像素准确确度要求求不十分分严格的的情况下下，

26、跟踪踪算法主主要是被被设计应应用在基基于对象象的视频频编码。因因此与基基于区域域的方法法比较，被被跟踪目目标的边边界不是是很准确确。 下表（表一一）列出出了所涉涉及的各各种算法法的运算算时间。所所有算法法在MAATLAAB上实实现 。因因此，纯纯粹的时时间并不不能表明明很大的的意义。我我们也有有一个CC编写的的程序，它它根据所所跟踪目目标的尺尺寸大小小每秒处处理4-10帧帧。如果果提出前前向运动动只保留留后向运运动，速速度可以以达到两两倍。我我们正在在进一步步研究这这个问题题。 E. 自动动/手动动初始化化的结果果 在在随后的的视频序序列（图图12和和13 ） ，我我们比较较自动和和手动初初始

27、化得得出的追追踪结果果。自动动初始化化能在背背景稳定定的情况况下正常常工作。如如果背景景是变化化的就必必须应用用一种更更加精确确的初始始化方式式。在图图.122和图.13中中，显示示的是对对手的视视频序列列的跟踪踪结果。自自动初始始化中，我我们也用用了一个个肤色模模型结合合第二节节所提到到的算法法。我们们其实只只想跟踪踪画画的的手。自自动初始始化让我我们对两两只手同同时跟踪踪。在这这种情况况下，因因为我们们有一个个强大的的肤色模模型，所所以初始始化差不不多完美美的。但但在其它它很多视视频中，利利用第二二节中所所提到的的琐碎的的初始化化算法效效果并不不好。 VV. 讨讨论 在在这篇文文章中，我我

28、们提出出了一个个简单的的跟踪算算法，避避免了除除开初始始帧中的的目标部部分的图图像分割割。用块块运动矢矢量进行行目标跟跟踪很少少被应用用。这种种办法可可以运用用并行处处理器，因因此适合合于实时时处理。目目标是要要发展一一种算法法用以提提取物视视频对象象，其精精度接近近于基于于区域的的方法，并并且能够够高效地地运算。遮遮挡和遮遮挡恢复复被看做做是对立立的问题题。提出出一个高高效的用用以检测测遮挡的的算法并并运用二二元性原原理将之之修改，发发展成为为一个检检测遮挡挡修复的的算法。因因为目标标掩膜被被修改以以照顾遮遮挡和遮遮挡恢复复 ，目目标可以以准确地地被跟踪踪一个较较长的时时间，而而不需要要重新

29、初初始化/重新分分割。跟跟踪算法法可以用用前向的的方式被被拓展成成为能够够跟踪多多个目标标。但是是这种算算法对实实际中很很小的目目标的跟跟踪效果果不理想想，正在在进一步步研究和和改进。这这种方法法可以结结合蛇形形浮动来来跟踪目目标轮廓廓。依靠靠仿射模模型和处处理的改改进可以以纠正预预测偏差差。这种种做法类类似于以以卡尔曼曼滤波为为基础的的办法。这这种做法法，也正正被考虑虑用以将将来的研研究。运运动估计计依靠显显著不同同特性的的和而不不考虑高高斯噪声声会使运运动向量量有偏差差从而导导致跟踪踪效果的的降低。这这一方面面仍需进进一步研研究。REFERRENCCES1 YY. AAltuunbaasa

30、kk annd AA. MM. TTekaalp, “遮遮挡-aadapptivve, conntennt-bbaseedmesh dessignn annd fforwwardd trrackkingg,” IEEEE TTranns. Imaage Proocesss., vool. 6,no. 99, ppp. 12770112800, SSep. 19997.2 AA. AA. AAminni, T. E.WWeymmoutth, andd R. C. Jaain, “UUsinng ddynaamicc prrogrrammminggfor ssolvvingg vaariaatio

31、onall prrobllemss inn viisioon,” IEEEE TTranns. PattterrnAnal. Maach. Inntelll., vool. 12, noo. 99, ppp. 85558667, Sepp. 119900.3 MM. JJ. BBlacck aand A. Jeppsonn, “EEigeentrrackkingg: rrobuust mattchiing andd trrackkinggof arrticculaatedd obbjeccts usiing a vvieww-baasedd reepreesenntattionn,” Intt

32、. JJ. CCompput.Vis., vool. 26, noo. 11, ppp. 6384, 19998.4 BB. EEverrittt, CClussterr Annalyysiss, 33rd ed. Loondoon, U.KK.: Hoddderr, 119933.5 YY. FFu, T. Erddem, annd AA. MM. TTekaalp, “TTracckinng vvisiiblee boounddaryy off obbjecctsusingg 遮挡挡 addapttivee mootioon ssnakke,” IEEEE TTranns. Imaage

33、Proocesss.,vol. 9, no. 122, ppp. 20551220600, DDec. 20000.6 DD. GGatiica-Perrez, C. Guu, aand M. T. Sunn, “SSemaantiic vvideeo oobjeect exttracctioonusingg foour-bannd wwateershhed andd paartiitioon llattticee opperaatorrs,” IEEEETranss. CCirccuitts SSystt. VVideeo TTechhnoll., voll. 111, pp. 600366

34、18, Maay 220011.7 , “MMulttiviieweexteensiive parrtittionn opperaatorrs ffor semmanttic viddeo objjecttextraactiion,” IIEEEE Trranss. CCirccuitts SSystt. VVideeo TTechhnoll., voll. 111, no. 7, ppp.7888801, Juul. 20001.8 BB. KK. PP. HHornn annd BB. GG. SSchuunckk, “DDeteermiininng ooptiicall fllow,”

35、AArtiif. Inttelll.,vol. 17, ppp. 11852033, 119811.9 CC.-LL. HHuanng aand C.-Y. Hsuu, “AA neew mmotiion commpennsattionn meethood fforimagee seequeencee coodinng uusinng hhierrarcchiccal griid iinteerpoolattionn,” IEEEETranss. CCirccuitts SSystt. VVideeo TTechhnoll., voll. 44, pp. 442511, FFeb. 19994

36、.10 M. Kasss, A. Wittkinn, aand D. Terrzoppoullos, “SSnakkes: acctivve cconttourrmodells,” Intt. JJ. CCompput. Viis., vool. 1, pp. 32213331, 19987.11 N. Petterffreuund, “TThe vellociity snaake,” PProcc. IIEEEE Noonriigidd ArrticculaateddMotioon, pp. 700799, 119977.12 P. Sallembbierr annd MM. PPardda

37、s, “HHierrarcchiccal morrphoologgicaal ssegmmenttatiionfor iimagge ssequuencce ccodiing,” IIEEEE Trranss. IImagge PProccesss., voll. 33, nno. 5,pp. 66396511, SSep. 19994.13 P. Sallembbierr, LL. TTorrres, F. Meeyerr, aand C. Gu, “RRegiion-bassed viddeocodinng uusinng mmathhemaaticcal morrphoologgy,”

38、Prooc. IEEEE, voll. 883, no. 6,pp. 88438577, JJun. 19995.14 D. Schhonffeldd annd DD. LLeleescuu, “VVORTTEX: viideoo reetriievaal aand traackiingfrom commpreesseed mmulttimeediaa daatabbasees mmulttiplle oobjeect traackiing froomMPEG-2 bbitsstreeam,” JJ. VVis. Coommuun. Imaage Reppressentt. (Speeciaa

39、l IIssuueon Muultiimeddia Dattabaase Mannageemennt), vool. 11, ppp. 11541822, 220000.15 A. M. Tekkalpp, PP. VVan Beeek, C. Tokklu, annd BB. GGunssel, “TTwo-dimmenssionnalmesh-bassed vissuall obbjecct rreprreseentaatioon ffor intteraactiive synntheeticc. NNatuuralldigittal viddeo,” PProcc. IIEEEE, vv

40、ol. 866, nno. 5, pp. 1002910551, Junn. 119988.16 D. Terrzoppoullos andd R. Szzeliiskii, “TTracckinng wwithh Kaalmaan ssnakkes,” iin AActiiveVisioon, A. Blaake andd A. Yuuillle, Edss. CCambbriddge, MAA: MMIT Preess,1992, ppp. 33200.17 J. Y. A. Wanng aand E. H. Adeelsoon, “Reepreesenntinng mmoviing im

41、aagess wiithlayerrs,” IEEEE TTranns. Imaage Proocesss., vool. 3, no. 5, ppp. 66256388, SSep.1994.18 Y.WWangg annd OO. LLee, “AActiive messhA feaaturre sseekkingg annd ttracckinng iimaggesequeencee reepreesenntattionn scchemme,” IEEEE TTranns. Imaage Proocesss., vool. 3,pp. 66106244, SSep. 19994.Kart

42、hhik Harrihaarakkrisshnaan wwas borrn iin TTamiilNaadu, Inndiaa, iin 119799. HHe rreceeiveed thee B.E. deggreee inn ellecttronnicss annd iinsttrummenttatiion froom tthe Birrla Insstittutee of Tecchnoologgy aand Sciiencce, Pillanii, Inndiaa, aand thee M.S. deggreee inn ellecttriccal andd coompuuterr

43、ennginneerringg frrom thee Unniveersiity of Illlinoois at Chiicaggo iin 220033. In Jully 220044, hhe jjoinned thee DSSP aand Mulltimmediia GGrouup oof MMotoorolla, Inddia.Hiss cuurreent ressearrch inttereestss arre iin mmulttimeediaa coomprresssionn annd rretrrievval andd siggnall, iimagge, andd vii

44、deoo prroceessiing.Dan SSchoonfeeld (SMM055) wwas borrn iinWeestcchessterr, PPA, in 19664. He recceivved thee B.SS. ddegrree in eleectrricaal eengiineeerinng aand commputter sciiencce ffromm thhe UUnivverssityy of Callifoorniia, Berrkelley, annd tthe M.SS. aand Ph.D. deggreees iin eelecctriicall ann

45、d ccompputeer enggineeeriing froom tthe Johhns Hoppkinns Uniiverrsitty, Balltimmoree, MDD, iin 119866,19988, annd 119900, rresppecttiveely. In Auggustt 19990, hee jooineed tthe Depparttmennt oof EElecctriicall Ennginneerringg annd Commputter Sciiencce, Uniiverrsitty oof IIlliinoiis, Chiicaggo, wheer

46、e he is currrenntlyy ann Asssocciatte Proofesssorr inn thhe DDepaartmmentts oof EElecctriicall annd CCompputeer EEngiineeerinng, Commputter Sciiencce, andd Biioennginneerringg, aand Co-Dirrecttor of thee Muultiimeddia Commmunnicaatioons Labboraatorry (MCLL) aand memmberr off thhe SSignnal andd Immagee Ressearrch Labboraatorry (SIRRL). Hee haas aauthhoreed ooverr 600 teechnnicaal ppapeers in varriouus jjourrnalls aand connferrencces. Hee haas sservved as a CConssulttantt annd TTechhniccal Sta