检测和跟踪视频监控中的运动目标

1、检测和跟踪视频监控中的运动目标Isaac Cohen G erard Medioni南加州大学机器人与智能系统研究所洛杉矶CA 90089 - 0273icohen 摘要：我们通过在一个移动的机载平台获得的视频流来解决关于运动目标的检测和跟踪的问题。该方法依赖于一个图表示可以获得和维持一个动态的运动目标，每个运动目标要强制他们的连贯性。这个推断的模板，以及在我们的方法中使用的图形表示，使我们能够判断运动目标的轨迹，找出在图中的最优路径。建议的跟踪器允许处理部分遮挡，以及在非常具有挑战性的情况下的停止和运动。我们展示了一些不同的真实序列的结果。然后我们定义量

2、化我们的结果和如何克服错误跟踪检测评估方法。1. 引言视频传感器（伴随云台和变焦能力或安装在监控应用中的移动平台）的使用增加，增加了研究人员对处理任意视频流的关注度。对于感兴趣的事件的视频流的处理依赖于检测，在每个帧中，所涉及的对象，和基于帧的信息的时间整合到模型简单和复杂的行为。这种高层次的视频流的描述依赖于准确的运动目标的检测与跟踪，并与它们轨迹之间的关系相关。在本文中，我们是在视频监控的背景下解决检测和跟踪运动目标的问题。大多数用于这个问题的技术使用一个固定的相机 4，3 或封闭的世界表示 6，8 并且这些都依赖于一个固定的背景或特定的知识的行动发生的类型。现在，我们处理一个更具挑战性的

3、类型的视频流：这个视频流是从一个移动的机载平台获得的。这种更一般的情况下，使我们能够在现实世界的视频监控的情况下，在处理视频流的建议的方法进行评估。我们提出了一个基于图形表示的检测得到粗略的跟踪运动区域的方法。检测阶段进行流量补偿后的图像，是由观测平台运动引起的，它产生了大量的区域。事实上，使用剩余的流场和它的正常成分，即正常流量，定位移动区域同时检测同步误差，由于当地的变化不能正确处理的稳定以及3D structuresi E.视差。定义一个属性图中的每个节点是一个检测区域，并且每个边是可能的两个区域在不同帧之间检测匹配，提供所有详尽表示检测到的运动目标。此图表示方法，使我们能够保持对一个动

4、态模板的所有运动目标进行跟踪。此外，该图是通过优化搜索路径沿每个图的连通分量，用来描述物体的运动轨迹的。这篇论文的组织如下：首先，我们描述介绍了在第2节所使用的检测技术。在第3节和第4节分别阐述了动态模板图形表示和推理。在第5节提出用于从关联图中派生对象的轨迹的方法。最后，我们在第6节描述用于量化在处理视频的设置结果的评价技术。2.运动目标检测大多数用于检测移动物体的技术已经被设计为一个固定的摄像头获取的场景。这些方法允许将每个图像分割成一组使用背景差分算法的运动目标区域 6，4 。最近， 3 提出了一种局部建模的背景下使用K-高斯允许随时间变化的背景视频流混合过程。这些方法给出了令人满意的结

5、果，可以在没有专用的硬件的情况下实现实时处理。视频传感器的可用性，成本低，与云台和变焦能力或视频流通过移动平台得到了研究者的关注，主要集中在视频流采集的运动物体检测。在这种情况下，不能使用背景差分技术。他们必须依靠一个稳定的算法来取消相机运动。这样的两步法，即稳定、检测、不完美的表现，是因为基于背景差法检测技术假设了一个完美的稳定。事实上，稳定的算法使用仿射或视角的运动补偿和赔偿的质量取决于所观察到的场景和对采集的类型模型（即泛倾斜变焦，任意运动）。因此，运动补偿并不是没有错误的，它导致了错误的检测。然而，我们可以使用检测区域的时间相干性，以提高运动目标检测的准确性 10 。而不是使用这两个步

6、骤的方法，我们建议在剩余运动发生的地方通过定位区域的图像将检测算法集成到稳定算法中。这些区域被检测到使用的时光流场的正常成分。正常流动是来自图像序列稳定的图像的时空梯度。事实上，通过映射到选定的参考帧的原始帧获得的此图像序列的每一帧， ij表示成像变形的参考框架J.映射函数由以下公式定义：稳定的图像序列被定义为：映射函数的估计量估计的自我运动，根据相机模型，它涉及到三维点在图像平面上的投影。我们使用的方法，是以图像引起的流量为模型，而不是一般的角度变换的三维参数 7 。模型的参数估计通过在序列中跟踪一个小的特征点集。给一个参考图I0和图I1， 图像的稳定由寄存的两张图和变形图像I1计算几何变换

7、，与参考图像I0的对齐组成。几何变换的参数估计是通过最大限度地减少最小二乘准则：异常值的检测和通过一个迭代过程中去除。我们选择一个仿射模型，从而逼近的透视投影，同时具有较低的计算复杂度。此外，空间层次，在金字塔的形式，用于跟踪选定的特征点。金字塔由至少三的水平，一个迭代的仿射参数估计产生准确的结果。参考帧和扭曲的人不要在创艾莱依，有相同的度量，因为，在大多数情况下，映射函数并不是翻译而是一个真正的仿射变换，从而影响运动目标检测的图像梯度的计算。这个变化的度量可以被纳入到相关的图像序列的光流方程为了更准确地检测移动物体。事实上，与图像序列相关联的光流是：其中是光流。推广已有的公式，得到因此，正常

8、流动的表达式为：虽然并不总是描述图像的运动，但是由于孔径问题，它可准确地检测移动点。宽近移动区域的振幅，并成为空附近的固定区域。图1说明了在一个从机载平台获取的视频流的移动车辆的检测。我们鼓励读者从/home/iris/icohen/publichtml/tracking.htm查看说明了在原始视频序列和投影拼接中的检测的电影文件。图1：在一个由记载平台获取的视频流中检测到的几种车辆。图2：检测区域及相关图。图3：图中每个节点关联的属性描述。每个颜色代表一个移动区域。图4：节点的传播以恢复未被发现的对象的描述。在左边，我们显示在每个帧的检测区域，并在右边，相

9、关联的图，红色节点代表一个节点推断的模板的中位数形状。3.运动物体的图表示图像序列中的运动目标检测给我们检测到的地区为代表的位置而运动。由方程（5）给出的正常组件允许，给定一对帧，来检测运动发生的图像的点。这些要点，然后汇总到区域考虑阈值值的光流的正常成分，然后标注使用4连接方案。这些连接成分代表图像在运动检测区域。 在视频流中检测运动目标的目的是能够跟踪这些对象随着时间的推移，从他们的轨迹，如他们的行为，得到一组属性。常用的跟踪方法是基于令牌的，当一个几何描述的对象是可用的 2 ，或基于强度的（光流，相关性）。这些技术不适合斑点斑点跟踪自可靠的几何描述无法推断。另一方面，基于强度的技术忽略的

10、二进制大对象的几何描述。我们的方法结合了这两种技术，将在移动的对象的代表性的空间和时间信息。这样的表示是通过图形结构中的节点代表检测运动区域和边缘提供代表关系的两个运动区域在两个单独的帧之间检测。每一个新处理的帧会产生一组对应于检测到的移动物体的区域。我们寻找新发现的对象和以前的相似性。建立这样的连接可以通过不同的方法，如模板匹配 5 或相关 11 。然而，在视频监控，移动对象的信息是可用的，因为所观察到的对象是不同类型的。此外，小尺寸的物体（在空气中的图像的人）或大的物体大小的变化是频繁的，因此不适合模板匹配的方法。每对帧给我们一组残留运动被检测的区域（见图2）。这些区域可以通过测量灰度相似

11、性之间的区域在时间和一套位于其附近的区域在时间到之前检测到一个相关的。一个区域可能有多个匹配，这个邻域的大小是从对象的运动幅度得到的。我们在图2中显示的红色斑点的检测相关的图表示。每个节点是一个地区的一个椭球从二进制大对象的主方向和相关的特征值表示。此外，一组属性关联到每个节点如图3所示。我们分配给每个边缘的成本，这是该地区对应于相同的对象的可能性。在我们的例子中，似然函数是一个对区域的图像灰度级相关。4.动态模板推理图表示给出了一个详尽的描述的运动被检测到的区域，以及这些区域的方式与另一个。这种描述是适当的处理情况下，一个单一的移动对象被检测为一组的小区域。这样的情况发生时，在本地，正常的光

12、学组件的组件是空的（光圈的问题），因此，而不是检测一个区域，我们有一组小的区域。通常，聚类技术应用融合检测斑点为了恢复对应的区域移动对象。这些图像技术 6，9 依靠对图像中的斑点的接近和频繁的合并，属于独立的目标区域。在检测到的区域中，一些小的区域应该合并成一个较大的区域，或有一个自己的轨迹。在这两种情况下，基于图形表示，这些区域属于图的连通分量。在我们的方法中，我们在图中的检测区域，而不是在一个单一的图像中所使用的在以前的作品 9，6 。事实上，通过图形聚类阻止我们兼并地区属于具有不同轨迹的物体，由于基于图像接近，在连接部分的图做的。聚类技术的粗略性，也提高了维护的动态模板的移动对象的每个连

13、接的组件，因此，为每个移动的对象在场景中。提出了若干技术自动更新的移动物体的模板描述，加权形状描述 9 或累积运动图像 1 提出。这些方法的主要缺点是形状描述中的错误（即边界）的传播，因此这些技术不适合移动摄像机。我们提出了一种基于中值形状模板，这是更稳定，并产生一个强大的描述模板。采用中值滤波计算模板（调整后的质心和每个blob的方向）在过去的五检测到帧的区域。动态模板可以完成图形描述。在视频监控应用中，物体常常停下来，然后继续他们的运动，这样一个对象将被描述通过多个连接的组件图中。这些连接的组件，通过使用动态模板合并，被跟踪的对象：我们传播的每一个节点没有继承人，在一个给定的帧和匹配的地区

14、这些地区的搜索数量。这罚款一组可能的匹配，这是合并在图结构中，通过定义新的边缘连接的匹配区域。这一步如图4所示，在图104中未检测到的对象，在图中的红色节点表示。5.物体运动轨迹的提取作为新的帧被获取和处理，我们逐步构造运动对象的图形表示。从图中导出对象的运动轨迹，并从新发现的区域中提取一条沿每个图的连通分量的路径。我们提出了一种方法，通过搜索一个最佳路径代表对象的轨迹，自动提取所有移动的物体的运动轨迹。此外，起始节点（源），以及目标节点（目标）是事先不知道。因此，我们认为每个图节点没有父节点作为一个潜在的源节点，和每个节点没有一个作为一个潜在的目标节点的继任者。定义一个最优的标准来描述一个最

15、佳路径是等价的关联到每个边的图形的成本。图中的每一个边对应于一个区域之间的匹配，并且具有成本，这是连接节点之间的相似性度量。因此，一套给每个节点如灰度分布的相关性质，质心和对象的动态模板的使用是为了推断一个强大的路径。这些属性被合并在下面的成本相关联的图的每个边缘。其中，是灰度和形状区域i和j之间的相关性，代表他们之间的距离质心。通过方程（6）的边缘成本可以提取局部最优路径。事实上，基于图形搜索算法的边缘成本的基础上，将提供一个次优的解决方案，因为有没有约束的目标或目标节点，必须达到。在不同的实验中，我们已经观察到，这一标准产生的一部分的轨迹。的目标源被选中的基础上的成本的最高值，无论属于相同

16、的连接组件的其他节点。在图中所用的每一个连接的组件，该图表示一个移动的对象在场景中的每个节点的位置，并允许表征多远这个节点是从一个潜在的目标节点：一个新发现的区域。这样的特性是通过分配给每个节点的最大长度的图的路径开始在这个节点。该节点的长度的计算是从底部的图进行非常有效，即节点无继承人，分配每个父节点接班人加一最大长度。一个节点的长度，i是由以下公式给出：其中，初步估计成本函数（6）和每个节点的长度的组合，使我们能够为每个节点定义一个新的成本函数。相关联的边缘连接节点i到节点j的成本函数，然后定义：其中，被定义为（6）和是由方程（7）定义的节点的长度j。这个成本功能恢复的最优路径的路径从节点

17、扩展中。最优路径的提取是通过从图的节点没有父节点和拓展的最大值。该方法是如图5所示，在一辆卡车和一辆汽车的运动轨迹显示。处理后的视频流的AVI文件可在/home/iris/icohen/ pub-lichtml/tracking.htm.查找。图5：卡车和汽车的轨迹图在所生成的拼接图上。6评价和量化我们的方法是基于在一定数量的帧，我们称之为系统的延迟时间（设置在这里到五帧）的移动物体的时间整合。这种延迟时间，或延迟，有助于我们选择的运动区域，并区分这些斑点从错误由于补偿摄像机的运动。此外，在提取的运动区域的信心增加，在处理帧中检测到的对象的新出现的。事实上，

18、长度（见表7）每个图的节点（即运动区）代表帧的数量，目标检测。这让我们抛弃标量值检测斑点是由于误读的运动补偿算法，因为这些地区没有时间连贯性，由一个小的长度。表1给出了对视频流的捕食者无人机获得了几组取得了一些成果（无人飞行器）和VSAM（视频监控和活动监控）平台。这些视频流代表了各种场景，涉及人类活动，并被用来评估我们的系统的性能。数值代表在不同的加工阶段获得的输出。“移动对象”列表示在视频流中移动的对象的真实数目，并由用户提供。接下来的两列代表检测的输出和跟踪模块分别。正如我们所看到的，检测到的区域的数目与移动物体的数目相当大。这些数字对应的区域的正常流场的数目大于给定的阈值（105，在所

19、有的实验）。检测列给出了这些区域的分布图，这些区域在处理序列上。此外，相关的均值和方差给出的指示值。这些地区的时间整合，超过了一组帧，使我们能够减少这个数量的地区（在第四列）和丢弃假检测，由于区域由于噪音是不时间一致的。然而，一些不准确的运动模型，或一个视差的存在可以引起某些区域有一个连贯的时间签名。最后，列“路径”，代表轨迹视为有效数，即相干时间重新检测超过10帧代表区域，用于跟踪的延迟时间。在某些情况下，轨迹的数目是大于在流中的移动对象的数目。这是由于对象的轨迹被分散成多个路径，并在匹配类似的区域，表示相同的对象的故障。剩余的轨迹是由于区域具有良好的时间相干性，不对应于移动的物体，并且是，

20、主要是由于强烈的视差。最后，我们定义了两指标表征的检出率（DR）和误警率（FAR）的系统。这些比率，用于量化我们的系统的输出，是基于：TP（真阳性）：检测到对应于运动物体的区域；FP（假阳性）：检测区域没有对应于一个移动的物体；FN（假阴性）：运动目标检测不到。这些方法的组合来定义以下指标：这些指标在表1。由于移动的物体的数目是小的，这些测量可能有很大的差异。该表显示了通过跟踪来减少检测所产生的移动物体的大量，导致所有的例子中的完美的检测率。在过去的2个实验中的很大一个是由于三维结构。在这种情况下，需要进一步的处理，以区分运动从视差。 表1：检测/跟踪模块的定量分析7.总结我们已经解决了几个问

21、题相关的视频流的分析。提出的框架是基于一个移动的平台上提取的移动区域的图形表示的基础上。在这个图形表示的检测和跟踪的整合允许动态推断出一个模板的所有移动的对象，以获得一个强大的跟踪的情况下，如停止和去的和部分遮挡。最后，量化的结果通过定义的指标，DR和FAR提供了一个置信度特征的每个提取轨迹的可靠性。所获得的结果将被进一步处理的假警报，以放弃的轨迹，由于区域与良好的时间相干性，不对应于移动的物体，这些都是，通常情况下，由于强烈的视差。参考文献：1 J. W. Davis and A. F. Bobick. The representation and recognition of human

22、movement using temporal tem-plates. InCVPR, pages 928934, Puerto-Rico, June 1997. IEEE.2 O. Faugeras.Three-Dimensional Computer Vision.The MIT Press, 1993.3 W.E.L. Grimson, L. Lee, R. Romano, and C. Stauffer.Using adaptive tracking to classify and monitor activi-ties in a site. InCVPR98, pages 2231,

23、 1998.4 I. Haritaoglu, D. Harwood, and L.S. Davis. W4S: A real-time system for detecting and tracking people in 2 1/2-d. InECCV98, 1998.5 D.P. Huttenlocher, J.J. Noh, and W.J. Rucklidge. Tracking non-rigid objects in complex scenes. In ICCV, pages 93101, Berlin, Germany, May 1993.6 S.S. Intille, J.W. Davis, and A.F. Bobick. Real time closed world tracking. InCVPR97,