TLD技术在城市智能轨道交通中的应用

1、TLD 技术在城市智能轨道交通中的应用1 城市智能轨道交通中的视觉跟踪问题视觉跟踪技术在城市轨道交通的智能视频监控中起到重要作用。 城市轨道交通的监控环境比较复杂： 区 域较大，周界广泛；拥有多个站台，大量的出入口、围栏及相 关设施，而且人 / 车流量大。这种复杂的环 境给智能视频分析带来了诸多困难。其中应用于城市轨道交通的跟踪技术仍存在以下问题：1) 复杂的背景变化。光照变化引起背景改变，可能造成虚假检测与错误跟踪。2) 遮挡问题。 运动目标被部分或完全遮挡时， 目标因部分不可见而造成信息缺失， 影响跟 踪的稳定性。3) 有效性问题。由于运动目标一般都是时变的，如何获取和应用最新的目标特征信

2、息是保持跟踪有效的关键。4) 兼顾实时性与鲁棒性。既要减少算法的计算量以保证实时性，又要增强算法对复杂情况的适应性， 而这又以复杂的运算为代价。TLD 视觉跟踪技术作为当今流行的技术，兼顾以上提到的所有问题。它采用跟踪和检测同步机制，并 共同支持在线学习过程， 在线学习所得的结果又反馈于跟踪和检测， 最终的目标定位由跟踪和检测协同决定。TLD视觉跟踪技术联合跟踪、学习和检测于一体，完美兼顾了跟踪的精确性和实时性。它将成为解决 城市轨道交 通中跟踪问题的一种新方法。2 TLD 跟踪技术的引入视觉跟踪技术一直是人们研究的一个热点，它在视频智能监控领域有着重要的地位。目标跟踪一般 以运动检测为基础，

3、它不仅提供被监视目标的运动轨迹，而且也为场景分析和高层的异常行为识别提供了 可靠的数据来源。目前，已经出现了多种不同的目标跟踪算法。TLD是一种新兴且有效的跟踪技术，它是由英国萨里大学的捷克学生 Zdenek Kalal 开发的一个精确定位系统。 Zdenek Kalal 通过视频演示了该系统的功能，这 些视频在互联网上已广为传播。这个系统几乎可以跟踪镜头里的任何物体，只要你能看见它，并把它选中。视频中 Zdenek Kalal 演示了对手指、 面孔、 笔尖及高速行驶的轿车等目标的跟踪， 跟踪灵敏， 且定位准确， 即使目标被遮挡或短暂消失，当其再次出现时，也会很快捕捉到。网络上人们给予这套系统

4、很高的评价， 有人说它可以和微软的 Kinect 相媲美。TLD 跟踪系统最大的特点就在于能对锁定的目标进行不断地学习，以获取目标最新的外观特征，从 而及时完善跟踪，达到最佳的状态。也就是说，开始时只提供一帧静止的目标图像，但随着目标的不断运动，系统能持续不断地进行探测，获知目标在角度、距离、景深等方面的改变，并实时识别，经过一段时 间的学习之后，目标就再 也无法躲过。TLD的这一特点也是胜于传统跟踪系统的巨大优势。3 TLD 跟踪技术解析"跟踪-学习-检测” (Tracking-Learning-Detection )的缩写。顾名思义，TLD技术有三部分组成,即跟踪器、学习过程和检

5、测器。TLD技术采用跟踪和检测相结合的策略，是一种自适应的、可靠的跟踪技术。TLD技术中，跟踪器和检测器并行运行，二者所产生的结果都参与学习过程，学习后的模型又反作用 于跟踪器和检测器，对其进行实时更新，从而保证了即使在目标外观发生改变的情况下，也能够被持续跟 踪。TLD的工作框架如图1。我们将分述TLD的三个组成部分。TLD是图1 TLD的整体工作框架(此图来自Zdenek Kalal的文章简介)1) 跟踪器TLD跟踪器采用重叠块跟踪的策略，单块跟踪使用Lucas-Kanade光流法。TLD在跟踪前需要指定待跟踪的目标，由一个矩形框标岀。最终整体目标的运动取所有局部块移动的中值。这种局部跟踪

6、策略可以 解决局部遮挡问题。2) 学习过程TLD的学习过程是建立在在线模型(online model )基础上的。在线模型是一个由大小为15*15的图像块的集合。这些图像块来自跟踪器和检查器所得的结果。初始的在线模型为起始跟踪时指定的待跟踪 的目标图像。在线模型是一个动态模型，它随视频序列而增长或减小。在线模型的发展有两个事件来驱动， 分别为增长事件和修剪事件。由于在实际中，来自环境和目标本身等多因素的影响，使目标的外观不断发 生变化，这使得由跟踪器预测产生的目标图像包含更多其他感兴趣的因素。如果我们把跟踪轨迹上所有目标图像看成一个特征空间，那么随着视频序列的推进，由跟踪器所致 的特征空间将不

7、断增大，这就是所说的增长事件。为了防止增长事件带来的杂质(其他非目标图像)影响跟踪效果，采用了与之相对的修剪事 件来平衡。修剪事件就是用来去除增长事件所致的杂质的。由此，两事件的相互作用促使在线模型一直保持与当前跟踪目标一致。由增长事件带来的特征空间的扩张来自于跟踪器，即从处于跟踪轨迹上的目标图像中选择合适的样本，并以此来更新在线模型。有三种选择策略，具体如下：i. 与起始待跟踪目标图像相似的图像块，均被加入到在线模型。ii. 如果当前帧的跟踪目标图像与前一帧的相似，则将当前的跟踪结果图像加入到在线模型。iii. 计算跟踪轨迹上的目标图像到在线模型间的距离，选择具有特定模式的目标图像，即起初目

8、标图像与在线模型的距离较小，随之距离逐渐增大，而后距离又恢复成较小状态。循环检验是否存在这种模式，并将该模 式内的目标图像加入到在线模型。增长事件的特征选择方式，保证了在线模型始终紧随跟踪目标的最新状态，避免因模型更新不实时所导致的跟踪丢失。其中最后一种选择策略也是TLD技术的特色之一，它体现了自适应跟踪的特性。当跟踪发生漂移时，跟踪器会自动适应背景，而不会很突然地转移到跟踪目标上。修剪事件假设每帧只有一个目标，当跟踪器和检测器都认可目标位置时，剩余的检测图像就认为是 错误样本，从在线模型中删除。在线模型中的样本为 TLD 的学习过程提供了素材。另外， TLD 在训练生成分类器（随机森林）的过

9、 程中，采用了两种约束：P约束和N约束。P约束规定与跟踪轨迹上的目标图像距离近的图像块为正样本； 反之，为负样本，即为 N 约束。 PN 约束降低了分类器的错误率，在一定的范围内，其错误率趋近与零。3）检测器TLD 技术设计了一个快速、可靠的检测器，它为跟踪器提供了必要的支持。当跟踪器所得的结果失 效时，需要用检测器的结果来补充纠正，并且对跟踪器重新初始化。具体做法是：i. 对于每帧同时运行跟踪器、检测器，跟踪器预测出一个目标位置信息，而检测器则可能检出多幅图像；ii. 决定目标的最终位置时，优先考虑跟踪器所得的结果，即如果跟踪到的图像与最初的目标图像相似度大于某阈值，就接受该跟踪结果；否则，

10、将从检测器的结果中，选用与最初目标相似度最大的图像作为跟踪结果；iii. 若为第二步骤中的后者，则此时更新跟踪器的最初目标模型，用现选用的跟踪结果替换原有的目标模型，同时，删除以前模型中的样本，以新的样本重新开始。检测器是由在线模型中的样本经训练学习生成的随机森林分类器。其选取的特征为区域的边缘方向，称之为 2bitBP 特征，它具有不受光线干扰的特性。特征通过量化，共有 4 种可能的编码。对于给定的区 域，其特征编码是唯一的。多尺度的特征计算可以采用积分图像的方法。图2 是特征获取的示意图。图 2 TLD 中的特征获取（此图来自 Zdenek Kalal 的文章）将每一个图形块都用众多的 2

11、bitBP 特征来表示， 并把这些特征分成同大小的不同的组，每一组代表 了图像块外观的不同表示。用于检测的分类器采用随机森林的形式。随机森林由树组成，而每棵树是由一 个特征组构造而成。树的每个特征都作为一个决策结点。随 机森林通过增长事件和修剪事件完成在线更新和演化。开始时，每棵树由最初目标模板的特征组构建， 都只有一个 “枝”。随着增长事件对正样本的选取， 随机森林 也不断加入新的 “枝”；修剪事件则相反， 它会去掉随机森林中不用的 “枝”。这种实时的检测器采用扫描窗口的策略：按照位置和尺度扫描输入帧， 对每个子窗口 应用分类器判断是否属于目标图像。 TLD 技术巧妙的把跟踪器、检测器和学习

12、过程结合在 一起，共同实现目标的跟踪。4 TLD 跟踪技术的性能基于上小节的设计思想， TLD 系统表现出优秀的性能。 TLD 的设计者选择多个视频序列对其性能进 行了测试。视频序列的场景包括室内、大厅、户外等，所要跟踪的对象有人、动物、车辆和任何指定的小 物体，更为重要的是，这些视频序列都包含了传统跟踪算法所不能及的挑战性因素。具体的测试简要介绍 如下：1) 毛绒玩具的跟踪(由人拿着)，视频序列中涉及的困难因素有：物体缓慢运动；光线变化；物体形态改变。2) 人脸的跟踪。视频序列是一个多人反复交错运动的室内场景，被跟踪的人脸存在部分遮挡。3) 商场中行人的跟踪。其中行人间的行走存在全部遮挡。4

13、) 高速行驶的汽车的跟踪。展示了高速路上汽车由近到远的行驶过程，其中包括物体的快速移动；遮挡；消 失；尺度变化；小物体跟踪。上述只是 TLD 测试的一部分，在其上列举的环境中， TLD 都达到准确跟踪。 TLD 在应对光线变化、 遮挡至消失、目标形态、尺度及运动变化等，具有很好的适应性。 TLD 发展了传统跟踪算法，是一种实时 性、有效性兼备的新方法。5 TLD 跟踪技术在城市智能轨道交通中的应用前景随 着公共交通事业的快速发展，轨道交通出行已经成为人们方便快捷出行的最佳选择。为了加强轨 道交通的公共安全，相关部门引入智能视频监控。通过应用智能视频 分析，可以实现对轨道交通的主动、 实时监控，

14、及时有效避免或处理有威胁或突发性的事件。轨道交通作为一个主要交通枢纽的公共场所，地 域较大，人流集中，需要对其进行监控的场景点较多，主要包括以下几个方面。l 周界监控轨道交通的周界防范主要用于轨道附近的围界，用以监控是否有物体靠近或进入，一旦在设置范围 内发现移动物体将触发警报。另外，由于轨道交通的枢纽站台通常都很大，系统应根据具体情况把控制边 界划分成若干小区域，以细化对边界的控制管理，提高报警的精确度。l 轨道监控轨道是轨道交通的重要通道，通常会拥有多条轨道并伴随之间的交叉穿越。因此，对轨道和其两边设置的安全缓冲带，根据安全级别不同，划分区域，等级监控，严禁出现遗留物、 人员或其他不明物体

15、的进入，对此情况要实时报警。l 设施监控轨 道交通的配套设施包括车库机车、站内闸机、围栏、自动售票机、消防器具、屏蔽门、服务台等。设施的安全是保证轨道交通安全运行的前提， 主要实行以下监控： 机车在空闲时段严禁有人或不明物体接 近，防止对机车进行破坏行为；对于各种辅助设备，严防盗窃和破坏行为；对于工作区的误入、防盗、遗 漏和人为损坏也是轨 道交通监控的重要环节。l 乘客活动区乘客活动区域主要包括站台、 通道出入口和其他人流频繁区域。 需要重点监控是否有人遗留物品； 在 特定区域是否有徘徊、尾随等可疑行为；通道出入口的人流控制等。从 上述可见，智能视频监控在交通轨道上的应用十分广泛。而且，实现智

16、能视频监控的分析过程都有 相同的处理流程，即通过对监控视频图像的实时分析来对动态场景 中的目标进行定位、识别，然后跟踪， 并分析和判断目标的行为，从而能在异常情况发生的时候及时做出反应。跟踪技术属于智能分析过程中的 中间环节，起到承上 启下的重要作用。实时可靠的跟踪技术一直是人们所追求的。一 般城市交通轨道的场内环境都十分复杂，这对传统的跟踪算法是一个很大的挑战。 TLD 技术在继承 传统算法思想的同时，又有新的创新和发展，以克服传统算法的 不足。 TLD 跟踪具有定位准确性，这是 包括城市交通轨道在内的所有领域都期望达到的目标。 TLD 适合于对人或其它任何事物的跟踪，即使在缺 帧或摄像头快

17、速 运动的情况下，也同样可以进行长期跟踪。 TLD 采用传统的跟踪与检测相结合的思想， 但不同之处是 TLD 的检测器是一个实时更新的可靠的在线检测器。而传统 的检测器则是通过预先离线训 练而成，与实际跟踪物体相分离，不能为跟踪提供可靠的观测。轨道交通作为安全级别较高的公共场所， 跟踪的准确性是需首要满足 的。其 次， TLD 具有不受光线干扰的特性。这对于轨道交通是一个很大的福音。众所周知，光线变化带 来的环境改变会加大进行智能视频分析的难度。 地下轨道主要受灯 光的影响， 光线的强或弱都会影响实际 的智能分析结果，而地上轨道受光照的影响较重，比如晴天太阳的普照、雨天的阴暗等，都会使对光线敏 感的跟踪算法达不到 应有的效果。第 三， TLD 具有抗遮挡性。当目标被半 / 全遮挡或消失时， TLD 仍然可以做到正确跟踪。轨道交通 环境中人流量大，各种设备比较密集，由此造成的遮挡障碍普遍 存在。所以，抗遮挡性的跟踪技术具有较 强的实用性。最后， TLD 的自适应性使得跟踪可以始终跟随目标的变化。城市轨道交通中大多还是对人的 跟踪，人属于非 刚体，其形态时刻都在变化， TLD 能够做到连续准确的跟踪，不会因为人的转身、弯腰 等动作而丢失目标。综上所述， TLD 的诸多技术优势可以解决城