静止背景下的移动物体的视觉监控=.pptx

1、智能视觉监控概述A Summary of Intelligent Visual Surveillance,目录,IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS(智能交通系统)中的应用 关键技术介绍 总结,IVS简介,定义 利用计算机视觉和人工智能的理论和方法，通过对摄像机拍录的图像序列进行自动分析来对场景中的运动物体进行定位、跟踪和识别，并对物体的运动行为作出判断或者解释，达到监控的目的 目标 用主动的、智能的视觉监控来代替传统的被动的视频监控，不仅仅是用摄像机来代替人的眼睛，而且是尽可能的自动的完成整个监控任务,IVS研究意义,智能视觉监控是计算机视觉领域的前沿研究方向，不仅具有

2、很高的科学研究价值，而且具有广泛的应用前景 911事件以来，IVS不仅受到了学术界的重视，而且得到了政府和企业界的广泛关注,IVS应用,特定场所的访问控制 某些场合的特定人识别 流量统计和拥塞分析 异常行为检测和告警,IVS处理框架,图像,低层视觉,中层视觉,高层视觉,运动目标的检测分割图像处理,目标的跟踪识别 图像处理和模式识别,行为推理 图像理解和人工智能,目录,IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS(智能交通系统)中的应用 关键技术介绍 总结,典型系统,RoadWatch ：1995， /pm/RoadWatch/

3、在各节点： 采集视频并处理(检测、跟踪)，将得到的交通参数发往交通管理中心 车道车辆数目、平均速度、车道间切换频率、车的型号 管理中心 根据交通参数来控制信号，发布交通信息，并结合相邻节点的数据来计算路段的统计信息,典型系统,VSAM ：Video Surveillance and Monitoring 1997年，DARPA资助 /vsam/vsamhome.html 目的 建立一个能在城市或战场等复杂环境下应用多个摄像机对人、车辆等的行为进行监控的系统 研究内容 静止/移动摄像机下运动目标的实时检测和跟踪 目标类型的识别：人、轿车、卡车等 特定场

4、景下目标姿态的估计 多摄像机的协同跟踪 简单交互行为的识别 数据的实时分发 吸引了众多学者投入到该领域的研究。,典型系统,HID：Human Identification at a Distance 2000年 ， DARPA资助 / 目的 为了应对恐怖分子袭击，发展多模式的监控技术，能够远距离的检测、分类和识别出人来 研究内容 人脸跟踪和识别(2D/3D) 人脸表情识别 步态识别 人体上肢行为识别,典型系统,ADVISOR：Annotated Digital Video for Intelligent Surveillance and Optimise

5、d Retrieval 2000，EU资助 http:/www-sop.inria.fr/orion/ADVISOR/ 目的 对地铁站内人们的活动行为进行监控 研究内容 使用多个摄像机进行跟踪 行为分析：估计人群的密度和运动，检测拥挤、阻塞、单行道的逆行行为等 危险行为和犯罪行为进行报警：如打架、阻断道路、拥挤、不买票而跳越栅栏、破坏机器等。 存储数字视频图像和事件，以便检索,典型系统-ADVISOR,相关研究机构,国内 自动化所、清华大学、上海交大、同济大学、宁波大学 国外 Carnegie Mellon University ，the University of Reading，the U

6、niversity of Maryland， 加州大学Berkeley 分校，INRIA等,相关的出版刊物和会议,期刊 IEEE Transaction on PAMI，IEEE Transaction on Transportation Systems , 计算机学报，计算机工程 会议: ICCV、CVPR 专门会议 全国智能视觉监控学术会议 (2002,2003) IEEE International Workshop on Visual Surveillance (1998,1999,2000) ACM SIGMM Workshop on Video Surveillance (2003

7、,2004) IEEE International Conference on Intelligent Transportation Systems( ITSC) (1998-2005连续八届) 评测：IEEE PETS(Performance Evaluation of Tracking and Surveillance ) 从PETS2000到PETS2005连续六届,目录,IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS(智能交通系统)中的应用 关键技术介绍 总结,ITS介绍,智能交通系统(Intelligent Transportation Systems，ITS) 将计算机

8、科学、通信等高新技术运用于交通监控管理与车辆控制，以保障交通顺畅及行车安全，从而促进经济发展、改善环境质量。 五个模块 交通管理系统ATMS(Advanced Traffic Management Systems)、 旅行信息系统ATIS(Advanced Traveler Information Systems) 车辆控制系统AVCS(Advanced VehicIe Control Systems) 商业车辆运作CVO(Comercial VehicleOperations) 公共交通系统APTS(Advanced Public Transit Systems) 提供的功能 车载导航、全球

9、定位、电子收费、电子警察、交通流量监测、交通信号控制与管理。,计算机视觉在ITS中的应用,车载处理系统 道路识别、交通标志信号检测、路障检测、司机疲劳检测 路边处理系统 检测和收集与交通状况有关的信息、交通事件检测和监控,信息采集和处理步骤,从场景中分离出单个汽车，并对其进行跟踪 从跟踪数据计算出所需交通参数 对交通参数进行处理，并形成各种控制信号,交通参数及其获取方法,交通参数 车道排队长度 车道汽车流量 平均速度 车辆型号 运行方向(直行/拐弯) 车道占有率 获取方法 基于分割-跟踪的方法 基于检测线的方法 基于特征(角点、直线)检测的方法,其他应用,交通事件检测 轨迹异常 交叉路口监控

10、有无行人通过，自动控制红绿灯 车牌检测和识别 自动收费和违规检测,目录,IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS中的应用 关键技术介绍 总结,背景建模,简单背景模型 均值/中值 运动检测 自适应更新 统计的参数模型 高斯背景建模 混合高斯背景建模 适合于复杂的背景(如，树影晃动、水纹波动) 非参数背景模型,运动检测,差分方法 帧间差分 速度快，但是不能提取完整的目标区域 背景差分 需要对背景进行维护 光流方法 使用运动目标随时间变化的光流特性检测运动区域，能处理摄像机运动下的运动物体检测，但计算复杂,目标分类,为了对运动目标进行跟踪和分析，需要识别出类型 基于形状的分类 利用

11、形状特征进行分类，如VSAM使用运动区域的分散度、面积、宽高比作为特征，使用3层BP分为单个人、车辆、人群及背景噪声 基于运动的分类 主要是利用非刚性物体(如人)运动的周期性特点(如人体下肢运动)可以将人和车辆区分开来,目标跟踪,基于区域的跟踪 将目标分成一个或者多个小的区域，根据区域的形状或者颜色等信息进行跟踪。 基于轮廓的跟踪 先初步分割出物体，然后用snake或者Level set获得轮廓 基于特征的跟踪 点、线、角点 跟踪算法 kalman filter、particle filter、mean shift等,行为分析,实质是对一个时序特征数据的识别问题 识别方法 动态时间弯曲(DTW

12、) 有限状态自动机(FAM) HMMs 时滞神经网络(TDNN) 基于句法的方法(Syntactic techniques) 贝叶斯信念网(BN) 动态贝叶斯网络(DBN) 自组织神经网络(Self-organizing neural network),多摄像机跟踪和融合,优点 可以解决遮挡问题，能获得3D信息 一些问题 多摄像机的标定 摄像机间的切换 数据融合,目录,IVS(智能视觉监控)简介 IVS研究现状 IVS在ITS中的应用 关键技术介绍 总结,存在的问题和挑战,运动检测 复杂背景的变化：如光照，不同天气，树枝云层遮挡等，如何鲁棒的检测？ 目标跟踪 车辆拥挤时的跟踪 处理速度 事件识别 多主体行为的识别 动作单元的识别和描述 多摄像机跟踪,发展趋势,IVS A Survey on Visual Surveillance of Object Motion and Behaviors Occlusion Handling Fusion of 2-D and 3-D Tracking Three-Dimensional Modeling of Humans and V