静止背景下的移动物体的视觉监控=

1、智能视觉监控概述A Summary of Intelligent Visual Surveillance 目录oIVS(智能视觉监控)简介oIVS研究现状oIVS在ITS(智能交通系统)中的应用o关键技术介绍o总结IVS简介o定义n利用计算机视觉和人工智能的理论和方法，通过对摄像机拍录的图像序列进行自动分析来对场景中的运动物体进行定位、跟踪和识别，并对物体的运动行为作出判断或者解释，达到监控的目的o目标n用主动的、智能的视觉监控来代替传统的被动的视频监控，不仅仅是用摄像机来代替人的眼睛，而且是尽可能的自动的完成整个监控任务 IVS研究意义o智能视觉监控是计算机视觉领域的前沿研究方向，不仅具有很

2、高的科学研究价值，而且具有广泛的应用前景o911事件以来，IVS不仅受到了学术界的重视，而且得到了政府和企业界的广泛关注 IVS应用o特定场所的访问控制 o某些场合的特定人识别 o流量统计和拥塞分析 o异常行为检测和告警 IVS处理框架 图像低层视觉中层视觉高层视觉运动目标的检测分割图像处理目标的跟踪识别图像处理和模式识别行为推理图像理解和人工智能目录oIVS(智能视觉监控)简介oIVS研究现状oIVS在ITS(智能交通系统)中的应用o关键技术介绍o总结典型系统 oRoadWatch ：1995，n/pm/RoadWatch/o在各节点：n采

3、集视频并处理(检测、跟踪)，将得到的交通参数发往交通管理中心n车道车辆数目、平均速度、车道间切换频率、车的型号o管理中心n根据交通参数来控制信号，发布交通信息，并结合相邻节点的数据来计算路段的统计信息典型系统oVSAM ：Video Surveillance and Monitoring n1997年，DARPA资助n/vsam/vsamhome.htmlo目的n建立一个能在城市或战场等复杂环境下应用多个摄像机对人、车辆等的行为进行监控的系统o研究内容n静止/移动摄像机下运动目标的实时检测和跟踪n目标类型的识别：人、轿车、卡车等n特定场景下目标姿态的

4、估计n多摄像机的协同跟踪n简单交互行为的识别n数据的实时分发 o吸引了众多学者投入到该领域的研究。典型系统oHID：Human Identification at a Distancen2000年 ， DARPA资助n/o目的n为了应对恐怖分子袭击，发展多模式的监控技术，能够远距离的检测、分类和识别出人来 o研究内容n人脸跟踪和识别(2D/3D)n人脸表情识别n步态识别n人体上肢行为识别典型系统oADVISOR：Annotated Digital Video for Intelligent Surveillance and Optimised Retri

5、eval n2000，EU资助nhttp:/www-sop.inria.fr/orion/ADVISOR/o目的n对地铁站内人们的活动行为进行监控 o研究内容n使用多个摄像机进行跟踪n行为分析：估计人群的密度和运动，检测拥挤、阻塞、单行道的逆行行为等n危险行为和犯罪行为进行报警：如打架、阻断道路、拥挤、不买票而跳越栅栏、破坏机器等。 n存储数字视频图像和事件，以便检索 典型系统-ADVISOR相关研究机构o国内n自动化所、清华大学、上海交大、同济大学、宁波大学o国外nCarnegie Mellon University ，the University of Reading，the Univer

6、sity of Maryland， 加州大学Berkeley 分校，INRIA等 相关的出版刊物和会议 o期刊nIEEE Transaction on PAMI，IEEE Transaction on Transportation Systems , 计算机学报，计算机工程 o会议: ICCV、CVPRo专门会议n全国智能视觉监控学术会议全国智能视觉监控学术会议 (2002,2003)nIEEE International Workshop on Visual Surveillance (1998,1999,2000)nACM SIGMM Workshop on Video Surveilla

7、nce (2003,2004)nIEEE International Conference on Intelligent Transportation Systems( ITSC) (1998-2005连续八届)o评测：IEEE PETS(Performance Evaluation of Tracking and Surveillance )n从PETS2000到PETS2005连续六届目录oIVS(智能视觉监控)简介oIVS研究现状oIVS在ITS(智能交通系统)中的应用o关键技术介绍o总结ITS介绍o智能交通系统(Intelligent Transportation Systems，IT

8、S) n将计算机科学、通信等高新技术运用于交通监控管理与车辆控制，以保障交通顺畅及行车安全，从而促进经济发展、改善环境质量。 o五个模块n交通管理系统ATMS(Advanced Traffic Management Systems)、n旅行信息系统ATIS(Advanced Traveler Information Systems)n车辆控制系统AVCS(Advanced VehicIe Control Systems)n商业车辆运作CVO(Comercial VehicleOperations)n公共交通系统APTS(Advanced Public Transit Systems)o提供的功

9、能n车载导航、全球定位、电子收费、电子警察、交通流量监测、交通信号控制与管理。计算机视觉在ITS中的应用o车载处理系统n道路识别、交通标志信号检测、路障检测、司机疲劳检测 o路边处理系统n检测和收集与交通状况有关的信息、交通事件检测和监控 信息采集和处理步骤o从场景中分离出单个汽车，并对其进行跟踪o从跟踪数据计算出所需交通参数o对交通参数进行处理，并形成各种控制信号交通参数及其获取方法o交通参数n车道排队长度n车道汽车流量 n平均速度n车辆型号n运行方向(直行/拐弯)n车道占有率 o获取方法n基于分割-跟踪的方法n基于检测线的方法n基于特征(角点、直线)检测的方法其他应用o交通事件检测n轨迹异

10、常o交叉路口监控n有无行人通过，自动控制红绿灯o车牌检测和识别n自动收费和违规检测目录oIVS(智能视觉监控)简介oIVS研究现状oIVS在ITS中的应用o关键技术介绍o总结背景建模o简单背景模型n均值/中值n运动检测n自适应更新o统计的参数模型n高斯背景建模n混合高斯背景建模p适合于复杂的背景(如，树影晃动、水纹波动)o非参数背景模型NoImage运动检测o差分方法n帧间差分p速度快，但是不能提取完整的目标区域n背景差分p需要对背景进行维护o光流方法n使用运动目标随时间变化的光流特性检测运动区域，能处理摄像机运动下的运动物体检测，但计算复杂 目标分类o为了对运动目标进行跟踪和分析，需要识别出

11、类型o基于形状的分类n利用形状特征进行分类，如VSAM使用运动区域的分散度、面积、宽高比作为特征，使用3层BP分为单个人、车辆、人群及背景噪声o基于运动的分类n主要是利用非刚性物体(如人)运动的周期性特点(如人体下肢运动)可以将人和车辆区分开来目标跟踪o基于区域的跟踪n将目标分成一个或者多个小的区域，根据区域的形状或者颜色等信息进行跟踪。o基于轮廓的跟踪n先初步分割出物体，然后用snake或者Level set获得轮廓o基于特征的跟踪n点、线、角点o跟踪算法nkalman filter、particle filter、mean shift等行为分析o实质是对一个时序特征数据的识别问题 o识别方

12、法n动态时间弯曲(DTW)n有限状态自动机(FAM)nHMMsn时滞神经网络(TDNN)n基于句法的方法(Syntactic techniques)n贝叶斯信念网(BN)n动态贝叶斯网络(DBN)n自组织神经网络(Self-organizing neural network) 多摄像机跟踪和融合o优点n可以解决遮挡问题，能获得3D信息o一些问题n多摄像机的标定n摄像机间的切换n数据融合目录oIVS(智能视觉监控)简介oIVS研究现状oIVS在ITS中的应用o关键技术介绍o总结存在的问题和挑战o运动检测n复杂背景的变化：如光照，不同天气，树枝云层遮挡等，如何鲁棒的检测？o目标跟踪n车辆拥挤时的跟踪n处理速度o事件识别n多主体行为的识别n动作单元的识别和描述o多摄像机跟踪发展趋势oIVSnA Survey on Visual Surveillance of Object Motion and BehaviorspOcclusion HandlingpFusion of 2-D and 3-D TrackingpThree-Dimensional Modeling of Humans and