人体识别智能监控系统实践报告课件

1、实践报告人体识别智能监控系统提纲项目简介发展前景心得体会困难和挑战完成情况及成果系统模块分解项 目 简 介 智能视频监控是在当今计算机视觉领域中较为热门的一个主题. 它可广泛应用于安全敏感的单位，如机场、博物馆和各种军政单位。 该项目实现了一套具有人体识别功能的智能监控系统，它应该具有以下主要功能： 基本的视频设置、监控功能 目标自动跟踪和识别功能 自定义报警阈值和条件 智能存储系统实现的主要功能 在软件提供的用户界面里，能够实时解码12路MPEG-1图像并显示，能够调节图像亮度、对比度和色度。能够进行实时视频压缩存储，能够进行音频状态设置。 能够进行运动检测并报警，并可以设定运动报警的阈值

2、能够在静止背景或者光照度稳定、充足的条件下进行运动物体的坐标跟踪和人体识别，即可以区分人体和其他运动物体。 实现了智能视频摘要存储。提纲项目简介发展前景心得体会困难和挑战完成情况及成果系统模块分解项目成果 可执行程序HRMS.exe 开发了两个版本，HRMS V1.0和HRMS V1.01. 其中HRMS V1.01增加了语音报警和日志功能 发表论文两篇一种基于扫描线的边缘特征检测算法 一种基于HIS模型的彩色图像背景减除快速算法 为国腾通信(集团)有限公司设计了远程视频智能监控系统设计方案书 和 远程视频监控系统可行性报告 为863软件专家小组做了项目专题报告，也作为本次创新工程优秀项目之一

3、参与了企业评选、合作活动提纲项目简介 发展前景心得体会困难和挑战完成情况及成果系统模块分解 系统主要分为四个功能模块:基本视频监视模块、图象处理模块、运动检测识别模块、存储回放模块。系统总体框图如下所示：控制器视频信号处理显示器运动检测识别阈值设定智能存储存储控制报警指示跟踪转台摄像头环形缓冲区基本视频监视模块 该模块实现基本的视频监控功能，即产生智能识别所需要的视频流。它包含以下几个部分： 视频属性设置 监控区域设定 视频显示选择 音频状态设置运动检测识别模块 运动检测识别模块包含三个渐进的过程 ：运动检测、运动物体跟踪、运动物体识别（还有活动行为描述,但是本项目尚未涉及） 。 运动检测 它

4、负责检测是否有运动发生。这里的运动指目标出现或移动。可有两种实现方法。基于视频帧图象的变化分析 基于压缩码流的分析 运动物体跟踪 在判断了物体运动方向后, 它发信号给云台控制器，自动调整摄像头, 跟踪运动目标. 目前，我们考虑的主要实现方法有两种： 对比度跟踪 图象相关跟踪即图象匹配 运动物体识别 综合以上信息，系统将能识别出人和其他物体，并根据跟踪判断的结果，触发报警装置。同时，控制存储模块进行摘要存储和写入日志。人体识别的常用方法有： 影子模式的投影直方图技术 基于时空信息的累加和技术 基于边缘检测的几何模型技术 存储回放模块 存储回放模块利用了视频摘要存储的技术.其基本思想是通过运动检测

5、来控制视频数据的存储。运动检测识别算法可以控制存储动作，从而大大提供了存盘效率，有效地节省了存储空间, 也使得监控员在审核和浏览以往的录像资料时更加方便、快捷。模块流程图如下：是设置检测区域获取压缩视频流存入缓冲区运动条件满足存盘 运动结束检测控制信号否否是图象处理模块 这是一个独立的模块。它完成图象处理的各种算法，当然可以根据系统实际需求进行增减。并在此基础上，应用到本系统中来，对从视频流中捕获的位图进行处理。具体地，我们的系统中完成了以下图象处理算法： 高斯滤波去噪 拉普拉斯算子的图象增强 图象分割和边缘轮廓线提取 灰度化和32位色转256位色 平均时间图象背景减除算法 肤色模型建模和检测

6、算法 基于7*7窗口的全局搜索图象匹配算法系统初始化，各参数调节捕获稳定后的背景位图并存储判断监控区域是否有运动启动智能跟踪识别线程启动视频压缩存储捕获运动位图放入共享环形缓冲区判断运动是否消除或恢复静止背景取得运动坐标进行物体跟踪通知子线程终止检测写系统日志，恢复系统状态否是缓冲区指针P加1等待缓冲区有效取回缓冲区中的位图，并使P1加一计算周长2/面积能否成功进行边界跟踪发出人体入侵预警是否属于正常人体范围发出人体入侵报警并将人体脸部信息写入日志能否检测到人体脸部及肤色特征发出异常报警初始化子线程共享缓冲区指针P1P1P？否否否是是是否是系统总体处理流程提纲项目简介发展前景心得体会困难和挑战

7、完成情况及成果系统模块分解解决的关键技术问题背景减除(运动目标提取)难点：动态场景的变化复杂，光照变化、背景混乱运动的干扰对算法影响极大解决：时间图像统计建模和边缘检测相结合的算法。 时间图像统计建模算法 利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且进行周期性地背景更新；用该模型可以区分出背景点 边缘检测算法用于定位运动目标。 彩色图像的边缘检测算法！参见论文一种基于HIS模型的彩色图像背景减除快速算法解决的关键技术问题(续) 采用二次曲线特征算法解决了物体边缘特征识别问题参见论文一种基于扫描线的边缘特征检测算法 在对特定人种进行肤色建摸的基础上，解决了人体脸部特征判

8、定和提取问题，为以后的面部识别打下了基础原理：采用YUV空间的相位角 和YIQ空间的I分量作为特征，能够联合确定人脸肤色的色度信息分布范围，由此建立人脸肤色模型。经过多次实践证明，如果p点同时满足条件：1050= =1500和30= I =100，则p是肤色点解决的关键技术问题(续) 解决了多线程协同工作和实时处理的问题 解决了位图字节流和MFC中的位图类(CDib)的相互转换问题问题及原因 运动物体跟踪只能在摄像头所拍摄的区域内进行，而不能按照预先设定的那样进行摄像头实时转动跟踪。 原因：由于项目资金的短缺，使得我们不可能购买一整套完整的监控设备。项目开发所需的监控设备是从电子科技大学英特尔

9、互联网交换架构实验室借得，缺乏必要的硬件说明书和开发指南，这造成了我们开发小组不能控制云台的转动，从而不能对运动物体进行摄像头跟踪。 问题及原因（续） 在人体识别上，由于时间和开发经费的限制，使得我们没能很好地解决在各种姿态下的人体识别问题。只能识别正常步态和行为的运动人体。事实上，国内外的同行都没能很完美地解决这一问题，对人体识别的研究仍处于不断发展和进步中。所以，我们项目组也愿意和希望以后能继续有机会从事这一领域的深入研究。 问题及原因（续） 子线程如何判断中止条件？来自主线程的信号？或者本线程中的识别结果？ 速度和性能上的考虑 在实践中，我们发现由子线程捕获位图的方法不能满足实时的要求，

10、故改为由主线程实时捕获位图，存入缓冲区。主线程和子线程构成一个消费者和生产者问题。 经历了一次人体入侵报警后，如果环境状态因此发生了改变，如何让系统回归初始状态？提纲项目简介发展前景心得体会困难和挑战完成情况及成果系统模块分解科研价值 人运动的视觉分析是近年来计算机视觉领域备受关注的前沿方向，属于图像分析和理解的范畴。从技术角度而言，人的运动分析的研究内容相当丰富，主要涉及模式识别、图像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、人体的非刚性运动、人体自遮挡和目标之间互遮挡的处理也为人的运动分析研究带来了一定的挑战。 智能监控（Smart Surveillance）

11、智能监控系统的需求主要来自对安全要去敏感的场合，如银行、商店、停车场等。也可用在访问控制场合。在自动售货机、ATM机、交通管理、公共场所行人的拥挤状态分析及商店中消费者流量统计等方面也有着广泛应用 感知接口（Perceptual Interface） 在高级用户接口应用领域中，我们希望未来的机器象人一样与我们更容易和便捷地交流。并可结合人的面部表情、身体姿态和手势等与人进行相应地交流广泛的应用广泛的应用（续） 运动分析（Motion Analysis） 分割图象中地人体部分并在图像序列中跟踪分析感兴趣地关节运动，可以应用在体育运动、舞蹈训练中。还可用在医学步态分析中 虚拟现实（Virtual

12、Reality） 目前许多电脑游戏中人的形体、运动和行为交互的设计逼真性实际得益于物理空间中人的运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等学术价值 1997年美国国防高级研究项目署设立以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景进行监控的自动视频理解技术 英国的雷丁大学已开展了对车辆和行人的跟踪及其交互作用识别的相关研究 国际一些权威期刊如IJCV、CVIU、PAMI、IVC等将人的运动分析研究作为主题内容之一我们的目标和方向适应各种恶劣的环境。目前系统只支持室内背景和稳定的室外背景。下一步的目标可以让系统在各种环境，特别是大面积的噪声污染下也可以正常使用实现多人的跟踪，使其能够识别各种姿势下的人体，包括多个重叠和交叉人体在人体识别的基础上，探讨基于摄像机的面相辨别及手势或步态等生物特征识别技术研究三维跟踪和识别。对物体进行3D重建，使其能够精确测量运动物体的位置和大小提纲项