人脸抓拍识别系统技方案资料

1、 智能分析视频监控系统设 计 方 案2015-10目录 TOC o 1-5 h z HYPERLINK l bookmark4 o Current Document 一、系统概述 4 HYPERLINK l bookmark6 o Current Document 二、系统优势5 HYPERLINK l bookmark8 o Current Document 三、应用场景6 HYPERLINK l bookmark10 o Current Document 四、系统设计7 HYPERLINK l bookmark12 o Current Document 概述7 HYPERLINK l bo

2、okmark14 o Current Document 技术特点7技术概要7 HYPERLINK l bookmark16 o Current Document 人脸抓拍技术 8 HYPERLINK l bookmark18 o Current Document 人脸识别技术 9 HYPERLINK l bookmark20 o Current Document 系统结构10 HYPERLINK l bookmark22 o Current Document 系统组网 10 HYPERLINK l bookmark24 o Current Document 人像系统功能 11 HYPERLIN

3、K l bookmark26 o Current Document 人脸检测抓拍 11 HYPERLINK l bookmark28 o Current Document 自动识别性别11 HYPERLINK l bookmark30 o Current Document 图像记录防篡改功能 11 HYPERLINK l bookmark32 o Current Document 高清录像功能11 HYPERLINK l bookmark34 o Current Document 数据存储功能12 HYPERLINK l bookmark36 o Current Document 数据FTP传

4、输与断点续传功能 12 HYPERLINK l bookmark38 o Current Document 远程系统管理维护功能 12 HYPERLINK l bookmark40 o Current Document 五、后端管理平台 13 HYPERLINK l bookmark42 o Current Document 系统框架13 HYPERLINK l bookmark44 o Current Document 后端服务器简介13 HYPERLINK l bookmark46 o Current Document 客户端功能介绍15功能架构15 HYPERLINK l bookmar

5、k48 o Current Document 客户端主要功能介绍 15视频播放15历史视频查询15 HYPERLINK l bookmark50 o Current Document 图片和事件信息显示 16 HYPERLINK l bookmark52 o Current Document 图片和事件关联视频查询 16 HYPERLINK l bookmark54 o Current Document 建立重要案事件视频库 16 HYPERLINK l bookmark56 o Current Document 黑名单布控报警16模糊图彳t处理17 HYPERLINK l bookmark5

6、8 o Current Document 系统设备状态监测 17 HYPERLINK l bookmark60 o Current Document 六、系统应用17 HYPERLINK l bookmark62 o Current Document 人脸抓拍应用17 HYPERLINK l bookmark64 o Current Document 人像比对应用18 HYPERLINK l bookmark66 o Current Document 条件检索应用19 HYPERLINK l bookmark68 o Current Document 视频关联人脸应用 19 HYPERLINK

7、 l bookmark70 o Current Document 黑名单布控应用 20一、系统概述“人车抓拍卡口系统”的出现，使对车辆和人员的监控实现实时报警成为了 可能，不但可以对车辆进行监控管理， 而且同时对人员进行了有效监控管理， 对 于城市中心区域、城市城中村及中小城市的治安管理系统建设更具有现实作用和 意义。同时该系统在机制上实现了无效数据的屏蔽从而可以有效地降低中心存储 的压力，该系统的数据采集方式可以实现多级检索，大大提高了系统的使用效率、 节省了查询时间、减少了警力的占用。该系统响应了公安部的要求，符合当前实 际的需要，具有时效性及高科技的特点，减少了大系统建设的后顾之忧，必将

8、在 推广后成为公共安全的得力助手，达到“科技强警”的目标。二、系统优势1、视频触发，应用灵活、方便，不需要破路埋设线圈，系统建设简单、维 护方便。2、前端采用高清一体网络摄像机作为图像采集设备，成像质量高达300万像素，图片质量高。一台高清摄像机可实现对车辆的抓拍、完成号牌识别、行人 抓拍、视频记录。设备构成简单，系统建设、应用简便，工控机用作前端存储。3、系统支持后期人脸比对扩展功能，可将前端抓拍人像与人像库进行实时 比对，当比对相似度达到一定阀值，则会自动报警。也支持遗留物检测、固定物 检测等扩展功能。4、可以实现对重点区域同时提供高清的人像照片、车辆照片和有效高清视 频录像，实现对重点区

9、域的全天候、大范围的管理要求，提高了管理水平，在一 定程度上极大的制止了不法行为的发生，同时也为相关安全部门的调查取证创造 了条件，为后期的案件处理提供可靠、有效的线索和依据。5、领先的车牌识别技术：准确率很高，车牌识别种类齐全，可准确识别车 牌字体和车牌底色。6、系统操作简便、人机界面友好，易于维护。7、多目标系统对地铁出入口的广场进行一个全局的监控和细节目标的检测 跟踪。8、人群密度统计，对广场区域人群密度进行分析统计，已4种颜色表示密度，但密度超过设定值，立即进行报警。、应用场景目前本系统主要应用在以下几个方面：地铁站、机场、车站、高速路收费站、城中村、小区等重要的出入口;公路卡口点、社

10、区、景区、工业园区、政府、军队等场所；四、系统设计概述系统是我司自主开发设计的新一代智能卡口系统， 同时具有车辆监控管理和 人员监控管理功能。它融合了多项专利技术，融合先进的计算机视觉技术、高清 视频图像处理和神经网络等关键技术于一体，结合网络和自动控制技术，利用高 清晰一体摄像机做检测传感器，对进入镜头的过往车辆、人员进行实时抓拍，摄 像机内置软件进行分析处理。它既可进行本地独立工作，也可联网组成一个强大 的安防系统。同时结合多目标系统和人群密度统计分析系统， 对广场区域进行一个全覆盖 的监控以及对人群密度的分析统计。技术特点技术概要系统结构简洁，高度集成化，前端高清一体摄像机采集车辆、人脸

11、图片；摄像机内置软件完成分析、识别，具有高度集成性，有效降低使用与维护成本。可针对性全捕获机动车、人像，实现过往目标的全面管控。夜间智能补光，白天无逆光，全天候清晰成像。号牌识别平均有效率，在车牌图像满足国标要求120像素一180像素的情况下，识别率可达到95%识别车牌大小范围可达到70像素到250象素；识别车牌亮度、对比度动态范 围大。人脸抓拍大小范围可达到80象素到500像素。准确率高达92%领先的倾斜车牌识别技术，支持识别车牌一定程度的倾斜，倾斜30以内。系统具备高清录像功能,录像的帧率30Fps/秒。人脸抓拍技术人脸检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确 定其中

12、是否含有人脸，如果是则返回人脸的位置、大小和姿态。人脸抓拍的实现 需要人脸检测算法作为支撑，判断图像中是否存在人脸。这一项技术最初伴随人 脸识别的研究而逐步发展。人脸检测是人脸识别智能系统中非常重要的一个环节，只有首先保证人脸抓 拍图像的高效率、高质量，才能在人脸识别系统中做好良好铺垫。 在其他领域也 可以用来作为辅助手段，例如，公安机关案件侦查、监控系统辅助抓拍等。人脸检测是一个复杂的具有挑战性的模式检测问题，其主要的难点有两方 面，一方面是由于人脸内在的变化所引起：人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等；人脸的遮挡，如眼镜、头发和头部饰物以及其他

13、外部物体等； 另外一方面由于外在条件变化所引起：由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下 旋转，其中深度旋转影响较大；光照的影响，如图像中的亮度、对比度的变化和阴影等。图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。这些困难都为解决人脸问题造成了难度。如果能找到一些相关的算法并能在 应用过程中达到实时，将为成功构造出具有实际应用价值的人脸检测与跟踪系统 提供保证。国外对人脸检测问题的研究很多，比较著名的有MIT,CM或；国内的清华大 学、中科院计算所和自动化所、南京理工大学、北京工业大学等都有人员从事人 脸检测相关的研究。而且，MPEG7准组织已经建立

14、了人脸识别草案小组，人脸 检测算法也是一项征集的内容。随着人脸检测研究的深入，国际上发表的有关论 文数量也大幅度增长，如IEEE的FG ICIPCVPR等重要国际会议上每年都有大 量关于人脸检测的论文，占有关人脸研究论文的1/3之多。由此可以看到世界对 人脸检测技术的重视。人脸检测算法种类较多，目前国内常用的人脸检测算法，总的来说主要有子空间法（PCA ICA）、神经网络法、SVM haar/hog/LBP+AdaBoost方法，并将该 方法用于其他方面的检测，比如多视角的人脸检测，以上研究代表了目前人脸检测研究的最高水平。但常用的这些算法主要包括检测速率较慢以及鲁棒性差易受 环境变化而检测效

15、果较差等缺点，而难以很好的应用于实际的系统之中。目前，我们采用的是最新的检测技术，归一化像素差分法（Normalized Pixel Difference） 或NPD其特征公式如下：f（x, y） y x y该方法特征描述相对简单，计算复杂度也比其他算法低很多，在检测效果以及检 测速度上是其他算法无法比及的。目前算法通过对大量正负样本进行特征提取、机器学习而实现，对于实际应 用场景中人脸偏转角度小于 30。以内的人脸都能准确快速的检测，我们通过对 200万包含正负样本的测试样本集进行检验， 其中FRR（漏检率）可以达到0.01% （万级别），FAR （误检率）可以达到0.001% （十万级别）

16、，对于大小为640*480 的图片，检测平均速度可以达到 70ms在国内处于顶尖水平。人脸识别技术人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用 摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人 脸，进而对检测到的人脸进行脸部的一系列相关技术，通常也叫做人像识别、面部识别。人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，它的唯一 性和不易被复制的良好特性为身份鉴别提供了必要的前提，与其它类型的生物识别比较人脸识别具有如下特点：非强制性：用户不需要专门配合人脸采集设备，几乎可以在无意识的状态下 就可获取人脸图像，这样的取样方式没有“强制性”；非接触性

17、：用户不需要和设备直接接触就能获取人脸图像；并发性：在实际应用场景下可以进行多个人脸的分拣、判断及识别；除此之外，还符合视觉特性：“以貌识人”的特性，以及操作简单、结果直 观、隐蔽性好等特点。人脸特征点提取是指对给定且已经对齐的人脸图片自动的计算出经过抽象且带有类别区分性以及类间区分性的特征。 人脸特征的好坏是整个人脸识别中最 重要因素。相似性计算是指计算数据库中模板人脸与当前抓怕人脸的距离，取一定阈值的距离来作为判断同一个人的依据。人脸对齐是指通过给定的人脸区域自动的计算出人眼睛，鼻子，嘴巴以及脸部轮廓的位置，计算出人脸偏转的角度然后自动的把人脸矫正到正脸位置。人脸对齐的准确性是影响人脸比对

18、成功率的一个重要因子。我们使用了基于深度学习的人脸识别算法，整个训练集达到 10万人次总计 800万训练样本。在LFWA脸识别数据库上，实现了 99.2% 以上国内顶尖的 准确率。系统结构系统组网系统由前端信息采集抓拍子系统、网络传输子系统和后端平台组成。实现对 通行车辆信息的采集、传输、处理、分析与集中管理，亦实现对过往行人的人像 采集、处理、分析等。前端信息采集抓拍子系统前端摄像机实现对车辆、人像综合信息的采集，包括车辆特征照片、车牌号 码与颜色、车身颜色、过往人像面部特征等。摄像机内置软件完成图片信息识别、 据缓存以及网传等功能。工控主机用作数据存储。网络传输子系统完成系统数据信息的传输

19、与交换。可通过 FTP方式将车辆图片、人脸图片、 车辆行人通过信息(时间、地点、车牌号码、车身颜色等)、设备监测数据等上 传到中心管理系统。后端平台完成数据信息的接入、比对、记录、分析与共享，亦可实现查询统计功能。 由服务器安装平台软件模块组成，包括：数据库服务器、管理服务器、应用服务 器、WebK务器和时钟服务器，图片通过视频存储服务器进行集中存储。其中， 数据库服务器安装数据库软件保存系统各类数据信息；管理服务器安装管理模块 负责系统综合管理；应用服务器安装应用处理模块负责数据处理、布控、比对、 报警转发、上下级通讯等；Wet务器安装Web Server负责向B/S用户提供访问服务；时钟服

20、务器安装 GP劭口 NT限时软件负责全网设备统一校时中心存储单元人像系统功能人脸检测抓拍在人行通道出入口架设人脸抓拍一体化摄像机， 前端摄像机对通过监测区域 的过往行人会自动抓拍一张人像，并会通过自主制定的优选策略选择角度最佳、 图像最清晰的人脸并且截取标准人像。同时人像信息会写入关联数据库。人像抓 拍准确率高达95%自动识别性别前端摄像机对通过监测区域的过往行人抓拍人像后，内置识别软件可自动识别男女性别，并将识别结果通过网络发送至后端平台。图像记录防篡改功能系统在前端摄像机对图片进行水印加密，也就是从数据的源头加密，防止在传输、存储、处理等过程中被人为修改，断绝了数据篡改的可能性。图片通过网

21、 络传输到中心管理服务器，中心管理软件自动对每一张图片进行水印验证，以保证数据的安全性和真实性。高清录像功能系统在支持抓拍高分辨率图片的同时，能实现 24小时高清视频录像功能， 分辨率不低于1920*1080。视频和人像、车辆信息关联，可以通过视频检索到人像和车辆图片，也可以 通过人像和车辆检索到视频。数据存储功能系统采集的车辆图片、人脸图片、高清录像等数据支持前端存储和中心集中 存储。前端存储设备包括抓拍摄像机内置的 SD卡和智能终端管理设备内置的大容 量硬盘，系统在前端即可实现数据的备份存储功能。中心存储是将数据保存在位于后端中心的集中存储系统，如大容量磁盘阵列等。数据FTP传输与断点续传

22、功能系统支持多种方式的数据传输：可通过FTP方式将车辆图片、人脸图片、车 辆行人通过信息（时间、地点、车牌号码、车身颜色等）、设备监测数据等上传 到中心管理系统；也可在中心通过网络调用或下载操控前端设备存储的数据。系统支持数据的断点续传：如因网络中断或其它故障，数据无法上传至管理 中心时，可暂时将数据存储在前端，待网络恢复后前端存储设备自动上传网络中 断期间的数据至管理中心。远程系统管理维护功能系统具备故障自动检测功能，能通过软硬件自动检测系统故障并恢复正常工 作。具有断电自动重启动、自动侦错报错、自动监测主要设备和主要运行软件的 工作状态等功能。系统具备权限管理功能，能够对不同对象分配不同类

23、型的使用权限。系统具备日志记录功能。可记录主要设备、网络状态和主要运行软件的工作 日志，还能记录设备或者网络状态改变（重启、或者重新连接） 、主要软件发生 重启或故障等事件日志。系统具有主动校时功能,24h内设备的计时误差不超过1.0s。系统具备远程维护及参数的设置等功能。五、后端管理平台系统框架后端管理平台中心业务处理框架图如下，数据从前端接收进来后分别由以下 服务器进行处理，然后经由客户端进行最终的操作：视班存储朋耆器数据接收服芳器比对晡器智能分析睇器客户端后端服务器简介1）视频存储服务器前端高清摄像码流通过数字网络传输， 在视频监控平台软件的管理下，直接 传输至视频网络存储服务器；视频网

24、络存储服务器内置第三方流媒体模块和录 像模块，实现前端摄像机的直写录像存储模式。 同时视频网络存储服务器支持内 置第三方回放模块，可以接收浏览客户端的回放指令并检索历史视频，然后通过 以太网络发送给客户端回放。2）数据接收服务器接收前端设备发送回来的车牌号码、人像数据和图片，保存到数据库中。3）比对服务器当中心系统的数据接收服务器收到各个监控点发送回来的车辆车牌号码及 人像后，实时地将数据进行融合存入比对服务器中，自动进行比对报警。如果比对符合，则向客户端发送报警信息。4）智能分析服务器实时视频分析：系统前端视频分析主机即可对多目标智能跟踪系统前端设备 采集的图像进行智能分析，当某些监控点是普

25、通监控设备，本系统后端管理平台 亦可支持对普通当中心系统的数据接收服务器收到各个监控点发送回来的数据 后，实时地将数据进行融合存入智能分析服务器中，智能分析服务器会对监控数 据进行分析，能自动分析出各种异常行为，包括非法闯入禁区检测、异常奔跑检 测、非法逆行检测、物品遗留检测、行为骤变检测、倒地检测、打架斗殴、人群 非法聚集等，如分析出行为类型，将会将结果向客户端发出报警信息。回放视频分析：系统支持对原始视频进行浓缩，实现快速的录像检索回放。 通过设置浓缩规则，智能分析如禁区入侵、通过绊线、人脸出现等行为，对原始 视频进行浓缩，并生成事件。满足设定规则的视频保留，没有发生事件的视频剔 除。并支

26、持视频浓缩播放，对发生了制定规则事件的视频正常播放，对没有发生 事件的视频快速播放，具体的播放速度可以定制。5）客户端显示服务器传回的数据处理结果，并进行操作。5.3客户端功能介绍功能架构客户端主要功能介绍视频播放系统支持播放前端传回的实时视频， 也可支持回放任意时间段、任意地点的 视频。并可根据不同的检索方式搜索视频。可以按分类选择只有车、只有人、有 车又有人的方式查看视频记录历史视频查询系统支持查询历史视频。可选择历史视频对某一监控点视频进行历史视频回放。首先选择需要回放的摄像机，然后选择回放时间段，该时间段不宜过长，最 好时半小时以内，然后逐段视频进行回放。点击确定后，系统会把该时间段的

27、时 问片段全部取出。图片和事件信息显示系统支持可根据图片查询到对应事件的信息，并在界面上显示事件详细信 息，如事件发生地点、时间、事件类型等。通过此功能可快速提取关键图片方便 公安刑侦人员对对应事件进行查看，快速寻找案件线索。图片和事件关联视频查询同时支持事件缩略图浏览，点击缩略图，可查看对应时间的原始关联图片和 关联小段视频。通过此功能可以有效较少冗余视频， 快速提取关键视频方便公安 刑侦人员对视频进行回放，快速寻找案件线索。建立重要案事件视频库监控图像信息与案事件信息有机组织构成案事件管理业务，方便案事件信息 与媒体信息、报警信息的对应关联与检索，为大情报分析、案事件等相关系统提 供基础资

28、源以及组织方式。将与案件有关的重要案件视频录像和抓拍图片和案件卷宗相关联，统一集中存储到公安案事件视频库中，案事件视频资料来源于接警记录、历史案件视频分 析记录，支持通过案件关键信息进行检索和调阅， 为公安各项警务工作提供辅助 研判资源和工具。黑名单布控报警系统可以手工录入或导入黑名单数据进行布控，当中心系统的数据接收服 务器收到前端发送回来的车辆车牌号码及人像后，实时地将数据进行融合存入数据库服务器中，与数据库和重点人员人像库搜索比对，若发现是黑名单车牌或嫌疑人，则向指定客户端发送告警信息包， 并联动报警。真正做到嫌疑人与嫌疑车 辆在城市里无立足之处。模糊图像处理使视频侦查过程中细节特征更清晰，系统支持视频图像增强功能，可选择突 出或抑制图像中的部分特征，通过低照度增强、去噪、去模糊、去雾等功能，使 图像与视觉响应特性相匹配，增强主观效果，使得画面更加的易于观看，方便公 安干警更加高效的选取重点关注视频进行分析。.支持多种图像处理算法，实现对视频、图片的色彩、去雾等智能处理。.支持对比度增强：支持对图像的自动对比度增强。.支持图像去雾：支持对雾天场景进行清晰化恢复， 包括轮廓清晰化、色彩 还原、对比度增大等。.支持图像锐化：支持增强对象的边缘和细节，在一定