人像识别系统在视频监控领域的应用

人像识别系统在视频监控领域的应用

一、视频存储规模随着武汉视频监控系统、智能城市等项目的发展，城市视频监控系统的摄像头数量显著增加。按照“圈、块、格、点”的布局原则,目前,武汉市局视频监控系统中公安自建的前端监控点达30000余个,视频存储规模达到20PB。特别是高清监控的广泛应用,使得人脸识别在数据采集上的阻碍大大减小,提升了人脸识别的质量,扩大了应用范围。人像识别系统利用视频图像分析、数据挖掘等技术,对公安关注的各类目标进行识别、定位、监控、追踪,提高了社会面动态管控能力。刑事侦破、社会治安、户籍管理、监所管理等公安用户,都可在现有数据的基础上通过人像检测、人像匹配、身份识别、人员关联搜索等技术,在身份核实、治安防范、人口管理、犯罪侦察、诉贪追逃、案底挖掘等各个层面提高业务管理水平,真正实现“智慧警务”的工作要求。二、云计算平台总体架构人像识别系统架构设计遵循“智慧警务”的总体架构,分为数据采集层、网络传输层、支撑平台层、业务应用层四个层次和云安全、云运维两个保障。系统总体架构如图1所示。三、系统功能设计(一)库内信息建模人像特征库分为基础库与专题库两大类并按期同步更新,其中人像基础库包括全市870万常住人口和300万流动人口,人像专题库包括全国20万在逃人员、全市1.5万重点人口、15万违法犯罪人员、看守所出所人员、拘留所出所人员、迷失人员、流浪乞讨人员、吸贩毒人员、驾驶员、出入境人员等。每个对象的信息数据包括人像照片、身份信息、人员类型等。获取到各类数据库的数据之后,需要对库内信息进行训练建模。训练建模的流程如图2所示,最终形成各类信息特有的特征库,如常住人口特征库、重点人口特征库等,为人像比对提供基础数据。(二)公共支持平台1.流动人口信息采集实现各关联业务应用系统相关数据的接入,如常住人口信息、重点人口信息、流动人口信息等,实现对这些信息的采集、清洗、存储、检索和同步等,并根据实际具体要求,按照标准对采集数据过程进行规范。2.人脸比对及共享基于人脸图像预处理、人脸特征值的计算提取、特征比对相似度计算、条件过滤等功能,实现人脸比对服务,同时提供共享接口,支撑与人像相关的业务应用。公共支撑平台还提供微/模糊人脸自动重建服务,提高人像业务应用效率。3.统一的服务标准化人像服务公共支撑平台内所有数据和服务均可共享,为上层应用提供支撑。平台在规划初期对新建服务进行标准化约束,服务按照“高内聚、低融合”的建设思路,对外提供接口,并按照具体需求对平台内的服务进行封装,实现服务的共享,同时为“智慧警务”云平台的扩展提供支持。4.对相似度结果进行重新排序通过智能排序分系统结合人员身份信息(如年龄、籍贯、前科信息等)及相关活动信息,对相似度结果进行重新排序,将犯罪嫌疑人的排名前移,掌握破案先机。5.应急信息的统一发布报警信息发布分系统作为整个人像系统的统一报警信息接收与发送平台,主要支撑人像各应用终端对报警信息的需求。6.动态环境建设1.人脸部件检测人像识别比对系统支持静态图片的一对一比对,将用于比对的两张图片分别上传至比对系统,手动或者自动定位人脸部件,并可通过人脸部件(眼睛、脸、眉毛、鼻子、嘴巴、下颚)过滤功能,比对获取两张图片的相似度值,为侦查办案提供参考依据。2.比对分析法人像识别比对系统支持静态图像的一对多比对功能,将用于比对的视频监控人脸截取处理后的图片载入人像比对系统,通过基本比对条件(年龄段、性别、籍贯、户籍地、民族)的限定,与系统内已有训练建模的各类人脸特征库(基本特征库、专题特征库)比对获取相似度值。比对结果以缩略图的形式按照相似度值的高低进行排序,为侦查办案提供参考依据。人像识别比对系统支持静态图像的多对多比对功能,以多张人脸图片或一类人脸特征库(基本特征库、专题特征库)与库内(基本特征库、专题特征库)图片进行比对,获取相似度值,为侦查办案提供参考依据。4.人脸图像重建人像识别比对系统支持动态微人脸重建、模糊人脸还原服务,将城市视频监控系统或其它途径获取的微小、模糊等人眼不能辨认、不能提取特征的人脸图像重建为系统可进行比对的人脸图像,与人像特征库进行比对,得到相似度值,确定嫌疑人身份信息,为侦查办案提供参考依据。5.所存特征库的录入人像识别比对系统支持人脸入库及查询功能,可将一张人脸图像通过手动方式输入人员基本信息(身份证号、姓名、性别、籍贯、户籍地等)及要录入的目的人脸特征库(常住人口、流动人口、重点人员等),系统即可自动将相应人信息存入指定特征库。系统同时支持查询功能,可手动输入一定条件(身份证号、姓名等信息),系统即可输出符合该条件的所有人员,供侦查人员甄别。6.白人名单人像识别比对系统支持白名单功能,可将特定人员基本信息录入系统的白名单库中,即可实现对特定人员的信息保护,不可查询。(五)识别门户监控人像门户网站立足全体民警,提供人像相关信息的发布共享平台。用户通过人像识别门户可以登陆人像识别应用服务分系统,进行各类人像比对操作,或登录在线培训考核分系统,进行人像识别相关培训和考核操作。通过门户网站,既可进行各类人像比对操作,也可在网站发布根据人像进行侦查破案的相关信息。四、系统特色(一)办案民警面临困难案件侦查业务中经常会遇到照片或视频监控场景里目标人物的面部图像像素较低、模糊不清、肉眼无法辨认的问题,常常让办案民警陷入困境。通过微/模糊人脸重建技术,将上述差、小、模糊面部图像进行还原,重建成可比对的图像,在人脸特征库中进行比对,协助民警缩小排查范围并最终确认目标人身份,如图3所示。该技术属于独创算法,是公安部门侦查破案的利器,多年来协助公安部门破获了多起重大案件。(二)响比对结果分析侦查破案过程中获取的人脸图像部分区域有时过于模糊或残缺,严重影响比对结果。针对这种情况,人像系统提供部件组合查询比对功能,在比对中选择性忽略某一部件或某些部件的组合(眼睛、脸、眉毛、鼻子、嘴巴、下颚),降低由于图像质量原因对比对结果造成的影响。(三)提高办案效率人像识别应用服务系统充分贴近公安实际业务工作,除各类人像识别基本功能和专业人像处理工具外,还为民警提供系统查询绿色通道、案事件资料库管理、对接视频监控系统等多项功能,实现与公安侦查破案业务的深度融合,提高办案效率。(四)串并案研判人像系统保存历史案件信息,包括涉案人员的照片,并支持通过人像比对进行串并案研判。在侦查破案过程中,每次提交的比对图像自动与案件资料库中的照片进行比对,如果发现提交照片与某个以往案件中照片的相似度较高,则目标可能是同一人,可以将该案件与匹配案件进行合并。(五)求调整计算、存储资源人像识别引擎采用分布式架构,可进行弹性扩展,根据性能需求调整计算、存储资源。系统采用管理节点与计算节点分离的结构,当性能需求提升时,可以通过追加计算节点的方式提高系统的计算能力,从而保证高并发、低延迟的特性,如图4所示。(六)系统的难题，如何解根据“前舱后云”理念设计的人像侦查舱属全国公安系统首创,它将解决以往公安信息化无法全面整合各种独立“烟囱”系统的难题。侦查舱是多网络、全信息、智能化、高集成的一站式人像侦查办案协同工作平台,接入了数据网、视频网、语音网、集群通信网和互联网等多种网络,整合了侦查办案所需各类关联信息,集成了人像识别应用服务分系统的所有功能,可以与技侦、网侦等相关业务部门协同工作,解决了侦查业务中“他是谁?他干过什么?他在哪里?”的关键问题。五、视频监控行业的应用实例(一)同案侦查对象为一中年男子、下穿黑色包某年某月某日,某地区发生一起拎包盗窃案件,受害人放置在车辆上的一个黑色提包被人拎走。经过视频追踪发现,嫌疑对象为一中年男子,上穿深色夹克衫(偏蓝色),下穿深色长裤,脚穿黑色皮鞋,盗窃受害人黑色包后徒步逃走。利用人脸识别系统对视频图像优化、模糊人脸还原后,成功关联比对出嫌疑人并将其抓获,如图6、图7所示。(二)监控图像不足,入扰案发现场某年某月某日,某地区一金店发生抢劫案,用时3分钟抢走7000多克黄金价值近300万元。由于作案人经过周密策划,动作迅速,案发现场没有留下太多线索,无法破案。通过调取案犯逃跑路线视频(监控录像)可以锁定犯罪嫌疑人的基本体貌特征,但是由于监控图像过小、辨识率低,无法判断嫌犯的真实面目,破案再次陷入僵局。一筹莫展之际,利用人脸识别系统对视频微人脸图像优化、重建后,关联比对出犯罪嫌疑人,据此将其抓获,如图8所示。(三)画犯罪嫌疑人的画像某年某月某日,武汉市发生一起故意杀人案,根据视频截图中的模糊人脸和目击人描述,办案人员请来三位素描画像专家进行人工画像,所画凶手画像分别如图9所示。经过案件侦查,通过人像比对辅助进行嫌疑人排查工作,将手工画像进行比对,最终锁定犯罪嫌疑人并将其抓获,如图10所示。六、业务数据的融合、挖掘目前,人像识别系统已经针对城市视频监控系统的人像重建、还原及比对需求建立了各类人像特征数据库,实现了部分非结构化数据的结构化处理,并与相关的业务数据进行关联、碰撞。未来几年,人像系统将进一步结合物联网、云计算等技术,将非结构化数据转换为结构化数据,在云中心实现具备社会面感知能力的控制流与公安工作数据信息流的碰撞融合,以此推动数据信息深度挖掘,拓展人像比对系统在城市视频监控系统中的应用。云服务系