某号线新增地铁人脸识别系统建设技术建议书

某号线新增地铁人脸识别系统建设技术建议书第1章概述近年来，随着高清视频监控系统在地铁里得到了广泛应用，如何充分利用现有的高清视频资源，为地铁公安工作提供更为高效、快捷的破案手段，为地铁运营、重点人员管理提供更直观、有效的数据参考，是现阶段高清视频应用领域需要完成的任务。人脸识别系统作为最直观、准确率最高的人类面部特征识别技术应运而生，是基于人的面部特征信息进行身份识别的生物识别技术。近几年来，公安部门在地铁内通过人工抽检的方式，抓获大量在逃犯。同时地铁运营方面，逃票、乞讨、发传单等影响地铁正常运营的行为也屡禁不止。地铁作为人们日常大量使用的公共交通工具，地铁内硬件设施完善、环境相对封闭、图像采集环境适宜、客流量巨大，是非常适合作为人脸识别系统进行数据采集的场所。1.1现状和需求分析人脸识别是一种生物识别技术，所谓生物识别技术就是利用人类固有的生物特征来进行身份验证的技术。人体生物特征可以按照先天固有和后天形成分为生理特征和行为特征两大类。生理特征包括人们常见的指纹、手纹、人脸、掌纹、视网膜、虹膜、DNA等等，这些特征都是人类与生俱来的。而行为特征则是后天形成的，包括签名、步态、语调语速等。相比于其他身份认证方式比如密码认证、证件认证，生物特征由于具有唯一性和不易伪造等优点，所以得到了广泛的应用。人脸识别就是利用人体的生物特征进行识别一种典型方式，相比于其他的一些生物特征识别方式，人脸识别具备以下一些优势：（一）用户容易接受，侵犯性低：其它的识别方法比如虹膜识别和指纹识别，都需要用户进行一定程度的配合。虹膜识别需要非常靠近识别机以便提取虹膜信息，指纹识别需要用户把手指放置到指纹识别机上。而人脸识别由于需要获取的是人脸图像，拍照与识别过程并不需要与识别机器做近距离接触，用户接受度高，侵犯性低。（二）易扩展性：其它识别方法往往需要专业的设备，而基础人脸识别功能只需要使用摄像头，依靠相关识别软件就可以实现，无需增添其它设备，性价比高，易于扩展使用。（三）直观性：人脸识别是利用人的面部特征来进行识别的，这符合实际情况下人类自身对他人身份识别的认知规律，直观性好。随着互联网，特别是移动互联网的发展，一个以信息爆炸为特征的大数据时代正在到来。现阶段，我国二代证的普及使中国目前逾13亿人的身份信息有了数码照片数据，平安城市联网的数百万台监控摄像机每天也产生着海量的数据信息，种种迹象表明，已经跨入大数据应用时代。公安系统中现有的人脸识别应用面临以下几个挑战：（一）对人脸识别的比对容量要求更大、精度要求更高目前公安的户政管理、出入境、刑侦嫌疑犯的身份识别等各类应用，需要基于全国人脸数据进行识别，处理的数据库容量上亿或十亿，处理的比对请求数量大、模式不统一，如何快速准确地从如此规模数据库中快速识别身份，是当前面临的挑战。（二）系统输入从单纯的静态图像扩展到动态视频近年来，全国各地公安机关大力开展视频监控系统建设，结合视频监控和人脸识别，实现犯罪嫌疑人的快速识别和实时布控，是提高视频监控效率的一条重要途径。然而，在视频监控环境下，人脸识别面临光线、角度、姿态、遮挡等一系列因素的影响，如何在复杂监控场景下保证人脸识别的准确性，是当前面临的挑战（三）重点人员实时预警传统的人员管控手段需要人为判断重点人员信息，然后根据信息线索做出主观的判断，会存在一定的偏差，而且无法及时根据重点人员信息发出动态预警，预警的时效性相对较差。采用基于人脸识别的布控系统，第一可帮助公安侦查人员快速识别和辨别特定人员真实身份，把过去难以想象的千万级的海量照片库比对需求变成现实，从而有效的为公安视频侦查、治安管理、刑侦立案等工作提供实战上的有效帮助和解决方法。第二可帮助公安侦查人员办案时候追查和通缉，真正从打变为防，能够极大的减少警力资源浪费和事故发生概率。1.2建设目标（一）重点人员实时排查布控公安关注重点人员包括：高危人员、特殊人员等。高危人员包括有全国在逃人员、全国违法犯罪人员等；特殊人员包括水客、涉恐涉案人员、涉毒人员、重大犯罪前科人员、肇事肇祸精神病人等。对所有进出地铁的人员通过人脸识别进行排查，当所布控的重点人员出现时及时识别并报警，提醒公安干警对其抓捕或采取相应措施。地铁运营关注重点人员包括：逃票人员、发传单人员、乞讨人员、盗用免费卡优惠卡人员等。当关注人员出现时，及时识别报警，提醒工作人员采取相应措施（二）快速人员检索人脸识别系统针对所有进出地铁的人员进行人脸记录，可以根据需要按时间、摄像机、人脸属性（年龄段、性别、是否戴眼镜、民族、是否微笑）等条件快速查询过人库中抓拍的人脸数据。支持导入一张人脸图片，检索指定时间、指定摄像机形成的过人库中满足一定相似度条件的过人数据，可以确认该名人员在指定时间段内是否在指定的摄像机前经过。（三）出行轨迹分析系统可支持导入一张人脸图片，根据时间段以及相似度阈值在全部的过人库中检索该名目标人员的历史抓拍记录，结合摄像机的位置信息，按照时间顺序在地图上绘制出该目标的出行轨迹，通过轨迹可以准确获取该名人员的活动范围、落脚点等有用线索第2章人脸识别系统组成2.1总体介绍动态人脸分析布控系统是一种针对动态运动的人流进行人脸抓拍、识别、黑名单比对报警的监控管理系统，应用视频监控技术、人脸识别技术，能对多路摄像头中的人脸进行实时检测、跟踪、比对。提供人脸抓拍、识别、黑名单报警等功能。通过网络将信息实时反馈至中心，进行数据处理和保存，指挥中心人员能够进行动态监管，及时掌握监控人员的运动轨迹，大大提升了视频监控的智能化程度。系统部署上为了保证数据安全，黑名单人员相关的库（如七类重点人员库等）通常需要部署在公信信息网，即在公安信息网中实现黑名单人员的比对业务。而人脸抓拍相机一般需部署在视频专网，所以整个系统的部署和应用分别由视频专网和公安信息网相关应用组件组成。在视频专网中进行人脸图片的存储以及人脸结构化与半结构化信息的提取，并通过接口服务器上传至公安信息网中，与公安信息网中的黑名单库进行比对，一旦发现相似人员，立即报警，并可检索该人员的人脸轨迹。公安信息网与公安视频专网间需部署安全接入边界。2.2逻辑结构系统逻辑结构自下而上由采集层、处理&存储层、应用层组成。采集层：根据不同的应用场景采用不同的前端采集设备（如人脸卡口相机、移动核查APP等），完成人脸图片的采集和上传。处理&存储层：由人脸结构化、人脸大数据、存储部分组成。对采集层上传的数据进行实时结构化分析、比对和存储应用层：为系统提供黑名单布控、人员轨迹刻画、统计分析、过人检索、设备管理、人像库管理、报警记录等功能，并通过统一的可视化界面进行呈现第3章地铁动态人脸识别系统整体架构设计组网架构本建设模式在车站警用专网进行人脸集中式建设，在各个车站建设人脸采集终端，通过专用视频网络将终端采集的人脸图片推送到公安分局写入存储设备并将人脸小图及大图URL链接进行人脸解析，分局中心人脸识别平台对人脸小图进行人脸特征数据提取，写入数据库，同时人脸特征数据及URL链接通过接口服务器推送至公安内网与布控库人员信息库进行比对，一旦黑名单人员出现，在分局内网客户端产生报警。此外根据地铁运营需要，地铁公司需要对其他人员进行布控时，可将公安专网中的人脸特征数据及图片URL链接推送至OCC控制中心进行人脸布控。第4章地铁动态人脸识别系统详细设计4.1前端采集设计4.1.1前端应用场景在地铁人脸识别系统设计应用场景选择通常选择在地铁进出站通道、换乘通道、进/出/双向闸机以及安检门等重点部位。针对不同安装位置优缺点分析如下：4.1.2安装环境要求1.通用要求安装位置：处于通道或者出入口的正前方。安装高度：建议2.5米~3米。监控区域宽度：建议0.8米~3米相机俯视角度：建议15度以内相机距离抓拍点的水平距离：和选用的不同镜头的焦距有关系，焦点在通道出入口，且人脸像素建议不小于120*120。为保证人脸可识别，行进距离应不小于2m，行进时间不低于1s，行人速度小于2.7m/s环境光要求：光照均匀，人脸左右两边的补光均匀（不偏暗或偏亮）。避免强顺光、逆光、宽动态、玻璃门反光场景，影响人脸识别。2.进出站、换乘通道部署要求Ø人脸检测器部署在通道正上方，水平偏转角度越小越好；Ø人脸检测器采用吊装方式，向下倾斜，垂直俯视角度α=10±3°；Ø覆盖宽度≤3米，人脸像素应≥120*120个像素点；Ø人脸检测器与行人之间无遮挡；3.闸机及安检Ø人脸检测器部署在闸机通道正上方，水平偏转角度越小越好；Ø人脸检测器采用吊装方式，向下倾斜，垂直俯视角度α=10±3°；Ø每个人脸检测器覆盖2个闸机通道，人脸像素应≥120*120个像素点；Ø人脸检测器与行人之间无遮挡；4.1.3前端技术要求人脸检测器采用高清逐帧检测/跟踪技术，自动扫描（检测）监测区域内的人员，使用高效的人脸检测算法，配合先进的目标融合、决策策略，实时定位出其中含人脸信息的区域，实现智能化的实时人脸检测、捕获、筛选。Ø实现对人脸进行识别抓拍，通过人脸评价算法筛选出最佳人脸图片传输至后端平台Ø摄像机分辨率不低于1080P，先进的H.265编码算法，压缩效率更高Ø采用状态辨识机理减少复杂背景的干扰。Ø可检测左右旋转≤30°，上下旋转≤15°的人脸；Ø人脸瞳距要求为60-80，且人脸像素不小于120*120Ø可检测宽度60像素以上的人脸；4.2人脸结构化分析模块设计4.2.1技术原理动态人脸分析布控系统的核心之一是人脸结构化分析模块，基于安防视频监控多媒体数据计算的特点，结合高性能GPU+CPU集群计算技术，采用分布式集群架构，充分考虑系统功能、质量和性能等因素，建设成一个经济实用、功能强大、质量优异、操作方便、接口丰富的人脸结构化分析系统。人脸结构化分析模块通过人的脸部上百个关键点定位，可对各种表情、姿态、角度丰富多变的人脸进行精准关键点定位，该子模块采用最新的算法，结合了深度学习的五官标定初始化，综合多个不同标准的多点数据集知识，使得同一个模型可以应用于不同数量的关键点检测，以保障更低的误差和更好的适应性。从而确保在人脸部分遮挡、化妆、大角度偏转、局部模糊、年龄偏差大、胖瘦变化、脸部表情变化的情况下进行精准数字描述。对由人脸抓拍相机/移动终端上传的人脸图片进行结构化建模，将人脸图片转换为结构化数字描述。采用先进的深度学习技术，基于深度学习理论的多层卷积神经网络（CNN），采用有感知机（Perceptrons）、BP（BackPropagation）网络、RBF（RadialBasisFunction）网络等人脸识别算法训练提升技术。进行神经元网络的持续改进，从而快速收敛，不断提升算法的精度，从而确保在人脸部分遮挡、化妆、大角度偏转、局部模糊、年龄偏差大、胖瘦变化、脸部表情变化的情况下进行精准比对，在比对命中后，自动报警。并对接收到的人脸建模结构化数据进行人脸特征比对，识别人脸的性别、年龄段、是否戴眼镜等人脸特征信息。4.2.2分析模式图片流分析模式图片流分析模式，前端相机抓拍人脸，后端服务器针对图片进行分析，对后端服务器计算压力相对不高，单台服务器处理性能高，单路建设低。但受限于前端处理性能在高人流场景使用时，容易造成前端漏拍情况出现，同时，前端传输除视频以外还需保证图片传输带宽，所以带宽要求会较高。4.2.3部署方式本方案设计采用分布式智能计算集群架构，采用“前端智能解析+后端识别”的模型。前端智能解析主要是针对前端人脸抓拍摄像机采用高清逐帧检测+跟踪技术，自动扫描（检测）监测区域内的人员，使用高效的人脸检测算法，配合先进的目标融合、决策策略，实时定位出其中含人脸信息的区域，实现智能化的实时人脸检测、解析、捕获、筛选，通过人脸评价算法筛选出最佳的人脸图片上传至后端人脸识别系统。后端人脸识别系统采用智能计算集群调度的模式，智能计算集群实现统一管理、智能调度。4.3大数据模块设计4.3.1技术原理从广义来讲，大数据涵盖广泛，海量的数据及应用即可理解为大数据，大数据涵盖的数据类型集中在安防相关领域，主要以视频、图像、物联网采集数据等信息为主，通过各种前端采集或通过数据对接采集到的上述数据，通过对原始数据进行结构化或半结构化后，存储在进行了深度优化和安防适配的Hadoop+Spark架构大数据系统中，满足行业的基础应用。总体架构如下图所示：存储层面：在Hadoop中，基于HDFS引入Hbase，做更适合于安防领域的图像、视频、文本等信息的结构化/半结构化数据的存储，使得数据的使用效率更高，有针对性的数据存储表结构设计，更适用于行业业务，提升数据整体读写性能。这是在Hadoop的存储层面做的优化改进。计算层面：在Hadoop架构中，MapReduce长期以来一直扮演着重要的角色，MapReduce由两个单词组成：Map和Reduce，它首先对输入的文件做Map操作，即将文件分为很多块，对每一小块做个映射关系，就好像对一个杂乱无章的文件做了一份清晰的映射地图一样，然后这些小块的文件再由分布式的计算资源做Reduce计算，最终给出计算结果，这两步简单的操作说来简单，但实际比较复杂。这期间，它们的一些中间计算结果都会存到HDFS/Hbase上，因此，对于一些需要反复迭代的计算，中间结果需要反复的从HDFS/Hbase中读取，效率就降低了。Spark也是一种并行的分布式计算框架，与MapReduce类似，但Spark的特点在于，它将中间运算结果放在内存上，基于内存的数据读取速度比文件系统上要快很多，因此，Spark基于内存的计算比MapReduce效率要提高很多。同时，Spark还增加了流数据处理、图数据处理等更高级的数据处理能力，这些特点都与安防行业，尤其是视频图像为核心的安防业务非常契合，因此，在Hadoop的基础上，引入Spark取代MapReduce，并继续有针对性的进行优化，不断的提升大数据整体处理性能数据交互：SparkStreaming顾名思义，它基于Spark优秀的血统，Streaming代表流数据，像流水一样的数据需要实时的处理。数据都有时效性，大数据可以处理历史数据，更要能够快速的处理实时数据，这正是SparkStreaming所擅长的事。SparkStreaming基于单位时间来处理数据，为了避免数据流的不稳定性，降低底层压力，采用kafka配合SparkStreaming，kafka是一种业界主流的分布式消息框架，它接收数据后将其进行排队形成消息队列后，再交给SparkStreaming处理存入Hbase，事实上它在上层起到一个类似缓冲的作用，将数据流变得稳定而有序的交给底层处理，减轻了底层压力，提升了数据处理的整体效率，数据来时，它先进入kafka消息队列，然后由kafka调用API发给SparkStreaming，通过SparkStreaming处理后存入Hbase里面。数据搜索：对于海量数据的搜索和读取，我们很自然的想到搜索引擎，ElasticSearch（下文简称ES）就是一个实时的分布式搜索和分析引擎，它可以用于全文搜索，结构化搜索以及分析。在Hadoop架构中使用ES，因为ES在建立索引以及实时搜索方面相对于Solr有着明显的优势。第5章系统应用功能设计5.1人员布控将前端捕获的人脸图像自动与黑名单中人员图像进行实时比对，当相似度达到阈值时触发报警提醒。用户在实时告警窗口上，当有告警的时候会在左侧告警列表实时刷新，右侧地图界面上报警点会在地图上相应点位显示一个红点闪烁提示。当有下一个点位实时告警时，会切换到下一个告警点，保证该点位在地图画面的中心。5.2轨迹呈现前端摄像机在平台上配置经纬度信息后，可以在地图上显示具体的摄像机的位置信息。导入一张人脸图片，设置检索时间段和相似度值，根据时间段以及相似度阈值在全部的过人库中检索该名目标人员的历史抓拍记录，结合摄像机的经纬度信息，按照时间顺序在地图上绘制出该目标的行走轨迹，通过轨迹可以获取该名人员的活动范围、落脚点等有用线索。该轨迹支持动态展示，即一个小人图标在该轨迹路线上按照时间顺序移动播放，轨迹播放倍速（1-100）可自由设置。当配置有地图服务器并导入路网数据时，过人轨迹可按照路网绘制，没有配置路网信息时，轨迹即为两个摄像机之间的连线。5.3过人检索可以按时间、摄像机、人脸属性（年龄段、性别、是否戴眼镜、民族、是否微笑）等条件查询过人库中抓拍的人脸数据，检索结果点击详情查看抓拍的全景大图，可以联动播放该目标抓拍前后10秒录像也支持导入一张人脸图片（支持本地导入或从名单库导入），检索指定时间、指定摄像机形成的过人库中满足一定相似度条件的过人数据，可以确认该名人员在指定时间段内是否在指定的摄像机前经过，返回