视图汇聚分析平台技术方案

视图汇聚分析平台

技术方案

目录

1概述.......................................................................4

1.1产品背景............................................................4

1.2需求分析............................................................4

1.3建设目标............................................................7

1.4建设依据............................................................7

1.5术语定义............................................................9

1.5.1视频专网....................................................9

1.5.2公安信息网...................................................9

1.5.3视频监控共享平台............................................10

1.5.4视频监控联网平台............................................10

1.5.5人像图像....................................................10

1.5.6人像特征数据................................................10

1.5.7抓拍特征库..................................................10

1.5.8布控特征库...................................................10

1.5.9静态特征库...................................................11

1.5.10人像图像附加信息...........................................11

1.5.11人像属性....................................................11

1.5.12场景图像....................................................11

1.5.13静态库......................................................11

1.5.14抓拍库......................................................11

1.5.15布控库......................................................11

1.5.16最佳人像快照...............................................12

1.5.17人像卡口...................................................12

1.5.18人像卡口摄像机.............................................12

1.5.19移动人像图像采集设备.......................................12

1.5.20人证比对图像采集设备.......................................12

1.5.21视频流人像图像采集设备.....................................12

1.5.22公安视频图像信息数据库.....................................12

2产品设计.................................................................13

2.1总体逻辑架构.......................................................13

2.2与其它平台的关系...................................................13

2.3总体架构设计.......................................................14

2.3.1省级平台架构描述.............................................15

2.3.2地市级平台架构描述..........................................17

2.4业务流图设计.......................................................18

2.4.1数据采集流图.................................................18

2.4.2视频网与公安网数据交互流图..................................18

2.4.3上下级数据交互流图..........................................19

2.4.4动态比对业务流图.............................................20

2.5核心技术介绍.......................................................20

2.5.1超大规模人脸结构化数据......................................22

2.5.2分层矢量化模型（人脸DNA）.................................................................23

2.5.3双层异构深度神经网络（人脸学习模型）........................24

2.5.4丰富的算法模块...............................................25

2.5.5双塔深度神经网络（大数据神经网络架构）....................26

2.5.6双模异构深度神经网络（大数据神经网络架构）.................27

2.6产品功能介绍.......................................................29

2.6.1登录系统.....................................................29

2.6.2应用中心/级联订阅............................................30

2.6.3数据中心.....................................................33

2.6.4任务中心/布控任务............................................35

2.6.5系统中心.....................................................36

3产品运行环境.............................................................37

4产品特点.................................................................38

4.1大规模数据接入....................................................38

4.2分布式部署能力....................................................38

4.3视图解析能力.......................................................38

4.4多维视图数据融合应用..............................................38

4.5对外统一服务接口..................................................38

4.6大数据云计算能力..................................................38

4.7丰富的贴近实战业务分析模型........................................39

4.8完全自主知识产权算法..............................................39

1概述

L1产品背景

随着我国平安城市、智能交通、雪亮工程等各项建设的持续开展，以及金

融、教育、物业等各行业用户安防意识的不断增强，视频监控市场近5年来一

直保持着18%左右的稳定增长。然而，大多数摄像头一直没能摆脱人工监控的

传统监控方式，由此导致了大量视频数据堆积占用存储资源、视频监控实时性

差、视频检索困难等问题。一旦有案件发生，海量摄像头带来的海量视频数据

检索工作需要耗费大量警力。

近年来，随着智慧社区、智慧城市等项目的大力建设以及实名制的有力推

广，产生了大量的基于人像图片的海量数据，由于每个项目由不同的厂家建

设，而且无统一的建设行业标准，使各类数据无法进行有效整合，使其形成数

据孤岛。视图人像资源需经智能解析处理后，形成人们便于理解的语义描述，

让能使海量视图数据“看得懂”，才能出海量数据中挖掘出有价值的信息，体

现出海量数据所带来的价值。

在国家大力推进“大数据”、“人工智能”等先进技术研发的背景下，利

用先进成熟的科学技术，享受科技成果带来的好处，达到“科技强警，向科技

要警力”的目的。

1.2需求分析

1）数据汇聚需求

数据汇聚是基于人像视图为基础汇聚相关人像数据资源，主要来源于酒

店、网吧、社区、地铁站等公共场所，从公安现有业务应用出发，这些数据主

要分布于互联网、视频专网、公安信息网中，通过分网分级汇聚后，统一汇聚

到公安信息网内，结合公安网内独有的涉密的人像视图资源，建立统一的人像

视图资源中心，为上层业务应用提供底层的基础数据支撑。具体内容如下：

■人像抓拍机

近年来，在地铁站、车站、火车站等场所，建设了大量人像抓拍机设备，

但由于设备厂家不一、建设时间、建设部门不同等因素，无法对人像抓拍数据

进行统一管理。通过建立统一的采集标准，对人像抓拍机的人像图片进行采

集，并经统一算法解析，对人像图片进行结构化处理，使各类抓拍机数据汇聚

融合，为上层业务服务。

■人证合一

在实名制大力推广的背景下，酒店、网吧等场所，利用人证合一设备对

人、证身份进行合一校验，通过建立统一的采集标准，对人证合一的人像图

片、身份图片进行采集，并经统一算法解析，对人像图片进行结构化处理，使

其数据达到汇聚融合。

■门禁数据

随着人们安保意识的增强，以及智慧社区的建立推广，建立了大量的智能

门禁大门，实现刷脸开门、手机开门等便捷方式，通过建立统一的采集标准，

对门禁的人像图片、开门信息数据进行采集，并经统一算法解析，对人像图片

进行结构化处理，使其数据达到汇聚融合。

■视频资源

天网工程、雪亮工程建设产生了大量的视频资源，不仅占用空间大，也不

便于视频研判排查。让视频流经统一算法解析处理，使其视频结构化，生成人

像图片与结构化描述信息，不仅减少了存储空间，同时也提高了视频研判的效

率。

■公安信息网数据资源

公安网内数据密级较高，主要以结构化数据、头像图片为主，利用智能解

析将头像图片结构化处理，可以与汇聚的人像视图数据进行有效融合，在公安

网内对人像数据进行深层次的应用。

2）视图智能解析需求

从海量非结构化的视图资源中，挖掘有价值的信息，需要耗费大量时间与

人力资源，但同时也不一定能达到预期效果。为了解决业务应用的迫切需求，

需对视频流进行结构化处理，识别出行人、车辆等目标信息，并能对行人的人

脸属性进行结构化，车辆的属性进行结构化，后期随着智能技术的成熟，还可

对动作等信息进行精确描述。

3）安全需求

数据安全是平台的基础，该平台作为数据汇聚服务平台，就显得尤为重

要。数据安全主要从保密性、完整性、可用性三个方面。保密性：对核心数据

进行加密处理，保证涉密数据的安全；完整性:数据传输过程中保证数据的完整

性；可用性：对汇聚的数据采用统一的数据标准，汇聚融合后的数据有统一的

数据标准，为上层业务服务。

4）共享需求

将人像视图数据汇聚融合后，打破了地域、部门的边界，在保证数据安全

的前提下，应最大限度的实现数据共享，发挥海量数据所带来的数据价值；同

时，也需要将视图智能解析的能力共享，为更多的上层应用服务，不断优化与

完善解析能力，更好与行业结合，为行业应用提供深层次的应用。

1.3建设目标

利用云存储、云计算、人工智能技术，汇聚门禁数据、人证合一数据、人/

车卡口数据等与人像视图相关的数据资源，建立统一的数据标准，使各类数据

有效融合，实现对海量视图数据的深度应用与数据共享，为业务应用提供基础

人像数据支撑，同时也为其提供视图智能解析处理的能力。

1.4建设依据

1.2012年2月10日公安部发布《全国公安机关视频图像信息整合与共享

工作任务书》（公科信［2012R1号）提出了各级公安机关要“建成一个共享平

台、完善一张传输网络、建立一个数据库、构筑四大保障支柱”，重点提出要

求逐步完善视频图像信息数据库的建设。

2.2015年5月13日国家发展改革委、中央综治办、公安部等九部委《关

于加强公共安全视频监控建设联网应用工作的若干意见》（发改高技（2015）

996号）要求：运用数据挖掘、人脸比对、车牌识别、智能预警、无线射频、

地理信息、北斗导航等现代技术，在充分考虑技术成熟度的基础上，加大在公

共安全视频监控系统中的集成应用力度，提高视频图像信息的综合应用水平。

逐步建立国家级和省级公共安全视频图像数据处理分析中心，深化视频图像信

息预测预警、实时监控、轨迹追踪、快速检索等应用。

3.2015年1月23日公安部《关于进一步加强公安机关视频图像信息应用

工作的意见》（公通字（2015）4号）要求：加快车辆识别、行为分析、人脸

比对、目标筛查等技术在视频监控中的集成应用，实时监控预警人员及车辆的

行迹追踪，实现视频快速检索。

4.2017年2月24日公安部《关于推进公安信息化发展若干问题的意见》

（公通字（2017）7号）要求：强化视频实战应用。构建视频综合应用平台，

加快车辆特征识别、人脸比对、行为分析等智能技术应用，实现对人员密集区

域、重点场所、要害部位风险隐患的自动感知、预警防范、目标追踪等，提高

视频图像技术的实战效能。

5.2017年4月全国公安装备建设“十三五”规划重点项目《全国公安视频

图像基础设施及应用系统》建设任务书要求：在公安信息网和视频专网内建设

部、省、市视频图像信息解析系统，提供专业的视频图像处理、分析、检索及

视频大数据分析服务。通过视频图像解析系统建设，实现对视频内容进行结构

化分析、信息提取，汇聚整合各类视频图像信息资源（包括监控视频资源、视

频结构化分析信息资源以及视频大数据分析相关业务数据等），并支持对视频

图像信息按预定策略进行比对、碰撞，对数据进行深层次、大区域、多维数据

挖掘和研判，为公安业务工作更加智能化地提供视频图像信息、目标特征等相

关信息。

6.2017年7月，国务院发布《新一代人工智能发展规划》，明确指出新一

代人工智能发展分三步走的战略目标，到2030年使中国人工智能理论、技术与

应用总体达到世界领先水平，成为世界主要人工智能创新中心。人工智能是让

机器拥有分析、感知等能力，可以模拟人类那样思考并做出反应。其中人脸识

别是人工智能学科中发展最快应用最广泛的一个分支,现已广泛应用于金融、公

安、政府、教育、等多个领域。人脸识别特指利用分析比较人脸视觉特征信息

进行身份鉴别的计算机技术，包括人脸图像采集、人脸定位、人脸识别预处

理、身份确认以及身份查找等一系列相关技术。人脸识别系统集成了人工智

能、机器识别、机器学习、模型理论、专家系统、视频图像处理等多种专业技

术，是生物特征识别的最新应用。得益于深度学习算法的迅速发展，人脸识别

精度已从以前的70%80%提升到现在的95%以上，在技术上已具备普及的条

件。随着技术的进一步成熟和社会认同度的提高，人脸识别技术将应用在更多

的领域。

相关政策性文件如下：

＞《中央社会治安综合治理委员会关于进一步加强社会治安综合治理

基层基础建设的若干意见》

＞公安部《公安计算机信息系统“九五”规划》

＞公安部关于城市报警与监控系统的建设、管理、应用规范性文件（公

安部科技信息化局汇编）

＞《关于深入开展城市报警与监控系统应用工作的通知》（公科信

[2010]27号）

＞《关于征求推进人口信息人像比对技术应用相关工作意见的通知》

（公安部三局）；

＞《关于加快推进人口信息人像比对技术应用的通知》（公治明发

[20121331号）；

＞《公安部部级人口信息人像比对系统（应用管理系统软件部分）项目

征求意见公告》；

＞公安部《“十二五”社会公共安全领域科技创新专项规划》；

＞公安部《公安信息化行业深度分析及“十二五”发展规划指导报告》；

＞公安部《关于进一步加强社会治安防控体系建设的指导意见》；

＞国家、公安部、省/区公安厅相关政策。

1.5术语定义

1.5.1视频专网

公安视频监控专网是指公安专用业务承载网络，独立于公安信息网（内网）和

公众互联网（外网），专门用于承载视频业务的传输网。

1.5.2公安信息网

公安信息网是独立的，不和社会互联网相连，用于公安收集保存和查询警

务数据的专用传输网络。

L5.3视频监控共享平台

是指建设在视频监控专网上，在视频信息标准化和规范化的基础上，依据

视频监控信息系统技术和传输技术，使视频信息和视频信息产品在不同层次、

不同部门信息系统间实现交流与共享的分析与管理平台。

L5.4视频监控联网平台

部署在公安信息网内、以GA/T28181-2016为联网标准、以实现级联联网

为主、提供视频监控综合管理服务的核心系统软件。

1.5.5人像图像

人像提取算法或人像抓拍设备从拍摄画面中提取的人像区域照片。

1.5.6人像特征数据

特征码是指人像识别系统对人像图像进行建模分析后提取出来的非结构化

数据。每个目标人的人像信息对应一个特征码，用来相互比对、检索。

1.5.7抓拍特征库

抓拍特征库是指人像识别系统对抓拍库内所有的人像图像提取一遍特征码

后，形成的特征码库。

1.5.8布控特征库

布控特征库是指人像识别系统对布控库内所有的照片提取一遍特征码后，

形成的特征码库。

L5.9静态特征库

静态特征库是指人像识别系统对静态库内所有的照片提取一遍特征码后，

形成的特征码库。

1.5.10人像图像附加信息

包括拍摄时间、拍摄地点经度、拍摄地点纬度、设备编码、人员身份信息

等及其他需补充描述的结构化信息。

1.5.11人像属性

经过人像识别算法结构化后可用于检索的属性信息，如性别、年龄等。

1.5.12场景图像

采集设备拍摄的完整画面，包含目标人及周围环境。

1.5.13静态库

是指由人像图像中的人像特征信息构成的数据库。包括人像比对特征值信

息，人像结构化属性信息、人像图片信息、身份信息。

1.5.14抓拍库

抓拍库是通过前端人像采集设备（包括视频监控摄像机、人像抓拍摄像

机、移动终端、人证核验设备、人像识别门禁、人像识别闸机等设备）采集的

人像图像及对应场景图汇聚而成的人像库。抓拍库包含人脸大图、小图、人像

属性、抓拍特征库等数据。

1.5.15布控库

布控库是指需要进行实时布控的重点人员库，例如全国在逃人员库等。

L5.16最佳人像快照

综合评估角度、清晰度、分辨率、表情、光照、遮挡等因素而获得的综合

最优的人像区域快照。

1.5.17人像卡口

装有对行人进行人像图像采集设备的控制点。

1.5.18人像卡口摄像机

安装在人像卡口点位上的摄像机，能准确检测过往人员，完成目标人像的

抓拍，输出人像图像。

1.5.19移动人像图像采集设备

利用人像识别技术，在移动终端视频图像中抓拍人像图像的设备。

1.5.20人证比对图像采集设备

用于酒店、网吧、旅馆等前台桌面式图像采集设备，通过采集图片与身份

证实现人证比对。

1.5.21视频流人像图像采集设备

用于接收摄像机采集的视频流，通过分析视频流，提取人像图像的视频分

析设备。

1.5.22公安视频图像信息数据库

用于存储视频图像信息的数据库，具有支撑公安视频图像信息应用的相关

基础服务功能，简称视图库。

2产品设计

2.1总体逻辑架构

人像视图数据汇聚解析平台由数据采集服务、分布式数据存储、人像视图

主题库、智能解析服务构成，视频数据遵照GB28181标准，社区数据、门禁数

据、人证合一数据遵照行业通用标准进行数据采集，对外遵照GA/T1400-2017

标准要求，提供数据服务接口。

亚务应用

人脸卡口■抓拍检索库库检索布控告警人员出入“进分析统计分析挂圉作战

抓拍库门禁库

集

分

分

数

群

布

布

据

状

式

式

健

态

计

存

康

管分布式存偌（结构化数据、非结构化数

算

储视图智韵展析引擎

管

理据、学结构化数据）

管

管

理

模

理

理

决

2.2与其它平台的关系

人像视图资源汇聚解析平台除了汇聚公安自有的人像视图资源外，同时还

需汇聚外部的人像视图资源，如：小区门禁、酒店人证合一等，汇聚的人像视

图资源与智能解析能力，为上层业务应用平台提供服务。人像视图资源汇聚解

析平台与其人像视图数据相关的平台进行对接，如图所示：

人像视图汇聚解析平台在公安网内主要与公安八大信息资源库对接，将八

大库中的人像视图数据进行智能解析处理，为后期案件研判、身份确认、以图

搜图等业务应用提供数据支撑。公安八大信息资源库包括：全国人口基本信息

资源库、全国在逃人员信息资源库、全国违法犯罪人员信息资源库、全国出入

境人员信息资源库、全国被盗抢汽车信息资源库、全国警员基本信息资源库、

全国安全重点单位信息资源库、全国机动车驾驶员信息资源库。

对接方式包括数据库直接对接、数据库间接对接和离线对接三种。数据库

直接对接需要对方数据库服务器ip地址、端口号、数据库用户名和密码，根据

通信接口或数据库表结构进行对接，获取数据库中的唯一性标识、姓名、身份

证号、人脸图片，直接对接无需额外的硬件服务器支持。数据库间接对接方式

需要单独一台硬件服务器作为中转设备，获取中转服务器ip地址、用户名、密

码，以及数据库版本，由中转服务器对接公安信息资源库。如果无法自动同

步，需要手动下载公安信息资源库人脸图片和相关信息，通过离线方式导入到

人像视图汇聚解析平台中。

2.3总体架构设计

人像视图资源汇聚解析平台建设主要分为数据采集、智能解析、数据存储

核心模块构成，数据采集主要负责汇聚各类人像视图数据资源，支持

restful.JDBC、XML等主流的数据采集接口形式；智能解析主要负责对视图数

据进行智能解析，形成可描述的结构化数据；数据存储主要负责海量数据存

储，包括结构化、非结构化、半结构化数据，三核心模块采用缓存与流式处理

技术，快速完成数据处理与数据交互，对外提供符合国标标准的服务接口，总

体的架构图如下。

2.3.1省级平台架构描述

2.3,1.1互联网平台架构描述

省级互联网的人像视图资源汇聚解析平台的主要作用是：

＞汇聚门禁、酒店、网吧等重点场所的人像视图资源，包括人脸结构化、

人像视图、采集点位信息等，汇聚市级互联网平台推送上来的人脸小图、

人脸特征值和结构化信息。

＞已和公安网建立了数据交互的用户，可直接通过安全边界将人脸结构化、

人脸小图、人脸特征值推送至省厅公安网内平台；其余单位需将人脸结

构化、人脸小图、人脸特征值通过安全边界推送至省厅视频网内平台。

＞对外业务应用系统提供数据与解析能力接口。

A接收专网的数据请求指令，按需将人像原图或视频片段，通过安全边界

同步至相应的专网平台内。

视频专网平台架构描述

省厅视频专网人像视图资源汇聚解析平台的主要作用是：

＞汇聚互联网平台推送的人脸小图、人脸特征值和结构化信息；包括人脸

结构化、人像视图、采集点位信息等；解析处理省厅平台视频联网/共享

平台的原始图片与视频流，保存人脸结构化、人像视图、采集点位信息

等；汇聚市级视频专网平台推送上来的人脸小图、人脸特征值和结构化

信息。

＞对外业务应用系统提供数据与解析能力接口。

＞接收省厅公安信息网传递过来的布控指令，并将该布控指令和布控数据

通过视频专网下发至市级视频专网平台。

＞接收公安信息网的数据请求指令，按需将人像原图或视频片段，通过安

全边界同步至公安信息网平台内。

公安信息网平台架构描述

省厅公安信息网人像视图资源汇聚解析平台的主要作用是：

＞对接各警种现有的人员信息数据库，建立各类静态专题人像库，如常住

人口库、在逃人员专题人像库、机动车驾驶员信息专题人像库、违法人

员专题人像库、涉毒人员专题人像库、出入境专题人像库、治安专题人

像库、刑侦专题人像库、情报专题人像库、交警专题人像库等，其中在

逃人员专题人像库等重点人员库可用于全省动态布控。

＞生成全省特征值布控库（基于在逃库建设），并通过边界将布控库发送至

省厅视频专网平台中，并由其下发至市级平台布控比对。

＞对外业务应用系统提供数据与解析能力接口。

A汇聚省级视频专网平台推送上来的人脸小图、人脸特征值和结构化信息。

＞向视频专网发送原始视图请求指令，并接收其返回的原始视图数据。

2.3.2地市级平台架构描述

互联网平台架构描述

地市视频专网人像视图资源汇聚解析平台的主要作用是：

＞汇聚全市门禁、酒店、网吧等重点场所的人像视图资源，包括人脸结构

化、人像视图、采集点位信息等。

＞对外业务应用系统提供数据与解析能力接口。

＞接收视频专网的数据请求指令，按需将人像原图或视频片段，通过安全

边界同步至视频专网平台内。

＞将本级互联网平台汇聚的人脸小图、人脸特征值和结构化信息推送至本

市的视频专网平台。

视频网平台架构描述

地市人像视图资源汇聚解析平台的主要作用是：

＞汇聚互联网平台推送的人脸小图、人脸特征值和结构化信息；包括人脸

结构化、人像视图、采集点位信息等；解析处理省厅平台视频联网/共享

平台的原始图片与视频流，保存人脸结构化、人像视图、采集点位信息

等。

＞对外业务应用系统提供数据与解析能力接口。

＞接收省厅视频专网下发的布控指令，并将该布控告警结果推送至省厅视

频专网平台。

＞接收省厅视频网的数据请求指令，按需将人像原图或视频片段，通过安

全边界同步至省厅视频网平台内。

2.4业务流图设计

2.4.1数据采集流图

数据汇聚主要以非结构化视图数据与结构化数据为主，视频流数据经智能

解析算法，形成图片数据，并存储在视图数据模块，将解析后的特征向量值，

存储进半结构化库中，解析后的属性信息储存入结构化数据库中。图片经智能

解析算法后，将提取到的特征向量数据存储入半结构化数据库中，解析属性储

存入结构化数据库中。

2.4.2视频网与公安网数据交互流图

视频网将经解析服务提取到的人像图片、人像特征向量、结构数据通过安

全网闸的数据链路摆渡至公安网的存储库中，原始的场景图片在视频网中保

存。

公安网内以消息信令的方式对视频网内的数据进行请求，原始背景图片通

过数据链路返回至公安网内；视频录像通过视频链路以视频流的方式返回至公

安网内。

2.4.3上下级数据交互流图

平台具有分网分级部署，各平台间利用接口服务实现数据汇聚与级联检

索，实现各平台间是交互应用，从而实现数据的完全共享。考虑到带宽的因

素，减少数据传输中对带宽的影响，对原始的抓拍视图采用就近存储的原则，

同时也支持按需进行上级汇聚，既满足上级平台的需求也减少数据传输量，上

级平台可利用级联接口对下级平台内的原始视图进行调用，做到有目的性调

阅。交互流图如下所示。

2.4.4动态比对业务流图

上级人像视频资源汇聚平台将所需下发黑名单人员库的数据下发至下级平

台的黑名单人员消息中心，下发的数据内容包含：姓名、图片、身份证编号、

特征值向量等，下级平台可根据需要消费消息中心的数据内容，下级平台将告

警数据推送至本级的报警消息队列中，上级平台消费下级平台的推送的报警数

据，实现报警数据的上报，从而形成布控指令下发、告警消息上报的流程，如

图所示。

2.5核心技术介绍

理论、数据、模块：“铁三角”构筑人脸识别技术核心优势。算法核心优

势可以如下形象解释：

1）双层异构深度神经网络理论就像我们建立了一个类人的大脑，具有比较

强的学习能力;

2）超大规模结构化数据就像经过人类无数年智慧结晶形成的语文、数学、

物理知识；

3）模块就像教育学生的软件资源，把知识梳理成体系，可以让学生系统的

学习，随之将学到的知识更好的应用。

模块

富

丰的

法

算模

体

块系

理论、数据、模块：“铁三角”构筑人脸识别技术核心优势

三个方面相辅相成，数据跟模块叠加，通过双层异构深度网络来训练，就

可以得到一个基础的人脸识别算法最强大脑。再利用非结构化数据做大量的专

业训练，金融行业用金融场景人脸数据，安防行业用安防行业数据，就使得算

法各有所长。在各个方面都能够专、精、尖。

2.5.1超大规模人脸结构化数据

人脸结构化数据库定义：

人脸标签信息丰富

对于一张人脸图片而言，具有其人脸图片的以下内容的部分标签或全部标签

信息：

人脸检测信息：人脸数量、人脸坐标；

蟋化数据vs非懈化瞬

人脸空间信息：俯仰角、旋转角、偏航角；

ID非结构化数据

人脸关键点信息：眼睛、鼻子、嘴、脸部轮廓坐标；牌——只有ID信息

0.

人脸属性信息：年龄、性别、人种等；

人脸表情信息：微笑、悲伤、闭眼、惊讶、愤怒、正常等；

人脸遮挡信息：墨镜、帽子、口罩等；

人脸身份信息：姓名、ID

一个ID多结构标签图片

对于一人多张人脸图片而言，具有架构化的标签人脸图片组合；

例如：数据库有张三同一时间同一地点同一表情不同角度的人脸图片集合;

也有同一时间同一地点同一角度不同表情的人脸图片集合；

多人多张结构化标签图片

研究院具有全球首创的结构话数据采集

阵列，从2012年到2015年间共采集建立1000

人总计1500万张以上的人脸结构化数据库。

阵列特点：

1）可移动、可拆卸、全天候、多角度、多

场景、毫秒级同步

2）现场（通道、广场、大厅）实景拍摄

3）采集超过1500万张

2.5.2分层矢量化模型（人脸DNA）

单层的特征编码的流程图

为了解决深度神经网络需要大量数据的问题，我们提出了分层矢量化多媒体

信息表达体系。分层矢量化实际上是一个多层的特征编码的过程。一个单层的特

征编码由以下几个步骤组成：首先，对图片库里所有的人脸图像进行分块；其次

对每块区域提取局部特征（如LBP、SIFT）形成局部特征描述子；然后，对所有局

部特征进行量化形成字典；最后，根据字典信息和人脸图像的映射，编码形成人

脸图像的特征向量，我们定义该特征向量为人脸DNAo

人脸DNA特征能够很好的描述特定人脸的不变量，该特征对人脸光线、角度、

表情以及各种图片噪声具有一定的抗干扰性，再由双层异构深度神经网络进行优

化与学习，人脸的区分性更强，识别效果更佳。

举个例子：我们认一个人，最简单的从这个人的身高、体型出发、发型等来

判断是谁（认知第一层）；更深一层从这个人的人脸、骨骼、虹膜、指纹来确认

这个人的身份（认知第二层）；更深层次，我们可以通过这个人的DNA来确认这

个人的真实身份（认知第三层）。所以认知一个人，随着逐层深入，一层比一层

更加可靠。

人脸DNA类似，在计算机人脸识别过程中，我们可以将人脸的最外在特征眼

睛大小形状（丹凤眼、浓眉大眼等），鼻子形状（鹰钩鼻、平鼻），嘴的大小形状

（樱桃小嘴）理解成第一层；可以将眼睛的距离，五官的位置，脸的轮廓等理解

成第二层；将人脸信息更抽象，提炼出人脸不随光照、角度、年龄等影响的特征，

就是更深的层，我们定义为人脸DNA。

2.5.3双层异构深度神经网络（人脸学习模型）

H女场景人龄

双层异构深度神经网络示意图

为了将两张照片映射到同一特征空间中进行比较，在异构深度神经网络基础

上，我们提出了双层异构深度神经网络模型。此模型中每层都是一个深度网络（分

别以两张照片为输入），在训练时采用二分类损失函数并对两个网络中对应权值

的差异性进行正则化，可实现不同图像空间到相同特征空间的映射。在特征空间

中，相同身份人脸图像的类内差异变小，而不同身份人脸图像的类间差异变大，

从而增强了特征的判别性。

以人证合一为例：人的证件照要和现场的抓拍照或者普通照片上的人脸进行

比对，我们不能直接拿来比对，这样因为年龄、光照等各种信息影响，识别不准。

我们应该将证件照送到深度神经网络的一层，现场照送到深度神经网络的另一层,

两张照片通过两层不同的网相互交换信息（年龄差距、角度差距、光照影响等），

逐渐的去掉这些对人脸识别不利的因素，将两张人脸照片映射到同一个可比的空

间再进行比较。（例：要比较山东的苹果和川西的苹果哪个好吃，最好把它们都

运到同一个地方，由同一个人来品尝，给出最佳答案）

2.5.4丰富的算法模块

对于一个完整的人脸识别系统而言，从一开始的视频图像解码、人脸检测到

最后的人脸特征匹配、识别策略等，每一个环节都具有许多算法模块需要研究,

每一个流程里许多模块又需要相互协同配合。只有具备丰富全面、一流高效的算

法模块积累，才能够发挥整个人脸识别系统在识别率、速度上的优势。类似于木

桶效应，最后的成就取决于最短的那块板子。

具有十年的计算机视频图像处理与模式识别算法积累，在人脸识别算法模块

上也从2011年就从中国科学院开始研究并取得许多成果。

深度学习

关键点角度估计

解释学习

对象"立

跟踪特征对“3D旋正

对象主

问/月

分类

识别i

算法识别

检测策略光照规整

模块策略

图像度量

规整关键点学习

信息

活体检测融合检测i年龄识别

属性聚类性别识别对偶学习

归纳学习

2.5.5双塔深度神经网络（大数据神经网络架构）

在大数据人工智能匹配场景中，为了将匹配对象A和B（如人脸轨迹和MAC

轨迹）进行最精准的匹配，需要针对所有A和B的组合进行配对预测，这样会

引入巨大的运算量需求和过长的响应延迟：比如100万MAC数据和1万张人脸

抓拍图片，需要100亿次inference做配对预测。这不仅对算力提出了苛刻的

需求，也大大加长了整个推荐系统的响应时间，因此往往不适用于实际工程环

境。

双塔深度神经网络正是针对此难点做出的工程化创新。如算法命名所示，

该神经网络分为A、B双塔，每座塔是一个独立的神经网络，双塔各输出一个指

定大小的特征向量Va和Vb,Va和Vb通过最后的距离层转化为匹配分，衡量A

和B的匹配度。在实际运用中，A塔输入为关于A的特征集，B塔输入为关于B

的特征集，因此Va和Vb实际上是A和B实体在高维向量空间中的投影，在实

际系统实现过程中，将人脸对象和MAC对象的时空关联关系作为实体投影，其

关联紧密度决定了匹配精准度。

运用双塔深度神经网络，上文中提到的工程化难点迎刃而解。因为双塔深

度神经网络的匹配度预测，转化成Distance(Va,Vb),我们可以简化距离计算

为简单的点乘运算，因此对于上文中的例子，采用双塔网络，其计算量转换

成：

100万次A塔inference得到100万个Va+1万次B塔inference+100

亿次点乘运算。这相对于100亿次神经网络inference是一个巨大的运算量节

省。另外，大部分推荐场景下，Va和Vb的计算都可以离线进行，即不算入推

荐系统的响应延迟，因此使用双塔网络也可以大大降低系统响应延迟。

除了对象匹配场景，双塔深度神经网络还可以用于用户日志挖掘、案事件

知识图谱、事件风险管控、关注人员行为预判等多种其他场景。

2.5.6双模异构深度神经网络(大数据神经网络架构)

在大数据人工智能领域，传统算法如决策树、逻辑回归、随机森林、支持

向量机等，都存在其固有缺点。例如，决策树算法，对于数据分布的稳定性要

求非常高，一旦数据分布发生偏移，模型表现会急转直下；单纯使用逻辑回归

算法，其信息提取和拟合能力较差，因此往往需要和决策树等算法多级联合运

用。而且传统算法还存在一个共同的明显缺点，既对特征工程要求较高，需要

数据分析师对原始数据中的很多信息进行人工提取，做成特征，这些算法才能

基于这些特征进行模型训练。这些特征，要么对原始数据进行时间窗统计，要

么对稀疏数据进行集中和集成，因此各高科技公司都组建了庞大的数据分析团

队，对原始大数据进行了复杂且规模庞大的数据处理，这对人力、算力和管理

能力都提出了高需求。

针对这种情况，在传统算法和传统神经网络基础上进行了工程优化和创新

融合，设计了双模异构深度神经网络，该网络兼具传统算法解释性高、专家控

制力强的优点，和神经网络信息提取能力和非线性拟合能力强的优点，并考虑

到大数据的稀疏本质，专门为此添加了自动化的稀疏特征提取组件。

■出JR

双模异构深度神经网络，分为宽度部分和深度部分，宽度部分为逻辑回归

组件，深度部分是神经网络组件，分别对数据中的规律性信息和推理性信息进

行提取；最后，宽度部分和深度部分，以及专家输入部分，通过统一的逻辑合

成层生成预测结果，并和标定数据进行误差和梯度计算，同步反向传播回深度

和宽度部分进行迭代直至收敛。

双模异构深度神经网络的深度部分，又分为两个部分，分别是处理密集型

特征的全连接NN,和处理稀疏数据的稀疏特征向量提取组件，两个部分的输出

再次通过全连接层汇成最终输出。

稀疏特征向量提取组件，对稀疏数据进行多步骤处理，分别是映射、池化

和组合。每一维度原始稀疏数据，例如，某用户创建的所有经验大数据技战法

模型ID,经过映射生成多个（但是比技战法模型ID数量少很多）向量，再经

过池化，形成唯一的一个特征向量；多维特征向量经组合层生成tensor,输入

全连接神经网络与密集特征部分提取的tensor进行相互作用，从而形成最终的

神经网络预测。映射层在神经网络建立时被随机初始化，映射矩阵在训练过程

中，会根据梯度反馈不停进行迭代，直至收敛；池化和组合层是参数可配置

的，可选平均、最大值、最小值、点乘、拼接等多种池化和组合方式。

使用双模异构深度神经网络，不需要对原始数据进行规模巨大的特征工

程，因为该神经网络自身，其稀疏特征向量提取组件就具备强大的特征化能

力，其提取出来的特征向量，是原始数据中隐藏信息的高维空间表征，这些向

量不仅仅对本场景有效，而且往往可以直接作为另外一个场景神经网络训练的

特征输入。因此使用双模异构神经网络，可以大大节省数据处理团队的工作

量。

在技战法大数据建模的模型效果层面，双模异构深度神经网络大大超越传

统大数据算法，并大幅超过单纯的全连接神经网络。

2.6产品功能介绍

2.6.1登录系统

登录

拿到视图汇聚分析平台安装部署后的使用地址（可询问安装部署人员、或

者视图汇聚分析平台管理人员），例如这边拿到的视图汇聚分析平台地址是

http://192.168.10.32:WOOL打开谷歌或者IE浏览器,输入视图汇聚分析平

台地址。登录页面如下。

输入平台账号、密码登录。（平台管理员账号admin,初始密码是

123456)

柳・汇聚分析平台至A

■n

您郎*dm«n

■

0

s任B中心SMfSAS《快It号航

9MH>O

、/质权信IB正审

a

&S-m?RBWasm

•正常•正彳■，00B

KU9&KKM6

fait*汇皂

B/ia

■A&KKA人俘象心ea1&*««itKAJie**■©・

47120.209o676446,166

修改密码

1、平台右上角点击登录的账号，在显示的内容项中点击“修改密码”，或

者点击菜单栏“用户中心”-“密码管理”，即可进入更改密码页面（注意：新

密码不要与旧密码一致）。

4m口（分析平台

Q•贞

密码管理

■«WH>

口»MrH>

三任期2'

0*«W«O

AW*R>.

A

&»ww»

2、密码修改成功后，将返回到登录页面，用户需要使用新的密码登录后才

可继续使用。

2.6.2应用中心/级联订阅

级联订阅支持实现对其他平台的级联，支持订阅和推送两种方式。

订阅管理支持平台对其他平台进行订阅，从而获取其他平台的信息。

推送管理支持平台将信息推送给其他平台。

订阅和被订阅关系说明如下：

被订阅方：将原始数据转发给订阅方。

订阅方：向被订阅方请求订阅数据，接收转发过来的数据。

订阅管理支持平台对其他平台进行订阅，从而获取其他平台的信息。

新建订阅

(1)进入【应用中心】-【级联订阅】点击【新建】

新增订阅X

M造？S要订阅的系统：・协议类型：私育陆议

*订阅时间周期：，通知"：［FTP

«是否芽网：公;「一，睡典：

，款指类型：像现设缶人证设备□终选设备所有谀蕾抓指教弟

人像库人像集告要记录

取消确定

(2)输入正确的订阅信息，选择订阅的系统以及传输协议，同时选择订阅授权的信息，完

成后保存完成订阅的建立。

2.6,2.2新建推送

(1)进入【应用中心】-【级联订阅】-【推送管理】点击【新建】

新增推送