视频图像信息数据库建设方案

视频图像信息数据库建设方案

第号《关于深入贯彻落实公安改革第41项任务的分工安排（2015-2017年）》（公安部科技信息化局印发）《关于加强公共安全视频监控建设联网应用工作的若干意见》（发改高技〔2015〕996号）《关于加强社会治安防控体系建设的意见》（中共中央办公厅、国务院办公厅2015年4月13日印发）《关于深入开展城市报警与监控系统应用工作的意见》（公科信〔2010〕30号）《公共安全视频监控联网系统信息传输、交换、控制技术要求》（GB/T28181-2016）《公安视频图像信息联网与应用标准体系表》（GA/Z1164-2014）《公安视频图像信息应用系统第1部分通用技术要求（GA/T1400.1-2017）》《公安视频图像信息应用系统第2部分应用平台技术要求（GA/T1400.2-2017）》《公安视频图像信息应用系统第3部分数据库技术要求（GA/T1400.3-2017）》《公安视频图像信息应用系统第4部分接口协议要求（GA/T1400.4-2017）》《视频图像分析仪第1部分：通用技术要求》（GAT1154.1-2014）《视频图像分析仪第2部分：视频图像摘要技术要求》（GAT1154.2-2014）《公安信息通信网边界接入平台安全规范（试行）》（公信通〔2007〕191号）《关于公安信息通信网边界接入平台建设有关问题的通知》（公信通传发〔2008〕296号）《公安信息通信网边界接入平台安全规范（试行）—视频接入部分》（公科信〔2011〕5号）《城市监控报警联网系统技术标准》（GA/T669-2008）《视频安防监控系统技术要求》（GA/T367-2001）《安全防范工程技术规范》（GB50348-2004）《安全防范工程程序与要求》（GA/T75-1994）《安全防范系统验收规则》（GA308-2001）《安全防范系统雷电浪涌防护技术要求》（GA/T670-2006）国家颁布的其他相关法律、法规、规定项目建设的必要性建设意义目前的信息社会，数据特别是与人、物、车轨迹直观相关的视频图像数据还处于建设条块分割、应用参差不齐、运维滞后脱节的阶段，在一定程度上制约了视频资源的挖掘分析价值，如何全方位收集、保存、分析、共享、联动、维护、管理正在呈指数增长的视频图像数据，如何保证这些视频图像数据现在、将来的完整性和可用性，是当前公共安全综合治理方面的一个重要挑战。随着视频图像监控信息建设使用实践的不断深入，构建视频图像信息数据库，将视频图像信息打造成为动态化、信息化条件下支撑各项公安工作的重要基础资源，已经成为治安防范与社会治安防控体系建设的必然发展趋势。建设必要性公安视频图像信息数据库的建设是视频图像监控信息建设使用不断深化的结果，在汇聚人员、车辆等活动目标的结构化属性信息及图片信息的基础上，本系统除了实现对视频图像信息数据进行精细化管理外，还为实战应用平台提供数据服务及模型研发服务，并为公安各部门提供视频图像数据应用服务。满足公安视频数据多维度管理的需求公安视频监控系统产生的数据已不再是单一的视频数据，还包括图片数据、结构化属性及特征值数据，而这些半结构化的图片和结构化的数据，采用传统的视频管理方式已不适用，因此在后续的公安视频图像信息化建设过程中，基于GA/T1400-2017标准，对除视频数据以外的图片、结构化数据进行汇聚管理已成必然趋势。实现视频图像数据资源统一管理调度公安视频监控建设过程中，人脸系统、车辆系统独立建设导致视频图像等基础资源各自为政、无法互通共享，通过视频图像信息数据库对视频图像基础资源库的构建，统一汇聚管理前端设备采集到的人脸、车辆等图片，在将人/车图片进行分类管理的同时，可对基础资源的二次解析进行统一调度，按需将人脸/车辆图片推送给解析中心进行结构化解析；同时可将除了人脸、车辆以外，系统无法识别的人体图片、非机动车图片进行汇聚管理，依据解析资源及算法能力的情况，推送给解析中心进行人体结构化属性的提取。提高视频图像数据资源的应用效能将人脸系统、车辆系统产生的结构化数据进行汇聚，构建视频图像专题数据库，可有效打通人/车数据，通过聚类、比对、碰撞、分析等方式，构建一人一档、一车一档等业务模型，并通过统一接口，向公安实战平台/业务系统提供数据服务，并结合业务需求提供技战法模型定制服务，提高视频数据应用效能。与人脸/车辆系统的关系视频图像信息数据库包含视频图像基础资源库及视频图像专题数据库，其中，基础资源库用于汇聚、存储、管理前端采集设备的抓拍数据，而专题数据库中的结构化属性数据则需要通过解析中心的解析资源对视频图像数据进行结构化提取。其中，解析中心的解析资源根据针对的目标不同，可分为人脸解析资源、车辆解析资源等，分别对应原有的人脸系统、车辆系统中的解析能力，而人脸/车辆系统中的应用能力，则归属于公安视频图像信息应用系统（GA/T1400）架构中的应用平台。系统总体设计 总体设计视频图像信息数据库的建设，是将人脸、车辆、人体、案事件等价值线索统一管控，结合云计算、大数据技术运用，实现各系统内部、系统之间价值数据的比对碰撞、深入挖掘，并以智能应用为展现方式，服务于公安各项业务，使海量的信息数据真正成为实现预防预警、精确防控的源头活水，推动立体化治安防控体系建设，促进预警预防能力、打击犯罪能力、整体防控能力、基础管控能力显著提升。通过以上的设计理念，最终实现公安机关省、市、(区)县各部门均有的独立业务情报系统融合、分析并应用，产生更高的工作效能。视频图像信息数据库，通过汇聚在线采集设备的数据实现对基础图像资源的管理，并按需向解析中心提供基础图像资源，实现数据消费的可管可控；将解析中心解析得到的结构化数据汇聚整合，通过GA/T1400-2017标准向公安实战平台/业务系统提供统一的数据服务，提高视频图像数据的应用效能。视频图像信息数据库总体框架，如下图所示：视频图像信息数据库总体框架图如图所示，公安视频图像信息数据库参照公安视频图像信息应用系统（GA/T1400）的架构，通过对视频图像信息的汇聚与管理，构筑联结在线采集设备、解析中心、应用平台的视图库。在线采集设备统一接入共享联网平台进行点位管理，并将采集数据（即过人过车等数据）汇聚到视图库的基础资源库中进行统一管理；在基础资源库中，视图库将对人脸图像、车辆图像、人体图像等进行分类管理，并根据解析中心的需求，将对应目标的图像推送过去进行解析；解析中心将人脸图像、车辆图像、人体图像等进行结构化解析，得到人脸、车辆、人体等的结构化属性及特征值，并回传给视图库的对应专题库中；专题库汇聚解析后的人脸、车辆、人体、案事件等数据，并为应用平台（包括实战平台、业务系统、人脸应用系统、车辆应用系统等）提供数据服务。逻辑架构视频图像信息数据库逻辑框架图依托基础库、专题库，构建应用支撑层承载联网、查询与检索、布控与告警、订阅与通知、管理等功能，并细化对外接口，最后通过视图库资源平台对视图数据进行精细化管理。1）基础库包含人脸背景图片、人脸小图、车辆背景图、人体/非机动车背景图、人体/非机动车小图、案事件视频片段等。2）专题库按照人脸、人体、车辆、案事件等对视图数据进行分类管理，并通过索引关联基础库的图片及视频。3）应用支撑层涵盖GA/T1400-2017标准中涉及的所有应用功能。4）对外接口则是在应用支撑层的功能的基础上，细化服务接口，其中CRUD对应新建、查询、更新、删除的操作。5）视图库资源平台则是对数据进行统计展现，并提供查询、布控等功能。同时，视图库的设计完全符合GA/T1400-2017标准的要求，并构建完善的安全保障体系。数据流程公安视频图像信息数据库围绕“汇聚、管理、服务”进行设计，故针对这三个模块，设计如下数据流程：汇聚汇聚模块主要承担视图库不同数据来源的数据接入，包括前端采集设备/系统的数据汇聚、人脸/车辆系统的数据汇聚以及下级视图库的数据汇聚。其中，下级视图库的汇聚流程同样通过数据级联模块实现，将在联网架构中进行详细设计。视频图像信息数据库数据汇聚流程图通常来说，前端采集系统/设备的数据汇聚到视图库后，需要配合人脸、车辆等解析模块进行基础采集数据进行解析，最终形成机器可识别可用的专题库，具体汇聚过程如下：人脸抓拍设备、车辆卡口、视频卡口等采集设备或系统的人体/人脸/车辆图片接入视频图像信息数据库。人体/人脸/车辆图片分别存入基础资源库。过人/过车及其他信息按目标类型存入人脸专题库、车辆专题库、人体专题库。基础资源库的图片与专题数据库的数据通过Url及索引关联。数据级联模块获取过人过车信息。过人过车关联的图片根据Url下载，并与过人过车数据打包得到人脸抓拍数据/车辆抓拍数据。过人/过车数据通过数据级联模块给到人脸/车辆系统进行解析。人脸系统、车辆系统解析得到的人脸/车辆特征属性数据通过数据级联模块汇聚到视频图像信息数据库。人脸/车辆特征数据分别更新到人脸/车辆专题库。管理管理模块除了通过视图库资源平台对视图库进行基础统计、展现的功能外，还包括对视图库内的视频图像信息数据进行清洗、聚类，并提供模型的研发能力。其中，按照人员、车辆、人体等目标对基础抓拍数据进行清洗分类是视图库提供的基础功能。另有更进一步的清洗、聚类、研发能力，需结合用户业务需求，提交产品研发进行定制。本节将设计对人脸、车辆、人体的图片进行分类，并结合解析中心的解析资源，对视图库中的图片资源进行深度解析并聚类形成专题库。视频图像信息数据库数据分类流程图针对人脸/车辆基础资源库中的非人脸图片（即人体图片）、非车辆图片（即非机动车图片），将这部分图片进行单独管理，并将人体/非机动车信息给到人体专题库；同时，通过人体解析模块将人体/非机动车图片进行解析，二次结构化从而完善人体专题库。数据级联模块从人脸专题库、车辆专题库提取过人过车信息，并根据Url从基础资源库下载图片。数据级联模块将过人/过车信息及图片打包推送给人脸、车辆系统。人脸、车辆系统将接收到的过人过车信息进行筛选，将其中无法识别的人脸、车辆信息进行分类。人脸、车辆系统将无法识别的人体、非机动车目标的信息返回给数据级联模块。数据级联模块将人体、非机动车信息给到人体专题库。这些人体/非机动车图片通过人体解析模块进行二次结构化。得到的人体/非机动车信息更新到人体专题库。基础资源库与专题库通过Url进行关联。服务服务模块主要是提供面向第三方平台/系统的数据开放共享能力，包括数据的直接调用以及经过二次计算的数据结果的反馈等。视频图像信息数据库数据服务流程图数据服务主要基于视频图像信息数据库的检索查询、分析比对、轨迹碰撞等能力，对外提供数据服务。公安业务系统/实战平台向数据服务模块发送数据请求。以查询请求为例，数据服务模块向人脸/车辆/人体/手机特征专题库发送查询请求。专题数据库将数据查询结果返回给数据服务模块。数据服务模块将查询结果关联的图片从Url进行下载。这里可以看到专题库与基础资源库是通过Url进行关联的。数据服务模块将查询得到的数据与图片打包返回给公安业务系统/实战平台。联网架构根据部里对视图库建设的部署，要求部、省、市三级建设视图库，同时考虑到县级作为视频图像信息应用的最终端，故本方案构建部、省、市、县四级视图库联网架构，并依据前端采集设备/系统、解析资源多部署在视频专网的特性，而公安业务系统、部级视图库多部署在公安信息网，设计如下四级双网架构。视频图像信息数据库数据服务流程图同网级联针对同一个网络内（视频专网或公安信息网），存在下级视图库向上级视图库传递人脸/车辆/人体等的图片、结构化属性数据、模型的需求，如区县平台向市级视图库级联（视频专网内）、市级视图库向省级平台级联（视频专网或公安信息网）、省级平台向部级平台级联（公安信息网）等。下面根据是否上传图片进行分类设计。不传图片通过视图库网关，将人脸/车辆/人体的特征属性数据通过通知订阅的方式完成级联。eq\o\ac(○,1)下级视图库网关向大数据服务器的Kafka提取特征属性数据（其中包含图片Url）eq\o\ac(○,2)下级视图库网关将特征属性数据推送给上级视图库网关eq\o\ac(○,3)上级视图库网关将特征属性数据给大数据服务器的Kafkaeq\o\ac(○,4)上级应用平台使用特征属性数据时，可根据图片Url向下级云存储提取图片视图库网关的数据上传（无图）传图片通过视图库网关，将人脸/车辆/人体的图片及特征属性数据打包，通过通知订阅的方式完成级联。eq\o\ac(○,1)下级视图库网关向大数据服务器的Kafka提取特征属性数据（其中包含图片Url）eq\o\ac(○,2)下级视图库网关通过Url向云存储下载图片数据eq\o\ac(○,3)下级视图库网关将图片、特征属性数据打包推送给上级视图库网关eq\o\ac(○,4)上级视图库网关将数据拆分，其中特征属性数据给大数据服务器的Kafka，图片给云存储eq\o\ac(○,5)云存储完成图片存储后将图片对应的Url推送给大数据服务器的Kafka，更新原有特征属性数据中的图片Url视图库网关的数据上传（有图）跨网级联针对从视频专网向公安信息网传递人脸/车辆/人体等的图片、结构化属性数据、模型的需求，根据是否传图片进行方案设计。双网不通（摆渡模式）双网不通意味着用户无法通过Url跨网下载图片，即图片必须级联过去，否则接收侧在使用级联过去的数据时，将无关联图片使用。通过视图库网关，将人脸/车辆/人体的图片及特征属性数据打包推送进公安信息网。eq\o\ac(○,1)视图库网关向大数据服务器的Kafka提取特征属性数据（其中包含图片Url）eq\o\ac(○,2)视图库网关通过Url向云存储下载图片数据eq\o\ac(○,3)视图库网关将图片、特征属性数据打包推送进公安信息网eq\o\ac(○,4)公安信息网侧的视图库网关将数据拆分，其中特征属性数据给大数据服务器的Kafka，图片给云存储eq\o\ac(○,5)云存储完成图片存储后将图片对应的Url推送给大数据服务器的Kafka，更新原有特征属性数据中的图片Url视图库网关的摆渡模式双网通（端口映射）双网通意味着用户可以不级联图片，通过图片Url按需调用图片，可节省下公安信息网内重复存储的成本。双网通的情况下，图片不级联也不影响级联后的数据使用，但会遇到用户有级联图片的需求，因此这里分传图片和不传图片两种方案。不传图片通过视图库网关，将人脸/车辆/人体的特征属性数据推送进公安信息网，图片通过Url按需下载使用。eq\o\ac(○,1)视图库网关向大数据服务器的Kafka提取特征属性数据（其中包含图片Url）eq\o\ac(○,2)视图库网关将特征属性数据打包推送进公安信息网eq\o\ac(○,3)公安信息网侧的视图库网关将特征属性数据推送给大数据服务器的Kafkaeq\o\ac(○,4)当应用平台调用某条特征属性数据时，根据特征属性数据中的图片Url向视频专网侧的云存储下载对应图片进行展示应用。视图库网关的映射模式（不传图片）传图片通过视图库网关，将人脸/车辆/人体的图片及特征属性数据打包推送进公安信息网。eq\o\ac(○,1)视图库网关向大数据服务器的Kafka提取特征属性数据（其中包含图片Url）eq\o\ac(○,2)视图库网关通过Url向云存储下载图片数据eq\o\ac(○,3)视图库网关将图片、特征属性数据打包推送进公安信息网eq\o\ac(○,4)公安信息网侧的视图库网关将数据拆分，其中特征属性数据给大数据服务器的Kafka，图片给云存储eq\o\ac(○,5)云存储完成图片存储后将图片对应的Url推送给大数据服务器的Kafka，更新原有特征属性数据中的图片Url视图库网关的映射模式（传图片）系统详细设计视频图像信息数据库包括视频图像专题数据库及视频图像基础资源库，除视频图像基础资源库及人体、车辆、人脸、案事件专题库外，还拥有功能框架（应用功能、接口功能和管理功能），以满足数据访问、服务请求、上下级联等业务需求。视频图像信息数据库逻辑架构如图所示，视频图像信息数据库系统共包括如下几个模块：1）数据存储模块：包括汇聚视频图片的视频图像基础资源库，以及根据目标（人脸、车辆、人体、案事件等）分类存储管理的专题库。2）接口功能模块：包括采集接口、数据服务接口和级联接口。3）应用功能模块：包括检索、布控与告警、订阅与通知等功能。4）管理功能模块：包括存储管理、用户管理、设备管理、日志管理等功能。系统接口设计本次视图库系统将根据不同的功能及业务需求，设计采集接口、数据服务接口及级联接口。视频图像信息数据库与其他系统关系如图所示，视频图像信息数据库通过采集接口从人脸卡口、车辆卡口获取人车抓拍数据；通过级联接口或采集接口向人脸识别系统/车辆分析系统从视频图像信息数据库获取图片进行解析，并将结构化的数据通过级联接口返回视频图像信息数据库；通过数据服务接口为视频图像综合应用平台、其他公安信息系统提供数据或服务；通过级联接口实现上下级视频图像信息数据库级联。采集接口系统支持符合《公安视频图像信息应用系统》（GA/T1400-2017）标准的人脸抓拍数据/车辆抓拍数据接入视频图像信息数据库，其中人脸/车辆图片存入基础资源库，过人/过车抓拍信息存入专题数据库。级联接口级联接口是除采集接口之外，视图库数据汇聚接入的主要方式，支持本级人脸/车辆系统数据的级联汇聚以及下级视图库的数据级联汇聚。人脸系统数据级联接入系统支持符合《公安视频图像信息应用系统》（GA/T1400-2017）标准的人脸抓拍数据级联至异构人脸系统，由人脸系统解析得到结构化数据后，再将人脸结构化数据依据《公安视频图像信息应用系统》（GA/T1400-2017）标准，再次汇聚到视频图像信息数据库的人脸专题数据库。如图所示，人脸系统通过级联接口，向视图库发送订阅请求，视图库一旦产生新的人脸抓拍数据，实时推送给人脸系统；人脸系统将图片进行解析后，结构化数据通过级联接口接入人脸专题库。视图库与人脸系统的级联对接车辆系统数据级联接入系统支持符合《公安视频图像信息应用系统》（GA/T1400-2017）标准的车辆抓拍数据级联至异构车辆系统，由车辆系统解析得到结构化数据后，再将车辆结构化数据依据《公安视频图像信息应用系统》（GA/T1400-2017）标准，再次汇聚到视频图像信息数据库的车辆专题数据库。如图所示，车辆系统通过级联接口，向视图库发送订阅请求，视图库一旦产生新的车辆抓拍数据，实时推送给车辆系统；车辆系统将图片进行解析后，结构化数据通过级联接口接入车辆专题库。视图库与车辆系统级联对接下级视图库数据级联接入视频图像信息数据库逻辑上应分为车辆库、人脸库、人体库及视频图像基础资源库，包含车辆、人脸、人体/非机动车相关视图数据。针对下级视图库的数据，要求按如下标准推送人体/非机动车图片及结构化数据；同时对本级向上级汇聚图片及数据做了如下定义。数据对象及属性数据对象包括人脸数据、车辆数据、人体/非机动车数据，每条数据应包含对象信息、采集设备对象信息、图片信息、对象属性及特征值。相关对象属性信息参照《公安视频图像信息应用系统第3部分：数据库技术要求》中的要求。级联汇聚目标数据级联汇聚汉中市目标数据汇聚要求各市/县级目标数据采集设备部署在视频专网，各县级的目标图片和目标信息通过视频专网汇聚至市级。视频关联目标采集设备的基础信息中需要包含监控点编号，调用某目标采集设备点位的视频信息时可以通过调用共享平台接口的方式来获取点位关联的视频片段。服务接口视频图像信息数据库依据《公安视频图像信息应用系统》（GA/T1400-2017），设计有数据服务接口，用于向公安实战平台/业务系统提供告警布控服务、订阅通知服务、检索查询服务等。同时，通过能力开放平台向公安实战平台/业务系统提供扩展功能，如任务查询配置、统计分析、成效展示等。基础数据服务布控告警接口流程图基础数据服务包括布控告警服务、订阅通知服务、检索查询服务等，此处以布控告警服务为例，介绍视图库与异构应用平台之间的服务信令的交互流程。如图所示，基础数据服务接口支持视频图像信息数据库与公安实战平台/业务系统之间的布控告警信息交互，包括与本级的公安实战平台、公安业务系统的交互，或与上级视图库的应用平台的交互。目前，数据服务接口提供布控与告警的服务能力，支持按车牌号码、车型、车身颜色、人脸图片等进行本级或跨级布控，并可以接收告警信息。布控指令采用逐级下发的方式，布控后的告警信息逐级上报。扩展应用服务基于强大的视频联网及智能大数据服务能力，制定企业标准接口协议，向汉中市大数据应用中心提供能力开放服务，在基础数据服务的基础上，提供扩展应用服务，包括系统服务、人脸服务、车辆服务、人体服务。能力开放列表序号分类API名称描述1系统服务权限获取根据appKey获取加密appSecret、时间戳和加密时间戳。2获取监控点的信息包括组织树、监控点信息3获取视频流获取播放地址，可在VLC中播放，并依据安全机制，地址有效期为1天4人脸服务名单库操作对名单库、黑名单库、静态库进行操作，包括查询、删除、新增、更新5抓拍机操作查询、删除、新增、修改抓拍机信息6黑名单操作黑名单布防、撤防信息7检索1、静态库检索（可对导入的静态库人脸进行查询，支持以图搜图和身份结构化信息两种方式检索）2、抓拍库检索（可对抓拍的人脸图片进行查询，支持以图搜图和抓拍人脸结构化信息两种方式检索）8比对接口比对接口1V19实时获取人脸抓拍信息对接人脸存储模块，获取实时人脸抓拍数据流10人脸报警数据获取人脸实时抓拍数据topic信息11车辆服务车道卡口操作1、查询、删除、新增或修改单条车道信息

2、获取、删除、新增或修改卡口信息12查询过车数据查询过车数据13布控查询、撤销、新增或修改布控信息14人体服务查询接口人体大数据查询接口（可对抓拍的人体图片进行查询，支持以图搜图和抓拍人体结构化信息两种方式检索）15人体检测1、检测提交图片返回人体矩形框(若干个)/人体模型数据2、对检测出的人体建模及返回最终比对结果16解析任务操作1、获取任务状态

2、启动、删除、下发、暂停任务应用功能设计联网功能视频图像信息数据库具备注册、保活和注销服务功能，支持多级联网。查询与检索视频图像信息数据库支持按车牌号码、车型、车身颜色、人体