应急管理数据治理技术规范

目次

1范围6

2术语和定义6

2.1数据治理6

2.2数据接入6

2.3数据处理6

2.4数据管控6

2.5数据服务6

2.6数据服务总线6

2.7数据运维6

2.8数据库6

2.9元数据6

2.10数据元7

3数据治理总体框架7

4数据治理技术规范体系8

5数据接入8

5.1数据读取8

5.1.1概念8

5.1.2功能8

5.2数据对账9

5.2.1概念9

5.2.2功能9

6数据处理9

6.1数据探查9

6.1.1概念9

6.1.2功能9

6.2数据定义10

6.2.1概念10

6.2.2功能10

6.3数据提取11

6.3.1概念11

6.3.2功能11

6.4数据清洗11

6.4.1概念11

6.4.2功能11

6.5数据关联11

6.5.1概念11

6.5.2功能11

6.6数据标识12

6.6.1概念12

6.6.2功能12

6.7数据比对12

6.7.1概念12

6.7.2功能12

7数据管控12

7.1数据分级分类12

7.1.1概念12

7.1.2功能13

7.2数据质量管理13

7.2.1概念13

7.2.2功能13

7.3数据资源目录13

7.3.1概念13

7.3.2功能14

7.4应用资源目录14

7.4.1概念14

7.4.2功能14

8数据服务15

8.1查询检索服务15

8.1.1概念15

8.1.2功能15

9数据服务总线15

9.1.1概念15

9.1.2功能15

10数据运维16

10.1.1概念16

10.1.2功能16

3

应急管理数据治理技术规范总体技术要求

刖百

本技术规范性文件由中华人民共和国应急管理部科技与信息化司提出并归口。

本技术规范性文件为系列文件，第一批印发10个分册，包括：

应急管理数据治理技术规范：总体技术要求

应急管理数据治理技术规范：数据接入技术要求

应急管理数据治理技术规范：数据处理技术要求

应急管理数据治理技术规范：数据管控-分级分类技术要求

应急管理数据治理技术规范：数据管控-数据质量管理技术要求

应急管理数据治理技术规范：数据管控-数据资源U录技术要求

应急管理数据治理技术规范：数据管控•应用资源目录技术耍求

应急管理数据治理技术规范：数据服务-查询检索服务技术要求

应急管理数据治理技术规范：服务总线技术要求

应急管理数据治理技术规范：数据运维技术要求

本技术规范性文件起草单位：应急管理部科技和信息化司、应急管理部通信信息中心、

杭州数梦工场科技有限公司。

本技术规范性文件主要起草人：赵志刚、韩冬雪、张卫伟、张新菊、江海燕、翟璐璐、

刘阳、万钧、许阳、王鹏、秦巍巍、贺娟娟、王波、姜英雷、周文明、史磊。

4

应急管理数据治理技术规范总体技术要求

引言

本技术规范性文件用于指导全国各级应急管理部门数据治理平台的建设，预期读者包括

全国各级应急管理单位科信部门、各单位信息化部门、大数据运营管理部门、大数据分析建

模等方面的人员，以及参加应急大数据建设厂商的相关人员。

5

应急管理数据治理技术规范总体技术要求

1范围

本技术规范性文件规定了应急管理数据治理技术体系，功能要求以及相关系统的边界。

本技术规范性文件适用于全国应急业务大数据、运维大数据等治理，指导应急大数据平

台建设及相关平台系统的对接。

2术语和定义

2.1数据治理

数据治理是通过建立数据标准，进行数据处理，消除数据不一致性、提高数据质量，实

现数据的广泛共享，并助力数据应用于业务、管理、决策中，使数据资源能够充分发挥其价

值。

2.2数据接入

数据接入是指利用数据接入方法和技术，完成数据从源头接入到数据资源池的过程。

2.3数据处理

数据处理是按照数据定义，针对规模巨大、类型多样、高速流转、复杂多变、质量参差

不齐、价值密度高低不一的大数据特性，以数据应用为导向，通过规范化的处理，提升数据

价值密度，为数据智能应用实现数据增值、数据准备、数据抽象。

2.4数据管控

数据管控是对数据资源生命周期的规划设计、过程控制和质量监督。

2.5数据服务

数据服务是指各类数据资源对外提供的访问和管理能力。

2.6数据服务总线

数据服务总线由请求受理、服务路由、协议转换、服务调用、管理及监控功能构成，数

据服务总线的数据服务在服务资源目录注册。服务资源目录将目录下发给数据服务总线实现

服务资源的定位和寻址。

2.7数据运维

数据运维指对数据治理系统的基础设施、作业调度及数据进行监控和管理。

2.8数据库

数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机

内的、有组织的、可共享的、统一管理的大量数据的集合。

2.9元数据

定义和描述数据的管理控制类数据。

6

应急管理数据治理技术规范总体技术要求

2.10数据元

也称数据元素，通过定义、标识、表示和允许值等一系列属性描述的数据单元。数据元

是描述数据的最小单元。

3数据治理总体框架

按照“数用分离，智能驱动”的思路，构建符合大数据发展的应急管理数据治理体系，

实现从数据接入、处理、存储、应用等全生命周期的治理。应急管理数据治理建设内容概括

为在统一信息资源规划下，利用数据接入、数据处理以及数据管控三个系统实现应急管理业

务数据的汇聚、治理，形成统一大数据资源池，利用数据服务和数据服务总线对外提供数据

共享交换、数据应用两大类服务。

数据服务总线

数据服务

数据资源池

数

数

数

据

据

据

运

处

知管

维

理

识控

摩

数据接入

内郃机关单0S«单位塔方■厅其他政而故】社会的S互联物

图I:应急管理数据治理技术体系总体框架

数据接入：是实现多源异构数据接入的核心模块，完成数据从源头接入到数据资源池原

始库。

数据处理：通过规范化的处理，提升数据价值密度，包括数据探查、数据定义、数据提

取、数据清洗、数据关联、数据标识、数据比对。原始库数据经过数据处理的加工融合进入

到资源库、主题库和专题库。

数据管控：是对数据资源生命周期的规划设计、过程控制和质量监督，包括数据标准管

理、元数据管理、资源目录管理、数据质量管理、数据分级分类。

数据运维：数据运维管理是指通过采集数据接入、管控、处理和服务等各项任务的状态

信息,对异常状态进行预警和处置,实现对各任务的实时监控和管理。

数据资源池：是指根据数据应用需求，实现数据资源分类建库，包括原始库、资源库、

主题库、专题库、知识库、元数据库。

数据服务：是指各类数据资源对外提供的访问和管理能力，包括查询检索服务、比对订

阅服务、统计分析服务、数据推送服务、数据汇聚服务、资源目录查询服务。

数据服务总线：由请求受理、服务路由、协议转换、服务调用、监控功能及管理功能构

7

应急管理数据治理技术规范总体技术要求

成，数据服务总线的数据服务在服务资源目录注册。

4数据治理技术规范体系

息体jg数蔻穆入数空处理敷露篁校敢檐奥源地［敷履最多效昆总线数即埴数理g理

H

f

M

$技

7

J某一微印发第二批印发

图2：应急管理数据治理技术规范体系

应急管理数据治理技术规范体系包括总体技术要求、数据接入、数据处理、数据管控、

数据资源池、数据服务、数据总线、数据运维、数据管理等9部分。

5数据接入

数据接入技术主要包括数据读取和数据对账，其中数据读取包含读取方式管理、工具模

块适配、断点续传和规则管理。

5.1数据读取

5.1.1概念

数据读取主要功能是从源系统抽取数据或读取源系统推送的数据并完成数据接入工作。

对各种异构数据进行必要的解压操作。生成作用于数据全生命周期的记录IDo

应按照标准化模块管理的方式，建立可适配的多源异构数据资源接入模式。

5.1.2功能

数据读取的功能包括以下方面：

a）数据接入管理：按照标准化模块方式建立可适配的多源异构数据接入模式。支持以

插件方式对接入能力进行扩展；实现对接入任务的调度与控制，及其运行状态的监

控：输出接入日志，用于接入环节的对账，以及接入效果评估：

1）适配管理：支持对各种数据存储方式的接入适配，支持网络和分布式文件系统、

关系型数据库、非关系型数据麻、文件共享服务器.数据访问接口、消息总线、

安全边界接入等多种数据采集方式。支持接入通过音视频监控器、物联网传感

器、二维码采集器等感知技术采集的各类动态信息。支持接入各种结构化数据

以及常见格式半结构化和非结构化数据。支持实时、离线和全量、增量等多种

接入模式：

2）任务管理：支持多种数据接入任务的编排和调度；支持数据接入运行状态的监

8

应急管理数据治理技术规范总体技术要求

控；

3）多通道管理：建立跨网络、跨安全域、跖平台的数据安全接入通道，为应急管

理各内部机关单位、其他政府部门、社会单位、互联网的数据抽取汇聚提供接

□通道：指定数据读取位置和方式，支持被动接收和主动拉取两种数据获取方

式。

b）数据解压：支持对使用常见压缩算法的数据进行解压，支持包括RAR、ZIP、GZIP、

LZ4等常见的压缩格式；

c）断点续传：当源端或者目的端数据库重启或网络故障等原因导致的数据接入过程中

断时，通过对故障的恢复以后，接入任务应根据上次中断的位置进行继续传输，保

证数据不丢失。

5.2数据对账

5.2.1概念

数据对账是针对数据接入环节，对数据提供方和数据接入方在某一对账时间节点数据的

完整性、•致性、正确性进行核对和校验的过程。如果在某•对账时间点，数据提供方和数

据接入方对应的数据条数不一致，则记录对账异常，并在必要时进行告警。

5.2.2功能

数据对账的功能包括以下方面：

a）日志读取：读取数据接入日志：

b）对账分析：根据接入日志，对接入数据在指定对账时间范围内进行统计，并与数据

提供方提供的对账信息进行分析。支持数据同步检查和校验功能，并输出详细FI志：

c）对账异常处理：对账出现异常时，记录异常日志及出现异常的数据，并反馈告警信

息；

d）对账服务：提供对账分析接口服务、异常告警接口服务、U志及统计信息查询服务、

异常数据查询服务等，供数据运维等系统调用。

详细内容见分册《应急管理数据治理技术规范：数据接入技术要求》。

6数据处理

数据处理技术主要包括：数据探查、数据定义、数据提取、数据清洗、数据关联、数据

比对♦、数据标识等，为数据服务提供支撑。

6.1数据探查

6.1.1概念

数据探查是指通过规则对数据进行探测，从数据业务含义、字段格式语义、数据结构、

数据质量等多个维度进行分析，以达到认识数据的目的，为数据定义提供依据。

6.1.2功能

a）业务探查：对原始表的业务含义进行探查，更准确地理解和把握数据：

9

应急管理数据治理技术规范总体技术要求

b）字段探查：对具体字段的数据内容进行探杳，识别其代表的含义和统计分布情况。

主要包括：

1）空值率探查：统计字段空值占比情况。一方面可重点关注空值率高的重要字段，

另一方面可通过与历史情况比较及时发现数据质量的动态变化；

2）值域及分布探查：对字段的值域范围以及分布情况进行探查；

3）类型及格式探查：对字段数据类型和数据格式进行探查，形成的探查结果为数

据定义提供输入；

4）命名实体探查：通过探看识别字段内容中身份证号、统一社会信用代码、MAC、

手机号码、电话号码、呻政编码、邮箱、IPV4、IPV6、经度、纬度、主体身

份代码、码表、日期、日期时间、组织机构代码等命名实体，可为数据处理中

数据清洗环节提供数据处理依据。

c）数据集探查：对数据集的数据规模进行调查，获取探套数据的数据总量、数据记录

数等情况：

d）问题数据探查：探查字段中不符合规范的数据，给后续数据清洗规则的制定提供依

据。

6.2数据定义

6.2.1概念

数据定义是数据处理和数据管控在业务层面的数据识别和定义，包括：数据格式定义、

数据类目定义、资源目录注册、数据分级分类定义、数据清洗策略定义、数据关联策略定义、

数据比对策略定义、数据标识策略定义、数据质量核检规则定义等。

6.2.2功能

数据定义的功能包括以下方面：

a）数据格式定义：根据数据探查中业务探查和字段探查的结果，建立源数据中原始字

段项与标准数据元的映射关系，以及原始字典代码集与规范化字典代码集的映射关

系：

h）资源目录注册：根据数据格式定义的结果，将数据资源注册到数据资源目录中：

c）数据提取策略定义：指从来源数据提取所需数据策略的定义；

d）数据类目定义：对于接入到资源池的数据要定义数据类目来组织接入的数据，接入

的数据类目要遵循一定的规范，如按数据来源部门进行类目定义、按数据结构方式

进行类目定义、按数据所属业务域进行类目定义等；

e）数据清洗策略定义：根据数据格式定义要求及业务需求，定义数据的清洗策略，以

生成满足标准及质量要求的数据；

0数据关联策略定义：按照业务需求，定义数据的关联策略，为后续数据处理提供策

略支撑：

g）数据比对策略定义：按照业务需求，定义数据的比对策略，即明确比对源与比对目

标之间的比对条件：

h）数据标识策略定义：按照业务需求，定义数据的标识策略，明确数据标识时所使用

的规则；

应急管理数据治理技术规范总体技术要求

1）数据质量核验规则定义：指定义数据资源的质量核检规则。

6.3数据提取

6.3.1概念

数据提取是根据数据定义的结果，从源数据中提取出目的数据。

6.3.2功能

根据数据种类不同，数据提取可分为结构化数据提取和非结构化数据提取。

a）结构化数据提取：源数据和目的数据的格式均为结构化数据。主要是根据数据组织

或业务需要，按照数据定义中的数据映射关系、运算规则等数据提取策略，对■数据

进行格式映射、转换及整合，获得目的数据：

b）非结构化数据提取：非结构化数据包括办公文档、网页、文本、图像、音频和视频

等。这些数据需要进行结构化提取才便于进一步的计匏和使用。

6.4数据清洗

6.4.1概念

数据清洗是指根据数据定义结果进行数据过滤、去重、格转、校验等操作，生成满足质

量要求的数据.

6.4.2功能

数据清洗的功能包括以下方面：

a）过滤：通过对信息进行辨别和分离，实现冗余及垃圾信息的滤除。主要包括：基于

规则的垃圾数据过*成和基于样本数据的垃圾数据过滤。被识别为冗余或垃圾信息的

数据标识后，交由后端模块进一步处理：

b）去重：在各类场景下设定相应的数据重复判别规则以及合并策略，对数据进行术复

性辨别，并对重复数据进行合并处理。

c）格转：根据数据元标准把非标准数据转换成统一的标准格式进行输出，将不同来源

的同类数据按照统一规则进行转换。

d）校验：根据数据质量检核规则对数据进行检验，符合标准的数据直接入库，不符合

标准的数据可进入问题数据库以便进一步分析处理。校验主要包括数据的完整性校

验、规范性校验、一•致性校验等。常用的校验规则有：空值校验、取值范围校验、

公民身份号码等校验、数值校验、长度校验、精度校验等。此外，还有更为复杂的

业务规则校验等。

6.5数据关联

6.5.1概念

数据关联是根据数据和数据间的关系进行逻辑上的关联。

6.5.2功能

数据关联的主要功能包括关联回填和关联提取：

a）关联回填：通常是将不完整的日志数据与其他知识数据、业务数据进行关联，并将

应急管理数据治理技术规范总体技术要求

关联的信息回填到日志数据，提升数据的关联及价值。

b）关联提取：根据主题数据定义，对各类数据资源中的业务要素和关联关系进行提取。

6.6数据标识

6.6.1概念

数据标识基于知识库，利用数据处理引擎对数据进行比对分析、模型计算，并对其打上

标识，为上层应用提供支撑。

6.6.2功能

数据标识的功能包括以下方面：

a）规则解析：解析规则，获取相应的参数信息：

b）规则路由：根据规则指定执行平台，根据打标类型、数据分布、系统可用资源等智

能选择合适的执行平台；

c）规则编译：编译生成执行平台能够识别的打标任务：

d）规则执行：使用对应的执行平台执行打标任务，包括任务调度、状态反馈等。

6.7数据比对

6.7.1概念

数据比对是指在数据处理过程中，按照规则对数据进行相同比较或相似度计算，对于命

中规则的数据，支持按照输出描述进行输出。

6.7.2功能

数据比对功能主要包括结构化数据比对和非结构化数据比对：

a）结构化数据比对：通过将比对目标与比对源指定字段的取值进行比对，实时发现比

中信息;

b）非结构化数据比对：通过将比对目标与非结构化数据匕:对，在非结构化数据中实时

发现比对目标相关信息。

详细内容见分册《应急管理数据治理技术规范：数据处理技大要求》。

7数据管控

数据管控是对数据资源生命周期的规划设计、过程控制和质量监督，通过规范化的数据

管控，可实现数据资源的透明、可管、可控，理清数据资产、完善数据标准落地、规范数据

处理流程、提升数据质量、保障数据安全使用、促进数据流通与价值提炼。

数据管控主要包括数据分级分类、数据质量管理、数据资源目录等。

7.1数据分级分类

7.1.1概念

数据分级分类是通过描述数据的多维度特征和内容敏感程度，为定制数据资源的开放和

共享策略提供支撑。根据数据内容的敏感程度对数据资源进行定级，按照数据级别控制数据

资源的使用范围。从数据资源种类、数据项敏感度等多个维度对数据资源进行分类，按照数

应急管理数据治理技术规范总体技术要求

据类别控制数据资源的使用范围。

7.1.2功能

数据分级分类管理的功能包括以下方面：

a）数据分级分类管理：支持敏感级别规则的管理，支持根据数据集或数据内容设定敏

感级别：支持数据来源、业务领域、主题信息、数据内容、逻辑存储方式和数据格

式的分类管理，支持可视化管理：支持向数据资源目录提供服务接口:

b）数据授权管理：支持对分级分类的数据，按照用户、角色进行授权；支持按照业务

流程中的角色或者业务办理事项进行授权：

c）数据分级分类审核审批：支持数据分级分类的审核审批管理。

详细内容见分册《应急管理数据治理技术规范：数据管控-分级分类技术要求》。

7.2数据质量管理

7.2.1概念

数据质量管理是指通过建立数据质量评估标准和管理规范，及时发现、定位、监测、跟

踪、解决各类数据质量问题，形成数据质量问题的闭环处理，以保证数据质量的稳定可靠。

7.2.2功能

数据质量管理的功能包括以下方面：

a）数据质量规则管理：支持数据质量规则的定义管理；基于行业特性，进行规则库的

建设，包括技术类和业务类规则。技术类数据质量规则不涉及数据的业务含义，其

基于实际的数据的取值情况，进行统计分析得到稽核结果：而业务类数据质量规则

则根据实际业务逻辑情况进行数据稽核：

b）数据质量核验：对所关注的数据执行数据质量规则的检测任务，可根据质量需求，

配置不同的检查规则，制定对应的数据质量检测任务，在数据接入、提取、清洗、

转换、关联等阶段，对处理过程中的数据进行实时数据质量监控：针对存储中的数

据，通过任务作业调度的方式，对数据进行数据质量评估。

c）质星分析及报告：基丁质星核验任务所产生的问题数据及统il数据，并结合质量规

则权重、评估指标权觅，采用加权平均和法，统计出数据资源的质量分；通过可视

化的方式，展示数据资源的质量情况：输出质量报告。

d）问题处理及跟踪：基于数据质量核验过程中记录的问题数据，实现问题数据的反馈，

跟踪问题数据的处置情况，保证问题数据的闭环处理，并在此基础上逐步进行数据

质量知识库的积累建设。

详细内容见分册《应急管理数据治理技术规范：数据管控•数据质量管理技术要求》。

7.3数据资源目录

7.3.1概念

数据资源目录是指按照统一的应急管理数据资源目录标准规范，对应急管理数据资源进

行统一管理，实现数据资源科学、有序、安全使用。主要包括数据元管理、资源分类与编目、

目录注册与注销、目录更新、目录同步、目录服务和可视化展现。

应急管理数据治理技术规范总体技术要求

7.3.2功能

数据资源目录管理的功能包括以下方面：

a）数据元管理：对应急管理数据资源涉及的数据元及数据字典进行更新、查询等操作。

支持查询服务接口；

b）资源分类与编目：按照应急管理数据资源目录标准规范，对数据资源池中存储的数

据资源进行梳理，并赋予唯一的目录标识符和编码；

c）目录注册与注销：由资源所属单位在本级数据资源池的数据资源目录管理模块中填

写数据资源信息，审核、审批通过后完成资源注册。当数据资源暂时失效时，停用

相关数据资源目录。当数据资源恢复使用时，重新启用相关数据资源目录。当数据

资源彻底失效时•，注销相关数据资源目录；

d）资源目录更新：当数据资源发生变化时，对资源目录进行更新：

e）资源目录同步：本地数据资源目录发生变化时，下级目录需向上级目录进行汇聚，

上级目录需向下级目录分发；

0资源目录服务：支持用户按照权限查看数据资源目录，支持根据数据资源目录相关

属性和数据项进行数据资源的杳询。

g）标准落地检查：建立并维护标准项与元数据之间的落地映射关系，支持通过查询的

方式检查标准落地情况。

详细内容见分册《应急管理数据治理技术规范：数据管控-数据资源目录技术要求》。

7.4应用资源目录

7.4.1概念

应用资源目录是指按照统一的应急管理应用资源目录标准规范，对应急管理应用资源进

行统一管理，实现应用资源的有效管控和使用。主要包括应用资源分类与编目、目录注册与

注销、目录更新、目录同步、目录服务和可视化展现。

7.4.2功能

应用资源目录管理的功能包括以下方面：

a）资源分类与编目：按照应急管理应用资源目录标准规范，对应急管理应用系统进行

梳理，并赋予唯一的应用目录标识符和编码：

b）目录注册与注销：由应用所属单位在本级应用资源目录管理模块中填写应用资源信

息，审核、审批通过后完成资源注册。当应用资源暂时失效时，停用相关应用资源

目录。当应用资源恢复使用时，重新启用相关应用资源目录。当应用资源彻底失效

时，注销相关应用资源目录；

0资源目录更新：当应用资源发生变化时，对资源目录进行更新；

d）资源目录同步：本地应用资源目录发生变化时，下级目录需向上级目录进行汇聚，

上级目录需向下级目录分发：

e）资源目录服务：支持用户按照权限查看应用资源目录，支持根据应用资源目录相关

属性和数据项进行应用资源的杳询。

详细内容见分册《应急管理数据治理技术规范：数据管控-应用资源目录技术要求》。

应急管理数据治理技术规范总体技术要求

8数据服务

数据服务是指各类数据资源对外提供的访问和管理能力，数据资源包括原始库、资源库、

主题库、专题库、元数据库、数据资源目录等。

8.1查询检索服务

8.1.1概念

查询检索服务包括数据资源情况的查询检索接口以及结构化和非结构化数据的查询检

索接口，支持精确/模糊、分类、组合等多种查询方式，支持返回汇总信息、判定查询关键

词是否命中信息，以及数据摘要或明细信息。

8.1.2功能

查询检索功能主要包括以下几个功能：

a）数据资源情况查询：提供对数据资源池中各类数据资源情况进行查询：

b）通用数据查询：用来进行结构化数据的查询，支持精确匹配、模糊匹配；

0通用扩展查询：为结构化数据查询，可以根据查询词的类型，通过字段扩展配置，

用查询值在多个同类字段进行查询，以保证查全率：

d）全文检索：支持基于关键词匹配或文本相似度匹配进行检索；

e）二进制文件查询：提供根据MD5和文件体长度来查询与输入文件相同的全文数据；

0获取文件体：支持根据文件路径返回文件体；

g）音频检索：支持使用语音或文字，查询匹配相应内容的音频以及对应的描述；

h）图像检索：支持输入图片或关健词检索，返回涉及类似场景的图片，以及对应的描

述；

i）视频检索：支持输入图片、关键词或视频片段，返回涉及相似场景的视频，以及命

中的位置、场景描述等信息：

j）查询回调：由服务请求方提供用于接收异步查询结果。

详细内容见分册《应急管理数据治理技术规范：数据服务•查询检索服务技术要求》。

9数据服务总线

9.1.1概念

多个数据服务总线之间通过服务资源目录联动实现数据服务总线互联，跨数据服务总线

之间，采用一致的数据服务总线报文格式规范封装服务请求和服务响应，采用SSL双向认

证加密机制保证传输可靠性。除了跨数据服务总线的路由转发，服务总线实例内各服务节点

间也应支持路由转发，对于请求方与响应方在不同服务节点的情况，服务总线实例内应能提

供按照指定转发路径实现3个以上服务节点的转发能力。

9.1.2功能

数据服务总线的功能包括以卜.方而：

a）请求受理：请求方提交服务请求报文，数据服务总线受理请求并鉴别请求方、服务

使用者的令牌和服务访问权限。数据服务总线应按要求提供请求方协议适配；

应急管理数据治理技术规范总体技术要求

b）服务路由：由数据服务总线根据服务注册信息和挂载配置信息，确定报文的节点、

总线传输路径，并对请求报文和响应报文进行转换、传输：

C）协议转换：支持数据服务总线报文在不同消息格式、不同传榆协议之间自动转换：

d）服务调用：服务方返回服务响应，数据服务总线鉴别服务方令牌并进行路由和必要

的协议转换，转发给请求方。数据服务总线应按要求提供服务方协议适配，并支持

同步接入方式；

e）监控功能：数据服务总线支持总线监控、服务监控、U志采集、会话跟踪；

0管理功能：数据服务总线支持节点管理、挂载配置管理。

详细内容见分册《应急管理数据治理技术规范：服务总线技术要求》。

10数据运维

10.1.1概念

数据运维管理是指通过采集数据接入、管控、处理和服务等各项任务的状态信息，对异

常状态进行预警和处置，实现对各任务的实时监控和管理

10.1.2功能

数据运维管理的功能包括以下方面：

a）运维规则配置管理：对数据运维的实时监测、日志采集、日志统计分析、报表展示、

日志输出、告警阈值、告警规则、数据对账等相关规则进行配置管理：

b）实时状态采集：支持对来源数据以及数据接入、提取、清洗、关联、比对、标识、

入库等环节设置监控点，进行多维度信息的实时采集：

c）运行状态监控：包括对来源数据的监控，数据接入及处理状态的监控，数据积压监

控，数据入库异常监控，指定时间周期内数据的增量及存量监控等；

d）数据运维报表：支持对系统的数据资源总体情况、分类情况、上报下发情况等多种

维度进行统计分析：支持对数据对账分析、数据有值率分析：支持数据标准化分析，

形成数据运维报表并实现可视化展示：

c）告警管理：当出现实时流监控异常、运行状态异常、数据质量异第、数据备份异常

等状况时，触发告警，告警结果可以通过消息、服务、邮件、短信等方式推送给运

维系统或运维人员；

0运维LI志审计:针对所有数据运维工作的操作U志进行全方位、全流程安全性审计。

详细内容见分册《应急管理数据治理技术规范：数据运维技术要求》。

应急管理数据治理技术规范:

数据接入技术要求

（试行）

科技和信息化司

2020年12月

应急管理数据治理技术规范数据接入技术要求

目次

1范围4

2术语和定义4

2.1XML4

2.2JSON4

2.3多源异构数据4

2.4实时数据4

2.5非实时数据4

2.6数据提供方4

2.7数据接入方4

2.8对账单4

2.9数据指纹4

3缩略语5

4概述5

4.1非实时数据接入5

4.1.1数据接入说明5

4.1.2触发方式6

4.1.3运行周期设定6

4.2实时数据接入6

4.2.1接入说明6

4.2.2触发方式6

4.2.3实时数据接入上报请求参数6

4.2.4实时数据接入上报请求示例6

4.2.5实时数据接入响应请求参数7

4.2.6实时数据接入响应请求示例7

5数据读取7

5.1概述7

5.2数据读取策略定义8

5.2.1概念8

5.2.2内容8

5.3数据读取管理8

5.3.1多通道读取管理要求8

5.3.2工具/模块适配8

5.3.3读取方式管理9

5.4规则管理10

5.4.1数据读取策略管理10

5.4.2数据读取任务配置10

5.4.3数据读取任务调度10

5.5数据解压10

5.6断点续传10

6数据对账10

2

应急管理数据治理技术规范数据接入技术要求

6.1概述10

6.2对账场景10

6.2.1接入时对账11

6.2.2接入后盘点对账11

6.3对账方法11

6.3.1概述11

6.3.2即时对账11

6.3.3定时对账11

6.3.4盘点对账11

6.4对账单12

6.4.1对账单要求12

6.4.2对账单内容12

6.4.3对账单使用15

6.5提供的对账服务15

6.6其他技术要求15

6.6.1对账形式15

6.6.2数据指纹15

6.6.3对账协议16

6.6.4对账单存储与交换16

6.6.5对账性能16

6.6.6对账单传递16

附录A（资料性附录）相关示例17

A.1实时数据接入上报接口样例17

A.2实时数据接入响应的结果信息消息处理失败样例17

A.3实时数据接入响应的结果信息消息处理成功样例17

A.4实时数据接入响应数据信息样例17

附录B（资料性附录）数据对账编号相关代码18

B.1数据提供方编号18

B.2数据接入方编号18

B.3数据提供方对账单编号18

B.4数据接入方对账单编号18

3

应急管理数据治理技术规范数据接入技术要求

1范围

本技术规范性文件规定了应急管理数据接入技术体系、功能要求以及相关系统的边界，

数据接入包括了数据读取和数据对账两部分内容。

本技术规范性文件适用丁指导应急管理数据接入系统建设及相关平台系统的对接。

2术语和定义

2.1XML

可扩展性标识语言，详情参考《ExiensibleMarkupLanguage(XML)1.0》，

REC-xml-l9980210n

2.2JSON

一种轻量级的数据交换格式。

2.3多源异构数据

在信息化建设过程中，由于应急管理各业务系统建设和实施数据管理系统的阶段性、技

术性以及其它经济和人为因素等因素影响，导致在发展过程中枳累了大量来自于不同业务系

统采用不同存储方式的业务数据。“多源”是指数据源的多样性.“异构”是指来源数据结构

和对接系统的差异性。

2.4实时数据

实时数据是指是在某事发生、发展过程中的同一时间中所得信息的载体，从业务系统产

生数据到数据接入是无延迟的，例如：感知类监测报警信息、预警信息、报警控制器等数据。

时效性要求一般为分钟级。根据业务系统的需求不同，时效性要求不同。

2.5非实时数据

非实时数据指业务系统产生数据后延时分发或存储的数据。

2.6数据提供方

数据处理对接过程中，提供数据资源的一方。

2.7数据接入方

数据处理对接过程中，接入数据资源的一方。

2.8对账单

数据对账过程中，用于描述本次对账明细的内容，包括对接过程中产生的接入U志和结

果。

2.9数据指纹

对数据内容信息，通过其不可逆的字符串变换进行编码产生的唯一标识。

4

应急管理数据治理技术规范数据接入技术要求

3缩略语

下列缩略语适用于本文件：

MD5:消息摘要算.法第5版(MessageDigesiAlgoriihm)

JSON:一种轻量级的数据交换格式(JavaScriptobjectNotation.JS对象简谱)

SHA1:安全哈希算法(SecureHashAlgoriihm)

XML:可扩展性标识语言(ExtensibleMarkupLanguage)

4概述

数据接入是指利用数据接入方法和技术，完成数据从源头接入到数据资源池的过程。主

要包括数据读取和数据对账，其中数据读取包含读取方式管理、工具模块适配、断点续传和

规则管理。数据接入包括非实时数据和实时数据的接入。数据接入是实现多源数据接入的核

心模块，数据接入构成见图h

Em

内外8MJ*

的家一1日赢赢一

塔内化效露一)

1t博取r—

非买酎lUKALX

辛始咐化»州J

图1：数据接入示意图

应急管理来源数据通过多源数据的数据读取后，将非实时数据和实时数据通过数据传输

通道传输到数据资源池。应急管理来源数据具备“多源异构”的特性：

“多源”是指数据源的多洋性。横向上，应急管理数据的来源涉及内部机关单位、部属

单位、其他政府部门、互联网、社会单位等。数据范围囊括了监测预警、监督管理、指挥救

援、决策支持、政务管理、社会动员六大业务域的数据。纵向匕数据从省、市级数据中心

向上级数据中心汇聚。部、省级数据中心可以将数据资源根据共享范围按需推送到卜级数据

中心。

“异构”是指来源数据结构和对接系统的差异性。在数据结构上，来源数据涉及结构化、

半结构化和非结构化数据。如数据库表、XML文件、各类文档、文本文件、音频、视频、

图片等。

4.1非实时数据接入

4.1.1数据接入说明

数据的接入方式包括物理方式接入和逻辑方式接入两种。物理方式接入是指使用数据物

理存储器作为数据接入的媒介，例如使用硬盘、光盘、U盘等物理媒介进行数据接入。

逻辑方式接入一般用于其他政府部门和应急管理部门之间、应急管理上下级部门之间的

数据接入。逻辑接入所需要的数据源节点和目的节点的传输，需要信息隐私保护机制。在两

个节点之间建立传输通道，通过库表或文件的形式，将数据或文件接入到目的节点。按照接

口类型，分为数据库方式接入和文件方式接入两种形式。

5

应急管理数据治理技术规范数据接入技术要求

如果以数据库表的形式进行数据接入，建议接入系统通过前置库进行接入，数据源单位

向前置库推送数据。

如果以文件的方式进行数据接入，建议接入系统提供中转机，并给予数据源单位完全访

问文件目录的权限。数据源单位通过桥接方式向中转机目录推送数据文件，数据接入系统监

控目录中的文件变化并进行数据接入。

4.1.2触发方式

数据接入触发方式是指控制接入系统内各类任务的运行或停止，有手动触发、自动触发

两种方式。

手动触发是指根据配置好的任务和流程，手动进行肩动接入、停止接入的-•种触发方式。

自的运行周期自动执行接入的一种触发方式。

4.1.3运行周期设定

运行周期设定是数据接入系统内各类任务的执行时间设定，有循环时间间隔、定时器规

则两种方式。循环时间间隔是指接入的运行周期为所配置的时间间隔，接入以此时间间隔持

续运行。定时器规则是指接入的运行周期为配置的具体时间点，当时间点与所配置的具体时

间点相同时触发接入任务。

4.2实时数据接入

4.2.1接入说明

实时数据接入可以通过接入系统的实时数据接入服务来完成。数据通过TCPSockel方

式进行接入，报文格式为JSON。数据传输时，需根据系统分配账户/密码鉴权认证，并使用

加密算法进行加密，加密算法包括不限于AES加密算法。

4.2.2触发方式

实时数据需根据业务系统的数据使用时效性要求进行实时采集、传输及加工处理。

4.2.3实时数据接入上报请求参数

请求的参数结构由以下参数项构成，请求的参数结构见表1

表1数据接入上报请求参数表

字段名数据类型是否可空说明

apple!String否appid.由系统下发

serviceldString否服务id,由系统下发

dalakl,由调用方生成与data一一对应，应答时会携带该

dataldString否

字段

实时消息，传输时需要加密，使用AES算法CBC模式

dataString否进行加密，AES密钥止系统下发，TCPSockct方式进行

上报时使用（不包含引号）作为间隔符

4.2.4实时数据接入上报请求示例

参见附录A中实时数据接入上报请求示例。

6

应急管理数据治理技术规范数据接入技术要求

4.2.5实时数据接入响应请求参数

实时数据接入响应请求包括两部分：实时数据接入响应结果信息和响应中数据信息。

实时数据接入响应的结果信息参数结构由以下参数项构成,请求的参数结构见表2。

表2实时数据:妾入响应的结果信息参数表

字段名数据类型是否可空说明

successBool否消息是否成功上报，uxe为成功，false为失败

dulald.由调用方生成与data对应，应答时会携带该

dataldString否

字段

当success为false时会携带该字段，用于传输错误信息，

errorobject是

error具体格式见下表

codeString否错误码

错误id,出错后message字段会带有我们要的错误信息，

idString否

通过错误id可以在总线系统上查看到详细的异常信息

messageString否错误详情

实时数据接入响应数据信息基于dalald字段来获取到具体的实时数据信息。请求的参数

结构见表3。

表3实时费1据接入响应数据信息表

字段名数据类型是否可空说明

调用者定义的数据包ID,同一个数据包必须具有相同且

dataldString否全局唯一的ID,服务使用本字段数据判断是否传递了重

复的包。建议使用UUID

enterpriserString否部分编码

gatewayIdString否网关编码

qhldString否省份ID

collectTimcString否时间微，格式YYYYKIMDDHHmmss

isConncctDataSo数据源连通性，tnic表示数据源连通正常，数据有效：i