DB11-T 1919-2021 政务数据汇聚共享规范_第1页
DB11-T 1919-2021 政务数据汇聚共享规范_第2页
DB11-T 1919-2021 政务数据汇聚共享规范_第3页
DB11-T 1919-2021 政务数据汇聚共享规范_第4页
DB11-T 1919-2021 政务数据汇聚共享规范_第5页
已阅读5页,还剩10页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.240

CCSL72

备案号:86369-2022DB11

北京市地方标准

DB11/T1919—2021

政务数据汇聚共享规范

Specificationforgovernmentdataaggregationandsharing

2021-12-28发布2022-04-01实施

北京市市场监督管理局发布

DB11/T1919—2021

政务数据汇聚共享规范

1范围

本文件规定了政务数据汇聚共享的总体架构、数据类别、共享方式,描述了对数据质量和数据安全

保护的要求。

本文件适用于政务部门(包括行政机关和具有公共事务管理职能的事业单位)的非涉密政务数据通

过北京市大数据平台进行汇聚共享的实施和管理。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

DB11/T1918—2021政务数据分级与安全保护规范

DB11/T337—2021政务数据资源目录体系规范

DB11/T553.5政务信息资源共享交换平台技术规范第5部分:接口规范

3术语和定义

下列术语和定义适用于本文件。

3.1

政务数据governmentdata

各级政务部门及其支撑单位在履行职责过程中依法采集、生成、存储、管理的各类数据资源。

[来源:GB/T38664.1—2020,3.1,有修改]

3.2

数据汇聚共享dataaggregationandsharing

政务部门因履行职责需要,使用其他政务部门的政务数据(或接口服务),以及为其他政务部门提

供政务数据(或接口服务)的行为。

[来源:GB/T38664.1—2020,3.2,有修改]

3.3

目录区块链系统directoryblockchainsysterm

利用区块链技术理念,对北京市职责目录、数据目录、库表目录进行统一管控的分布式系统。

3.4

数据(或接口服务)提供方data(interfaceservice)provider

在政务数据汇聚共享过程中,提供数据(或接口服务)的政务部门。

3.5

1

DB11/T1919—2021

数据(或接口服务)需求方data(interfaceservice)demander

在政务数据汇聚共享过程中,申请使用数据(或接口服务)的政务部门。

3.6

数据目录datadirectory

数据资源和数据项的具体字段包含数据资源名称、数据资源摘要、数据起始日期、数据更新周期、

数据格式、字段名称、数据类型及长度、是否主键、是否非空、数据量等。

4总体架构

政务数据汇聚共享工作依托北京市大数据平台开展,通过目录区块链系统对政务数据进行汇聚共享,

从提出申请、审批授权、获取共享到评价反馈,各环节操作实时记录上链、全程留痕可溯。总体框架见

图1,详细业务流程按照附录A描述执行。

图1政务汇聚共享总体架构

5汇聚共享数据类别及要求

5.1电子文件

5.1.1以电子文件作为数据资源进行汇聚共享,常用电子文件的存储格式有wps、xml、txt、doc、docx、

html、csv、xls、xlsx等。

5.1.2以电子文件类进行数据汇聚共享时,应遵循以下要求:

a)电子文件名称应规范统一,与目录区块链中数据目录的数据资源名称保持一致;

b)电子文件的存储路径应规范统一,可根据更新的频度和检索效率建立子文件夹,不应随意更改

路径;

c)特殊类电子文件应提供必要的说明文档,确保所有文件内容可被正确理解;

d)提供电子文件对账表,明确所汇聚电子文件包含的内容和数量等信息;

2

DB11/T1919—2021

e)建立异常反馈机制,通过异常数据反馈表及时解决数据问题。

5.2数据库表

5.2.1以数据库表作为数据资源进行汇聚共享,常用数据库存储格式有oracle、sqlserver、db2、

KingbaseES、access、dbf、dbase、sysbase等。

5.2.2以数据库表类进行数据汇聚共享时,应遵循以下要求:

a)数据库表名称应规范统一,一般为“机构简称首字母缩写+数据资源名称首字母缩写”,数据资

源名称应与目录区块链中数据目录的数据资源名称保持一致;

b)数据库表字段应与目录区块链中数据目录的数据项保持一致,且必须设有主键字段,并在数据

表库中创建主键约束;

c)数据库表结构应保持稳定,不应随意更改;

d)提供必要的字段说明文档和对应的全部代码表,确保所有数据内容可被正确理解;

e)提供数据对账表,包含数据条数等信息;

f)建立异常反馈机制,通过异常数据反馈表及时解决数据问题。

5.3数据接口服务

5.3.1以数据接口服务作为数据资源进行汇聚共享,常用的接口方式有WebService、Restful等,常

用的数据接口服务格式有XML、JSON等。

5.3.2以数据接口服务类进行数据汇聚共享时,应遵循以下要求:

a)应提供详细的数据接口服务说明文档;

b)一个数据接口服务一般应且只对应一类数据资源;

c)服务应是无状态的,两次请求之间无须状态和会话的保持;

d)服务地址和参数不应随意变更。

6数据汇聚共享方式及要求

6.1原始数据交换

6.1.1电子文件交换方式

提供的电子文件格式应满足5.1.1的要求,且每次应在固定的文件服务器数据路径下进行文件推送,

文件资源在完全写入服务器磁盘之前,任何系统、人员不应再操作文件。

6.1.2数据库表交换方式

按照数据汇聚共享的场景,支持下列几种模式交换:

a)标记位模式:适合大批量数据交换,应包含主键、标记位字段、推送至库表的时间字段,并且

允许共享系统在完成交换之后更改标记位的值;

b)时间戳模式:适合增量数据交换,应包含主键、时间戳字段,时间戳应精确到毫秒;

c)触发器模式:适合增量模式交换,应包含主键、数据表上能建立增删改触发器;

d)全量模式:全量模式适合数据库表量少,且每次更新都是全表更新的场景。

6.2数据接口服务调用

6.2.1数据接口服务封装

3

DB11/T1919—2021

将各类数据转换为API接口,接口设计应符合DB11/T553.5的要求,支持多源异构的数据库格式以

及接口协议,包括主流关系型数据库、Hadoop以及WebService、FTP、HTTP、自定义协议等。

6.2.2数据接口服务管理

数据接口服务提供方应对提供的数据接口服务进行管理,包括对服务的注册、申请、维护、

审核、发布、监控等。

对于以API接口服务方式提供的服务可以在配置下发或获取方式时指定数据范围,系统自动生

成接口的授权,访问者只有根据该授权才能获取到数据。

数据接口服务调用步骤见附录B,数据接口服务调用示例见附录C。

6.3数据隐私计算

6.3.1利用多方安全计算、联邦学习、可信执行环境等方式,在数据可用不可见或数据可用不可得的

前提下,实现不同来源数据在保持加密状态下进行融合分析运算,并将运算结果进行共享。

6.3.2在密文数据上执行数据操作,避免数据使用方直接接触明文数据,以提高计算过程中的数据安

全,确保敏感数据不泄露。

7数据质量要求

7.1政务数据汇聚共享时应从数据的可用性、完整性、规范性、一致性和时效性五个方面保证数据的

质量。

7.2数据质量要求按照附录D要求执行。

8数据安全保护要求

数据安全保护要求应符合DB11/T1918—2021的要求,对汇聚共享数据进行分级分类管理,并根据

数据级别采取相应的管理措施和技术手段,对数据汇聚共享过程进行有针对性的保护,个人信息、敏感

数据和重要数据应加强安全管控措施。

4

DB11/T1919—2021

附录A

(规范性)

政务数据汇聚共享业务流程

A.1政务数据汇聚业务流程

A.1.1数据提供方编制数据目录,依托市大数据平台目录链系统进行目录上链,并准备数据,向市大

数据平台提出数据汇聚申请。

A.1.2市大数据平台对汇聚的数据进行核验,核验通过后则进行数据接入操作,未通过则将核验结果

反馈给数据提供方。

A.1.3数据提供方依据数据核验结果对数据进行完善,完善后再次向市大数据平台提出数据汇聚申请。

A.1.4市大数据平台对接入的数据进行数据质量评估,并将结果反馈给数据提供方,数据提供方依据

数据质量反馈意见进行修改完善。

A.1.5政务数据汇聚业务流程按照图A.1执行。

图A.1政务数据汇聚业务流程

5

DB11/T1919—2021

A.2政务数据共享业务流程

A.2.1数据需求方通过市大数据平台提出数据共享申请,市大数据平台对申请的数据进行共享属性判

断,对无条件共享数据可直接进行数据共享。

A.2.2对于有条件共享的数据,则需先判断数据是否授权,如果未授权,则向数据提供方提出授权申

请,数据提供方审核授权后方可进行共享。

A.2.3若数据提供方未授权,数据需求方可向市大数据核心工作组提出申请,若市大数据核心工作组

判定应提供数据共享则启动共享程序,否则维持原状。

A.2.4市大数据平台针对可共享的数据,先判断是否已汇聚到市大数据平台,若未汇聚,则启动数据

汇聚流程,汇聚后进行数据共享,若已汇聚,则直接进行数据共享。

A.2.5政务数据共享业务流程按照图A.2执行。

图A.2政务数据共享业务流程

6

DB11/T1919—2021

附录B

(资料性)

数据接口服务调用步骤

数据接口服务调用步骤,涉及数据接口服务需求方、服务提供方和大数据平台等角色。数据接口服

务调用步骤详见图B.1。

图B.1数据接口服务调用步骤

B.1服务需求方

B.1.1通过授权码,从服务代理端获取令牌。

B.1.2使用令牌,对服务请求者身份标识、服务标识和请求时间进行签名计算,得到签名。

B.1.3将服务请求者身份标识、服务标识、请求时间和签名放入请求消息中,发送请求到服务代理平

台。

B.2市大数据平台

获取请求消息的服务请求者身份标识、服务标识、请求时间(_rtime)和签名信息等信息,进行权

限验证和调用频率、调用次数、流量的检验。

7

DB11/T1919—2021

B.3服务提供方

B.3.1获取请求数据进行相关业务处理。

B.3.2根据授权表内容获取输出参数信息过滤输出参数。

B.3.3返回调用结果给市大数据平台,再由市大数据平台返回给服务需求方。

8

DB11/T1919—2021

附录C

(资料性)

数据接口服务调用示例

C.1数据接口服务输入参数JSON描述

{

"returnType":"json",

"page":"1",

"pageSize":"2",

“whereList”:

[[{'queryField':'name','logical':'equals','queryValue':'测试'}]]

}

数据接口服务输入参数说明见表C.1。

表C.1数据接口服务输入参数说明表

提交方式POST

接口协议HTTP+JSON

内容类型application/json

提交资源数据名称是否必须类型长度描述

returnType是string32返回数据格式(json/xml)

pagestring20页码数(可以为空,但要有这个参

数),为空时默认1

pageSizestring20每页最大显示行数(可以为空,但

否要有这个参数),为空时默认取接

口默认值

whereList是Json数组查询条件,下边为json对象参数

名称类型长度描述

queryFieldstring50查询列

logicalstring50查询符(下表有详细介绍)

queryValuestring100查询值

提交httpheader名称是否必须类型长度描述

数据BJS_sid是string36服务标识sid

BJS_rid是string36服务rid

BJS_sign是string36签名信息

BJS_rtime是string36服务调用时间

返回Http状态200

9

DB11/T1919—2021

C.2数据接口服务返回参数JSON描述

{

"columns":"ZD1,ZD2,ZD3,ZD4,ZD5,ZD6","

columnsInfo":[{"

columnName":"ZD1","

columnComments":"","

columnType":"DATE","

columnLength":"7"

},{"

columnName":"ZD1","

columnComments":"字段1","

columnType":"VARCHAR2","

columnLength":"50"},{"

columnName":"ZD2","

columnComments":"字段2","

columnType":"VARCHAR2","

columnLength":"18"},{"

columnName":"ZD3","

columnComments":"字段3","

columnType":"VARCHAR2","

columnLength":"10"},{"

columnName":"ZD4","

columnComments":"字段4","

columnType":"DATE","

columnLength":"7"},{"

columnName":"ZD5","

columnComments":"字段5","

columnType":"DATE","

columnLength":"7"},{"

columnName":"ZD6","

columnComments":"字段6","

columnType":"VARCHAR2","

columnLength":"6"}],

"dataList":[

{"ZD1":"XXX","ZD2":"1111111","ZD3":"XX","ZD4":"2020-01-01","ZD5":"1998-01

-01","ZD6":""},

{"ZD1":"XXX","ZD2":"1111111","ZD3":"XX","ZD4":"2020-01-01","ZD5":"1998-01

-01","ZD6":""}

],"counts":"1000","page":1,"maxCount":2}

数据接口服务返回参数说明见表C.2。

10

DB11/T1919—2021

表C.2数据接口服务返回参数说明表

提交方式POST

接口协议HTTP+JSON

内容类型application/json

返回数据参数名称类型长度描述

(输出参数)columnsInfoJson数组列信息,包括类型,长度,备注等信息。(下

边为json对象参数)

名称类型描述

columnNamestring列名称

columnCommentsstring列备注

columnTypestring类型

columnLengthstring长度

columnsstring1000列显示字符串

pagestring20页码数

maxCountstring20每页最大显示行数

countsstring20查询全部记录数

dataListJson数组json对象中key为列名,value为实际值

11

DB11/T1919—2021

附录D

(规范性)

数据质量要求

D.1数据可用性

D.1.1政务数据汇聚共享应确保数据可读、可理解、可用。

D.1.2有信息系统支撑的数据应提供结构化文件,并在汇聚数据时同步提供数据字典和码表,确保数

据的可读可理解。

D.1.3所提供的数据要保持独立可用,避免多类业务数据混合提供。

D.1.4通过接口方式对接的,数据提供方要遵循接口传输规范,具有完整的日志记录,保证数据可用。

D.2数据完整性

D.2.1目录完整

数据汇聚共享前应依据DB11/T337—2021的相关要求,确认形成完整的数据目录,按照实际汇聚数

据对北京市目录区块链系统中数据目录进行完善。

D.2.2字段完整

应涵盖该数据的所有有效字段。

示例:“户籍人口登记信息”包含“姓名、出生日期、性别、身份证号码、籍贯、家庭住址、曾用名”字段,汇聚

数据应包含全部字段。

D.2.3释义完整

应确保字段取值所配套的字典表、码表的完整性。

示例:“SEX”字段对应的字典名称“性别”,数据内容为“0”、“1”,“0”对应的实际内容为“男”,“1”

对应的实际内容为“女”,汇聚数据应包含所有字段的完整解释。

D.2.4周期完整

应覆盖该数据自采集日期起的全量历史数据,同时数据字段中应包含数据入库时间。

示例:“户籍人口登记信息”采集起始时间为2006年,则应汇聚自2006年至今的全量历史数据。

D.3数据规范性

D.3.1格式规范

D.3.1.1有信息系统支撑的应提供结构化数据,数据项名称为英文的应提供数据项对应的中文说明。

D.3.1.2通过接口方式对接的,数据提供方要遵循接口传输规范。

D.3.2内容规范

D.3.2.1数据的核心(非空)字段不能为空值。

示例:“户籍人口登记信息”中的“姓名”字段不能为空。

D.3.2.2不应包含因业务或技术原因产生的冗余数据。

12

DB11/T1919—2021

示例:同类数据中不应包含2条完全相同的记录。

D.3.2.3不应包含错误数据。错误数据包括但不限于以下情况:

a)无效测试数据。系统建设或测试过程中残留的、无实际业务意义的测试数据。

示例:数据中包含多条“test”、“111111”等无效记录。

b)非法格式数据。字符类型、长度等不满足格式规范约束的数据。

示例:“年龄”为“%%”;“身份证号码”位数为19位。

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论