《上海地区长三角数据共享交换平台 数据接入规范》_第1页
《上海地区长三角数据共享交换平台 数据接入规范》_第2页
《上海地区长三角数据共享交换平台 数据接入规范》_第3页
《上海地区长三角数据共享交换平台 数据接入规范》_第4页
《上海地区长三角数据共享交换平台 数据接入规范》_第5页
已阅读5页,还剩8页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ICS35.020

CCSL70

DB

长江三角洲区域地方标准

DBXX/TXXX.X—XXXX

长三角数据共享交换平台数据接入规范

YangtzeRiverDeltadatasharingandexchangeplatformDataaccessspecification

(草案)

XXXX-XX-XX发布XXXX-XX-XX实施

2021-07-01实施

XXXXXXXXX发布

DBXX/TXXX.X—XXXX

长三角数据共享交换平台数据接入规范

1范围

本文件规定了长三角数据共享交换平台数据接入的基本要求、库表接入、文件接入、服务接入、安

全要求和安装部署与运行管理要求。

本文件适用于长三角数据共享交换平台数据接入的开发与实施工作。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,

仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本

文件。

GB/T39477-2020信息安全技术政务信息共享数据安全技术要求

GM/T0054-2018等保三级密码技术应用要求

3术语和定义

GB/T39477-2020界定的以及下列术语和定义适用于本文件。

3.1公共数据资源Publicdataresources

由长三角三省一市政务部门在履行职责过程中依法采集、生成、存储、管理的面向企业、公众服务

的各类数据资源。

3.2长三角数据共享交换平台YangtzeRiverDeltaregionaldatasharingandexchangeplatform

面向长三角区域公共管理和服务机构以及公共数据管理部门,维护公共数据资源目录、汇聚公共数

据资源、管理共享交换需求,提供数据安全与运行监控保障,支持跨部门、跨区域开展公共数据共享交

换的关键信息基础设施。

3.3数据交换总线dataexchangebus

为长三角区域公共管理和服务机构提供结构化与非结构化数据的交换、传输工具。

3.4交换节点exchangenode

在跨区域数据共享交换中,实现信息资源传送和处理的系统单元。

3.5前置交换节点frontexchangenode

本区域与长三角数据共享交换平台进行政务信息资源交换共享的设施。

3.6中心交换节点centralexchangenode

1

DBXX/TXXX.X—XXXX

用于与前置交换节点数据资源交互的设施,以数据表、文件的方式存储共享过程中的业务数据及交

换过程中的资源数据。

3.7数据主管部门dataadministrationdepartment

三省一市负责本级政府大数据发展管理的部门。负责协调推进数据基础制度建设,统筹数据资源整

合共享和开发利用等工作。

3.8共享数据提供方shareddataprovider

在信息共享过程中,为其他区域提供公共数据资源并且是资源责任主体的政务部门、组织或机构。

[来源:GB/T39477-2020]

3.9共享数据使用方shareddataconsumer

在信息共享过程中,根据履行职责需要,使用其他区域共享资源的政务部门、组织或机构。[来源:

GB/T39477-2020]

3.10数据召回datarecall

因安全等原因对特定数据进行回收处理,共享数据使用方对标记为召回的数据进行销毁,并停止对

数据使用的过程。[来源:GB/T39477-2020]

4缩略语

下列缩略语适用于本文件:

API应用程序编程接口(ApplicationProgrammingInterface)

ETL数据抽取(Extract)、转换(Transform)、加载(Load)

GBK汉字内码扩展规范(ChineseInternalCodeSpecification)

HTTPS超文本传输安全协议(HypertextTransferProtocolSecure)

REST资源表现层状态转化(RepresentationalStateTransfer)

SOAP简单对象访问协议(SimpleObjectAccessProtocol)

TCP传输控制协议(TransmissionControlProtocol)

UTF-8八位元Unicode转换格式(8-bitUniversalTransformationFormat)

WinRAR文件压缩管理共享软件(WindowsRoshalARchive)

WSDLWeb服务描述语言(WebServicesDescriptionLanguage)

XML可扩展标记语言(ExtensibleMarkupLanguage)

5基本要求

5.1接入条件

5.1.1长三角数据共享交换平台采用集中部署模式。长三角数据共享交换平台对接各省(市)级数据

共享交换平台,不与三省一市政务部门的信息化系统直接通信。三省一市公共数据共享可由政务部门

2

DBXX/TXXX.X—XXXX

按需通过各省(市)级统一的数据共享交换平台对接长三角数据共享交换平台发起申请授权,实现跨省

之间的数据共享。

5.1.2三省一市数据主管部门应自备安全的前置交换节点软硬件环境,设置前置交换库和交换数据表,

并完成与长三角数据共享交换平台中心交换节点的联通调试,以便完成库表和文件类数据的交换、传输。

5.1.3三省一市数据主管部门应在长三角数据共享交换平台注册各区域相应的数据资源目录,所有接

入数据资源应在长三角公共数据资源目录下进行接入操作。

5.2接入方式

数据接入支持的方式包括库表接入、文件接入、服务接入,详见表1。

表1数据接入方式说明

提供和获取说明

序号接入方式适用场景

数据提供数据获取

1)实时性要求较低,定期

共享数据提供方(以下简共享数据使用方(以下简称

批量交换;

1库表接入称“提供方”)向本区域“使用方”)从本区域前置

2)存放在数据库中的结构

前置交换节点提供数据交换节点获取数据

化数据

1)实时性要求较低,数据

共享数据提供方通过操作共享数据使用方通过界面直

2文件接入量大;

界面直接上传文件接下载文件

2)非结构或半结构化数据

1)实时性要求高,数据量共享数据使用方在长三角数

共享数据提供方把提供数

小;据共享交换平台查询到提供

3服务接入据共享服务接口注册到长

2)使用方可通过应答式交方发布的服务,直接调用提

三角数据共享交换平台

换获取所需的部分数据供方提供的数据共享服务

5.3接入过程

数据接入过程可分为数据提供、数据汇集、数据分发和数据获取四个部分,接入过程见图1,其

中数据提供和获取由各省(市)自有ETL工具实现,数据汇集和数据分发由长三角数据共享交换平台

实现,主要内容包括:

a)数据提供:数据从提供方共享交换平台交换传输到提供方前置交换节点;

b)数据汇集:数据从前置交换节点传输到长三角数据共享交换平台中心交换节点;

c)数据分发:数据从长三角数据共享交换平台中心交换节点传输到使用方数据共享交换平台前置

交换节点;

d)数据获取:数据从使用方数据共享交换平台前置交换节点交换传输到使用方数据共享交换平台。

3

DBXX/TXXX.X—XXXX

图1数据接入过程示意图

5.4接入网络

接入网络应满足以下要求,包括:

a)各区域前置机IP由三省一市数据主管部门统一规划并下发;

b)端口设置要求按表2实施;

c)中心交换节点与前置交换节点需开展双向链路测试。

表2端口设置要求

序号端口号协议方向说明

长三角数据共享交换平台一>

13316、3306TCP数据库连接端口

三省一市前置机

40101、40102长三角数据共享交换平台<一>

2TCP库表、文件交换程序运行使用

40103、10264三省一市前置机

三省一市前置机一>长三角数

38181TCP服务接口程序运行使用

据共享交换平台

6库表接入

6.1数据表结构

三省一市前置机交换库应由共享数据提供方或共享数据使用方维护,并应在前置机交换库中建立

交换数据表,用于存储即将交换的库表数据。交换数据表应包括内建字段和内容字段两部分。表结构应

符合表3要求。

4

DBXX/TXXX.X—XXXX

表3交换数据表结构

字段名数据类型长度中文描述是否为空含义说明

交换数据的物理唯一主键,

BATCH_IDvarchar32主键id否作为判断数据记录的唯一标

识,不可重复

操作标示位,

U代表UPDATE,

内建

BATCH_FLAGVarchar1操作标志位否I代表INSERT

字段

R代表RECALL

默认值为I

BATCH_LAST_UP

timestamp19操作时间否数据最后修改时间。

DATETIME

REGION_CODEvarchar12区域编码否参考附录A.1

内容内容字段至少包含唯一业务标识字段

字段内容字段至少包含业务状态字段,标记数据状态(正常或废弃)

6.2数据提供

6.2.1数据初始导入包括以下过程:

a)数据主管部门应在各自前置机中建立前置机交换库;

b)数据主管部门将各自前置机交换库信息注册至长三角数据共享交换平台;

c)数据主管部门通过已在长三角数据共享交换平台注册的数据资源目录,在前置交换库中建立

与目录关联的数据库表;

d)数据主管部门准备数据,并将业务数据写入至前置交换库对应的数据库表中。

6.2.2数据更新包括以下过程:

a)业务数据更新,需要根据数据唯一标识符,更新相应数据字段;

b)更新数据后将数据状态字段的值修改为更新状态;

c)更新当前修改时间。

6.2.3数据对账包括以下过程:

a)每次完成数据交换后,根据时间戳进行批次的数据量比对;

b)如果数据量出现差异,及时进行确认,并补齐数据。

6.2.4数据召回包括以下过程:

a)数据提供方根据业务唯一标识符定位确认为召回或无效的数据记录;

b)数据提供方将数据状态字段的值修改为召回状态;

c)数据提供方更新当前修改时间。

5

DBXX/TXXX.X—XXXX

6.3数据获取

6.3.1根据业务需要,共享数据使用方查找对应的数据资源并申请数据;共享数据提供方对相应的数

据申请进行授权处理。如数据资源属于无条件共享,则无需授权,可直接获取,长三角数据共享交换平

台自动对数据获取过程备案。

6.3.2共享数据使用方注册前置机交换库信息至长三角数据共享交换平台,用于存储交换到的数据,

并配置数据交换任务。

6.3.3长三角数据共享交换平台执行数据交换任务,将数据从中心交换节点同步至本区域前置机交换

库。

6.3.4对于更新数据,由长三角数据共享交换平台根据数据对接任务调度定义的更新频率,定时自动

实现与共享数据使用方前置机交换库的数据同步。

6.3.5对于标记为召回的数据,由共享数据使用方在本地进行销毁或删除。

7文件接入

7.1文件类型

7.1.1文件类型可分为文本格式、图片格式、音频格式、视频格式、数据库格式、电子表格格式、二

进制格式、压缩格式、3D图形格式、地图格式等。

7.1.2每个文件数据大小不应超过40MB,超过40MB应分割后传输,分割、合成工具宜使用WinRAR。

7.2数据提供

7.2.1文件初始导入,包括:

a)数据主管部门在各自前置机中建立文件存储路径;

b)数据主管部门将各自前置机文件存储路径注册至长三角数据共享交换平台;

c)数据主管部门通过已在长三角数据共享交换平台注册的数据资源目录,在前置交换机中实现

文件存储路径和上述已注册数据资源目录的关联;

d)数据主管部门准备文件,并将文件写入至前置交换机对应的文件存储路径中。

7.2.2文件数据的更新时间和频次由共享数据使用方业务需求决定。

7.2.3数据对账对应交换任务完成文件推送后,定期执行数据对账比对。如果数据量出现差异,及时

进行确认并补齐数据。

7.3数据获取

7.3.1根据业务需要,共享数据使用方查找对应的文件资源并申请文件资源;共享数据提供方对申请

进行授权处理。如数据资源属于无条件共享,则无需授权,可直接获取,长三角数据共享交换平台自动

进行备案。

7.3.2共享数据使用方注册前置机文件存储路径至长三角数据共享交换平台,用于存储交换到的文件,

并配置数据交换任务。

7.3.3长三角数据共享交换平台执行数据交换任务,将数据从中心交换节点同步至本区域置机文件存

储路径。

8服务接入

6

DBXX/TXXX.X—XXXX

8.1服务类型

数据提供者以服务接口方式创建共享资源时,可选择的接口类型包括REST和WebService。

8.2服务接口协议

8.2.1服务传输协议应采用HTTPS方法。

8.2.2WebService服务消息封装协议采用SOAP1.1/1.2标准;REST服务消息封装协议采用HTTPS方

法。

8.2.3服务描述应包含服务调用者使用的具体访问接口内容,主要包括数据类型定义、操作、交互消

息格式和内容端口类型及绑定等内容,内容应按照WSDL2.0的规定格式进行描述:

a)数据类型定义按照XMLSchema1.0的规定使用;

b)消息(Message)采用类型定义整个消息的数据结构,消息类型定义按照XMLSchema1.0的规定

使用;

c)端口类型(PortType)定义Web服务的操作,及操作中对应的输入输出参数和消息交互模式;

d)绑定形式使用DocumentLiteral/Wrapped文档风格,不应使用RPCEncoding及Document

Encoded形式,使用SOAP1.1/1.2版本标准,通信绑定HTTPS标准协议;

e)消息字符集和编码保持一致,采用GBK或UTF-8。

8.3服务准备

8.3.1共享数据提供方应明确服务接口的可共享信息项、共享数据及更新机制。

8.3.2共享数据提供方应根据业务需求完成服务接口的说明文档,应用于指导服务接口的技术实现。

8.3.3服务接口应随着共享数据使用方的增多,实现性能的可扩展。

8.4服务发布

8.4.1共享数据提供方登录长三角数据共享交换平台统一门户,在服务指引下进行服务注册,注册服

务应与已注册的数据资源目录进行关联。

8.4.2共享数据提供方应对服务接口调用量峰值做出预判,并在注册时标明,以便平台进行限流。

8.4.3共享数据提供方服务注册完成后需提交本区域审核人员和系统审核员进行审核,审核之后进行

服务发布。

8.5服务调用

8.5.1共享数据使用方登录长三角数据共享交换平台统一门户,在服务指引下进行服务查看并申请服

务接口资源。

8.5.2共享数据使用方获取服务访问授权码及地址信息。

8.5.3共享数据使用方参考接口说明文档,应依照服务访问令牌调用服务接口。

8.5.4服务资源使用过程中,如出现异常,可参考表A.2错误码识别异常问题类型并反馈。

9安全要求

9.1数据管理

9.1.1以前置交换节点为边界,三省一市数据主管部门保证本区域数据共享交换平台与前置机之间的

传输安全性。

7

DBXX/TXXX.X—XXXX

9.1.2数据主管部门应指定并安排前置机管理员,结合相关安全制度和措施防御非法访问和攻击,做

好安全审计和监控,保障前置机网络及主机安全。

9.1.3数据主管部门应保留操作日志,以便追溯和排查问题。

9.1.4数据主管部门对前置机操作系统、交换数据库等专用访问账户按最小权限原则分配。

9.1.5数据主管部门对管理数据应满足数据分类分级安全技术要求,参考长三角《公共数据分类分级

指南》。

9.2数据提供

9.2.1共享数据归集应满足数据源鉴别安全技术要求。共享数据提供方在归集共享数据过程中应采用

身份鉴别、数据源认证等安全机制保障共享数据来源的真实性。

9.2.2共享数据提供方在维护共享数据过程中应采用符合GM/T0054等国家相关标准规定的密码技

术,对敏感数据进行加密存储保护。

9.2.3共享数据提供方在维护共享数据过程中应对数据存储环境进行分域分级设计,并根据数据重要

性、量级、使用频率等因素将数据分域分级存储。

9.2.4共享数据提供方在维护共享数据过程中应保留操作日志,以便追溯和排查问题。

9.2.5共享数据提供方在维护共享数据过程中应具备共享数据更新和失效数据召回机制。

9.3数据使用

9.3.1共享数据使用方在数据处理时应具备身份鉴别、访问控制、授权管理安全、数据脱敏、数据加

密、数据防泄露、分布式处理安全、数据处理溯源、数据分析安全、安全审计等措施。

9.3.2共享数据使用方在维护共享数据过程中采用的密码技术应符合9.2.2中的相关规定。

9.3.3共享数据使用方在维护共享数据过程中对数据存储隔离的安全要求应符合9.2.3中的相关规定。

9.3.4共享数据使用方在维护共享数据过程中应保留操作日志,以便追溯和排查问题。

9.3.5数据备份应具备数据备份安全保存与恢复机制,数据销毁应具备数据销毁安全机制,数据使用

监管应具备使用监管安全机制。

10安装部署与运行管理

10.1安装部署

10.1.1三省一市数据共享交换平台接入长三角数据共享交换平台的部署流程见图2。

10.1.2数据主管部门负责部署和实施本区域数据共享交换平台与前置机之间的ETL,确保传输正常运

作,安装部署包括:

a)提供本区域ETL工具部署的软硬件环境;

b)保障本区域前置交换节点的部署和调试;

c)配合长三角数据共享交换平台实施人员进行联合调试。

8

DBXX/TXXX.X—XXXX

图2安装部署流程图

10.2运行管理

10.2.1数据主管部门应定期更新长三角数据共享交换平台的账号与密码信息。

10.2.2数据主管部门应定期检查数据质量,保障数据的完整性、准确性、时效性,确保数据传输不断

流、数据服务有效访问。

10.2.3前置交换节点出现硬件或软件问题,数据主管部门应及时向长三角数据共享交换平台管理员

反映,查找和解决问题。

10.2.4发现数据接入异常,数据主管部门及时向长三角数据共享交换平台管理员反映,检查交换桥接

和运行网络是否正常,配合长三角数据共享交换平台管理员进行联合调试。

9

DBXX/TXXX.X—XXXX

附录A

(资料性)

区域数据字典和接口错误码定义

A.1区域数据字典

三省一市省级数据共享交换平台接入到长三角数据共享交换平台应有代表数据来源或提供方的字

典码,确保数据的流向可追溯。表A.1描述了区域数据字典信息。

表A.1区域数据字典

地方字典码

上海市310000000000

浙江省330000000000

安徽省340000000000

江苏省320000000000

A.2接口错误码定义

长三角数据共享平台反馈服务错误编码字典信息,表A.2描述了接口错误码定义信息。

表A.2接口错误码定义

错误码错误码描述

E_001"请求体未携带数据包头"

E_002"数据包头中第一个子节点为空"

E_004"请求数据格式有错误"

E_005"权限认证失败"

E_006"请求失败"

E_007"出错"

E_008"网关系统内部错误"

E_009"请求超时"

E_010"调用原始服务失败"

E_011"HTTPS证书验证失败"

E_012"代理流程异常"

E_013"原始服务拒绝连接"

E_014"与原始服务建立连接超时"

E_015"获取原始服务响应超时"

E_100"没有进行过数据同步的初始化过程,无法得到服务表信息"

E_101"服务不存在于数据库服务列表中"

E_102

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论