政务信息共享交换平台数据汇聚标准

政务信息共享交换平台数据汇聚标准范围本文件规定了政务信息资源数据汇聚的总体架构，以及数据汇聚的基本要求。本文件适用于黑龙江省政务信息资源数据汇聚的规划、设计、建设和应用。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239信息安全技术网络安全等级保护基本要求术语和定义下列术语和定义适用于本文件。政务信息资源政务部门在履行职责过程中制作或获取的，以一定形式记录、保存的文件、资料、图表和数据等各类信息资源，包括政务部门直接或通过第三方依法采集的、依法授权管理的和因履行职责需要依托政务信息系统形成的信息资源等。资源提供方对外提供政务信息资源共享的政务部门。库表资源库表资源是指资源提供方以数据库的形式提供的数据，称为库表资源。文件资源文件资源是指资源提供方以文件形式提供的数据，一般推荐使用的文件类型是Excel等。缩略语下列缩略语适用于本文件。UTF-8：Unicode的可变长度字符编码（8-bitUnicodeTransformationFormat）数据汇聚总体框架政务信息资源数据汇聚由信息资源、信息资源目录、数据交换、数据共享交换平台组成，标准规范和安全保障贯穿于各部分，为各部分提供指导和支撑保障。政务信息资源数据汇聚总体架构见图1。数据汇聚总体框架信息资源目录是信息资源共享交换工作的基础，用于快速检索、定位、发现相应的信息资源。通过汇聚基础信息资源、主题信息资源、政务部门信息资源和其他信息资源以数据交换服务为工具，为数据共享交换平台提供数据应用支撑。数据汇聚总体要求汇聚方式库表模式汇聚库表模式汇聚流程库表模式汇聚流程见图2。库表模式汇聚流程图汇聚流程汇聚流程包括：完成数据提供方与电子政务外网的联通，并能成功访问省共享交换平台提供的部门前置库，要求资源提供方通过安全设备保证资源提供方业务数据中心的安全；通过数据共享中心数据处理工具把需要推送的库表数据推送至共省共享交换平台部门前置库中（增量推送）；省共享交换平台数据交换系统把部门前置库的数据采集至数据中心的中心前置库中。数据要求数据要求包括以下方面，需提供字段见表1：提供数据表的主键，这是表中的某一条记录的唯一标识，为必须提供项；数据更新时间戳，要求默认为业务生成时间或者变更时间；如果无法提供则修改成进入前置库时间，修改业务时也为进入前置库时间，可采用数据库默认时间和触发器相结合的方式解决此问题，格式为yyyy-MM-ddhh:mm:ss；新增数据类型，数据新增时为“I”，修改时为“U”，删除时为“D”；来源部门，该字段填入各部门的监管编码，省级厅局为23+“#”+“三位机构代码”（三位机构编码参考附录A.1），地市为6位行政区划编码；批次号：规则为日期+次数，例如2019年8月11日第二次提交数据，批次为“2019081100002”；要求对数据按照时间戳进行增量更新，不可以进行每次全量覆盖式更新。库表模式需提供字段文件模式汇聚基于FTP服务数据汇聚流程基于FTP服务数据汇聚流程见图3。基于FTP服务数据汇聚流程图汇聚流程汇聚流程如下：根据自身实际情况选择人工导出并上传至数据中心FTP服务器或者选择机器自动生成文件并上传至FTP服务器；按照选择的网络图谱配置前置机及网络安全设备并打通网络链路；人工导出模式为省共享交换平台为资源提供方提供FTP上传的用户名和密码，资源提供方通过人工导入至FTP服务器中，共享平台交换工具自动将上传的数据采集至前置库；机器自动上传至资源提供方自建FTP服务器，共享平台交换工具通过资源提供方提供的用户名和密码自动下载新增文件，并把数据采集至前置库中；交换系统把前置库中的数据采集至中心前置库。数据要求数据要求包括：明确每个文件每行数据的主键数据项，且不能为空；每个文件每行数据中需增加一个时间戳字段，以方便系统根据时间戳识别增量数据（时间格式为yyyy-MM-ddhh:mm:ss）；每个文件每行数据中存在无效或者删除数据需提供数据有效性标示字段；按照目录的汇聚频率，更新备份库中的数据；如果导出文件为Excel文件则最后一行必须为数据行，不能出现总计等汇总型数据；如果导出文件为XML文件则必须为标准的XML文件，必须有成对的标识符。一个Excel文件中只能有一个sheet。Excel内不能有合并过的单元格，单元格不能有单元格格式。接口模式汇聚服务接口数据落地模式汇聚数据流程图基于服务接口数据落地模式汇聚数据流程图见图4。基于服务接口数据落地模式汇聚数据流程图汇聚流程汇聚流程如下：资源提供方提供service接口，实现通过接口调取业务应用数据库中的数据；按照选择的网络图谱配置前置机及网络安全设备并打通网络链路；数据共享平台交换工具通过资源提供方提供的service地址、用户名密码、传入参数进行服务调用获取数据，并把数据采集至前置库中；数据交换系统把前置库中的数据采集至中心前置库中。数据要求数据要求包括：明确每条记录中数据的主键数据项，且不能为空；每条记录中的数据需增加一个时间戳字段，以方便系统根据时间戳识别增量数据（时间格式为yyyy-MM-ddhh:mm:ss）；每个文件每行数据中存在无效或者删除数据需提供数据有效性标示字段；按照目录的汇聚频率来更新数据；服务调用必须根据时间段进行数据的采集，输入参数中必须包含起始时间参数和截止时间参数。汇聚频率各单位应以增量更新的方式按规定的频率进行数据交换。更新频率应为资源提供方根据业务产生的实际频率进行定义。命名要求库表模式资源提供方以库表模式提供数据，需注意库表的命名格式，库表的命名应以提供方部门首字母_数据资源目录名称首字母小写来命名，如省税务局的管理员以库表模式提供的一项数据资源目录名称为“纳税人信用等级信息”的库表，那么该库表文件的命名应为：swj_nsrxydjxx。文件模式资源提供方以文件模式上传的数据，其命名规则是数据资源目录名称_上传该数据的日期+顺序号，如省税务局的管理员在2020年3月20日以文件方式提供一项数据资源目录名称为“纳税人信用等级信息”的Excel文件，那么该文件的命名应为：纳税人信用等级信息_2020032001。注：这里的顺序号是由两位数字组成，指的是当日上传此文件的顺序。安全保障参照GB/T22239的规定执行。宜采用信息安全等级保护为三级及以上。数据汇聚流程数据汇聚流程数据汇聚流程见图5。数据汇聚流程汇聚准备阶段创建数据库及文件、接口开发创建数据库创建数据库。数据库要求字符编码为UTF-8，最大连接数不少于300；创建数据表；创建表索引。为了满足数据交换的性能要求，所有汇聚表的主键都应创建索引，索引命名规则为“I_+表名_+主键”。当索引长度超出数据库限制时，索引命名规则为“表名_+主键”。创建文件创建文件夹，准备数据文件。接口开发资源提供方需准备好接口地址及可返回参数的测试用例，并提供接口说明文档。存量数据处理资源提供方将存量数据按本文件的数据汇聚标准及代码集标准进行转换处理。资源确认省数据共享交换平台作为资源需求方确认待汇聚的数据资源，完成数据汇聚准备。资源注册、审核、发布省数据共享交换平台，将待汇聚数据资源进行注册、审核、发布。汇聚运行阶段数据更新资源提供方在数据库表创建成功后，按时间增量的方式进行数据更新。增量数据应满足本文件要求的数据汇聚标准；更新频率按照业务产生频率进行更新。数据汇聚省数据共享交换平台负责将资源提供方提供的数据进行数据汇聚、处理、加载入库。数据对账数据对账用来对资源提供方提供的更新数据与省数据共享交换平台接收的数据进行比对，保证数据一致性。省数据共享交换平台在每次数据更新时，按批次将更新量写入数据对账表，数据对账表数据标准见附录B；省数据共享交换平台数据对账表，数据对账表示例见表2；省数据共享交换平台依据资源提供方上报的数据对账单，比对数据量差异，生成数据比对报告；若存在数据差异，启动异常处理流程。数据对账表Cd_count异常处理省数据共享交换平台进行数据处理后，将发现的异常数据反馈给资源提供方，接收到异常数据，将异常数据核对修改后重新进行提交。特殊情况处理如发生如下情况，需要通知省数据共享交换平台，并重新组织全量数据更新：资源提供方软件系统升级，业务数据表的唯一标识字段（主键）发生变化；汇聚数据内容不符合数据汇聚标准；增量汇聚机制出现故障，无法继续识别增量数据。

（资料性）

代码说明代码说明见表A.1。表A.1代码说明单位编码省委网信办008省委编办009省委军民融合办010省信访局012省委保密办015省委机要局016省档案局028省新闻出版局029省残联099省发改委102省教育厅103省科技厅104省工信厅105省民宗委106省公安厅107省民政厅108省司法厅109省财政厅110省人社厅111省自然资源厅112省生态环境厅113省住建厅114省交通厅115省水利厅116省农业农村厅117省商务厅118省文旅厅119

表A.1代码说明（续）单位编码省卫健委120省退役军人事务厅121省应急厅122省审计厅123省市场监管局126省广播电视局127省体育局128省统计局129省医保局130省地方金融监管局131省营商环境建设监督局132省林草局133省机关事务管理局134省扶贫办136省粮食局138省煤管局141省药监局142省知识产权局143省安全厅199省税务局201省通信管理局202省邮政局203省气象局204省烟草专卖局205哈尔滨海关206黑龙江海事局207国家统计局黑龙江调查队208黑龙江地震局209黑龙江煤监局210黑龙江测绘地信局211黑龙江证监局212黑龙江银保监局213

表A.1代码说明（续）单位编码人民银行哈尔滨中心支行214省消防救援总队215中国民用航空黑龙江安全监督管理局216中国铁路哈尔滨局集团有限公司297省电力公司298省联通公司299

（资料性）

数据对账表表B.1规定了数据对账表字段名称和数据格式。表B.1数据对账表(汇聚)up_data_reconciliation序号名称字段名称数据格式必填项备注1主键IDN20是2表名TableNameC..128是业务表名3批次号Cd_batchC32是每次交换应唯一，用于数据对账4数据量Cd_count