2023工业互联网大数据中心体系 数据交换与共享接口规范

工业互联网大数据中心体系数据交换与共享接口规范II目录1范围 .-1-2规范性引用文件13术语和定义14缩略语25数据交换与共享服务总体框架26数据交换要求36.1数据交换总体流程36.2数据交换总体要求46.3数据汇聚要求76.4数据分发要求97共享服务要求117.1共享服务接口总体框架117.2共享服务接口类型要求127.3共享服务接口提供127.4共享服务接口使用13A（资料性附录）15A.1共享服务接口返回值代码表15A.2XMLSchema16--PAGE1-国家工业互联网大数据中心体系数据交换与共享接口规范范围求规范。规范性引用文件（包括所有的修改单）C0126.1-2019国家政务服务平台数据交换与共享接口第1部分数据交换要求C0126.2-2019国家政务服务平台数据交换与共享接口第2部分共享接口要求QB/CAII01-01-2023国家工业互联网大数据中心体系总体框架与术语定义术语和定义下列术语和定义适用于本文件。3.1国家中心nationalcenter指位于北京的国家工业互联网大数据中心，与各区域分中心、各行业分中心共同组成国家工业互联网大数据中心体系。3.2区域分中心regionalsubcenter础设施体系。3.3行业分中心industrialsubcenter指国家工业互联网大数据中心体系在重点行业建设的行业级新型基础设施体系。3.4第三方平台third-partyplatform指外部第三方大数据体系或平台，如全国一体化政务大数据体系、第三方工业互联网平台或系统等。3.5数坝datachannel的载体。3.6数据交换dataexchanging送、传输和接收的过程，具体业务包括数据汇聚和数据分发。3.7数据汇聚dataaggregating以及第三方平台向国家中心发送、传输和接收的数据过程。3.8数据分发datadistributing指国家中心在审核通过数据申请后，向各区域分中心、各行业分中心以及第三方平台发送、传输和接收数据的过程。3.9前置机dataexchangepre-processor输的原始数据。3.10资源提供方resourceprovider中，指国家中心。在数据共享服务过程中，是指国家中心。3.11资源需求方resourcedemander第三方平台以及各类对数据资源有需求的业务系统。中心、第三方平台以及各类对数据资源有需求的业务系统。缩略语下列缩略语适用于本文件。JSON：JavaScript对象标记（JavaScriptObjectNotation）RPC：远程过程调用（RemoteProcedureCall）RESTFUL：表述性状态传递（RepresentationalStateTransfer）SOAP：简单对象访问协议(SimpleObjectAccessProtocol)数据交换与共享服务总体框架务系统。--PAGE10-图1数据交换与共享服务总体框架数据交换要求数据交换总体流程行业分中心和第三方平台等资源需求方。数据交换总体流程见图2。数据汇聚中心的过程。数据分发各区域分中心、各行业分中心和第三方平台以及各业务系统、数据应用的过程。图2数据交换总体流程数据交换总体要求交换方式务接口调用、数据库交换三种交换方式。描述，适用于数据量较大和非结构化数据的交换。服务接口调用方式是通过实时请求服务接口实现数据交换，适用于时效性和灵活性要求较高、数据量较小的数据交换。交换。交换数据应遵循以下内容：交换数据中，汉字使用中文半角，英文字母、数字和符号使用英文半角。交换数据应采用UTF-8编码格式。文件交换方式，数据提供方需为每条交换数据记录增加设置两个数据项：记录换方式，记录入库时间指数据传送文件生成的时间。文件交换方式约束规范XMLXML文件由声明、包头和包体三部分组成。交换数据文件符合XML1.0规范。声明部分使用XML语言表述如下：<?xmlversion=1.0"encoding="UTF-8"?>交换日期、数据加载标志、数据量和更新频率，如表1所示。表1包头数据资源描述信息顺序号标记长度含义说明1DATA_SOURCE_NAME32是数据资源名称交换的数据资源名称2BUREAU_CODE18是单位代码GB/T4657关、人民团体及其他机构代码表;省GB/T2260和国行政区划代码;法人及社会组织按照GB32100社会信用代码编码规则3BUREAU_NAME100是单位名称数据归属单位名称4SYNC_DATE8是数据交换日期yyyy-mm-dd5SYNC_FLAG1是数据加载标志数据同步标志（1-全量加载；2-增量加载）6DATA_TOTAL16是数据量包体包含的数据记录数量7SYNC_FREQ2是更新频率更新频率(年;季;月;周;日;小时;其他)包头部分格式如下:<PACKAGEDATA_SOURCE_NAME="企业xxx信息"BUREAU_CODE="320000"BUREAU_NAME="单位名称"SYNC_DATE="20230201"SYNC_FLAG="1"SYNC_FREQ="月"DATA_TOTAL="150"xmlns:xsi="\h/2001/XMLSchema-instance"xsi:noNamespaceSchemaLocation="">交换数据包体部分由多条数据记录集合组成，每条数据记录由数据项和数据内容组成。包体部分格式如下:<RECORD><COLUMNNAME="${数据项名称}">${数据项内容}</COLUMN>……</RECORD>XML应遵循的其他约定:文件。XML&5XML数据内容中存有这些特殊字XML文件。表2XML特殊字符与对应的转义字符特殊字符&<>“’转义字符&<>""义上的限制。XML实例及SchemaA.2。CSV每一行记录位于一个单独的行上，用回车换行符CRLF(也就是\r\n)分割。的名称，应该有和记录字段一样的数量。在标题头行和普通行每行记录中，会存在一个或多个由分隔符“|”分隔的字段。CSV格式限定文件大小,单个CSV格式文件不超过150M,如超出,需要拆分成多个CSV文件。TXTa）描述内容之间的分隔符为“:”，数据资源描述项之间的描述分隔符为“|”。b）第二行为数据项名称,之间的分隔符为“|”，换行标识符为“\r\n”，封闭符为“^”。\r\n”,封闭符为“^”。TXT数据资源描述信息格式示例如表3。表3TXT数据资源描述信息格式示例DATA_SOURCE_NAME:企业xxx信息DATA_SOURCE_NAME:企业xxx信息|BUREAU_CODE:210000|BUREAU_NAME:xxx|SYNC_DATE:20230220|SYNC_FLAG:2|SYNC_FREQ:月|DATA_TOTAL:150^项1^|^项2^|^项3^|^ ^|^录ID^|^^\r\n^|^337C7F2B-7A34-4F50-9141-BAB9E6478CC8^|^20230210123830^\r\n^|^38BDDF48-F43C-4858-8E0D-78761EAA1CE6^|^20230210124840^\r\n应遵循的其他约定:若数据项没有内容时,分隔符“|”不能省略,需保证完整性。TXT格式限定文件大小,单个TXT格式文件不超过150M,如超出,需要拆分成多个TXT文件。号为“\”，“^”的转义符号为“\\”。文件命名规范文件命名格式为“{资源方名称}_{时间日期(精确到天或小时)}_001.{文件扩展名XML、CSV、TXT}”。多个实体的话序号累加，如“江苏分中心_202202241200_002.CSV”等。压缩文件的命名为“文件名”+“_卷号”+“.ZIP”。文件打包规范生成,为十进制表示的小于999的数字,起始值为001）。数据库交换方式约束规范数据库交换方式应遵循以下内容:交换双方的数据库应与国家中心的数据库为同构数据库。进行库表对接的双方需要保持数据库、数据表结构的一致性。或失败，需重新进行数据库对接传输。交换频率各区域分中心、各行业分中心、第三方平台应以全量/增量更新的方式，按规定的频率进行数据交换。各类数据的交换频率要求如下：1/天。业务数据实时交换，交换频率需遵照各服务接口约定。数据汇聚要求数据汇聚流程件交换方式和数据库交换方式的汇聚流程见图3；服务调用方式的汇聚流程见图4。图3基于文件/数据库交换方式的汇聚流程图4基于服务调用方式的汇聚流程资源提供方需完成以下工作：向数坝发起汇聚申请。其中，服务调用方式需按照7.3.1的服务接口注册信息表发起服务注册申请；文件交换和数据库交换方式需参照的资源申请信息表发起资源汇聚申请。汇聚审核资源提供方发起汇聚申请后，数坝对资源/服务注册申请信息审核、确认，完成申请准入或者驳回；若驳回申请，则给出驳回理由。表4文件交换/数据库交换资源申请信息表序号信息名称说明1资源名称（中文）数据资源的中文名称，不允许重复。格式：部门简称_数据资源名称。2资源名称（英文）数据资源的英文名称3申请动作push：汇聚（申请人为资源提供方）；pull：拉取（申请人为资源需求方）4资源摘要提供数据资源的简单描述5提供部门代码数据资源的提供部门代码（统一社会信用代码）6提供部门名称数据资源的提供部门名称7数据交换方式选择的数据交换方式：数据库交换、文件交换8数据交换量级包含的数据数量或容量9数据交换频率数据交换频率（比如：小时、天、月等，选择定时交换方式时需注明）10数据交换方式数据交换方式（比如：一次性、定时交换）11数据资源信息数据库交换：可读权限的数据库连接信息、用户信息、库名、表名、表结构及建表语句等信息；文件交换：文件名12资源有效日期资源的有效截止日期，日期格式（YYYY-MM-DD）资源发布国家中心作为资源需求方在汇聚申请审核通过后，完成以下数据汇聚准备工作：服务调用方式：完成汇聚服务接口注册。文件交换方式：完成文件资源目录、文件的权限确认等前置汇聚准备工作。端库表到目标前置机库表的库表数据同步信息。资源提供方获取申请许可后，需准备好待汇聚数据。服务调用方式：按汇聚申请单的约定准备好服务接口及其运行方式。（文件规范参见6.2.3），同时留存文件备份用于文件数据对账。具备可读权限。数据汇聚载入库。数据对账数据一致性。据，若存在差异，启动异常处理流程。端库表一致，若存在差异，启动异常处理流程。异常处理中心、第三方平台接收异常数据，核对修改后，按数据更新流程重新提交。特殊处理情况资源提供方如发生如下情况，需要通知国家中心，并重新组织全量数据更新：资源提供方的系统软件升级，业务数据表的唯一标识字段（主键）发生变化。汇聚数据内容不符合数据汇聚标准。汇聚数据内容不符合本文件的代码集标准。增量汇聚机制出现故障，无法继续识别增量数据。数据分发要求数据分发流程数据分发流程见图5；文件交换方式的数据分发流程见图6。图5服务调用方式-分发流程示例图6文件交换方式-分发流程示例的资源申请信息表向数坝发起需求资源申请。资源审核资源需求方提交数据资源申请后，数坝对服务接口/资源申请信息审核、确认，完成申请准入或者驳回；若驳回申请，则给出驳回理由。资源发布国家中心在资源申请审核通过后，完成以下数据资源分发准备工作：权、分配私钥等。分发准备工作。国家中心负责生成数据文件和上线服务接口，并通过数坝对外提供数据资源获取入口。数据获取资源需求方通过数坝按照申请的数据交换方式来获取国家中心的数据资源。共享服务要求共享服务接口总体框架共享服务接口。共享服务接口总体框架见图7。图7共享服务接口总体框架具体步骤如下：资源提供方将服务接口注册到国家中心。国家中心对服务接口进行审核及统一封装，并完成对外发布服务接口。资源需求方向国家中心提出服务接口调用申请。国家中心统一受理，按授权方式由国家中心进行审核。资源需求方按服务接口使用要求进行调用。资源需求方对资源提供方进行意见反馈（如有需要）或应用资源。共享服务接口类型要求RPCRESTFULSOAPWEBSERVICE等。共享服务接口提供共享服务接口注册见表5。表5服务接口注册信息序号信息名称说明1服务名称（中文）服务接口资源的中文名称，不允许重复。格式：部门简称_信息资源名称。2服务名称（英文）服务接口资源的英文名称3服务摘要提供服务的简单描述4提供部门代码服务接口资源的提供部门代码（统一社会信用代码）5提供部门名称服务接口资源的提供部门名称6所属资源目录服务接口资源所属的资源目录，资源目录由资源提供方编目并注册到国家中心，当服务接口注册时，选择相应的资源目录7服务地址服务接口的地址，必须是通过国家中心能够访问的地址，否则无法注册或被资源需求方使用8协议类型基于HTTP协议的RPC、RESTFUL、SOAPWEBSERVICE9请求方法POST10响应格式JSON11调用频率服务接口的调用频率上限值（比如：100次/秒）12响应时间服务接口的最长响应时间（比如：6ms）13服务有效日期服务接口调用的有效截止日期，日期格式（YYYY-MM-DD）14参数表14.1参数名参数名14.2参数位置参数位置（1：header；2：body）14.3参数类型选择类型（类型包括string、int、long、array、boolean、object等）14.4约束条件长度等限制14.5描述信息参数的描述信息15共享类型1：无条件共享，2：有条件共享16共享条件说明共享类型是“2：有条件共享”时的说明17是否对公众开放1：是，2：否18服务接口说明文档详细的服务接口使用说明文档，具体内容应包括服务接口概述、服务接口访问限制、服务接口参数说明、服务接口授权说明、服务接口调用实例等。注：请勿在服务接口使用说明文档中暴露原始服务接口地址共享服务接口审核发布提供方。销理由，国家中心进行备案记录。理部门的审核，审核通过后撤销成功。共享服务接口变更写变更说明，国家中心进行备案记录。版本管理。共享服务接口使用共享服务接口申请通过后，由国家中心为资源使用方授权认证信息。服务接口申请信息见表6。表6服务接口申请信息序号名称描述1服务接口名称申请使用的服务接口名称2申请部门代码服务接口申请部门的统一社会信用代码3申请部门名称服务接口申请部门名称4申请部门联系人服务接口申请部门联系人5申请部门联系人电话服务接口申请部门联系人电话6申请部门联系人邮箱服务接口申请部门联系人邮箱7使用部门代码服务接口使用部门的统一社会信用代码8使用部门名称服务接口使用部门的名称9使用部门联系人服务接口使用部门的联系人10使用部门联系人电话服务接口使用部门的联系人电话11使用部门联系人邮箱服务接口使用部门的联系人邮箱12资源应用系统名称使用该资源的业务系统名称13涉及的事项办理使用该资源用于哪些事项的办理。国家中心提供事项目录清单选项，见已下发的监管事项目录清单16申请依据描述使用部门完成上述事项办理的相关法律、法规、政策的具体依据17服务接口调用频次服务接口调用频次(平均)次/秒18附件带有本主管部门印章的申请表及相关技术参数文档共享服务接口使用资源需求方获取授权信息后进行服务接口调用，调用流程详见图8。图8共享服务接口调用流程示例具体步骤如下：获取安全访问令牌。资源需求方使用国家中心分配的client_id和client_secret接口说明见表7。表7获取访问资源令牌的安全认证服务接口说明名称获取访问资源令牌URL样式ip:port/caiicloud/auth/token功能说明本接口用来获取国家中心访问资源令牌提交方式GETURL参数名称是否必须描述client_id是资源需求方客户端idclient_secret是资源需求方密钥返回Http状态200返回数据参数名称描述accessToken令牌信息refreshToken刷新令牌account账户名称accessTokenExpiredTime令牌过期时间（Timestamp类型，值为毫秒数））{"accessToken":"xxx","refreshToken":"xxx","account":"xxx","accessTokenExpiredTime":"xxx"}后，返回接口响应结果。服务接口错误返回值代码见附录A.1。附录A（资料性附录）共享服务接口返回值代码表规定了共享服务接口的返回值代码，参见表A.1。表A.1返回值代码表返回代码返回描述10000成功返回10001删除出错10002保存出错10003参数错误10004缺失APIKEY错误10005API不可用或APIKEY错误10006API过期10007调用过于频繁10008接口参数丢失10009参数格式错误，必须是JSON格式10010并发访问量太高，请稍后访问10011数据更新出错10012连接被拒绝10013连接超时10014未知主机10015未知错误10016调用方法错误，只能用POST10017调用方法错误，只能用GET10018调用方法错误，只能用PUT10019调用方法错误，只能用DELETE10020熔断中，稍后恢复10021数据查询错误10022路径参数丢失10023网关参数丢失10024认证失败10025令牌失效10026调用配额已满10027日期格式错误10028重放攻击XML实例及Schema实例XML实例<?xmlversion="1.0"encoding="UTF-8"?><?xmlversion="1.0"encoding="UTF-8"?><PACKAGEDATA_SOURCE_NAME="xxxBUREAU_CODE="320000BUREAU_NAME="单位SYNC_DATE="20230201SYNC_FLAG="1SYNC_FREQ="DATA_TOTAL="150"xmlns:xsi\h="/2001/XMLSchema-\hinstance"xsi:noNamespaceSchemaLocation="qualified"><DATASET><RECORD><FIELD1>VALUE1</FIELD1><FIELD2>VALUE2</FIELD2><FIELD3>VALUE3</FIELD3></RECORD>……</DATASET>Schema实例<?xmlversion="1.0"encoding="UTF-8"?><?xmlversion="1.0"encoding="UTF-8"?><xs:schema \helementFormDefault="qualified"><xs:elementname="PACKAGE"><xs:complexType><xs:sequence><xs:attributename="DATA_SOURCE_NAME"use="required"ty