DB37T 4646.1-2023 公共数据数据治理规范 第1部分：数据归集

37Publicdata—Specificationofdatagovernance— 2 2 2 2 3 3 3 4 6 6 8 8 8 本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定东省先后印发《山东省“十四五”数字强省建设规划》（鲁政字〔2021〕128号）等一系列政策文件，数据清洗比对、数据返还、资源服务目录等工作存在的普遍问题，制定DB37/T4646《公共数据数据治理规范》系列标准。DB37/T4646拟由以下四——第2部分：数据清洗比对。目的在于规范各级公共管理和——第3部分：数据返还。目的在于规范各级公共管理和服——第4部分：资源服务目录。目的在于规范各级公共管理和服务机构1公共数据数据治理规范第1部分：数据归集本文件适用于指导各级公共管理和服务机构归集数据至省一体化大数GB/T22239—2019信息GB/T35273—2020信息安全GB/T37973—2019信息安全DB37/T4646.2—2023公共公共管理和服务机构publicadministrationandservicesorga4缩略语CSV：逗号分隔文件格式（Comma-SeparatedValHTTP：超文本传输协议（HypertextTransferProtocHTTPS：超文本传输安全协议（HypertextTransfer2PDF：可携带文档格式（PortableDocumentFormSFTP：安全文件传送协议(SecretFileTransferURI：统一资源标识符（UniformResourceIdentifUTF-8：Unicode的可变长度字符编码(8-bitUnicodeTransformationFormUUID：通用唯一识别码(UniversallyUniqueIdentifiXML：可扩展标记语言（ExtensibleMarkupLa5数据归集流程5.2.1应结合归集数据的范围、数据传输5.2.2公共数据的归集方式主要包括库表、文件、服务接口三种，其中库表、文件方式适用于对数据5.3开展数据归集5.3.1应将数据库表结构发送至大数据工作主管部门，并根据数据归集方式和数据实际情况，做好数a)应在前置机中建设前置库，用于临时存储业务数据表、对账数据表等，可根据业务需要创建b)应在前置库中建设业务数据表、对账数据表，业务数据表存储待归集的业务数据，对账数据a)应在前置机中建设文件系统，用于临时存储待归集的文件；b)在前置库中建设文件信息表、文件拆分信息表、对账数据表，文件信息表、文件拆分信息表通过省一体化大数据平台发布，服务接口的命名、服务方法、请求类型、输入参数和输出参b)应依据服务接口要求，开发服务接口调用程序，调用服务接口推送本机构数据至省一体化大数据平台，可采用压缩等技术实现数据高速传输，5.3.5以库表和文件方式归集数据时，大数据工作主管部门应依据业务数据表结构、对账数据表内容35.4归集结果确认5.4.1大数据工作主管部门应通过对账数据等对已归集数据进行核对，确保公共管理和服务机构提供5.4.2大数据工作主管部门应对已归集数据开展数据清洗比对等数据治理工作，反馈问题数据和数据数据表扩展信息的字段名称和说明见表1，业务数据表的约束业务操作标识用于标识业务数据的操作属性，数据更新时间为业务数据写入业务数据表的时间，格式为YYYY-MM-DDh批次时间为对账数据写入对账表的时间，采用数据库时间函数的值，格式为YYYY-4批次状态为本批次数据归集状态，0为初始默认值b)XLS、XLSX文件格式的约束主要包5业务操作标识用于标识业务数据的操作属性，数据更新时间为业务数据写入业务数据表的时间，格式为YYYY-MM-DDh文件信息表记录ID为拆分文件对应文件信更新时间为业务数据写入业务数据表的时间，格式为YYYY-MM-DDh批次时间为对账数据写入对账表的时间，采用数据库时间函数的值，格式为YYYY-6批次大小为该批次的文件占用的存储空间，应与该批次文件实际大小相符，单批次状态为本批次数据归集状态，0为初始默认值服务接口调用形式为：<Protocol>://<Hostname>:<Port>/<d)URI指资源URI，由接口唯一标识、数据传输流服务接口资源采用Schema架构说明的标准XML文件方式进行描述，其中编码方式为UTF-8，XML服务接口主要分为增删改类数据服务接口和只增类数据服务接口，服务接口的功能见表6123456787.1应按照公共数据资源目录中约定的数据更新频率将更新数据归集至省一体化大数据平台。7可采用全量更新方式；对于每次仅归集近一段时间的数据时，可采用增量更新数据归集安全应符合GB/T22239—2019中等级保护三级的要求，个人信息安全应符合GB/T35273—2020要求，其他安全要求应符合GB/T379738A.1业务数据表约束及示例A.1.1业务数据表约束是—是1—是8—是A.1.2业务数据表示例IUDIA.2对账数据表约束及示例A.2.1对账数据表约束对账数据表包括对账记录唯一标识、表名、批次号、批次条数、批次时间、批次状态等字段,相关是 是—是9——是8—是1—是A.2.2对账数据表约束1完整性校验、业务操作标识、文件是否拆分标识、拆分数量和更新时间等字段，相关约束见表是 是—是—是——是 是—是—是1—是1 是 否8—是_ID_NAME_SIZE_TYPE_CNAMEATION_COUNTEf息I16是—是—是 是 是—是8—是_ID次状态等字段，相关约束见表B.5。非结构化文件的对账数据表应包括对账记录唯一标识、文件路径、批次号、批次个数、批次大小、批次时间、批次状态等字段，相关约束见是—是—是——是8—是1 是是—是—是 是 是8—是1—是11<?xmlversion="1.0"encoding="UTF-8"standa<xs:schemaID="test"xmlns=""xmlns:xs="/2001/XMLScxmlns:msdata="urn:schemas-microsoft-com:xml-ms<xs:elementname="test"msdata:IsDataSet="true"msdata:UseCurrent<xs:choiceminOccurs="0"maxOccur<xs:elementname="ApeID"type="xs:string"minO<xs:elementname="mac"type="xs:string"min<xs:elementname="zdcq"type="xs:string"minO<xs:elementname="rdssID"type="xs:string"minOc<xs:elementname="cjsj"type="xs:dateTime"minOc<ApeID>abcdefghij1234<cjsj>2019-11-06T08:09:58.9https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnuer>/<DistributedStorageIdentifier>/<ResouceIIneterfaceIdentifie——IneterfaceIdentifier=addobjects时消息体为IneterfaceIdentifier=addobjects_G <?xmlversion="1.0"encodinstandalone="yes"?><responsestatus="{status}"er—https://<Hostname>:<Port><IneterfaceIdentifier>/<serialnuer>/<DistributedStorageIdentifier>/<ResouceIdeleteobjects、deleteob——IneterfaceIdentifier=deleteobjeIneterfaceIdentifier=deleteobjects_G带schema架构说明的基本数据类型标准xm—<?xmlversion="1.0"encodinstandalone="yes"?><responsestatus="{status}"er—https://<Hostname>:<Port><IneterfaceIdentifier>/<serumber>/<DistributedStorageIdentifier>/<ResouceIdent>— IneterfaceIdentifier=updateobjeIneterfaceIdentifier=updateobjects_码带schema架构说明的基本数据类型标准xml的GZI—<?xmlversion="1.0"encodinstandalone="yes"?><response—https://<Hostname>:<Port><IneterfaceIdentifier>/