DB5120T 19.2-2023数据资源体系技术指南 第2部分：数据采集汇聚规范

ICS35.040CCSL71 DB5120四川省（资阳市）地方标准DB5120/T19.2—2023220232023122220231229资阳市市场监督管理局发布DB5120/T19.2DB5120/T19.2—2023DB5120/T19.2DB5120/T19.2—2023目  次前 言 II范围 1规范性引用文件 1术语和定义 1缩略语 2数据采集原则 2数据采集 3附录A（规范性）数据资源提供方名称规范表 7参考文献 8II前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的责任。本文件由资阳市政务服务和大数据管理局提出并归口。本文件由资阳市市场监督管理局批准并发布。本文件起草单位：资阳市大数据服务中心、资阳数智科技有限公司。本文件为首次发布。IIII数据资源体系技术指南第2部分：数据采集汇聚规范范围本文件规定了资阳市域数据采集汇聚相关术语和定义、缩略语、采集原则、采集等工作规范。本文件适用于资阳市域政务组织、非政务组织和个人信息资源数据采集、汇聚、更新的管理和使用。规范性引用文件（包括所有的修改单适用于本文件。GB/T5271.11GB/T11457信息技术软件工程术语GB/T18492信息技术系统及软件完整性级别GB/T22032系统工程系统生存周期过程GB/T25000系统与软件工程（所有部分）GB/T29264信息技术服务分类与代码GB/T35295信息技术大数据术语GB/T36625.3智慧城市数据融合第3部分：数据采集规范GB/T36625.3智慧城市数据融合第3部分：数据采集规范GB/T38667信息技术大数据数据分类指南GB/T40094.2电子商务数据交易第2部分：数据描述规范GB/T40094.3电子商务数据交易第3部分：数据接口规范行GB/T42450信息技术大数据数据资源规划DB51/T3056政务数据数据分类分级指南3术语和定义GB/T5271.1、GB/T11457、GB/T18492、GB/T25000、GB/T29264、GB/T35295、GB/T36625.3、GB/T38667、GB/T40094.2、GB/T40094.3、GB/T42450、DB51/T3056界定的以及下列术语和定义适用于本文件。3.1数据采集dataacquisition从数据源中得到原始数据，通过标准化处理并转化为满足未来数据共享与利用需求的过程。3.2数据分类datacategorization把具有某种共同属性或特征的数据归并在一起，按照一定的原则和方法进行归类。3.31数据分级dataclassification3.4从数据库compliancedatabase从数据库是主数据库的备份，当主数据库变化时从数据库要更新，数据库软件可以设计更新周期。3.5fileserver3.6数据归集库datacollectiondatabase数据归集库指数据资源中心集中存储来自不同来源数据的位置。缩略语下列缩略语适用于本文件。XML：可扩展标记语言（eXtensibleMarkupLanguage）JSON：对象标记（JavaScriptObjectNotation）ACID：数据库事务特征原子性、一致性、隔离型和持久性（AtomicityConsistencyIsolationDurability）数据采集原则统一性真实性完整性及时性选择性保密性2数据采集管理职责数据资源提供方负责本单位的数据治理，保证推送到从数据库的数据符合质量规范要求和安全要求，并满足应用需求。负责从数据库的部署、配置和运维，保证数据主从一致。c）负责接收本单位的数据质量报告，并修正问题数据。d）负责按要求挂载数据资源。政务数据管理机构a）负责数据的采集和清洗加工，保证经过清洗和转换后的数据符合相关质量规范和安全要求。b）负责提供从数据库服务器资源，并审核资源申请。c）负责出具数据质量报告，并推送给对应的数据资源提供方。d）负责从数据库巡查管理数据采集框架以及业务场景需求，定义整体数据采集框架如图1所示。各数据提供方将结构化数据实时同步至从数据库，将非结构化数据同步至文件服务器，将对外接口开放给数据资源中心。图1数据采集总体框图数据采集方式以及业务场景需求，定义整体数据采集框架如图1所示。各数据提供方将结构化数据实时同步至从数据库，将非结构化数据同步至文件服务器，将对外接口开放给数据资源中心。图1数据采集总体框图数据采集方式数据采集分类原则库表交换23图2 库表交换流程6.3.3文件交换FTP、SFTP3图3 文件交换流程6.3.46.3.4接口交换政务数据管理机构可通过数据接口采集数据资源提供方的方式实现数据共享，接口传输可采用restful、webservice等协议，交换流程如图4所示。图4 接口交换流程数据接入规范从数据库要求从数据库命名规范a）有业务系统的名称为数据资源提供方简称的拼音首字母_业务系统拼音首字母。b）无业务系统的名称为数据资源提供方简称的拼音首字母_qt（qt指“其他”）。c）如若出现名称重复时，采用在名称后追加阿拉伯数字的方式保证命名的唯一性。4示例：资阳市应急管理局（简称“市应急局”）的业务系统“应急指挥平台”，从数据库名称为“syjj_yjzhpt”；资阳市应急管理局（简称“市应急局”）无业务系统的数据资源，从数据库名称为“syjj_qt”。从数据库建表要求从数据库的表命名规范6.4.2文件服务器要求IP数据采集流程数据采集流程如下：各数据资源提供方同步数据：向政务数据管理机构提供可供采集数据的详细数据字典或文件格式。申请文件服务器或从数据库资源，经政务数据管理机构审核批准后，向数据资源提供方提供文件服务器或从数据库资源访问方式。指定数据专员，按照共享数据的更新频率，实时同步数据。b）分析数据：分析数据来源、数据结构、数据内容、数据之间存在的依赖关系（主外键关系等）、数据字典等。c）抽取数据：从文件服务器或从数据库抽取数据。海量数据采用并行方式分批或增量抽取数据。d）存储数据：存储数据与抽取数据应保持一致，具备异常回滚机制。存储结构：根据抽取数据选择合适的类型、长度、精度存储数据。存储类型：结构化数据以数据库方式存储；非结构化数据以文件方式存储。存储介质：按数据的访问频率选择读写性能不同的存储介质。存储策略：根据数据读写频次和实时性要求制定不同的存储策略。访问频率较低的数据，宜将数据压缩后存储。数据采集方法数据采集方法分为人工采集和自动采集，以自动采集为主。a）人工采集：通过手动录入、存储介质拷贝、电子表格导入等人工方式采集数据。b）自动采集：通过从文件服务器或从数据库自动抽取数据的方式采集数据。数据校验审核采集安全要求在数据采集的各个环节，应建立数据安全管理制度、应急事件处理机制、审查监督机制。566附录A（规范性）数据资源提供方名称规范表政府机构全称政府机构简称政府机构简拼资阳市人民政府办公室市政府办公室szfbgs资阳市发展和改革委员会市发展改革委sfzggw资阳市经济和信息化局市经济和信息化局sjjhxxhj资阳市教育和体育局市教育和体育局sjyhtyj资阳市科学技术局市科学技术局skxjsj资阳市公安局市公安局sgaj资阳市民政局市民政局smzj资阳市司法局市司法局ssfj资阳市财政局市财政局sczj资阳市人力资源和社会保障局市人力资源社会保障局srlzyshbzj资阳市自然资源和规划局市自然资源规划局szrzyghj资阳市生态环境局市生态环境局ssthjj资阳市住房和城乡建设局市住房城乡建设局szfcxjsj资阳市交通运输局市交通运输局sjtysj资阳市水务局市水务局sswj资阳市农业农村局市农业农村局snyncj资阳市商务局市商务局sswj资阳市文化广播电视和旅游局市文化广电旅游局swhgdlyj资阳市卫生健康委员会市卫生健康委swsjkw资阳市退役军人事务局市退役军人事务局styjrswj资阳市应急管理局市应急管理局syjglj资阳市审计局市审计局ssjj资阳市政府国有资产监督管理委员会市国资委sgzw资阳市市场监督管理局市市场监管局sscjgj资阳市统计局市统计局stjj资阳市城市管理行政执法局市城市管理行政执法局scsglxzzfj资阳市乡村振兴局市乡村振兴局sxczxj资阳市信访局市信访局sxfj资阳市金融工作局市金融工作局sjrgzj资阳市经济合作和外事局市经济合作和外