DB3310T 91-2022 公共数据归集指南

ICS35.240.01CCSL673310Guidanceforpublicdataa台州市市场监督管理局发布IDB3310/T91—2022 12规范性引用文件 13术语和定义 14基本原则 25归集方式 26考虑要素 2DB3310/T91—2022本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由台州市大数据发展管理局提出、归口并组织实施。本文件起草单位：台州市大数据发展管理局、中国人民大学。本文件主要起草人：张晓玮、林贤杰、陈友增、林国、安小米、李真、居林欢、陈余超、王帅涵、齐宇、白文琳、许济沧、黄婕、王丽丽、邝苗苗、沈荣、刘桓鑫。1DB3310/T91—2022公共数据归集指南本文件描述了公共数据归集的基本原则、归集方式和考虑要素等内容。本文件适用于公共数据管理中的数据归集的规划、实施、评价、审计、报告和持续改进。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。DB33/T2351—2021数字化改革公共数据分类分级指南DB33/T2359—2021公共数据交换技术规范DB33/T2426—2022公共数据元管理规范DB3310/T90—2022公共数据安全可信保障指南3术语和定义下列术语和定义适用于本文件。3.1公共数据publicdata国家机关、法律法规规章授权的具有管理公共事务职能的组织，在依法履行职责和提供公共服务过程中获取的数据资源以及法律法规规章规定纳入公共数据管理范围的其他数据资源。[来源：DB33/T2351—2021，3.1]3.2数据收集datacollectioningovernmentdepartment公共管理和服务机构按照法定权限、范围、程序和标准规范，收集、汇集、整理数据的行为和过程。3.3数据归集dataaggregationfromgovernmentdepartment公共数据主管部门面向公共管理和服务机构，对公共数据进行收集、汇聚、整合的行为和过程。3.4数据目录datacatalog2DB3310/T91—2022以核心元数据为主要描述方式，按照资源分类体系对公共数据进行有序排列的一组信息，用以描述公共数据的特征，以便对公共数据进行检索、定位与获取。[来源：DB33/T2349—2021，3.4]4基本原则公共数据归集宜遵循以下基本原则：——合规性：按照法定职责和归集标准，获取公共管理和服务机构依法收集的数据；——准确性：公共数据应真实反映客观事物的状态；——完整性：明确数据归集的范围、内容及目标，数据归集宜覆盖项目所规定的内容，不宜造成数据的缺失和遗漏；——时效性：明确数据归集的频率和方式，实现数据的动态更新；——安全性：加强公共数据归集过程中的安全保障。5归集方式5.1离线交换实时性低、数据量少的数据，宜以静态文件的方式，通过离线导入实现数据的归集。5.2库表交换实时性较高、数据量较大的数据，宜以数据库交换的方式，通过分批分次实现数据的归集。5.3数据高铁实时性高、数据量大的数据，宜以数据高铁的方式，通过日志采集和解析实现数据的归集。6考虑要素6.1业务要素6.1.1需求管理：公共管理和服务机构可通过共享机制向公共数据主管部门提交数据需求清单，由公共数据主管部门与相关公共管理和服务机构协商归集。6.1.2审核管理：公共数据主管部门对数据目录和数据元的注册、更新与注销进行审核。6.1.3质量管理：公共数据主管部门、公共管理和服务机构宜建立数据全流程质量管控体系，加强数据质量事前、事中和事后的监督检查，实现问题数据可追溯、可定责。6.1.4纠错管理：公共数据主管部门宜建立数据质量校验机制，对收集的公共数据进行程序化质量校验；数源单位通过公共数据平台数据处理系统，整改问题数据并更新、归集。6.2技术要素6.2.1数据目录：公共数据主管部门宜遵循DB33/T2349—2021，组织编制本级公共数据目录，并报上一级公共数据主管部门审核。6.2.2数据元：对数据项的标准中文名、英文名、区域、权威单位、标准分类、枚举值等属性进行管理，可参照DB33/T2426—2022。6.2.3数据字典：数据值转换时宜保持语义一致化表达，明确权威数据项值域，形成统一数据标准。3DB3310/T91—20226.2.4数据格式：公共数据主管部门与公共管理和服务机构宜指明源数据与目标数据的技术格式考虑要素，如最大字符、最小字符、长度等，具体可参照DB33/T2349—2021。6.2.5数据标识：收集公共数据宜分别以下列号码或代码作为必要标识：a)居民身份证号码或个人其他有效身份证件号码；b)法人统一社会信用代码；c)非法人组织统一社会信用代码或其他识别代码。6.2.6数据分类：宜参照DB33/T2351—2021，基于数据元所描述的内容、属性、类型进行分类分级。6.2.7数据资源库：基于DB33/T2426—2022标准形成全市统一的数据资源库，支持部门快速检索查询现有数据，主要包括数据元库和数据集库。6.3系统要素6.3.1架构设计：公共数据主管部门宜参照6.1的业务要素，构建统一的技术架构以保障公共数据的互操作性。6.3.2数据交换：公共管理和服务机构按照交换规范和数据目录，对已有数据增加时间戳、唯一标识、数据版本和交换标记，满足数据交换操作、数据交换跟踪和审计。6.3.3数据仓：公共管理和服务机构宜依托公共数据平台建立数据仓，实现自有业务数据和批量共享数据的存放、治理、计算、分析和利用。6.3.4数据探查：公共数据主管部门宜开展数据目录动态监测，实时发现公共管理和服务机构数据表元数据的变化情况，实现数据目录动态化。6.3.5数据图谱：公共数据主管部门宜建立数据资产管理系统，对数据收集、数据归集、数据清洗和数据共享等环节的整体情况进行跟踪分析，提高归集数据的使用效率。6.4安全要素6.4.1社会责任：公共数据主管部门、公共管理和服务机构在数据收集和归集中宜遵守社会公德和伦理道德，履行数据安全保护义务，承担社