数据资源全周期管理系统建设项目需求

数据资源全周期管理系统建设项目需求一、项目概述（一）与项目有关的基础设施情况区数据资源全周期管理系统在全省数字化改革1612架构下，为积极响应数字化改革的发展目标，实现问题数据可追溯、可定责，保证数据的及时性、准确性、完整性，促进数据“易管”“好用”“合规”。在政策要求明确、社会基层需求迫切、省市一体化智能化公共数据平台、IRS（省一体化数字资源系统）、城市大脑·平台系统等相关软硬件基础条件进行升级建设，并尽最大可能保障系统运行的稳定性、安全性。（二）项目建设概述为进一步落实一体化业务大数据体系建设要求，结合区数据日常管理实践，并基于省市数据工作要求，以“全周期”“全要素”“全层级”为管理目标，打造具有数据管理特色的数据资源全周期管理系统，主要内容包括数据可视化中心、数据资源中心、数据质量中心、数据监管中心四大中心。结合该系统开展数据全周期流程闭环管理工作，提升数据管理系统化支撑能力。二、采购内容区数据资源全周期管理系统项目建设，具体采购清单如下：序号采购项目采购内容功能数量单位1区数据资源全周期管理系统数据可视化中心(首页)全周期指标分析/1项2工作台待办事项1项3月度报告分析1项4数据资源管理全局检索1项5任务交办1项6数据资源中心数据编目数据目录1项7归集数据目录1项8接口数据目录1项9共享数据目录1项10基础库/主题库/专题库1项11物联数据目录1项12资源数据源管理1项13应用区内应用1项14专项指标开发/1项15库表对接与系统对接库表对接1项16系统对接1项17数据质量中心数据标准数据标准参考1项18规则管理质量校验规则1项19标准化字段1项20检查方案单表质量检查1项21应用场景检查1项22质量问题质量问题报告1项23质量问题清单1项24质量问题处理1项25业务库数据质量核验组件部门概览1项26质量中心功能组件化处置1项27数据监管中心人员服务人员概况1项28人员清单1项29入场审批1项30离场审批1项31请假审批1项32数仓应用数仓统计1项33区级数仓1项34部门/镇街数仓1项35数仓账号1项36信息管理厂商信息管理1项37人员信息管理1项38标签信息管理1项39项目信息管理1项40数仓信息管理1项41科室资源管理1项42数据标准库管理1项43数据开发任务管理1项三、项目建设内容（一）建设背景省积极探索以地方性立法推动公共数据规范管理，在《省公共数据条例》中要求：公共数据主管部门应当建立健全数据全流程质量管控体系，加强数据质量事前、事中和事后的监督检查，及时更新已变更、失效数据，实现问题数据可追溯、可定责，保证数据的及时性、准确性、完整性。市大数据局组织召开高质量数据供给体系建设工作推进会上强调从数字化改革的数据需求出发，从技术、管理、流程等方面入手，立足改善数据供给质量，强化平台支撑能力，实现数据从可用到好用易用，确保数据供给高质高效。《市公共数据治理工作细则》数据质量监控中第八条指出数源部门应建立本部门数据质量的流程化控制体系，在数据新增、变更、采集和加工环节采用系统自动化校验和人工审核相结合的方式加强源头质量管控，对于不符合质量规则的数据进行及时改进。第九条数源部门应制定本部门数据完整性、唯一性、精确性、一致性、及时性等质量评估指标体系，定期开展数据质量评估分析工作，提出数据质量问题清单，形成数据质量报告，制定和实施数据质量改进方案。近年来，区公共数据管理体制机制逐步建立。在数字化改革背景下，建立一套符合法治基本要求、适合区实情、有利于促进公共数据依法管理、依法应用的规章制度，是推动改革更可持续、更好发展的重要保障。基于区公共数据管理能力的迫切需要，《省公共数据条例》在地方层面的细化落地探索，起草《市区公共数据管理办法》。公共管理和服务机构应做好公共数据收集、归集过程的数据管理，承担本机构数据仓的公共数据安全管理责任。业务信息化项目正式上线后，公共数据资源需接受区公共数据平台统一监管。公共数据主管部门统筹管理和指导全区数据治理工作，完善公共数据治理机制，健全数据全流程质量管控体系，负责数据质量监督检查，协调、推动数据质量问题解决。公共管理和服务机构应当根据本机构履行职责需要和公共数据主管部门的工作要求，对本机构公共数据开展数据治理，并对问题数据进行及时处理，确保源头数据标准化。数据治理遵循谁提供谁管理、谁使用谁反馈的原则，采取“发现—反馈—修正—共享”闭环管理。公共数据主管部门应建立统一的数据问题反馈通道，支持省市区三级问题流转。公共管理和服务机构应指定专人负责统筹协调本机构内部数据治理和外部机构联系工作，实现问题闭环处置。（三）建设需求本项目的建设内容包括数据可视化中心、数据资源中心、数据质量中心、数据监管中心四大部分。通过本系统的建设完善数据质量主动发现和处置机制，助力数据管理者对数据资源的高效管理，提高数据资源高质量供给，提升数据质量实施效率，依法健全数据合规管理机制。具体建设需求如下：一、数据可视化中心。支持系统全域式基础数据概览，一屏总览数据归集、数据仓、数据治理、数据共享、数据开放、数据合规多个环节的重点数据情况。同时提供待办事项及月度报告的快捷查看和办理入口。（1）全周期指标分析透视出重点数据情况，支持对数据归集、数据仓、数据治理、数据共享、数据开放和数据合规等数据全周期管理相关指标的统计分析。（2）工作台待办事项。作为数据全周期管理的快速工作台，可快速分拣“待我处理”、“我已办理”、“我发起”并进行跟进处置。并支持全量事件的查看与处理。打通人员管理事项（入场、离场、请假）、接口异常问题整改业务申请、已编目未归集问题整改业务申请、已归集未编目问题整改业务申请、数据表未更新问题整改业务申请、区级仓Dataworks账号申请事项等数据资源全周期业务处置。支持按照类型搜索、查看事件详情并快速办理。月度报告分析。月度报告分析模块可集中查看自动生成数据资产的分析报告，分析数据质量情况、数据问题情况、各部门问题数据情况、数据资源编目情况、数据归集情况、区级数仓情况。以列表形式展示所有月度报告，并支持根据关键词搜索相关的月度报告。（3）数据资源管理全局检索。整合数据目录、接口目录、数据表、应用、部门数仓、人员和区级、部门数仓账号等数据资源，统一查询入口，支持通过资源名称、资源编码关键词进行检索。任务交办。支持发起任务交派，可自由选择任务流向，需描述交派的任务内容之后发起任务。发起任务之后，按相应流程进行审批、反馈完成任务闭环。■需使用可视化展现数据全过程管理的各个环节，需形象的体现各环节的关系。■相关分析数据需钻取查看数据情况。■需按照待办事项类型进行统计分析。二、数据资源中心。以“数据表”为核心，全方位展示全区各部门目前数据目录指标情况，增强管理者对数据资源的感知度，摸清数据家底状态。同时，实现数据和目录的自动化比对，透出编目、归集过程中的漏项、缺项，驱动目录与数据的对齐。（1）数据编目数据目录。一是编目信息。同步IRS数据目录情况，并扩增开放数据、静默数据信息补充。支持查看目录详情，包含编目基本信息、数据资源详细信息、使用本目录的应用系统、数据项等。二是编目统计。通过数据分析，可视化展示数据编目概况。主要包括STG层（部门、数据表、数据记录、数据编目等）、单表数据记录数量情况分析、IRS编目概况、部门编目情况、共享及更新情况。归集数据目录。一是数据仓。支持对数仓数据统一监管，支持条件搜索查询及数仓数据清单的基本信息、血缘关系，表字段列表等详细信息。条件字段的可包括数据来源、数仓类型、数仓层级、编目状态、开放状态、更新状态、主题标签等。通过筛选STG、ODS、DWD、DWS、ADM等数仓层级展示各层级数仓数据表统计值和数仓数据表详情列表。对数据情况进行标签化展示。对已进行过质量分析的表，可直接查看该表的质量报告。二是数源单位筛选。支持对数源单位统一管理查询，对根据数源单位或关键词进行搜索筛选，查询数源单位数据情况，并以列表形式进行展现。可进一步查看数仓数据信息。三是排查更新问题任务。支持排查更新问题的发起，发起任务之后，通过审批反馈进行闭环。四是编目任务。未编目的表支持编目任务的发起，发起任务之后，流转并反馈进行闭环。五是。数据任务交派。关联当前表单信息，发起可自动获取表单信息，发起数据表单相关任务。可自由选择任务流向，需描述交派的任务内容之后发起任务。发起任务之后，按相应流程进行审批、反馈完成任务闭环。接口数据目录。一是数据接口管理。支持数据信息的筛选、列表及详情展示。支持根据接口来源、共享属性进行筛选，列表可获取注册单位、联系方式、调用次数等信息，可进一步查看详情，帮助用户快速获取接口管理信息。支持数源单位筛选。二是接口排查。支持发起对应接口的接口排查任务至接口发布部门，可对异常问题进行相关描述，补充其他注意事项。共享数据目录。一是资源信息管理。对共享资源进行统一管理。支持根据输入资源名称和资源编码等关键词，并以列表的形式进行呈现。可查看数源部门、申请部门、使用方式、申请时间等信息。支持排序模式。支持数源单位筛选。二是共享分析。通过数据分析，将部门申请资源和数据局共享资源通过可视化的形式作展示。基础库/主题库/专题库。一是基础库/主题库/专题库管理。分页列表展示基础库、主题库、专题库相关信息，支持查看各库详情。按照业务分类查看不同数据库具体信息。根据数据库类型，自动筛选搜索条件相关的数据库。以列表的形式展现各个数据库，并能够查看各个数据库的详细信息，主要包括基本信息、表清单等。二是申请使用。支持对基础库、主题库、专题库的相关内容发起使用申请流程，发起后按照相应流程审批反馈，流程结束后由专项人员实施进行完成闭环。物联数据目录。通过对接区内物联感知相关数据，展现区级相关的物联感知设备资源清单。接入隧道火灾报警设备、水位监测设备、车辆称重设备、智能监控等设备信息，可直接查看采集字段和设备点位以清单形式监测各项感知数据，智能分析反馈数据信息。支持对IoT资源进行包括但不限于标签分类、关键字检索、结果排序、数源单位过滤等操作。（2）资源数据源管理。对数据源进行统一的管理，数据源信息主要包括数据源的资源名称、数据库类型、数据库名、实例名、IP地址、资源类型、数仓层级、所属部门名称、所属项目、申请人、申请人电话等。可视化展示数据源相关的数据指标，支持查看数据源的详细情况和添加数据源。（3）应用区内应用。根据七大领域、发布端、应用类型、应用状态和应用属性，以及输入关键词等条件字段，自动筛选搜索条件相关的创新应用。以列表的形式展现搜索相关的应用系统。根据数源单位或关键词进行搜索筛选，查询数源单位创新应用的具体情况，并以列表形式进行展现。支持查看具体创新应用系统的基本信息、应用产生目录清单、应用使用其他部门数据清单、应用数仓的数据表清单等详情信息。（4）专项指标开发进行数据抽取与统计计算，实现专项数据指标开发，用于支持可视化展示分析。（5）库表对接与系统对接库表对接。与数据编目清单、数据共享清单、区内创新应用清单进行库表对接。系统对接。对接审批中心、接口服务平台、数据在线系统。■在编目数据目录中，需支持未归集数据的目录发起数据归集任务。■在归集数据目录中，需从数据仓层级的角度呈现数据资源清单。■区内应用需覆盖七大领域。三、数据质量中心。通过预置数据质量规则、创建质量检查方案、运行数据质量任务、发起数据整改流程和生成数据质量报告等“数据质量提升五步走”工程，提供质量校验规则、单表质量检查、应用场景检查、数据表质量报告、质量任务清单和质量问题处理任务等能力，多措并举以全面提升数据资源中心的数据质量。同时，抽象出灵活开放的数据组件，快速创建数据质量检查方案创建，赋能业务库数据质量核验工作。业务库数据质量核验组件提供了管理数据源、开展数据元治理的能力。使用户能够对数据源进行查看、搜索、注册数据表等管理维护，同时支持制定和运用数据标准对数据质量进行把控、检查，并根据检查方案生成数据检查报告。（1）数据标准数据标准参考。支持数据标准库的应用前查看。可展示系统内已定义的数据表标准内容。支持多类型查找筛选，及各项标准内容查看。便于各家厂商快速应对项目建表的数据标准。（2）规则管理质量校验规则。一是质量校验规则管理。对质量校验规模型中的规则进行统一管理，支持规则的规则名称、校验对象、规则类型、检查维度、来源、规则定义和规则描述等信息的管理配置。二是质量校验规则复制。支持对已建质量校验规则进行快速复制及后续调整优化，提升工作效率。三是字典表配置。新增或编辑规则时选择规则来源,支持字典表配置。四是校验规则资产沉淀。结合业务情况，梳理沉淀质量校验规则。可应用于质量检查方案。标准化字段。一是标准化字段管理。支持的字段标准名称的统一管理。通过关联字段管理，支持将各表需要关联的字段摘取出来关联到字段标准下，实现表字段标准化管理。二是标准化字段资产沉淀。对业务上可统一归类的多表多字段进行标准化定义，形成标准化字段，供后续质量检查方案执行快速落地。（3）检查方案单表质量检查。一是单表检查方案管理。支持单表质量检查方案的统一管理。检查方案可包括基本信息、检查规则配置、设置调度等信息。支持在检查方案列表对检查方案进行禁用与启用设置。二是批量更新。支持批量更新检查配置规则和检查对象。三是单表质量检查资产沉淀。结合业务情况，梳理沉淀单表质量检查方案。应用场景检查。一是应用场景检查方案管理。支持对应用场景检查方案的统一管理。主要包括基本信息、新建检查方案后配置检查对象、调度和检查记录等信息管理。二是应用场景检查资产沉淀。结合业务情况，梳理沉淀应用场景质量检查方案。（4）质量问题质量问题报告。实现质量报告生成与查看，主要包括数据表的基本信息，以及对数据表准确性、规范性、唯一性、及时性和其他等检查，以及数据表维度的查看。质量问题清单。一是数源部门问题管理。以数源单位部门为维度对质量问题进行统一管理，可查看主要包括对检查基本情况和质量问题清单等信息的查看。二是质量问题清单（后台）。根据质量检查方案运行情况自动创建质量问题清单，可手动发起质量问题工单。三是质量问题工单。运营运维人员巡查自动问题，并对存疑部分发起质量问题的处理任务。由数源单位部门人员处理相关工单。质量问题处理。作为数据质量问题处理任务的快速工作台，可快速分拣“待我处理”、“我已办理”、“我发起”并进行跟进处置。（5）业务库数据质量核验组件部门概览。支持部门基础数据概览，包括全区排名、数据标准化率、检查方案和累计检查数据量，同时支持概览检查概况，包括方案执行次数、检查字段量、数据元类型标准化率、数据值格式标准化率、数据代码值标准化率。提供数据检查方案的快速办理入口，支持方案的新建、执行与查看详情操作。质量中心功能组件化处置。对数据标准、规则管理、检查方案、质量问题模块进行组件化功能抽取与封装，并按IRS相应要求进行调整，形成可上架的组件，并完成IRS上架。■提供不少于100个数据校验规则。■质量问题处理的流程需使用流程引擎进行可视化编排。四、数据监管中心。依托数据质量管理和系统建设基础，对相关人员数据实施过程中各环节的行为进行规范管理。同时，全面跟踪、监控全区数仓情况；并针对数据家底、数据质量、数源标准等问题，支持发起工单，驱动问题整改下好整顿提升“一盘棋”。（1）人员服务人员概况。展现人员管理概况，主要指标可包括驻场人员总数、今日请假人数、人员入场办理中人数、人员离场办理中人数的人员。人员清单。对数据合规相关人员做统一管理，可查看相关人员信息，包括姓名、在场情况、单位名称、职务、汇报上级、入场时间、权限情况、工作职责等信息。包括查找、查看详情。可对网络与账号开通及数据表权限进行的细化管理。入场审批。对人员入场申请进行审批工单管理，可快速分拣“待办”、“已办”、“我发起的”相关事项。支持根据项目经理、所属单位等条件，进行筛选。可根据权限分配，发起并审批相关申请。离场审批。对人员离场申请进行审批工单管理，可快速分拣“待办”、“已办”、“我发起的”相关事项。支持根据项目经理、所属单位等条件，进行筛选。可根据权限分配，发起并审批相关申请。请假审批。对人员请假申请进行审批工单管理，可快速分拣“待办”、“已办”、“我发起的”相关事项。支持根据项目经理、所属单位等条件，进行筛选。可根据权限分配，发起并审批相关申请。（2）数仓应用数仓统计。可视化展示数仓账号（区级、部门、镇街），账号申请待开通等统计数据指标。区级数仓。根据数仓层级，自动搜索相关层级的区级数仓。以列表的形式展示ADM、DWD、DWS、ODS、STG各层级数仓数据表数量统计值、表容量、数据总行数、已开通数仓账号等信息。支持查看区级数仓的详细情况，主要包括对区级数仓的基本信息、血缘关系、表字段等信息的查看。部门/镇街数仓。根据数仓层级，自动搜索相关层级的部门/镇街数仓。以列表的形式展示部门/镇街数仓清单的账号、联系人、项目空间、资源集、描述等信息。支持查看部门/镇街数仓的详细情况，主要包括对部门/镇街数仓的基本信息、血缘关系、表字段、已开通数仓账号等信息的查看。数仓账号。一是数仓账号清单。支持根据账号名、账号类型、使用人、账号状态和是否活跃等条件，搜索相关的数仓账号。支持以列表的形式展示数仓账号清单。支持查看数仓账号的基本信息、已开通权限和数据表权限等信息。二是区级数仓账号开通申请。按照申请人、所属单位等条件，搜索相关区级数仓账号开通申请，并支持待办、已办和发起的账号开通申请。区级数仓账号开通审批流程为总集审批-数据科审批-运维实施审批。三是部门/镇街数仓账号开通申请。按照申请人、所属单位等条件，搜索相关部门/镇街数仓账号开通申请，并支持待办、已办和发起的账号开通申请。部门/镇街数仓账号开通审批流程为部门审批-数据科审批-数仓运维实施审批-总集核验。（3）信息管理厂商信息管理。支持对厂商信息的统一管理，厂商信息可包括单位名称、单位类型、备注等信息进行。用以支撑各相关配置信息。人员信息管理。展现人员管理概况，主要指标可包括驻场人员总数、今日请假人数、人员入场办理中人数、人员离场办理中人数的人员。支持对对所有人员信息进行统一管理。标签信息管理。一是标签管理。对所有可应用标签进行统一管理，支持多级标签管理。二是标签标注。支持统一相关表单进行标签标注工作，支持快速搜索、标注绑定解绑等标签应用工作。项目信息管理。支持对项目信息进行统一查看管理。数仓信息管理。支持对区级数仓、数仓账号清单模块的信息概览及操作处理。支持根据数仓层级等条件，搜索相关的区级数仓，并展示列表，支持查看详情。支持根据账号名、账号类型、使用人等条件，搜索数仓账号，并展示数仓账号列表清单，支持查看详情。科室资源管理。一是资源集。支持对科室资源集信息的统一管理，可管理资源集中资源类型、实例id、实例名称、网络地址、对应科室及负责人、对应厂商及相应负责人、对应应用、总容量、已使用容量、剩余容量等信息。二是数据应用资源。支持对科室数据应用资源信息的统一管理，可管理数据应用资源中管理单位、管理人员、技术厂商相关角色及联系方式、关联资源集等信息。三是账号资源。支持对科室账号资源信息的统一管理，可管理账号资源中账号资源级别、类型、账号、使用单位、当前使用人等信息。四是前置机。支持对科室前置机信息的统一管理。可管理前置机中的信息新增和前置机级别、名称、用途、科室管理人、管理单位、管理员、联系方式等信息。数据标准库管理。一是数据标准库管理。支持数据标准库的统一管理。支持以数据元类型(字符型、布尔型、数值型、日期型、日期时间型、时间型)、数据元定义来源、数据标准名称多维度进行搜索。支持管理数据标准的名称、数据元名称、数据元类型、数据元定义来源、状态等信息。二是数据标准库资产沉淀。根据业务实际，形成数据标准库。数据开发任务管理。一是运行概况。可视化展示今日运行概况及历史运行概况。运行内容涉及STG层、ODS层、DWD层、DWS层、ADM层，主要指标内容可包括今日和历史的任务总数、未开始、等待资源、运行中、已完成和失败等统计数据指标。在历史概况中，支持对历史时段进行选择后统计分析。二是任务清单。实现对数据开发任务管理中的任务清单管理，支持筛选搜索查看所有任务清单。筛选条件可包括任务名称、创建时间等。可进一步查看任务对应的详情及运行记录。三是运行记录。实现对数据开发任务管理中的任务运行记录管理，支持筛选搜索查看所有任务运行情况。筛选条件可包括运行任务名称、任务类型等。可进一步查看任务对应的详情及历史运行记录。三是失败记录。实现对数据开发任务管理中的任务失败记录管理，支持筛选搜索查看失败任务运行情况。筛选条件可包括运行任务名称、任务类型等。可进一步查看任务对应的详情及历史运行记录。■人员入场、离场、请假审批的流程需使用流程引擎进行可视化编排。■标签信息管理需支持多级标签和组合标签管理。四、项目组织与人员要求（一）项目组织要求项目实施全过程中，应有以下人员参与：项目经理、技术经理、产品设计师、UI设计师、软件开发工程师、数据工程师、系统测试工程师。（二）项目人员配备要求应承诺在不同阶段配置足够的人员实施项目：在应用软件开发阶段，项目团队应配备足够保质保量按期完成本项目的开发人员。项目经理应具有高级工程师认证，技术经理应具有系统架构设计师认证，团队成员应具有信息安全工程师、大数据工程师等认证。五、项目实施要求项目实施周期：合同签订后5个月内完成。本项目对项目建设周期提出了明确的要求，具体如下：实施工期要求：3个月内完成平台建设任务，并初验合格进入试运行阶段。第一阶段：合同签订之日起10日内完成业务需求调研与确认。第二阶段：项目需求确认后10日内完成平台软件设计评审工作，合同签订之日起3个月内完成系统开发与部署，全部开发工作完成后进行系统上线试运行和初步验收，同