政府大数据治理运营方案

政务大数据治理运营方案数据治理运营工作总体方案1数据治理总体思路数据共享数据生产者（委办局）政务数据乡镇政务数据企事业数据物联数据互联网数据…数据消费者各政务单位乡镇、街道事业单位民间机构企业…上级政务单位政务大数据底座数据治理管理规范标准（元数据、标准、质量、资产、目录）数据治理资源编目数据归集清洗融合加工持续更新数据归集数据安全管控区中心主题专题质量稽核治理过程平台数据应用需求驱动国家政策&国家标准&市级规范政策法规驱动数据治理流程示意发起申请需求调研形成治理目标和质量要求数据探查清洗问题整改资源共享完成资源挂载需求单位对接组治理组制度和规范更新区中心融合加工编目责任单位归集目录及数据质量问题清单数据生产者（委办）按规范完成编目按规范完成数据推送前置机目录、数据质量问题整改按规范建设政务系统数据消费者（委办）提交需求(业务需求、质量要求、数据使用范围）数据治理（中心&服务厂商）规范评审、颁布、宣讲目录、数据质量问题督办、跟踪区大数据中心需求沟通口径沟通目录、数据问题督办数据质量核实数据对接组基础清洗生成数据质量问题清单数据清洗组数据精细化清洗数据融合加工生成数据质量问题清单基础/主题/专题库组负责将编目、归集、质量等规范在平台中实现管控平台建设组数据治理·主要职责分工数据治理职责分工治理工作·具体分工大数据管理中心规范类：资源平台规范评审规范颁布组织规范宣讲、答疑、考核质量类：发布质量报告质量问题整改督办及跟踪治理团队清洗类：基础级清洗精细化清洗融合类：基础库建设主题库建设专题库建设质量类：统计分析有关目录、数据质量问题撰写出具质量报告质量问题复查确认及反馈规范类：撰写并维护《数据质量指导规范》撰写并维护《政务系统数据资源建设指导规范》撰写并维护《数据治理技术规范》撰写并维护《基础库/主题库/专题库建设指导规范》对接组需求类：需求沟通、设计口径类：业务调研及理解数据统计口径调研治理对接类：需求、及口径澄清治理实施计划安排治理任务进度跟踪验证确认质量类：对中心下发到委办单位的数据质量问题进行跟踪及统委办单位规范类：学习并遵循资源平台规范平台类：学习、使用大数据门户、编目、归集等平台质量类：对中心下发的问题清单进行整改并反馈平台组规范类：遵循资源平台相关规范进行平台建设或改造运营类：维护及监控资源平台为委办单位、治理/对接人员提供平台培训治理工作·规范制订数据质量指导规范由数据资源治理专家协助编撰，大数据管理中心老师评审、颁布，明确政务大数据资源平台有关资源编目、归集、清洗、融合环节的数据质量管理规范，适用于闵行大数据治理部门开展数据质量管理工作，供本区单位和系统供应商共同使用。政务系统数据资源建设指导规范由数据资源治理专家协助编撰，大数据管理中心老师评审、颁布，明确政务大数据资源平台与各单位政务系统数据设计的要求，适用于大数据资源平台与各单位政务系统的建设，本区各单位及承建厂商在政务系统建设过程中须遵照执行。明确规范的制订方、评审方、发布方、及执行方：数据治理技术规范由数据资源治理专家协助编撰，大数据管理中心老师评审、颁布，明确政务大数据资源的治理技术要求，适用于技术人员进行数据治理的技术工作，治理人员、测试人员须遵照执行。基础库/主题库/专题库建设指导规范由各政务库领域厂商协助编撰，大数据管理中心老师评审、颁布，该规范依据相关的国家、市区标准，明确基础库，及各主题库、专题库的建设要求，适用于相关库的设计、建设、验证等工作，各相关库建设厂商须遵照执行。——建议由相关库领域厂商协助治理工作·规范颁布规范培训大数据管理中心将组织各单位进行相关规范的培训，以及相关平台使用培训，根据各单位反馈进行针对性疑问解答。平台建设平台将根据颁布的相关规范标准进行平台优化，进行平台系统的相关功能开发工作。数据考核大数据管理中心将对培训后的各单位定期进行数据考核评估。规范颁布大数据管理中心正式颁布规范，将适用于各个单位以及平台建设组。规范编制大数据管理中心组织相关厂商对相关规范进行编制。征询意见大数据管理中心组织人员在相关规范编制前进行前期的规则规范调研，并发布征询意见，各单位提出建议，中心收集意见并修订。治理工作·质量管控编目检查事前：编目平台依据数据治理规范制定的编目质量检查规则，拦截各单位提交的不符合规范的编目信息事后：质量检查模块根据预设规则自动识别存量的目录问题，以及在治理过程中治理人员发现诸如名称不符等问题的问题目录，形成编目质量问题清单归集数据拦截事前：归集平台依据编目信息以及数据归集规范制定的规则只抽取符合数据质量要求的数据事后：质量检查模块根据预设自动识别问题数据，并形成数据质量问题清单清洗数据质量检查数据治理人员依据编目信息、数据清洗规范清洗归集的各单位数据，将不符合质量要求的数据标注、归档形成质量问题清单，并将问题数据推送至各来源单位的前置机。融合数据质量检查数据治理人员依据需求、模型要求、数据融合规范，融合清洗各单位数据，将不符合质量要求的数据标注、归档形成质量问题清单，并推送至各来源单位的前置机。数据质量整改大数据管理中心将质量问题清单下发至各责任委办生成督办任务，并形成质量任务跟踪清单；各责任委办依据大数据管理中心下发的错误数据清单按错误标注要求整改并重新上报合格数据质量督查对接组跟踪、验证各责任委办的整改完成情况，并适时更新、反馈汇报质量问题清单大数据管理中心依据质量报告督查各单位整改数据【建议出具具体的考核通报措施】质量情况统计分析中心各资源平台依据日常拦截质量问题数据情况，统计出具数据质量情况统计表、各单位数据质量整改情况统计表等，并由数据治理人员形成定期的质量报告治理工作人员安排工作组工作项工作明细人员安排治理组规范制订规范/规范维护更新运营运营周报/月报，提供统计每周、每月治理任务数和数据量质量报告，提供各委办编目、归集、治理质量分析专题报告，统计每月累计治理任务数、编目、归集数据量数据治理初步清洗目录、数据质量问题检查及统计精细化清洗（按需）基础/主题/专题库建设（按需）对接组需求调研需求理解、沟通、引导口径调研理解业务，了解责任单位提供数据的含义（包括字段含义、业务含义等）对接治理需求及口径对接治理组规范执行推动委办/平台执行规范要求数据质量问题跟踪、确认专项组排名提升作为主要力量参与区市级考核数据质量排名提升，包括编目、归集、清洗等数据治理进阶分析基础级清洗筛选掉不符合基础技术规范的数据剔重业务级清洗筛选掉不符合业务规范的数据空值检查、乱码、数据错误等纠正与融合加工依据业务规范、结合库内的数据资源对表中数据进行纠正融合并加工数据，如：主/专题库等删除数据基于技术规范删除数据基于细致业务规则纠正源数据创建新数据基于应用需求与业务规则当前阶段针对区级现状，完成了治理规范的撰写、目录及数据质量的检查优先完成了部分核心目录的基础级清洗工作计划开始结合基础库/主题库的建设需要，进行业务级的清洗及融合工作123精细化治理应用需求驱动数据治理运营工作实施方案2数据治理-总体流程需求及范围确认基础清洗数据融合数据标签建设应用建设制订基础库相关规范确定基础库源数据的范围，基础库相关标准，基础库建设范围等定义核心目录标签根据关键字筛查目录探查数据、过滤无效目录探查并跟委办确认核心目录剔除重复数据质量检查基础建模基础库数据模型设计数据标准关联，业务规则配置数据融合加工，数据质量报告形成基础库共享服务数据标签定义数据标签设计数据标签开发形成数据标签库面向委办需求促进基础库建设基础库建设-制订基础库相关标准基础库核心目录定义与范围资源平台探查（按目录标签、按关键字）明确职责分工（三Q单）动态更新与修复机制组建专班、沟通协调机制基础库建设-目录关键字设计将以下“目录-关键字”关系在资产平台中进行录入维护，通过关键字跟字段的匹配，实现标签自动挂载、推荐。分类常用目录关键字主体（核心目录）RK身份证号、护照号、港澳通行证、台湾通行证、台胞证FR信用代码、机构代码、税务登记证、营业执照已完成RK核心目录332张的筛查；已完成FR核心目录505张的筛查。基础库建设-目录标签设计业务场景维度统计指标维度行业领域维度按数据量、引用量排序基础库建设-目录标签流程目录标签设计关键字设计初筛目录确认目录打标签核心目录确认跟踪表数据治理-总体流程需求及范围确认基础清洗数据融合数据标签建设应用建设制订基础库相关规范确定基础库源数据的范围，基础库相关标准，基础库建设范围等定义核心目录标签根据关键字筛查目录探查数据、过滤无效目录探查并跟委办确认核心目录剔除重复数据质量检查基础建模基础库数据模型设计数据标准关联，业务规则配置数据融合加工，数据质量报告形成基础库共享服务数据标签定义数据标签设计数据标签开发形成数据标签库面向委办需求促进基础库建设基础库建设-基础清洗基础级清洗筛选掉不符合基础技术规范的数据剔重清洗去重基于技术规范ODSDWD数据治理-总体流程需求及范围确认基础清洗数据融合数据标签建设应用建设制订基础库相关规范确定基础库源数据的范围，基础库相关标准，基础库建设范围等定义核心目录标签根据关键字筛查目录探查数据、过滤无效目录探查并跟委办确认核心目录剔除重复数据质量检查基础建模基础库数据模型设计数据标准关联，业务规则配置数据融合加工，数据质量报告形成基础库共享服务数据标签定义数据标签设计数据标签开发形成数据标签库面向委办需求促进基础库建设基础库建设-数据融合根据基础库数据规范，建立贴源层、标准层、主题层和共享层的模型设计，建立税务信息模型、行政监管模型、FR登记信息模型等基础库数据模型设计对数据模型中的标准数据元进行关联、配置业务数据质量规则，如必填检查、逻辑判断、波动监测等。数据标准关联，业务规则配置数据血缘分析，进行融合。梳理数据缺失清单、权威数据清单，数据问题清单形成质量报告数据融合加工，数据质量报告按照业务质量规则设计，对治理合格的数据融合表发布至基础库进行共享服务基础库共享服务基础库建设-业务质量规则配置质量规则制定质量规则配置质量规则检查数据治理-总体流程需求及范围确认基础清洗数据融合数据标签建设应用建设制订基础库相关规范确定基础库源数据的范围，基础库相关标准，基础库建设范围等定义核心目录标签根据关键字筛查目录探查数据、过滤无效目录探查并跟委办确认核心目录剔除重复数据质量检查基础建模基础库数据模型设计数据标准关联，业务规则配置数据融合加工，数据质量报告形成基础库共享服务数据标签定义数据标签设计数据标签开发形成数据标签库面向委办需求促进基础库建设数据标签标签定义标签开发数据标签库当前数据治理工作任务分工工作项分项区中心治理团队基础库建设团队委办单位需求及范围确认规范制订1、评审确认2、颁布1、编撰2、维护标签定义1、参与定义2、评审确认参与设计参与定义标签关键字定义1、参与定义2、评审确认参与定义1、参与定义2、评审核心目录初筛统计含关键字的目录核心目录确认评审确认参与评审核心目录标记标记核心目录基础清洗归集数据归集数据探查数据数据探查清洗数据数据剔重基础库建设模型设计模型设计数据标准关联，业务规则配置关联及配置数据融合加工，数据质量报告加工及质量报告数据标签标签定义评审确认1、提出需求2、参与定义标签设计/开发/发布数据应用建设标签融合/主题建设/BI开发评审确认提出需求当前数据治理工作流程调研沟通明确责任分工确定交付目标数据建设大数据管理中心和治理组制定基础库数据范畴、数据来源，各单位进行业务解释形成业务质量规则输出《基础库数据需求清单》-大数据管理中心进行审核各数据来源单位确认和数据归集，输出《基础库数据责任清单》-大数据管理中心进行审核无法提供或暂无法获取的数据，输出《基础库数据负面清单》-大数据管理中心进行审核标准建设编制《基础库数据元规范》并输出《基础库数据业务质量规则》-大数据管理中心审核进行