大数据治理数字化运营平台建设方案（PPT）

大数据治理数字化运营平台建设方案（PPT）整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行目录/Contents运营思路01数据资产定义及流程规范02治理规范及质量管控03市质量考核标准及提升方案04整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行运营思路核心原则组建运营团队职责定义、规范先行规范化的运营及治理持续的质量管控对接组治理组…编目及归集规范政务系统建设指导规范数据治理技术规范数据质量管理规范目录/Contents思路01运营架构及流程02治理规范及质量管控03市质量考核标准及提升方案04运营团队架构及职责数据资产定义（治理对象及要求）目录类型来源数据介质治理需求政务系统目录库表区委办局HiveHBaseElasticsearch需要清洗，然后融合加工市区级联目录库表市资源平台HiveHBaseElasticsearch无需清洗，可以融合加工API接口目录API市资源平台区资源平台区委办局API无需清洗文件目录文件区委办局HDFS无需清洗GIS数据目录库表空间地理子系统PostgreSQL无需清洗，可以融合加工GIS服务目录API空间地理子系统API无需清洗物联数据目录（存量）库表物联子系统HiveHBaseElasticsearch无需清洗，可以融合加工物联消息目录（实时）MQ物联子系统Kafka无需清洗视频文件目录（存量）文件视频子系统HDFS无需清洗视频设备目录（实时）设备连线视频子系统设备自身无需清洗整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行整理制作：郎丰利1519制作时间：2023年睿利而行治理流程规范委办局前置机共享交换数据目录数据归集数据清洗/融合数据底座数据脱敏门户数据资产MX区大数据中心-数据治理流程数据目录：委办局用户编目，形成委办局政务应用系统数据的库表目录。数据归集：根据委办局目录去前置机抽取数据，归集进底座；归集后发送实际归集数据给到资产，关联目录和入底座的物理表名，触发治理清洗任务数据治理：包括数据的清洗开发，质量监控等治理任务数据资产：包括各种数据资产目录及资产信息。门户：门户提供各类数据资产查询，包括数据目录（一目录），需求清单、责任清单和负面清单（三清单）以及各类治理任务查询。共享交换：根据门户给到的审批结果、资产给到的资源信息、底座给到的数据通过通用API脱敏后给到委办局用户。编目治理规范治理主线环节委办局对接组平台组治理组-开发治理组-质检编目编目规范编目规范编目规范-目录稽核归集委办推送规范归集规范平台归集规范-源数据稽核治理过程-清洗融合规范清洗融合规范清洗融合规范治理过程稽核123环节治理对象事前事中事后编目资源目录定义规范、职责、执行流程、监控流程、提交物规范、

质量监控规则平台功能建设

按照规范执行定期检查及回顾

《问题报告清单》

《周期质量报告》归集资源数据清洗融合清洗后的基础模型融合后的主题/专题模型管控按流程按职责目录/Contents适用范围及核心原则01数据资产定义及流程规范02治理规范及质量管控03市质量考核标准及提升方案04数据治理框架数据标准管理目录管理数据地图字典标准数据项标准数据目录管理数据资产管理资产目录资产清单数据血缘资产分析治理团队管理组织层级管理数据团队管理数据加工治理规范定义编目规范清洗规范融合规范归集规范质量管控全过程流程驱动全过程开发质量控制目录质量管控源数据质量管控质量检查质量检查报告数据清洗数据融合任务监控运维数据共享数据归集数据治理实现从数据的采集、加工到数据探索服务的全生命周期管理。并提供数据开发全过程的治理管控能力。数据治理配套数据规范管理，建立数据标准化模型，对每个数据元素的业务描述、数据结构、业务规则、质量规则、管理规则、采集规则进行清晰的定义，让数据的归集、清洗、加工融合以及开放等数据治理过程均有标准可循。目录注册数据定义校验规则管理物理表检查配置治理过程中的数据质量管控质量规范数据治理核心工作编目归集清洗/融合字段名称和类型标准化维度值标准化不合规范过滤四.质量检查目录质量归集质量清洗/融合质量质量规范数据治理核心工作1、编目、归集规范编目要素目录唯一性命名规范时间戳规范表注释规范字段注释规范枚举值规范《归集规范》提纲总体目标建设原则接入双方责任数据转换责任关键字使用规范数据源接入方式前置机准备接入方式实现数据源变更申请流程变更流程说明数据归集技术流程2种编目流程：委办局主动上报自有数据业务需求驱动提出数据需求编目主要职责：委办局编目规则平台落地治理组检查编目结果归集配置流程根据目录清单进行归集配置归集组进行归集配置归集组进行质量检查配置归集组负责进行资产更新日常归集流程系统根据配置进行日常归集归集组监控归集任务治理组负责质量检查对接组与委办局负责归集问题反馈及处理。应编尽编，应归尽归数据清洗数据模型设计设计评审开发测试发布上线培训需求分析数据调研清洗建模流程正向设计：从数据调研出发逆向设计：从需求分析出发DWD/DWS维度建模宽度建模物理模型设计逻辑模型设计分表规则表命名规则字段命名原则数据处理原则数据有效性策略数据关系定义维值定义规则公安数据数据清洗ODS（贴源层）社保数据教育数据其他委办数据数据清洗完成数据从ODS到DWD/DWS的数据转换。数据清洗需符合数据设计规范与开发规范，保证数据质量与数据一致性。在建设初期的物理模型与逻辑模型设计过程中，建立一系列标准规范及策略，保证数据模型设计合理。同时结合精细化管理规范流程与严格的设计规范，提升模型质量、模型应用的灵活性、降低维护成本、节省计算能力。逆向正向2、数据清洗/融合流程规范市监数据程序命名文件头函数库主函数变量定义时间参数临时表结果表SQL代码索引分区/分桶表空间程序开发规范3、数据质量管控–工作内容政务数据治理质量管控主要定义管控职责，管控内容，管控流程。管控方面主要分为三个环节：目录质量管控、源数据质量管控、治理过程中的数据质量管控。管控内容：检查委办局上报的目录质量管控项目：目录唯一性、时间戳、表注释、字段注释、命名规范管控内容：周期性检查从委办局归集的数据质量管控项目：归集及时性、数据拒载率、时间戳符合规范、主要指标数据质量(空值，字段类型，字段长度等)政务数据治理质量管控目录质量管控源数据质量管控治理过程中的数据质量管控管控内容：检查治理后数据的数据质量管控项目：出数及时性、时间戳符合规范、数据波动、主要指标数据质量管控核心管控职责Who谁管？管控内容What管什么？管控流程How怎么管？归集前归集后治理过程3.1数据质量管控–目录质量管控目录是政务数据治理的基础，对后续数据归集、治理、共享影响很大，需要重点关注目录质量。在数据归集前，需要进行目录质量管控。委办局上报目录时，针对委办局上报的目录质量进行评审，评审通过后，目录才可正式上线。归集组治理组对接组委办局开始上报编目质量检查是否有质量问题更新资产系统目录配置数据归集数据归集入湖结束否目录评审是是否评审通过是否目录唯一性命名规范时间戳规范表注释齐全字段注释齐全主要管控内容归集前管控资产目录3.2数据质量管控–归集质量管控源数据质量管控是数据归集环节的管控，在归集环节管控可以有效控制后续数据质量，该环节管控对数质量管控效果最好。委办局周期上报数据时，针对委办局上报的数据质量进行周期监控，建立监控、处理、反馈闭环监控流程。归集组治理组对接组委办局开始数据归集入湖归集及时性数据拒载率时间戳符合规范主键不空且唯一核心字段数据质量(空值，字段类型，字段长度等）核心字段定义：支持人口库、法人库、空间地理库建设的关键字段。主要管控内容归集环节管控查询资产目录是否有质量问题预设质量规则是生成问题报告及清单问题报告清单生成代办任务包括待办内容、接受单位、责任人、处理时限派发任务结束优化数据质量反馈完成任务跟踪数据质量检查否定期出具质量汇总报告3.3数据质量管控–清洗/融合的数据质量管控治理过程中的数据质量管控是数据清洗/融合环节的管控，针对治理后数据按照预设的数据质量规则，自动进行数据质量管控。即针对不同的数据对象，配置相应的数据质量指标，不限于：数据完整性、数据准确性、数据唯一性、数据一致性、数据关联性、数据及时性等。治理组开始完整性(目录与物理表、字段检查)规范性(日期、时间、身份证等）准确性(空值、阈值、枚举值转换）唯一性（没有重复数据）关联性（业务逻辑检查，引用检查）及时性主要管控内容治理过程中管控是否有质量问题预设质量规则是生成问题报告及清单问题报告清单派发任务结束优化数据质量反馈完成任务跟踪数据质量检查否定期出具质量汇总报告数据清洗/融合涉及业务口径的确认流程治理组对接组委办局开始核心目录确认流程更新核心目录梳理核心关键字(身份证、户籍）确认核心关键字审核通过提取核心目录确认目录结束典型流程：目录/Contents适用范围及核心原则01数据资产定义及流程规范02治理规范及质量管控03市质量考核标准及提升方案04市质量考核-评分项库表目录提交情况1.资源目录的编制情况2.资源目录与资源的挂载情况1.数据的归集情况2.数据完整性3.数据的规范性4.数据的时效性1.数据需求情况2.服务资源调用情况3.数据使用情况数据治理应用推进情况市质量考核-标准及提升方案分类指标指标分数考核要点提升方案信息系统梳理库表目录提交情况10应用系统上报数量各单位应用系统上报数资源目录编制资源目录的编制情况（核心业务目录）301.发布资源目录数量2.已发布资源中涉及到核心业务目录数3.资源目录挂载量4.资源目录共享量5.单位之间共享调用次数1.在数据资产平台里上报核心目录（核心目录是只包含自然人、法人、空间地理信息的目录）。2.下线非核心目录及不共享目录。3.设置归集任务，将数据归集进湖。资源目录与资源的挂载情况1.在数据开发平台里进行数据清洗，挂载资源，并检查数据资产平台中目录是否成功挂载资源。2.保持100%的资源挂载率，且下线挂载失败的目录。数据汇聚数据的归集情况251.归集数据表总数（核心目录）2.不可有空表3.不可有不合格表（主键和时间戳不完整）4.清洗表数量5.当月累计归集ODS数据量6.累计归集ODS数据量1.数据表及数据归集进湖，下线归集失败的任务数据完整性1.需要进行空表检测，保证无空表目录2.保证100%的清洗率。数据的规范性1.保证归集的每张表都有主键和业务时间戳。2.保证每张表都有交换时间戳。数据的时效性数据共享数据需求情况201.数据资源需求的申请量2.市级资源的接口调用（调用次数）。3.国家资源的接口调用(调用次数)。4.有效的资源调用（成功调用次数）5.下线闲置服务接口。6.包含自然人、法人、‘一网通办’的数据治理量在数据资产平台尽量多的申请资源需求（本区，市区、国家、其他区）服务资源调用情况1.提升接口调用量（不一定要有需求）。2.下线闲置接口。3.清洗、融合尽量包含自然人、法人、‘一网通办’数据。数据使用情况上传区交换子系统日志,区平台交换日志数据治理应用数据治理应用推进情况15参与相关事项建设1.参与上海市大数据中心的各项试点建设2.及时进行管理规范的制订及颁布；3.参与市区级联(联调、数据对接）市质量考核-标准及提升方案分类指标指标分数考核要点常见问题提升方案信息系统梳理库表目录提交情况10应用系统上报数量各单位应用系统上报数资源目录编制资源目录的编制情况（核心业务目录）301.发布资源目录数量2.已发布资源中涉及到核心业务目录数3.资源目录挂载量4.资源目录共享量5.单位之间共享调用次数1.核心目录占比过低2.存在不共享/调用的目录1.在数据资产平台里上报核心目录（核心目录是只包含自然人、法人、空间地理信息的目录）。2.下线非核心目录及不共享目录。3.设置归集任务，将数据归集进湖。资源目录与资源的挂载情况1.有编目但未挂载资源的目录未下线1.在数据开发平台里进行数据清洗，挂载资源，并检查数据资产平台中目录是否成功挂载资源。2.保持100%的资源挂载率，且下线挂载失败的目录。数据汇聚数据的归集情况251.归集数据表总数（核心目录）2.不可有空表3.不可有不合格表（主键和时间戳不完整）4.清洗表数量5.当月累计归集ODS数据量6.累计归集ODS数据量1.存在归集失败的任务1.数据表及数据归集进湖，下线归集失败的任务数