数字化转型之数据治理解决方案

数据治理解决方案 背景介绍数据治理解决方案数据治理解决方案数据治理案例介绍问题与讨论行业现象和需求随着业务的不断发展和信息化的不断深入，需建设的业务系统越来越多，随着业务系统的数据种类不断丰富完善，数据量的不断增大，如果不采取有效手段解决问题，随着信息化建设的深入，下列的问题会越积越多。数据架构数据应用数据数据应用背景介绍数据治理解决方案数据治理解决方案数据治理案例介绍问题与讨论数据管理范围数据管理框架机制领域主数据元数据数据模型数据安全技术支撑数据采集与清洗工具数据管理系统质量检查工具总体解决思路数据治理的延伸：数据管理数据治理持久化数据治理持久化重新组织数据重新组织数据••让资产变得干净，•让资产变得干净，少歧义••1、数据资产盘点：暗数据发现和分类在数据治理的实际操作中，只有先发现数据，对数据进行有效也才能对数据的安全管理采用更加精细的措施，使数据在共享使用和安全使用之间获得平衡。输入、输出出业务流程 •根据行业标准和特点对于数据资产•将数据资产划分为公开、内部、敏•梳理业务与业务之间的流程关系，业务流程本身的输入输出上下文情解、组件和数据沉淀；输统计进行分类，并梳理出数据的技术数据采集与清洗2、让数据变得更干净，少歧义数据采集与清洗如何让数据变得干净可用？主要从三个方向入手：数据采集与清洗、对元数据进行管理、数据标准化治理元数据管理元数据管理数据标准化治理数据标准化治理2.1、数据采集与清洗达到的效果数据同步实现实时、准实时的数据采集；保证数据源与目标端的数据一致性；不影响源业务系统；支持多种数据源的数据采集（如常用的关系型数据库、大数据平台等）；数据交换不同部门的数据协同，获取到数据并完成业务逻辑；灵活地进行数据转换规则设计；数据整合将不同来源的数据，经过清洗转换后变为统一格式，存储到数据中心或者数据仓库，用于提供数据共享、数据分析等服务；支持界面话工作流调度2.1、数据清洗、转换数据迁移：将数据进行转移数据同步：保持两个同构或者异构库的数据一致增强抽取：对于发生改变的数据进行更新列映射：数据类型转换、列名变换、删除列、增加列数据库查找器：过滤所需数据，并且根据规则进行数据的替换自定制转换：调用java程序执行特殊的数据处理数据质量检查：专业的数据质量分析、清洗、验证和监督引擎数据目的数据目的2.2、元数据管理理解元数据需求•确认企业元数据管理环境、范围、优先级、元数据内部标准、企业基于元数据的服务等；标准化元数据评估指标•评估指标主要应采取定量指标，包括：元数据存储库的完整性、元数据的质量、元数据的使用/引用、元数据血缘分析/影响分析等；整合元数据•把来源库中抽取到的元数据，与相关的业务元数据和技术元数据进行整合，最终存储到元数据存储库中；查询报告和分析元数据•指导如何使用数据资产，体现在商务智能（报表和分析）、商业决策（操作型、运营型、战略型）以及业务语义方面使用。•指导如何管理数据资产：•具有前端应用程序，并支持查询和获取，满足以上各类数据资产管理的需要；开发和维护元数据标准•根据行业或共识标准，以及国际标准，再结合企业范围共识建立元数据标准；创建和维护元数据•通过元数据创建和更新工具定期扫描和更新存储库；•采用审计流程验证各项操作活动并报告异常；发布元数据•将元数据从存储库分发到最终用户和其他需要使用元数据的应用或工具；2.3、数据标准化治理数据标准化治理旨在遵循国家及本地相关标准化规范的基础上，根据实际需要制订一套完整、统一的标准规范体系，实现信息高度共享、系统运行高度协调的保障。标准规范包括技术标准、数据标准和管理制度三类：••按照数据标准规范的构成进行数据标准规范的制定>技术标准•数据接入实施规范、编码规范等标准规范技术标准数据安全管理规范、数据共享交换管理规范3、重新组织数据重新组织数据包括：数据标签和画像建立企业数据资产统一口径、统一标准数据标签和画像建立企业数据资产统一口径、统一标准真实世界模型资源整合、统一数据，企业决策支持用户信息标签化，支持多场景业务应用运营、用户服务等）主数据建设数据仓库从实际出发，用数据描述业务3.1、主数据建设建立主数据是一个庞大的工程，结合DAMA理论体系和具体实践经验，美创提出了以下主数据建设中具体的操作流程，以及在这些流程中所需要完成的具体工作内容：数据梳理数据问题确认数据标准定义数据管理方案管理流程确认业务系统接口改造识别主数据：结合目标数据所涉及到的业务部门与业务系统，展现数据标准梳理与对应。系统与数据问题：针对梳理过程中出现的各种数据问题与相关业务部门与业务系统进行确认。主数据定义建模：针对数据问题反馈结果，完成目标数据技术规则、业务规则、CRUD标准定义以及与业务部门的确认。主数据利用与管理：针对目标数据的管理方案与管理流程完成与相关业务部门的确认。主数据利用：针对目标数据的业务规则和技术规则，与相关业务部门和系统管理员确认，要求数据源改造。3.2、真实世界模型真实世界模型真实实时真实世界模型平衡计分卡真实世界模型真实实时真实世界模型平衡计分卡模型精益模型360视图模型数据中心准确全面平衡计分卡模型平衡计分卡模型360视图模型360视图模型精益模型精益模型3.3、数据仓库3.4、数据标签和画像字段画像字段画像关联字段画像①值域分析③类型检测⑤波动监测②基数分析④数据分布⑥异常值监测⑦功能相关性分析⑧主键唯一性分析⑨表基础分析⑩外键分析4、数据治理持久化数据治理工作成果日常化元数据和标准化治理维护更新5、数据治理的延伸：数据管理智能搜索和发现数据模型管理智能搜索和发现数据模型管理元数据更新和维护数据台帐和审计数据资产透视主数据管理数据中心管理数据生命周期管理数据治理体系架构数据应用智能数据应用其他行业应用智能数据应用其他行业应用数据服务数据安全数据安全理数据管理（数据管控平台）数据中心 流程监控流程监控实时挖掘数据重构、聚集数据发现与分类（暗数据发现和分类）数据源文档/日志文档/日志物联网数据互联网数据方案价值•做好数据分级分类，识别敏感数据，对敏感数据进行脱敏处理应用，减少企业数据安全风险；A•从数据发现与分类、数据采集与清洗、数据管控、数据中心建设、数据建模等层面实现对数据的全周A期管理；B•方案中各产品模块可以独立解决数据管理不同场景问题（如数据发现与分类场景、数据采集与清洗场景、数据安全场景、数据标准建设场景等）；•也可以任意组合，快速适用企业不同的数据管理场•智能发现梳理企业数据资产；•建立统一的数据规范体系，提高数据质量；C•各产品提供丰富对外接口，具有高度灵活性、扩展性和集成能力；•采用全方位、严密的安全编码加强产品安全性，对不安全的数据进行严格校验；•程序具备自检、故障诊断等功能。背景介绍数据治理解决方案数据治理解决方案数据治理案例介绍问题与讨论案例介绍港口行业数据治理梳理业务和系统，理清现有的、缺失的数据，规划宁波舟山港数据体系，梳理业务和系统，理清现有的、缺失的数据，规划宁波舟山港数据体系，探索实现大数据整合和利用的方法和途径，指明未来大数据利用的方向和目标作为治理的基础，没有主数据，系统之间还是一团乱麻，无法实现真正的数据整合和有效利用主数据建设数据规划和治理作为数据仓库的应用，检验仓库的可用性，同时可以给危化品箱跟踪提供数据，为在场箱的查询需求提供支持解决日常繁复的报表工作，减轻数据分析人员对IT部门的依赖，探索数据展现、分析的新方式，为数据需求者提供更简便、快速的数据展现方法·B集装箱物流链工具文档落地、数据整合落地，未来大数据利用的核心，数据交换、开发以及数据业务化、产品化都从仓库来实现数据仓库数据仓库所有工作的底层都是技术和工具所有工作的底层都是技术和工具，通过项目中引入适合宁波舟山港使用的、可以推广的工具。在项目中完成设计、操作等文档落地，通过参与开发、培训交流、文档等方式实现工具和技术从乙方到甲方的知识转移主数据建设成果•建成标准唯一、数据唯一、数据准确而且及时的主数据库•实现主数据的有效应用，对各新老系统进行主数据交付，保证主数据消费者的代码数据的规范性和一致性海铁计划海铁计划主数据库水水中转其他平台单一窗口物流链跟踪主数据库水水中转其他平台单一窗口物流链跟踪主数据建设成果：主数据标准化YY匹配、标准化、唯一化Y 诺德力NORDPOWENORDPOWER港口船舶•禁用状态改为启用状态必须满足以上原则。箱主建设成果：主数据和参考数据梳理落地1234512345建设成果：数据中心及相关应用危险品安全管控镇司BI经营分析危险品安全管控镇司BI经营分析集装箱物流链散杂货集装箱指标数据订阅、消费数据中心数据订阅、数据订阅、消费海铁可视化铁司作业毛玻璃云堆场箱海铁可视化铁司作业毛玻璃云堆场箱查询船期查询动态查询物资管控船期查询案例介绍医疗行业IT建设背景ITIT系统以业务为主导、比较传统问题梳理问题梳理•系统不断增多，复杂度越来越高•信息孤岛，缺乏整合•标准不统一,接口无法监管•结论：系统沟通困难，成本•耦合度高•系统升级成本高、风险大•数据利用率低•建立主数据库•统一数据中心•建立基于平台应用•构建服务总线构建患者主索引别4fdb-a9e4-男者注册患者更新患者合并拆分中智标准规范准规范支男MN11……构建数据仓库数据仓库的作用数据仓库的作用•整合分散存储的数据，提高数据利用率•减轻业务系统的压力，提高业务系统性能•运营数据中心为决策支持、绩效考核、等级评审等系统提供支持•临床数据中心为科研分析、临床决策支持等应用提供支持厂运营信息库资源信息库临床信息库患者数据标准化数据标准化的好处：数据标准化的好处：1.对患者：拥有自己完整的电子健康和医疗档案，并可以通过索引在各个医疗卫生机构调取自己相关的信息，实现跨地区、跨机构、终生的医疗健康信息共享。2.对医疗机构：实现患者统一高效的管理，确保了信息交换的准确性和一致性。3.对卫生行政部门：通过患者主索引可以对同一个人在不同系统中，以不同识别ID记录的信息进行采集、汇总，跟踪和分析，确保信息的准确性和完整性。数据标准化以后数据标准化以后，降低了各系统间的数据共享的成本，但系统间的交互仍然采用点对点的交互方式。案例介绍市场监督管数据治某市市场监督管理局数据中心建设l制定数据标准体系l形成“一个中心”的市场监管综合信息库l打破条块分割，消除信息孤岛数据抽取工商数据数据建设规范数据抽取工商数据数据建设规范上下文信息处理食药数据基础资源库数据接入规范上下文信息处理食药数据基础资源库数据接入规范格式转换法人库数据标准制定数据转换整体业务流程框架数据转换整体业务流程框架信息库业务库信息库数据管理平台接口规范数据管理平台接口规范省局数据其他规范省局数据其他规范数据质量治理数据质量治理主题资源库县局数据市局内部系统数据共享与省局市局内部系统数据共享与省局、县局数据共享与第三方系统数据共享背景介绍数据治理解决方案数据治理解决方案数据治理案例介绍 04问题与讨论大数据技术能力数据级数据治理数据仓库真实世界模型数据级数据治理数据仓库真实世界模型平台级暗数据发现和分类数据支撑平台数据管控平台大数据脱敏医疗平台时空数据可视化服务平台数据大屏实体关系可视化综合优势 专家团队1、1、70余人大数据团队2、其中大数据研发30余人3、各类证书认证人员行业实施经验行业实施经验1、金融行业2、物流交通行业4、人社行业5、其他行业 方法论1、数据治理体系2、1、数据治理体系2、主数据、参考数据体系3、数据质量保证体系4、数据安全防护体系5、知识传递与培训体系1、知识传递体系2、定期培训3、数据集成4、数据服务5、数据加工和精炼数据管理产品体系数据架构管理数据中心和商务智能管理元数据管理数据开发数据质量管理元数据管理数据开发数据操作管理文档和内容管理主数据和参考数据管理数据操作管理文档和内容管理C源数据智能发现与分类能力--暗数据发现和分类产品跨不同数据源实时数据采集能力--数据支撑平台数据管控能力数据安全管理能力--大数据脱敏产品数据架构管理数据中心和商务智能管理数据操作管理文档和内容管理主数据和参考数据管理数据操作管理文档和内容管理C源数据智能发现与分类能力--暗数据发现和分类产品跨不同数据源实时数据采集能力--数据支撑平台数据管控能力数据安全管理能力--大数据脱敏产品Part1：暗数据发现和分类：产品目标缩短数据建设周期缩短数据建设周期降低数据利用成本扩大企业数据资产减少企业数据安全风险Part1：暗数据发现和分类：产品功能全面捕获数据全面捕获数据·适配多种数据源·确定数据分布、规模、种类内置业务模型内置业务模型·覆盖政府、医疗、港口、金融等行业·业务模型自学习数据智能解析数据智能解析·自动识别数据格式构建数据地图构建数据地图·自动生成数据字典·自动识别数据关系建立数据标准建立数据标准·数据质量分析·统一数据口径分析结果可视化分析结果可视化·迅速了解大量数据·清晰展现数据背后的意义Part1：暗数据发现和分类：产品示例现和分类报告Part1：暗数据发现和分类：产品特点构建数据地图暗数据资产化，从数据认识数据暗数据资产化，从数据认识数据内置业务模型，适配多种行业内置业务模型，适配多种行业全面捕获数据，适配多种数据源全面捕获数据，适配多种数据源Part2：数据实时采集：数据支撑平台产品架构数据支撑平台是一款由美创自主研发，集数据抽取、清洗、转化、