企业数据治理体系知识

企业数据治理体系知识数据挖掘智慧应用目录一大数据与数据治理的关系一数据治理与大数据的关系四数据治理实施方法论三数据治理解决方案二面临的挑战与机遇数据治理：大数据产业生态系统中的新热点近些年来，随着大数据在各个行业领域应用的不断深入，数据作为基础性战略资源的地位日益凸显，数据越来越受到国家、行业、企业各个层面的高度关注，数据治理的概念成为目前大数据产业生态系统中的新热点。大数据领域最具影响力的技术和产品主要围绕数据汇聚、存储、处理等基础技术和基础设施展开。经过前期发展，已经形成了一批针对特定应用场景的大数据管理和处理等问题的解决方案，而同期数据驱动的人工智能取得突破性进展，人们分析数据、从数据中萃取信息、知识和智能的热情高涨，数据分析方法、技术和产品与相关企业成为了这一阶段大数据生态系统中最为活跃的部分。2012~2013Now2014~201520162017虽然大数据技术还远未成熟，但是体系已经渐趋完整，与传统产业、行业的结合也日益紧密，面向行业和领域的大数据应用与相关企业发展迅猛，成为新的焦点，大数据生态系统也更加成熟。随着大数据在各个行业领域应用的不断深入，数据作为基础性战略资源的地位日益凸显，数据确权、数据质量、数据安全、隐私保护、流通管控、共享开放等问题日益受到高度关注并引发深度思考。学术界和产业界均意识到，大数据一方面给现有信息技术体系带来了系列挑战，需要研发投入和创新发展，另一方面，还需要营造有利于大数据产业健康有序发展的良好环境，为此，大数据治理的概念受到关注，成为大数据产业生态系统的新热点。确保数据质量和安全是发展大数据/人工智能的第一需求如今，企业对于全面数据治理的需求从未如此强烈监管机构：希望企业能更加清晰地了解数据，对它进行有效的管控；企业管理层：希望理清数据资产，降低数据应用的复杂性，对企业进行更高效的管理；企业员工：也开始认识到数据的重要性，更多地采用数据驱动的方式来开展工作。数据治理正迅速发展成一种企业核心策略，只有做好数据治理，让数据更加准确完整，并且安全合规，才能释放出数据的无限潜能，挖掘出更多有价值的数据应用。数据1大数据2人工智能3Future4人工智能技术在应用和实践中，确保数据质量和数据安全是最基础的底层保障。人工智能的落地应用效果会受到数据质量和安全的影响。大数据是人工智能技术研发、训练的关键，是人工智能发展的重要保障。只有当人工智能系统能够获取更为准确、及时、一致的高质量数据，才能提供更高效、有用、精准的智能化服务。2018年4月的一份调研发现，52%的受访企业将数据质量列为突出挑战，数据安全与网络安全紧随其后（47%）。高质量的数据是人工智能的前提和基础，“数据质量”都是一个不可或缺、位于重中之重的要素。管理数据资产，决胜智能时代数据治理是人工智能的基础，数据治理的目的是在业务价值驱动下提供高质量的大数据，而人工智能本身是大数据应用的一种商业模式，数据治理和人工智能就好比一枚硬币的正反面一样密不可分，数据治理强调修炼内功，人工智能侧重预测未来。挖掘数据资产价值大数据数据治理数据人工智能服务大数据和人工智能的源头是数据，建立科学的数据治理体系，包括数据的质量规范、制度政策、管理流程、职责定位和技术管控工具。数据治理体系是对商业价值和用户隐私，以及企业长期利益和短期利益选择的基础，建立数据治理体系是一个长期的过程，对于大型科技企业，都应当在数据治理的规范和约束下应用大数据。数字化正在改变着全球企业对业务和技术的认知，数据将成为企业的战略资产，是企业卓越运营的核心要素之一。以价值为导向的大数据应用是企业级数据资产变现的核心。目录一大数据与数据治理的关系一数据治理与大数据的关系四数据治理实施方法论三数据治理解决方案二面临的挑战与机遇数据孤岛，看不见，拿不到，无法在线应用01数据“孤岛”，找数据难，拿数据更难02数据质量参差不齐，难以融合，难以使用03数据通道不畅，无法及时获取数据04数据管理的责任缺位，职责不清问题找不到责任人，问题无法得到解决缺乏企业级的数据管理组织体系，不能从全局规划，并指导具体的数据质量提升工作各IT系统间缺少数据共享机制，系统间数据的相互影响不能进行及时控制企业启动大数据最重要的挑战是数据的碎片化，数据散落在各个部门，存储在不同的数据仓库中，标准不一致。“烟筒式”应用，找不到数据，更难拿到数据。多数据源，各IT系统间数据的调用不合理，数据流转不畅通，无法对接，数据重复录入大数据的核心，理解数据，通过数据处理创造价值你不知道的事情比你知道的事情更重要实时联动随时可取看得见看得懂共享互通技术保障价值数据价值数据价值数据价值数据ABCD功能解放了劳动力，提高了效率，节省了成本，大数据探索未知领域，填补空白，创造价值。具有一套开放、共享、共赢的平台服务，保证数据在线，实时可用，是大数据发展的有力保障和源动力。在数据的海洋里挖掘和探索未知，填补空白，创造价值开放、共享、共赢的数据服务数据在线…大数据价值：1%的威力从海量数据中获取有用信息，总结规律和趋势，将企业决策和运营行为从业务驱动转为数据驱动，是大数据技术为企业带来的核心价值。目录一大数据与数据治理的关系一数据治理与大数据的关系四数据治理实施方法论三数据治理解决方案二面临的挑战与机遇数据治理的关键业务需求建立数据治理组织架构建立数据管理制度、规范、流程、考核办法等建立数据治理大平台完善数据管控体系数据采集、数据更新实现自动化，避免手工操作端到端的数据管理能力全面的数据资产及服务监控自动化运维丰富的适配器和API支持二次开发基于平台快速实现新增功能快速开发部署

建立数据治理激励机制，持续提高数据治理水平持续完善数据治理流程持续优化数据资产及服务管理构建数据资产目录和资产库数据服务化数据运营及变现数据治理解决方案以建设统一的数据标准为根本出发点，以数据可视化、提高数据质量、保障数据安全为工作目标，以数据的全生命管理为工作内容，构建数据治理体系。随着数据治理工作的推进不断完善标准规范体系和治理工具数据治理解决方案3.持续维护提升2.数据治理实施1.数据可视化2.提高数据质量3.保障数据安全4.促进数据共享、融合技术工具支撑2.5.数据资产管理2.4.数据安全管理2.3.数据质量管理2.2.元数据管理2.1.主数据管理1.战略规划及制度规范数据治理规划数据治理内容协调决策机制管理组织&流程数据蓝图规划数据认责数据规划执行规范…物料主数据客户主数据供应商主数据会计科目主数据产品主数据BOM主数据配置主数据…技术元数据业务元数据管理元数据质量元数据安全元数据稽核元数据血缘分析影响分析标准规则库数据清洗与转换数据质量状态评估诊断报告数据质量改进评估报告绩效考核数据安全等级数据密级权限数据脱敏机制数据加密策略资产分类主题数据资产全生命周期管理资产全景式地图，管理者视图，应用者视图，管理者视图数据服务发布与监控统计标准的维护与完善标准的贯彻和执行标准的固化与落地标准的检查与反馈1.战略规划及制度规范数据治理是长期的战役，才能确保数据质量达到了可信。组织是保障，流程是机制，IT是基础，把数据管理切实地融入到业务管理中，从战略制定到流程设计和业务执行，让数据管理和业务管理有机融合。促进数据驱动业务增长，发挥数据价值。技术支撑主数据管理工具元数据管理工具数据质量管理工具数据安全管理工具数据资产管理工具流程管控数据采集流程数据管理流程数据使用流程数据开发流程组织架构数据服务者（领导决策层）数据管理者（IT管理层）数据生产者（业务层）数据使用者（执行用户）组织架构与职责标准规范数据标准规范数据管理办法数据质量规范数据隐私安全规则数据质量是治理的关键，重点是抓落实和责任数据质量管理的业务案例，组织学习和培训抓关键数据，分清主次，分阶段性实施治理是关键–自顶向下和自底向上相结合抓好基础数据的管理，控制源头是关键，而不是结果搭建全企业统一视图、统一模板的主数据管理工具搭建元数据管理工具搭建数据质量管理工具搭建数据安全管理工具搭建数据资产管理工具2.数据治理实施以制定标准、形成资产，执行检查、评估、考核为工作方针，以促进数据共享融合、提高质量与安全、推动应用创新为目标，从数据和工具两个层面开展数据治理的实施工作。执行数据治理搭建治理工具数据治理实施2.1主数据管理企业所有流程需要作为统一标准使用的核心信息【IT系统的共同语言】主数据范围通用主数据：企业所使用的通用类主数据模块主数据：业务系统模块使用的主数据配置主数据：主数据系统及生产系统的系统配置信息主数据管理范围更多业务系统主数据共享

数据入口系统架构通用主数据对象

:物料,客户,供应商，会计科目等模块主数据对象

:BOM,工作中心，工艺流程，合同，会计总账等配置主数据对象：公司，工厂，采购组织，采购组，物料类型，采购订单等相关项目CRMERP主数据系统2.2元数据管理元数据库质量管理安全管理数据处理过程数据使用者管理元数据业务元数据技术元数据安全元数据质量元数据稽核元数据存储表、字段、类型、长度、程序信息、数据处理信息技术元数据业务术语、信息分类、指标定义（指标口径）、业务规则业务元数据数据标准化、数据一致性、字段长度质量元数据数据访问安全、权限控制、分级管理、隐私控制、流程约束安全元数据数据检查信息，日志追踪信息稽核元数据谁生产、谁管理、谁负责管理元数据元数据即数据的画像。通过元数据实现对数据的立体化追踪，向上的影响分析与向下的血缘分析，建立起数据的全流程画像。是数据质量管理与数据资产管理的根基和保障。2.3数据质量管理P（计划）D（执行）C（检查）A（处理）质量专家质量管理组织业务专家技术专家质量管理员组织管理技术实施帕累托图质量管理工具因果分析图关联图检查表亲和图矢量图……质量检测管理数据质量检测数据质量评估质量问题池质量检测统计调度中心质量问题管理数据质量问题分析数据质量知识库问题修正池问题跟踪池问题分析报告问题考核报告标准规则库主数据标准库质量检测规则库技术检测规则业务检测规则问题考核规则库质量评估规则库技术释义标准库…数据的全生命周期1.采集2.存储3.加工4.应用5.归档6.销毁依托企业的信息化建设成果，基于数据治理体系，构建数据质量管理框架。数据质量管理体系主要包括标准规则库、质量检测管理、质量问题管理等部分。2.4数据安全管理在数据生命周期节点上应用不同安全技术组合，全面保障数据安全。数据安全保障措施数据安全基础保障隐私保护分类分级数据防泄漏用户标识与鉴别数据访问控制存储/迁移安全加密存储存储容灾备份传输安全策略传输安全通道传输接口安全身份验证数据传输加密数据防泄漏恶意代码检测安全情报分析数据脱敏处理数据加密处理数据安全监控身份鉴别共享访问控制导入/导出安全数据脱敏处理数据防泄漏操作监控审计销毁审批机制软销毁硬销毁统一身份认证电子签章密钥管理数据脱敏文档安全数据的全生命周期1.采集2.存储3.加工4.应用5.归档6.销毁数据采集数据传输数据存储数据处理数据共享数据销毁数据资产管理采集存储归档销毁加工应用2.5数据资产管理全景式（场景）应用场景的资产可视化管理者视图：数据配置、数据踪迹、质量和安全应用者视图：数据是什么、数据在哪里、如何使用开发者视图：是否存在、是否满足需求、如何开发全流程（空间）立体化资产追踪，能追本溯源的发现所有资产的“前世今生”。血缘分析：向下的数据来源追踪影响分析：向上的数据变化影响分析数据资产分类数据资产”三全”管理全生命周期（时间）产生方式业务主题基础资产：经过加工处理过的数据衍生资产：经过开发形成的新数据业务领域：经营、生产、客户等业务主题：财务、人事、销售等权衡效率和需求之间的关系，合理分级存储和保留、销毁数据。生命周期：从数据的产生一直到数据的销毁，整个周期中数据的流动和使用情况采集加工发布运营归档通过数据的全生命周期管理和科学的分类，挖掘数据在不同时期的价值，实现数据资产化管理。通过全景式的数据地图和全流程的立体追踪，实现数据可视化。元数据管理血缘与影响分析描述、管理、安全、稽查2.5示例：全景式数据资产地图–管理者视图资产地图热搜：销售模型|采购价格分析|zeppelin|自助分析|Lumira

|K-MEANS搜索高级搜索数据资产导航资产统计所有资产需求管理开发管理工具管理系统管理您好：Admin反馈建议管理个人信息搜数据、搜资源、搜工具，一站式搜索类别资产数量资产活跃度价值配比同比更新率健康指数闲置率空间占用(TB)资产配置高中低质量安全热温冷A

事业部232670%5640410%990.20%0.2210B事业部346569%5938321%890.51%0.3212C事业部182571%5740316%990.24%0.2310D事业部693482%7220825%799.18%0.6415总部及其他213083%702916%1090.02%0.529科技研发部106875%3060109%890.16%0.218合计1784875%5738515%891.72%21464详情

详情

详情

详情

详情

详情

未进行安全稽核6个资产：建议立即执..2保留周期过长7个资产：建议调整生命..3废弃开发321张表：建议酌情删除特别关注更多…资产发布排行耪更多…本月热搜排行耪更多…促销分析（1026）提高库存周转率（825）采购价格对比分析（816）业务操作辅助分析（751）采购计划（418）价格趋势预测（289）123456iiiF

分公司B分公司A子公司ECP123456资产健康指数资产增长监控资产价值分布XXX集团公司运维支持：数据资产问题台技术问题阅|法律声明|联系我们数据资产管理者更关注：数据配置及合理性，统筹管理，指导资产配置和开发，保障可持续发展。Logo3.持续维护提升现状调研与需求梳理参考国际、国家、行业等标准与各业务部门共同制订数据标准建立数据治理组织与认责形成数据治理制度与流程设计执行方法、方案建立数据治理激励与考核机制执行监控与考核借助工具使标准固化落地建立监控与反馈机制固化激励与考核指标总结执行情况评估效果，对采集到的证据进行总结分析，发现问题寻找改进方法，总结最佳实践，形成改进意见4.标准的检查与反馈1.标准的制定与完善2.标准的贯彻执行3.标准的固化与落地

数据治理是一个长期、持续的过程，不断完善数据标准规范，持续优化和提升管理工具，保证标准的有效性、工具的适用性。目录一大数据与数据治理的关系一数据治理与大数据的关系四数据治理实施方法论三数据治理解决方案二面临的挑战与机遇目的：结合集团发展战略和规划，先出顶层设计和数据治理体系，包括组织架构，流程，制度，以及工具能力，而后细化每