麦肯锡-企业数据架构数据治理设计规划咨询项目建议

数据架构数据治理设计规划方案本文内容本文内容1流程三方面综合提升数据治理水平11所有制”22332II数据定义数据定义3XX规划数据XX营销数据XX营销数据XX产品数据XX产品数据XX计量装置数据XXXX及设备数据XXXX运行数据XXXX维护数据XX采购数据XX采购数据4资料来源：4资料来源：访谈；XX资料；小组分析改进角色新增角色I改进角色新增角色I–XX及设备、XX运行、XX维护–XX营销、XX产品、客户、及IT∩库管理员 5需要的总需要的总FTE现有FTE体改增加FTE缺口FTE–XX规划/投资–XX调度师3员31522数据治理团队总数据治理团队总FTE6 ABCDABCDE数据定义FGG7企业数据管理委员会企业数据管理委员会数据建模师能力板块级数据督导+督导企业级数据建模师/架构师企业级数据督导A企业级数据库管理员A据物理建模师ARARB数据概念建模IIRAICIC数据逻辑建模IIIRACI模型D数据物理建模IIICIRAE数据使用者建模ICRRACI数据技数据技术平台架构IICAIRI数据服务水平制定IRACIRI周期数据存储规范制定IIRCIAIAKPI的设定AKPI的设定理KPI8业界最佳实践总结•保证全企业内部数据对象具有明确的所有权与属性定义•识别全企业内的信息/数据对象，明确数据的所有权（包括能力板块与业务部门），定义数据对象所需要的数据属性•输入：确定主要的业务驱动因素（战略举措，关键业绩指标）以及对数据需求的影响•业务/数据对象；数据对象所在的业务能力板块/系统；被共享/引用的业务能力板块/系统；业务负责部门；数据属性及结构9数据定义将数据对象与业务能力间的对应，数据定义将数据对象与业务能力间的对应，转化为系统与数据属性/字段之间的对应在应用架构中讨论CCBBDDA数据定义A数据定义物资数据现状梳理物资数据现状梳理数据对象：物资主数据*相关的能力板块主数据来源•ERP-MDM业务负责部门可能数据引用•ERP-MM,生产运维(PMS),项目管理系统,ERP-FICO,•MRP类型•MRP控制者•批量大小•再订货点•特殊采购类型•计划交货时间•计划边际码•安全库存•评估范围•上期的评价分类•上年的评价分类•评估类别•价格控制•移动平均价•库存出库•仓储区标识•库存入库•销售组织•物料统计组•物料定价组•库存地点•仓位最大容量（最大重量和•期间标识关键属性（需要增加） 需要由业务部门提出关键属性需求**主数据(MasterData)–指系统间共享数据(例如，客户、供应商、账户和组织部门相关数据)。与记录业务活动,波动较大的事务数据相比,主数据变化缓慢物资数据现状梳理关键属性表示方法的规范•物料组描述•计量单位•工厂描述•主要包括：SMEPC设备、SMEPC原材料、SMEPC设备配件、SMEPC五金材料备件、SMEPC工具、SMEPC计量仪表、SMEPC变电线路材料、SMEPC套件、SMEPC废品•对于物料类型的进一步细分，如10kV电缆附件、35kV电流互•对于物料组中细分物料的具体参数描述，如“35kV干式变压器，35/10,20000kVA,自冷”•代表物料的唯一12位数字编码，其中第一位数据代表物料类•33个物资采购中财务独立核算部门，如XX公司本部、XX调度通信中心、上海市区供电公司本部业界最佳实践总结•保证全企业内部操作系统或分析系统的共享数据的一致性•数据概念建模一般着眼于企业全局层面，即企业信息/数据模型：明确全企业信息/数据对象所在（包括产生与共享/引用）的业务板块/模块•主要业务对象/数据对象的定义•业务/数据对象•数据对象（包括主数据与事务数据）所在的数据源（产生该数据的功能模块）•数据在功能模块间的引用关系主要业务与管控板块能力板块主数据事务型数据XX负荷数据XX负荷数据 XX计量信息XXXX计量装置信息 XX信息XXXX提供商信息资料来源：资料来源：访谈；XX资料；小组分析数据概念建模数据概念建模–企业信息/数据模型–数据对象的引用/流向举例市场营销/客户服务业务板块的数据对象能力板块主数据事务型数据数据共享资料来源：资料来源：访谈，XX资料，小组分析业界最佳实践总结•ER图是逻辑数据模型在结构分析中常用的工具业界最佳实践总结••物理数据模型指的是单个逻辑数据模型如何在特定的数据库管理系统中实施，即与所实施的数据库管理产品系统紧密相关（如，Sybase,Oracle,Informix等）•物理数据模型详述了实施细节，如，某个产品或版本的特征以及该数据库的配置方案。这些包括指数构建、替代键说明、参考完整性模式（陈述式或程序式）以及物理存储对象，如，ADDR_USAGE_CODE:cha业界最佳实践总结•按照不同角色对对象和属性级别的存取权进行清楚定义，保证数据的安全性与数据质量控制•按照组织/部门内业务角色共同的活动模式与信息需求，制定数据用户的角色、及对于数据的操作权限•数据对象、使用者/角色（及其所需的业务操作/数据操作能力）•针对不同数据对象，各使用者/角色的操作权限/任务，即CRUD模型–C:Create（数据产生/建立）–R:Read/Retrieve（数据读取）–U:Update（数据更新）–D:Delete（数据删除）RRRRRRRRRCUDRRRRRRRRRURRRRURURRRRRRRRRCUDRRRRRRRRRURRRRURURCUDRURURCUDRCUDRCUDRCUDRCUDRCUDRCUDRCUDRCUDRCUDR本员业界最佳实践总结数据存取频率/存取速度要求存储层次低端100TB环境40%40%20%25%25%50%按监管要存储层次低端100TB环境40%40%20%25%25%50%按监管要ATA磁带或光纤存储被清理创建高峰使用存档后仅用于参照高端或中层磁盘（如光纤通道磁盘阵列）7.7获得成本10.67.7(百万美元) 业界最佳实践总结丛丛流程业界最佳实践总结角色业务部门重点数据督导服务数据督导服务数据督导•2.保证数据质量•3.制定与管理数据SLAIT部门重点•4.管理数据模型与架构•4.管理数据模型与架构数据库管理员数据建模服务•5.管理数据性能与容量•6.管理数据可用性•7.管理数据备份与恢复•8.管理数据持续性•9.管理数据安全性 1.定义数据对象2.监控与审核数据质量4.管理数据模型与架构1.定义数据对象2.监控与审核数据质量4.管理数据模型与架构企业级数据督导能力板块企业级级数据督数据建企业级导+督导模师/数据建数据库据物理模师管理员建模师RACICIRAACICIIAACIRIIRAAIRIICCIAAIICCIAAIICCIAAIICCIAAIICCIAI••数据治理角色的工作指导原则•数据治理流程最佳实践•数据治理的管理节奏（会议）业界最佳实践总结质量保证指导原则质量保证•数据需要依据应用水平需求的不同进行分类•各类都应有数据保护程序，加强物理和/或逻辑控制，确保合适的存储、存取、处理和管理监督•能力板块级督导负责数据类别的界定和分类变更行动•从数据源向企业数据库录入数据应符合数据质量控制规范•各数据源应在高质量数据的供应和交付频率方面有所规定•应定期测试样本数据，依照已定义的质量保证程序验证其完整性和逻辑属性•能力板块级数据督导应负责定义其数据域内各企业数据元素的分发范围和媒介业界最佳实践总结存取及使用业务流程对照存取及使用业务流程对照•存取规定应符合系统存取控制的ISO17799要求•除了安全功能外，还安装专用工具控制数据的存取和使用•企业数据的存取和使用应在记录文件中记录用于审计目的•能力板块级数据督导负责使用系统化的审计程序验证数据元素的存取和使用是否合适，并对此类程序的结果进行报告•能力板块级数据督导负责记录并持续更新企业数据元素和业务流程之间的对照情况，确保对照是完全彻底的•各业务流程应定义、记录并持续更新SLA，确保企业数据元素的供应数据增值数据增值•数据督导应负责评价、记录并更新企业数据元素的价值，具体指与操作流程中与效率提升有关的和/或对业务流程之有效影响有关的价值•数据督导应鼓励将企业数据用于战略目的，同时通过对企业数据的竞争性使用营造价值创造的企业文化业界最佳实践总结应用交叉引用指导原则应用交叉引用域、关系基数性和关系成员资格•应使用计算机辅助软件设计工具设计、记录、模拟和不断更新企业数据逻辑模型•应使用基于提议和归纳逻辑的正式语言为属性、实体和关系上下文指定逻辑规则•逻辑规则应与验证计划相关，将根据企业数据管理委员会批准的具体步骤对这些计划进行分类•企业数据应与应用系统联系在一起，并对这些交叉引用进行分类•应用架构将使用企业架构工具管理，它们可以简化这些交叉引用的记录和更新操作•每项新的开发或完成维护应对照企业数据模型确认其数据要求•新的数据元素应由企业数据管理委员会确定企业数据分类•新的企业数据元素应相应地建模、记录、模拟并集成到实际企业数据模型业界最佳实践总结业界最佳实践总结物理实现与物理实现与•物理设计应遵循企业数据逻辑设计•只要性能行为符合SLA，物理设计就应当遵循第三方正规形式•应使用工具设计和记录物理设计完整性与验证•只能使用行业标准RDBMS创建、测试和操作数据完整性与验证•应实施验证步骤以满足逻辑属性需求•应使用相关工具开发、记录、分类、测试和制作验证步骤•企业数据元素应符合SLA设定过程中正式定义和记录的可用性和性•数据库管理员应提交定期报告，衡量可用性和性能合规性恢复与存档•数据库管理员应跟踪、汇报和规划存储容量以符合既定SLA恢复与存档•应根据各个企业数据元素定义和记录具体的恢复步骤，确立频率、存储介质、备份周期和恢复时间•包含持久值的各个企业数据元素应与存档规范、恢复步骤和处置规则相关联•数据库管理员应提交定期报告，衡量恢复就绪性、恢复SLA合规性和存档状态业界最佳实践总结业界最佳实践总结指导原则业务持续性•企业数据管理委员会应批准正式应急计划（出现灾难性事件时执行）、业务持续性SLA（用于恢复业务）、备用IT基础结构（用于托管应急流程）和持续流程（出现应急事件时用于保留企业数据）•数据库管理员应执行系统流程确保正确的业务持续性，执行模拟举措以衡量就绪性•数据库管理员应提交定期报告，衡量业务持续性业绩指标安全与用户安全与用户•遵循系统访问控制ISO17799，尤其是数据访问方面•数据安全性将依赖于DBMS满足所有企业数据安全性要求；否则，需安装专用工具，结合DBMS安全功能控制数据访问与使用•跟踪访问情况、使用日志记录并对这类文件执行定期审计•数据库管理员应定期执行安全保证步骤并汇报结果•如果检测到违反安全规定，将启动保护步骤•每个用户对企业数据元素应具备访问和更新权限。反之，每个企业数据元素应将用户列表与访问及更新权限关联在一起•数据库管理员应根据域数据督导访问决定保持用户视图和访问/更新权限业界最佳实践总结业界最佳实践总结指导原则•客户应理解客户信息保密以及正确使用这类信息的重要性•只有经过客户信息正确处理培训的授权员工或承包商可以访问这些信息。违反隐私承诺的员工将通过正式的纪律流程进行处罚•客户信息不可泄露给任何外部组织，除非事先在声明或协议中告知客户、得到客户授权或遵循法律法规要求•为满足法规规范，允许与官员、法规机构及其他运营商交换客户数据•应保持客户文件的完整性、最新性和精确性。应告知客户如何/从哪里能轻松访问他们的帐户信息（法律禁止的情况除外）以及如何报告错误（将立即纠正）•处置企业数据元素应遵循一个正式步骤，它可能需要得到域数据督导和/或指导委员会的批准•处置企业数据元素应保持安全信息并保护个人信息包含在记录中的个人（客户与员工）的隐私•数据治理角色的工作指导原则••数据治理流程最佳实践•数据治理的管理节奏（会议）丛丛流程业界最佳实践总结••定义和构建数据价值管理系统•采集价值信息•确定并解释数据价值•传达数据价值这个流程从理解数据对业务部门的价值开始。流程以向业务部门发布数据分类/定义作为结束••行业趋势•业务部门战略•业务操作实际需求•业务能力架构•各个能力板块/模块的数据需求•各类数据的业务价值衡量标准：•衡量标准：•数据分类与定义的广度与对业务的契合度丛丛流程业界最佳实践总结丛丛流程业界最佳实践总结丛丛流程业界最佳实践总结业界最佳实践总结目标：目标：提供企业数据元素在以下方面的精确信息：如何按照ERM和逻辑规范（企业数据逻辑设计）构造它们的结构，数据元素的分类，与物理数据库、应用架构及业务流程的关系以及它们对客户的内在价值••为企业数据元素建模•定义企业数据元素分类•定义与物理数据库的交叉引用•定义与应用的交叉引用•定义与业务流程的交叉引用•确立SLA•查询企业数据逻辑模型和交叉引用•更新企业数据逻辑模型和交叉引用•处置企业数据元素并重组企业数据逻辑模型和交叉这个流程首先包含新的企业数据元素以及它们与其他IT组件的所有关系。处置某个数据元素时，流程结束流程包括：•逻辑数据建模•与物理数据库、应用架构及定义SLA要求的业务流程的交叉引用•当新的IT组件出现/消失时，更新属性和关系•当处置某个数据元素时，重新排列企业数据逻辑数据和关系••样本完整性以及数据库中检查企业数据逻辑模型规范与物理数据库之间的一致性的逻辑限制•企业数据逻辑模型与IT组件之间的样本关系•企业数据元素•物理数据库衡量标准：•衡量标准：•数据完整性与逻辑限制的数据库精确性•与IT组件关系的精确性•企业数据逻辑模型•企业数据元素分类•与应用架构的交叉引用•与业务流程的交叉引用•企业数据SLA丛丛流程业界最佳实践总结丛丛流程业界最佳实践总结 业界最佳实践总结目标：目标：提供实现目标所需的恢复能力。确保关键企业数据的完整性以及日常操作和灾难情况下的可用性。未雨绸缪。为改善今后的恢复情况对设计形成影响备份/恢复要求•制定备份/恢复计划和步骤并进行测试•以具体的恢复和持续性目的为基础执行备份•执行恢复，支持经常出现的数据丢失、缺陷和硬件•监视和汇报备份/恢复性能，提供改善反馈循环这个流程从确定备份与恢复需求开始，以资源得到恢复并且生成恢复准备和工作报告作为结束。备份/恢复流程包括所有技术和站点。该流程包括应用和系统备份与恢复的准备与执行••数据配置信息•数据可用性标准与建议•数据可用性衡量标准与分析•服务交付计划•解决方案设计•备份请求•问题通知与状态（服务中断）衡量标准：衡量标准：•停机时间与中断•数据可用性趋势•不可用性趋势•备份与恢复要求与计划•持续性备份项•恢复服务•问题通知与状态（服务中断恢复报告）丛丛流程业界最佳实践总结目标：在异常中断延长的情况下，支持持续交付数据服务的优先子集。保持与业务计划的一致性。保持可靠的数据恢复就绪性。实现向灾后操作状态的顺畅过渡这个流程从确定关键数据及其优先顺序以及确定潜在灾难性中断开始。它以灾难就绪性、有效的应急计划以及恢复正常数据操作的情景作为结束。这个流程包•规划和准备任何预期的重大灾难•从重大故障中恢复设施、环境和技术•恢复正常的方法•持续性、备份与恢复