制造业数据架构设计顶层规划方案

1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议在信息化现状评估中发现，企业统一数据模型缺乏、数据分析应用体系不健全、主数据管理体系不健全、数据治理体系不完善是数据架构中存在的最大问题。4未来发展方向5数据架构数据架构概述划划理理6应用蓝图技术蓝图业务蓝图应用蓝图技术蓝图梳理数据模型，是信息化支撑战略的基础明确数据分布（CRUD是数据规划设计的基础业务需求梳理数据模型，是信息化支撑战略的基础明确数据分布（CRUD是数据规划设计的基础业务需求定义主数据管理体系，是统一数据口径，提升数据整合能力的基础定义元数据管理体系，是对数据资产进行统一管理的基础规划数据仓库，是实施数据资产管理应用核心平台的准备规划数据资源管理分析体系，是对数据资产具体应用的前提规划数据治理体系，是确保数据应用的机制保障数据架构数据架构工作内容考虑因素工作成果工作内容考虑因素工作成果总体数据模型 ,结合业务蓝型考虑全集团对;元数据管理等构,包含数据管1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议9战略规划&管理提升信息化总体规划数据资源规划战略规划战略规划&管理提升信息化总体规延伸和细化•数据&信息应用现状评估•企业战略和业务能力理解•数据资源优先级界定•数据资源应用方案规划•信息管理提升实施路线划是企业战略规划&管理提升成果的数据资源规划是信息化总体规划的信息化总体规划数据资源规划分解和支撑业务战略业务战略企业级概念数据模型企业级企业级逻辑数据模型企业级概念数据模型企业级企业级逻辑数据模型最佳实践最佳实践系统概念数据模型系统概念数据模型系统逻辑数据模型业务需求系统逻辑数据模型业务需求系统级技术方案系统级技术方案系统现状系统现状系统物理数据模型系统物理数据模型项目实施项目实施数据架构描述示例描述示例,描述核心数据的投资组合管理战略规划投资组合管理战略规划供应及库存计划供应及库存计划生产排程制定需求计划制定供需平衡管理主计划制定知识产权管理知识产权管理财务管理人力资源管理内控及风险管理流程及信息化管理财务管理人力资源管理内控及风险管理流程及信息化管理市场趋势预测、需求计划、供应计划、供需协调计划、获利能力分析、主生产计划、物计划、物流计划、机台计划、排刀计划、采购计划、研发资源、研发战略、研发需求、研发年度计划、产品需求、产品项目规划设计、产品研发BO分析报告、工艺卡片、变更后工艺卡片、专利申请表、专利估值报告、专利利用记录、专利保护物料主数据、采购价格、供应商基础数据、供应商绩效评价信息、采购申请、采购计划、采购需求、产品入库单、订单关闭信息、原料库存、成品相关参数信息、排刀优化组合数据、订单状态、销售票据、产品信息、客户投诉、客户索赔、客计划和预算、资金支付计划、融资计划、纠偏计划、经营决策分析、人力资源规划、人员编制、考勤信息、员工档案、劳动合同、员工沟通、员工申诉、员工个性业发展规划、人才匹配结果、能力评估结果、人员基本信息、绩效考核结果、示例示例示例示例原则描述原则含义•确保数据源的数据及时、准确、唯一、完整每一数据必须定义唯一的数据源，以保证跨流程/跨系统的信息的唯一性和一致性•系统必须从数据源获取数据，确保数据准确性和一致性•数据的所有拷贝都是只读的•不能在报告系统中改变交易数据，必须回归到交易系统中进行数据更改关键数据资源与组织部门/信息系统的CRUD矩阵竞争对手信息市场趋势信息产品策略销售策略市场策略销售组织销售区域销售线索销售合同销售定价销售订单对账信息订单状态销售票据客户投诉客户索赔客户满意度销售策略产品策略汇款数据组织部门RRRRRRRRRRRR----R-RRRRRRRRR-R---R-R-信息系统R-RRRR--------R-----RRRRRRRRRRRRRRRRRRR1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议元数据元数据技术元数据业务元数据←←→日常业务操作业务规划指导↓采集↑统计分析数据日常业务操作业务规划指导↓采集↑统计分析数据←→事务数据实时(状态)数据非实时(结果)数据金额指导↓采集↑←→指导↓采集↑←→ 物流据主数据统一进行主数据规划、标准和管理平台是主数据管理和信息化求数据管理框架应从质量、标准、安全、流程、架构和组织六个方面统一规划、统一标准、统一管理方法的统一规划、统一标准、统一管理方法的主数据体系主数据管理框架供应商供应商真实性真实性完整性完整性及时性及时性组织逐步建全完善的主数,为主数据管理提供台统一主数据管理平台主数据标准在企业的统一应用统一主数据管理平台主数据标准在企业的统一应用主数据管理的第一步是要梳理有哪些主数据。判断一个特征一致性述等）。1是2是3否4否5否类型主数据内容非主数据内容据物资相关数据格编号、计量单位等格、位置等3.总部和下属单位共用2.总部系统使用1.下属单位自用3.6个系统以上2.3－6系统1.3个系统以下3.已具备集中数据管理2.部分具备1.分散管理3.统一较容易2.统一难度适中1.统一难，量大a.管控容易a.管控容易b.管控中等c.管控较难a.非常重要b.中等重要c.一般}a.非常重要b.中等重要c.一般3主数据重要程度主数据管控难易程度主数据需3主数据重要程度主数据管控难易程度主数据需求迫切度实施优先级3216232113312362136H业务影响程度L要 H数据共享程度2二级一级三级二级 H主数据统一难易度数据管理成熟度L以CRUD矩阵作为数据规划工作的示例：示例主数据CRUD矩阵是数据规划环节的一项重要工作，它描述了主数据在不同系统间示例RRRRRRRRRRRRRRRRRRRRRRRRRRRR数据标准管理将从企业数据共享的角度为数据制定统一的业务解释和标准。同时为数据标准内容与维护制定一套流程，推进企业数据的标准化与一致性管理涉及数据对象：从业务应用对数据的质量要求出发，制定一套可管理的数据质量评价方法和评价指标，将质量管理落实到数据整个加工处理过程中，保证满足业务对数据质量的要求根据公司管理要求和数据敏感性要求，对数据制定一套合理、科学的安全分类标准，并根据这套数据安全分类标准建立一套面向的数据使用授权机制管理涉及数据对象：数据访问权限合并模式生产系统生产系统非实时更新非实时更新分析系统事务模式共存模式生产系统实时更新注册模式事务模式共存模式生产系统实时更新生产系统准实时更新生产系统准实时更新生产系统实时更新分析系统分析系统分析系统分析系统分析系统分析系统由业务系统进行主数据的创建、更新、删除等操作MDM仅保存主数据的引用地址。当需要读取MDM上的主数据时，MDM根据引用地址从各业务系统中获取数据适合场景：适合场景：不适合场景：主数据依旧在各业务系统进行创建、更新、修改与删除，采用定期抽取的方式增量同步至主数据治理平台MDM保存主数据的准实时副本，不允许做修改准实时同步准实时同步适合场景：准实时同步准实时同步适合场景：目管理系统中的“项目”不适合场景：…从业务系统初次抽取主数据到统一的资料库后，由主数据治理平台进行主数据的创建、更新、删除等操作。以后每次主数据更新后，由主数据治理平台主动推送或业务系统订阅等方式同步主数据的更新至业务系统更新同步初次抽取初次抽取更新同步适合场景：更新同步初次抽取初次抽取更新同步适合场景：不适合场景：………主数据管理系统对交易系统的数据一致性和分析系统的关键基础准确实时集团应用集团应用经营管理决策财务应用事业部集团主数据发展的…求数据传输网络据者数用主使数据传输网络…………数据传输网络据者数用主使数据传输网络…………BI/DW大数据预算资金BI/DW大数据预算资金费用……人才管理portal核心HR……供应链类系统供应链类系统SRMTMSSCP………… 源系统数据获取主数据管理……质量分析质量清洗/调整质量控制数据数据架构业务业务规则数据模型工具数据模型工具手工处理手工处理核果•主数据变更管理是针对变更指主数据系统的需求变更或新增需求；主数据治理流程变更；主数据模型调整；主数据标准变更；元数据调整等内容。•数据管理组织的审核、评估等内容需要考虑从主数据层面进行控制，决策协调会控制变更的紧急程度和变动范围。40•主数据问题处理流程是针对主数据相关问题处理（数据质量、数据服务、数据错误等）的识别、评估、协调、升级、处置和监控报告的流程。主数据问题处理流程依据管理范围包含BU处置的问题和需要跨BU协调的问题。41元数据管理现状42元数据管理可以清晰、直观地了解数据的来源、变化过程、应用对象等信息，当数据源发生变化时，用户借助元数据管理可以快速、直观、准确地分析出数据变化的范围、内容和影响业务指标业务规则业务数据定义管理流程定义业务术语……应用元数据运行环境元数据……43整体管理办法整体管理办法系统管系统管理办法元数据质量管元数据质量管理办法身的质量要求应该是最为严格。此规范是作为对元数据系统生命周生命周期管理办法对系统对系统稽核及监控管理办法管理培训办法•此规范应作为元数据管理对于各个系统的设计管理培训办法管理服务办法管理服务办法44岗位岗位元数据平台管理员（信息技术部）元数据管理专员元数据平台管理员（信息技术部）元数据管理专员（信息技术部）元数据管理员（信息技术部）职责IT项目组职责IT项目组（信息技术部）提出新增提出新增元数据需IT开发流程发起新增元数据需求收集需求求新增元数据需求评审发起新增元数据需求收集需求求新增元数据需求评审提交数据模型、元数据导入模板组织新增元数据有效性评审审核通过？导入基准库 否审核通过？导入基准库 否是修改数据模型、元数据导入模板 ↓ ↓提交元数据上提交元数据上线审核需求待上线系统元数据采集、检核收集需求待上线系统元数据采集、检核收集需求新增元数据需求检核与上线IT开发流程组织新增元数据落组织新增元数据落地检核评审↓修改系统否审核通过？是新增元数据发布结束需求IT开发流程结束需求说明说明需求管理平台元数据管理平台非管控平台流程否45否岗位岗位元数据平台管理员（信息技术部）受影响IT项目组/元数据平台管理员（信息技术部）受影响IT项目组/业务部门元数据管理员（信息技术部）元数据管理专员（信息技术部）提出变更IT项目组职责经理职责IT变更流程导出变更影响分析结果发起变更元数据需求提交数据模型、元数据变更模板收集需求组织元数据变更可IT变更流程导出变更影响分析结果发起变更元数据需求提交数据模型、元数据变更模板收集需求组织元数据变更可行性评审需求作废修改数据模型、元数据变更模板审核通过？是否影响其它系统？IT变更流程新建基准库待上线系统元数据采集、检核提交元数据上线审核需求提出变更元数据需求变更元数据需求评审是是是是否收集需求变更元数据需求检核与上线IT收集需求变更元数据需求检核与上线IT变更流程组织变更元数据落地检核评审修改系统否审核通过？是变更元数据发布结束需求IT变更流程结束需求非管控平台流程元数据管理平台需求管理平台说明非管控平台流程元数据管理平台需求管理平台说明46技术人员业务人员项目管理47技术用户（开发维护人员）项目管理用户业务用户（数据与业务分析员）技术用户（开发维护人员）项目管理用户业务用户（数据与业务分析员）元数据管理支撑工具管理及维护元数据管理支撑工具管理及维护信息浏览信息查询数据跟踪影响分析定制报表变更管理数据管控数据库数据管控数据库技术元数据业务元数据桥接器加载加载…………48元数据数据分析：侧重于基于元数据的分析功能，从数据BI元数据和企业级元数据的互动：企业级元数据经ETL平台加工整理进入仓库，形成BI元1.数据架构设计的思路2.数据资源总体规划3.基础数据管理5.数据治理与管控6.项目实施计划建议 4 4“倒逼”业务规范化管理环BI的重要意义管理“用数据说话”233以战略为要求，落实于企业核心能力，分解出驱动价值实现的关键因素；并据此建立相应的衡量企业指标体系、管理分析体系，从而有效支撑公司能力提升、战略实现、价值创造。企业指标体系企业指标体系企业决策分析主题企业决策分析主题分析框架分析框架财务客户内部运营学习成长加强成本精 财务客户内部运营学习成长加强成本精新新新新新新障 •分析体系模型•公司企业管理要求•行业价值因素与指标库•分析体系模型•公司企业管理要求•行业价值因素与指标库•先进企业指标体系模型•外部环境信息和驱动因素•公司市场规模、市场增长的发展趋势与核心价值定位的契合•公司战略••指标体系设计•专业领域最佳实践非结构化数据数据分析系统应用体系框架是以数据治理体系为保障，以多数据源为输入、以传统数据仓库和大数非结构化数据31数据源数据分析4数据应用数据仓库1数据交互与传输基础平台（ETL、31数据源数据分析4数据应用数据仓库1数据交互与传输基础平台（ETL、ESB、F前端展示流程驱动25数据治理 数据分析应用体系框架是以数据治理体系为保障，以业务系统数据源为输入、以传统数据仓库和大数据仓库融合的的数据仓库为支撑，以数据分析为关键，以数据应用为目标。3131分析决策区数据整合区分析决策区数据交换区数据分析应用缓冲层ODS层数据集市分析报表厂仪表盘OLAP数据挖掘区数据挖掘组件数据挖掘库挖掘引擎模式评估分析决策区数据整合区分析决策区数据交换区数据分析应用缓冲层ODS层数据集市分析报表厂仪表盘OLAP数据挖掘区数据挖掘组件数据挖掘库挖掘引擎模式评估22分析决策区数据整合区分析决策区数据整合区机器学习高级文本分析44大数据环境下数据平台架构的转变：从以数据仓库为中心向报表仪表盘分析挖掘环境协作协作1.数据架构设计的思路2.数据资源总体规划3.基础数据管理4.数据分析与数据应用5.数据治理与管控6.项目实施计划建议数据治理体系涵盖组织架构、评价与考核、治理流程和治理工具四数据管理组业务部门责任人数据生产者数据使用者信息化支持团队2流程33数据治理评价与考核程程数据标准数据质量数据安全系统建设数据产生数据加工数据流转数据使用共享业务主题业务含义…工具工具标准管理4质量管理质量管理质量规则质量报告稽核任务质量监控问题管理数据清洗安全管理结构特点优点挑战分布式策略•缺乏企业级视角，无法实现联邦式策略数据治理委员会•数据治理日常管理部门对其他部门•对数据治理日常管理部门的协调能力要求较高，需要较强的影响力和集中式策略数据治理委员会•设立专门组织作为企业数据大置n数据管控方法论的组织架构模型：数据管控组织架构图n数据管控方法论的组织架构模型：•企业级数据管控组织架构数据管理委员会•数据管控角色数据管理委员会•数据管控工作职责技术团队业务团队n技术团队业务团队!•建立数据管控决策、沟通监控、考核机制!•推动落实数据管控工作业务组•创造数据管控文化数据管理委员会数据管理委员会决策层数据治理工作组集团财务部管理层流程IT部部门主管执行层数据标准管理员数据平台建设工程师数据质量管理员数据模型管理工程师数据服务需求管理员 主数据、元数据管理工程师数据架构师决策层数据治理工作组集团财务部管理层流程IT部部门主管执行层数据标准管理员数据平台建设工程师数据质量管理员数据模型管理工程师数据服务需求管理员 主数据、元数据管理工程师数据架构师其他业务部门学历要求：学历要求：专业要求：工作经历：能力要求：•熟练掌握数据平台架构、数据建模、数据分析等领域知识•熟练掌握数据平台管理体系建设知识平台需求管理平台需求管理•协同数据管理中心收集编制平台需求；•参与数据平台和相应接口的需求分析。平台规划和建设•负责数据平台的功能和架构规划，包括总体架构、数据模型等的设计；•负责全行数据平台落地实施工作和实施管理，包括外包商选择、功能开发、测试等工作；•负责数据平台的测试工作，包括功能测试，性能测试和用户接受测试等工作。项目管理•负责组织和协调数据管理平台建设项目组，编制项目计划，推进项目完成；•随时收集汇总并及时向上反映项目建设风险，并提供解决方案建议。变革管理和培训•负责编制建成的数据管理平台的操作手册；•为数据平台的用户接受测试提供文本和技术支持；•为培训提供文本和技术支持。技术文档编写•按照项目开发规范，与开发进度同步提供完整、规范，与程序完全一致的技术文档。的行率作通过组织管控与治理考核流程对数据标准、数据质量和数据组织建立/组织建立/维护流程数据认责流程数据治理数据管理流程数据治理考核流程数据创建/数据创建/数据加工/数据归档/信息管理系统…………MES系统数据分发接口系统管理⑦①主数据管理⑧②标准管理安全监控系统管理⑦①主数据管理⑧②标准管理安全监控⑥展现管理③③数据质量稽核④④绩效考核⑤元数据管理数据分发接口分析型系统数据治理平台功能架构蓝图数据治理平台功能架构蓝图系统管理日志管理菜单管理日志管理菜单管理参数管理备份管