制造业数据架构设计顶层规划方案

企业数据架构设计总体规划方案目录Contents数据架构设计的思路数据资源总体规划基础数据管理数据分析与数据应用数据治理与管控项目实施计划建议数据架构与管理工作总体来说还处于空白，是信息化相关工作中最为薄弱的一环在信息化现状评估中发现，企业统一数据模型缺乏、数据分析应用体系不健全、主数据管理体系不健全、数据治理体系不完善是数据架构中存在的最大问题。数据架构数据管控数据管理组织数据资源规划数据建模数据分布基础数据管理主数据管理元数据管理数据分析应用分析指标数据仓库分析决策数据管理流程数据管理工具数据资源规划：没有进行集团级数据架构设计。缺乏全局性数据实体一致性管控，没进行实体间的CRUD分布分析；没有建立数据管控和治理机制，缺乏数据架构管控的组织、制度和流程。2数据基础资源管理：缺乏标准的主数据分类和管理制度、管理组织和管理工具；元数据平台并未有效使用，缺失对元数据的维护，尚未制定完善的元数据管理流程和制度。3数据分析应用：

未建立全面的企业级数据分析应用体系，曾经规划过集团级集成数据仓库及经营分析平台建设，但因IT建设成熟度不够，该项工作尚未启动。4数据管控：未形成统一的数据治理机制和专门的数据治理组织；尚未建立相对完整和统一的数据标准，缺乏有效的途径贯彻执行数据政策和数据标准，同时对数据政策和标准的执行缺乏有效的监控和审计手段；缺乏数据质量监控和考核机制，质量管理没有形成PDCA闭环，数据质量的问题无法从根本上得以解决；未形成完善的数据生命周期管理、考核机制。1数据管理绩效考核体系的数据应用与管理现状与企业战略的管理需求不匹配，未来需要进行企业级的数据整合和数据管控体系建设4分散、不一致的数据不规范的数据架构，无企业级的数据整合初步建立数据架构体系，但架构不规范，难以持续改进；初步建立企业数据模型，但覆盖范围不完整、难以保证企业一致性；建立不同程度的数据管控组织、标准和流程，但组织职责、标准覆盖范围和流程执行存在不足；未建立或初步建立企业数据仓库，但数据范围不全面、分析模型不健全、缺乏数据挖掘能力未建立统一的数据架构与数据模型；业务系统之间的数据缺乏统一的标准、难以整合；未建立数据管控体系，以业务系统为数据管理手段；以业务系统为基础实现数据的基本查询。将数据架构作为企业架构资产中的一部分进行统一管理，建立持续改进的数据架构体系；建立统一的企业数据模型，实现概念模型、逻辑模型与物理模型的统一管理；具备完善的数据管控体系，建立职责清晰的管控组织、标准规范和管理流程，并使用专业的系统工具进行支撑建立企业统一的数据分析应用体系，能够快速、灵活的进行数据分析应用的开发与部署。企业级的数据整合与分析应用未来发展方向本次数据架构设计目标是，明确数据分布和流向，定义数据模型，配套数据基础资源管理，规划数据分析服务管理，完善数据治理体系5数据架构本次数据架构，以数据管理与架构框架为基础，结合企业特点，定义数据架构的基本范围和总体结构，规划总体数据架构概述

主数据体系工作内容：定义主数据分类、分布和管理策略，明确建设统一主数据体系的实施路径与路线图

元数据管理平台工作内容：明确元数据管理的内容与平台设计，明确元数据管理所应具备的功能与业务组件基础数据管理>数据治理体系管理

数据治理体系工作内容：根据数据治理现状和未来对数据治理的要求，从数据标准、数据质量和数据安全三个要素出发，明确数据治理体系所应该包含的组织、流程、工具，以及业务与考核四个功能域的具体内容>

数据分布及数据流向工作内容：从业务能力蓝图和应用架构蓝图着手，结合应用系统现状，描绘出数据主题域，并明确主题域中数据在各业务以及组织机构中的数据分布及流向（CRUD分析）数据资源规划>数据分析服务管理

数据集成与数据分析工作内容：结合数据模型的设计，设计符合企业特点的数据分析服务体系，构建数据分析系统>在制定数据架构规划目标时，将综合考虑总体业务蓝图和应用蓝图规划，并以技术蓝图为参考依据，明确数据架构各项内容的规划目标6业务蓝图应用蓝图技术蓝图数据架构数据结构管理基础数据管理数据分析服务管理数据治理体系管理应用需求技术要求业务需求数据结构管理意义梳理数据模型，是信息化支撑战略的基础明确数据分布（CRUD），是数据规划设计的基础

数据基础资源管理意义定义主数据管理体系，是统一数据口径，提升数据整合能力的基础

定义元数据管理体系，是对数据资产进行统一管理的基础数据分析服务管理意义规划数据仓库，是实施数据资产管理应用核心平台的准备

规划数据资源管理分析体系，是对数据资产具体应用的前提数据治理体系管理意义规划数据治理体系，是确保数据应用的机制保障按照的数据架构规划实施方法论，在明确架构目标的前提下，制定数据架构的实施流程设计实施路径明确数据分布定义数据模型规划数据分析技术体系设计数据治理体系梳理主要的数据资源，并根据业务能力框架、业务集成关系等明确数据的分布（CRUD）

考虑各事业部的差异，优先梳理共性数据资源总体数据模型数据分布（CRUD）基于数据分布，结合业务蓝图，并参考应用蓝图，分析并定义数据模型

考虑业务模式，参考业务蓝图及流程分析成果

数据分析概念模型示例设计基础数据管理设计主数据和元数据的管理体系考虑全集团对主数据和元数据的统一管理需求和能力主数据管理体系与系统方案；元数据管理方案和系统设计数据分析系统的技术框架，融入大数据技术进行技术框架设计

考虑数据在总部与事业部的分布

考虑数据分析服务的需求数据分析系统技术框架设计支撑数据应用的治理体系，包含组织、KPI、流程等

考虑现有业务和IT组织架构

综合考虑人员、流程和技术等现实要素数据治理体系，包含数据管理组织、KPI、流程等对数据架构的实施项目、建议时间等给出建议和项目实施路线图工作内容考虑因素工作成果数据架构类项目实施规划、投资估算、项目卡片等目录Contents数据架构设计的思路数据资源总体规划基础数据管理数据分析与数据应用数据治理与管控项目实施计划建议数据资源规划是信息化规划的内容之一，但要获得更加详细的数据管理体系，需要进一步进行细化设计9战略规划&管理提升制定IT战略和管理提升方案信息化总体规划界定数据资源规划目标、范围和总体框架数据&信息应用现状评估企业战略和业务能力理解数据资源优先级界定数据资源应用方案规划信息管理提升实施路线后续任务战略规划

&管理提升信息化

总体规划数据资源规划

（IRP）主导：财务管理部门配合：信息管理部门主导：IT部门配合：各业务部门主导：数据管理部门配合：各业务部门信息化总体规划是企业战略规划&管理提升成果的分解和支撑数据资源规划数据资源规划是信息化总体规划的延伸和细化数据资源规划的主要任务是梳理企业级的数据模型10业务战略IT现状企业级概念数据模型企业级逻辑数据模型系统概念数据模型系统逻辑数据模型系统物理数据模型业务需求技术方案企业级系统级遵照参考细化/基于细化/基于项目实施数据仓库项目综合统计分析系统建设主数据管理优化系统优化和数据迁移系统数据设计参考/指导最佳实践系统现状数据资源规划的方法与过程11根据企业IT战略和对各业务系统调研结果，列出核心数据，描述核心数据的主要信息内容；数据架构系统架构描述企业数据模型在企业IT系统如何分布（CRUD）。通过了解数据分布可以清楚定义企业数据在IT系统中是如何产生和使用参考最佳实践对企业数据做统一分类规划，企业数据执行同一个数据分类标准描述核心数据在企业IT系统中流向轨迹，反映数据在整个生命周期过程中的变化过程以及系统之间数据接口情况描述数据架构所需的技术架构，针对不同类型数据流转的特点，设计不同的技术解决方案描述示例输入数据架构技术平台数据流向数据分布规划数据主题域划分数据梳理应用架构输入业务能力与流程输入业务能力模型是数据资源规划的主要依据，要从业务领域出发梳理核心的数据（造纸）12战略决策运营管理服务支撑企业战略规划战略规划投资组合管理供应链计划需求计划制定

共享服务供应及库存计划供需平衡管理主计划制定生产排程制定财务管理流程及信息化管理人力资源管理

生产管理寻源与品类管理事务性采购执行供应商关系管理MRO库存管理产能拓展质量管理生产设备管理供应链网络战略仓储及成品库存规划和管理物流计划和管理研发设计制浆造纸产品规划产品开发研发协同知识产权管理市场洞察营销和客户策略销售管理定价及合同管理客户服务管理寻源采购

物流库存市场销售内控及风险管理电子商务管理基于业务能力蓝图梳理的关键数据资源视图（造纸）供应链计划研发设计寻源采购生产管理物流库存市场销售财务管理人力资源管理市场趋势预测、需求计划、供应计划、供需协调计划、获利能力分析、主生产计划、物料需求计划、生产计划、物流计划、机台计划、排刀计划、采购计划、收货计划。研发资源、研发战略、研发需求、研发年度计划、产品需求、产品项目规划设计、产品研发BOM、成本分析报告、工艺卡片、变更后工艺卡片、专利申请表、专利估值报告、专利利用记录、专利保护信息。物料主数据、采购价格、供应商基础数据、供应商绩效评价信息、采购申请、采购计划、采购需求、采购策略执行结果、采购订单、送货通知、采购质量检验数据、采购入库信息、采购成本预测、采购成本分析。生产计划、物料需求计划、生成订单、生成领料、原料库存、料单调整、工艺路线、产量工时、能源用量、产品入库单、订单关闭信息、原料库存、成品相关参数信息、排刀优化组合数据、产品信息。入库信息、库存盘点、调拨单、物料主数据、仓位主数据、库存时间、转储数据、出库信息、运输计划、路线数据、承运商信息、承运商协议、到货单、运输费用结算/开票。市场行情信息、竞争对手信息、市场及客户策略、产品策略、价格策略、销售组织、销售区域、营销政策、销售线索、销售数据、汇款数据、销售定价、销售合同、销售价、基本价、促销价、销售订单、对账信息、订单状态、销售票据、产品信息、客户投诉、客户索赔、客户满意度。银行管理、资金收付、资金计划、资金风险、税务筹划、战略规划、税务计划、组织绩效目标、投资计划、投资项目信息、费用报销、会计科目、单体报表、总账数据、应收数据、应付数据、固定资产、成本数据、计划和预算、资金支付计划、融资计划、纠偏计划、经营决策分析、绩效考核。人力资源规划、人员编制、考勤信息、员工档案、劳动合同、员工沟通、员工申诉、员工个性信息、薪酬福利信息、人才配置计划、人才配置结果、招聘信息、招聘结果、组织结构、岗位管理、职位管理、职业发展规划、人才匹配结果、能力评估结果、人员基本信息、绩效考核结果、人力成本。对这些数据实体进行汇总、归类，定义企业级的数据模型（示例）14示例关键数据资源之间的交互与集成关系分析（示例）15示例数据架构原则一：单一和可信的数据源16原则描述原则含义每一数据必须定义唯一的数据源，以保证跨流程/跨系统的信息的唯一性和一致性确保数据源的数据及时、准确、唯一、完整系统必须从数据源获取数据，确保数据准确性和一致性数据的所有拷贝都是只读的不能在报告系统中改变交易数据，必须回归到交易系统中进行数据更改明确数据使用者、管理者的权限明确数据的CRUD关系落地举措关键数据资源与组织部门/信息系统的CRUD矩阵分析（示例）17竞争对手信息市场趋势信息产品策略销售策略市场策略销售组织销售区域销售线索销售合同销售定价销售订单对账信息订单状态销售票据客户投诉客户索赔客户满意度销售策略产品策略汇款数据组织部门部门1CRUDRRRRRRRRRRRR----R-CRUD部门2RRRRCRUDRRRRR-R---R-R-CRUD信息系统系统1R-RRRR--------R-----系统2RRRRRRRRRRRRRRRRRRRCRUDC—创建、R—读取、U—更新、D—删除目录Contents数据架构设计的思路数据资源总体规划基础数据管理数据分析与数据应用数据治理与管控项目实施计划建议数据按照性质可以分为基础数据、交易数据和分析数据，做好基础数据的管理是数据架构优化的关键19主数据技术元数据元数据关系层次结构主数据物流产品客户业务元数据业务规划事务数据统计分析数据汇总数据分析数据运输交易交互库存分析销量分析销售额汇总生产状态成本分析销量汇总实时(状态)数据非实时(结果)数据账务计划结算产量时段预警调度到货在途订单记录控制账单金额交易量凭证应收应付计划费用资金利润分析驱动←支持→会计科目人资分类层级归属口径人员组织科目库房车辆纸包装零售户日常业务操作指导↓采集↑申请↓发布↑指导↓采集↑支持←产生→支持←产生→产量管理费用统一进行主数据规划、标准和管理平台是主数据管理和信息化建设的必然要求20统一、集中、标准化的主数据体系：

是提升数据质量的基础

是统一数据口径的基础

是业务应用集成的基础

是加强数据管控的要求主数据管理原则

统一主数据规划总部统一进行主数据规划，明确共性化主数据和企业个性化主数据内容下属单位依照主数据规划拓展制定企业主数据规划

统一主数据标准总部统一制定主数据的编制标准总部统一编制集团共性主数据下属单位依据主数据的编制标准编制企业个性化主数据

统一主数据管理平台总部建设主数据管理主平台总部统一维护并发布共性主数据下属单位建设主数据管理分平台，接收主平台的共性主数据

统一主数据管理总部建设主数据管理组织，统一领导全集团的主数据管理下属单位在总部领导下进行企业主数据管理数据管理框架应从质量、标准、安全、流程、架构和组织六个方面对主数据进行全面管理21统一规划、统一标准、统一管理方法的主数据体系主数据管理框架人资产品物料渠道物流设备财务项目物料主数据主题域技术架构数据分布数据集成数据模型主数据库流程引擎数据标准管理数据质量管理数据安全管理业务标准技术标准真实性一致性安全等级安全授权完整性及时性组织制度与流程主数据所有人主数据认责人主数据提报人主数据管理小组职责分工管理制度管理细则供应商客户物资根据主数据实施方法论，主数据建设可分成如下四个阶段22第二阶段建设主数据管理平台

建设主数据管理平台，为主数据管理提供统一的管理工具和平台第一阶段实施主数据规划

总部主导全集团主数据规划

总部统一建立主数据管理组织

同步制定主数据标准和主数据管理规范、流程、制度健全主数据治理体系逐步

建全完善的主数据治理体系第四阶段标志成果第三阶段改造企业主数据

逐个对业务系统进行主数据标准化改造统一主数据架构规划统一主数据管理组织统一主数据标准体系统一主数据管理平台主数据标准在企业的统一应用统一主数据治理体系主数据管理的第一步是要梳理有哪些主数据。判断一个数据是否是主数据可以从四个方面进行23主数据判断标准解释特征一致性主数据的特征经常被用作业务流程的判断条件和分析的具体维度，因此主数据在不同应用、不同层次重要保持特征的一致性。识别唯一性主数据作为不同业务部门之间的共享数据，要求具有唯一的识别标志（编码、名称、特征描述等）。交易稳定性主数据的变化主要依赖于业务实体自身属性变化，不依赖于业务操作，而业务数据则不然。长期有效性通常主数据会在长时间内被使用，它的生命周期较长，因此数据元素的生命周期可以用来作为判定它是否是主数据的标准之一。序号数据名称特征一致性识别唯一性长期有效性交易稳定性是否主数据1客户数据符合符合符合符合是2人员数据符合符合符合符合是3订单数据符合符合不符合不符合否4工程合约符合符合符合不符合否5投资合约符合符合符合不符合否常见的主数据类型和内容24类型主数据内容非主数据内容供应商、客户相关数据基本信息，如供应商编码、名称、地址、开户行等投标报价、合同金额、供货记录、购货记录、成交数量等物资相关数据物资分类信息，如类别编码、类别名称；物资基本信息，如物料编码、名称、规格编号、计量单位等按照物资类别统计的收发存数量，物资的历史成交价，物资的库存数量等财务相关数据会计科目的基本信息，如科目的编码、科目名称等科目余额、科目的接待金额等设备相关数据设备分类，如类别编码、类别名称；设备的基本信息，如设备编码、名称、规格、位置等设备运行维护记录、设备停机记录、设备维护运行参数等组织机构、员工相关数据组织机构基本信息，如编码、名称、分类等；员工基本信息，如编码、名称、所属单位、部门等组织机构的费用统计，组织机构资产统计，员工绩效数据，员工薪酬数据等项目相关数据基本信息，如项目编号、项目名称、项目类型等项目费用统计、项目成本、进度等其次要对梳理出的主数据进行优先级排序，重点解决优先级比较高的主数据业务影响程度数据共享程度主数据重要程度分析主数据管理成熟度实施优先级3.6个系统以上2.3－6系统1.3个系统以下3.总部和下属单位共用2.总部系统使用1.下属单位自用a.非常重要b.中等重要c.一般主数据统一难易度主数据管控难易度分析3.统一较容易2.统一难度适中1.统一难，量大a.管控容易b.管控中等c.管控较难主数据需求迫切程度3.非常迫切2.中等迫切1.一般迫切

3.已具备集中数据管理2.部分具备1.分散管理主数据重要程度分析全局、不重要部分、不重要全局、重要部分、重要HHL数据共享程度业务影响程度1主数据重要程度主数据管控难易程度主数据需求迫切度实施优先级3216232121133123621363主数据管控难易度分析LHH主数据管理成熟度主数据统一难易度三级2一级二级二级对主数据也要进行CRUD分析，确定主数据的归属关系26业务系统

主数据CRMCSFSAPOADWHRCore......医院RCRUDRRR

病人CRUD

R

R

药品RCRUDR

R

政府RRRRRR

产品RRCRUDRRR

渠道

CRUD

R

组织

R

R

员工RRRRURCRU

供应商CRUDR示例以CRUD矩阵作为数据规划工作的示例：主数据CRUD矩阵是数据规划环节的一项重要工作，它描述了主数据在不同系统间的创建，修改，读取，删除关系。对梳理出来的主数据制定全集团统一的数据标准27数据标准数据标准管理将从企业数据共享的角度为数据制定统一的业务解释和标准。同时为数据标准内容与维护制定一套流程，推进企业数据的标准化与一致性数据标准制定管理涉及数据对象：物料，设备，供应商，客户等数据标准内容维护制定数据的业务与技术标准（如设备的属性、设备的属性）梳理企业数据并整合生成标准（如梳理各单位分类体系，制定统一的体系）日常对数据标准内容（如设备编码的维护，包括：增加、删除与修改）关键成果管理任务制定全集团统一的主数据质量管理要求，确保主数据的质量符合要求28从业务应用对数据的质量要求出发，制定一套可管理的数据质量评价方法和评价指标，将质量管理落实到数据整个加工处理过程中，保证满足业务对数据质量的要求数据质量要求质量要求制定质量评价指标制定制定船舶主数据的质量要求。如完整性要求、及时性要求、准确性要求和一致性要求质量评价分为对数据本身质量的评价和对数据上报部门所涉数据质量的评价评价指标制定包括完整性评分方法、及时性评分方法、准确性评分方法和一致性评分方法数据质量评价指标数据质量考核根据质量要求和评价指标对数据定期产生评分结果对数据的产生部门进行考核数据质量改进策略提出生产运营过程中数据质量问题并提出相应改进意见数据质量改进报告质量评价结果关键成果管理任务制定全集团统一的数据安全管理规范，确保主数据的安全、可靠29数据安全分级清单数据安全分级管理涉及数据对象：数据访问权限数据访问授权根据数据的敏感度和管理要求，将数据进行分级管理可分成“共享”，“需要数据管理岗位经理审批”，“需要数据标准化指导委员会审批”三个级别数据访问授权清单根据公司管理要求和数据敏感性要求，对数据制定一套合理、科学的安全分类标准，并根据这套数据安全分类标准建立一套面向的数据使用授权机制申请数据访问授权关键成果管理任务主数据管理存在四种不同管理模式分析型MDM操作型MDM分析系统合并模式生产系统非实时更新注册模式生产系统实时更新分析系统共存模式生产系统准实时更新分析系统事务模式分析系统生产系统实时更新合并模式:在分析系统中进行数据整理与合并,存储一个完整的主数据物理视图，主数据更新主要采用准实时的事后更新方式。主数据主要是为了支撑统计和分析等应用。注册模式：在主数据管理解决方案中,仅搭建一个主数据的框架结构,其中的实体数据都是直接链接或映射到各个数据来源系统。共存模式：主数据管理解决方案构建在前端操作型应用系统中,

MDM系统通过准实时的事后更新方式，不负责分发和修改。事务模式：主数据管理解决方案构建在前端操作型应用系统中，并存储完整的主数据物理视图。主数据的更新采用的是实时的事务更新方式。注册模式的原理及适用场景31由业务系统进行主数据的创建、更新、删除等操作MDM仅保存主数据的引用地址。当需要读取MDM上的主数据时，MDM根据引用地址从各业务系统中获取数据业务系统nID……………………………ID……………………………ID……………………………IDIDIDMDM只读视图业务系统2业务系统1注册模式主数据维护适合场景：主要问题在于数据不一致，如“员工”、“组织”主数据。不适合场景：分散存储的数据，需要将相关的数据片段整合成一个完整的数据视图。共存模式的原理及适用场景32MDM不可修改视图主数据维护准实时同步准实时同步准实时同步……………………………ID业务系统1……………………………ID业务系统2……………………ID……………………………ID………业务系统n……………………ID……………………………ID………共存模式适合场景：大部分的与主数据相关的业务逻辑都在业务系统里，剥离出来成本很高，如项目管理系统中的“项目”主数据。不适合场景：原业务系统中的数据存在大量的数据质量问题，如不准确，不完整等。主数据依旧在各业务系统进行创建、更新、修改与删除，采用定期抽取的方式增量同步至主数据治理平台MDM保存主数据的准实时副本，不允许做修改事物模式的原理及适用场景33业务系统nMDM可修改视图业务系统2业务系统1主数据维护更新修改初次抽取更新同步初次抽取更新同步初次抽取……………………………ID……………………………ID……………………ID……………………………ID……………………………ID……………………………ID………事务模式适合场景：原业务系统中的数据存在大量的数据质量问题，如不准确，不完整等分散存储的数据，需要将相关的数据片段整合成一个完整的数据视图，如“供应商”主数据，“物料”主数据不适合场景：大部分的与主数据相关的业务逻辑都在业务系统里，剥离出来成本很高。从业务系统初次抽取主数据到统一的资料库后，由主数据治理平台进行主数据的创建、更新、删除等操作。以后每次主数据更新后，由主数据治理平台主动推送或业务系统订阅等方式同步主数据的更新至业务系统主数据管理系统对交易系统的数据一致性和分析系统的数据标准化都具有重要作用34统一主数据提供数据分析师数据加工与挖掘（DataMining）数据集市(DataMart)和数据仓库（DataWarehouse）BI报表及分析报告：通过集成的平台提供准确的BI分析数据√IT核心基础架构、数据入口标准准确实时关键基础主数据管理系统HRCRMPLMERPSRM建设全集团统一的主数据管理平台，对主数据进行统一管理35主数据分布：主数据分布在各个应用系统中主数据标准：主数据标准没有形成，不同的系统使用不同的标准数据口径无法统一，数据集成和数据分析能力受制约，主数据管理能力无法满足未来业务需求主数据现状马鞍山ERP用友ERPSAPERPCRMSRM…主数据分布：集团统一实行主数据规划，明确主数据分布与建设方式。集团建设集团主数据管理平台，统一管理集团主数据主数据标准：制定统一的主数据标准，满足集团和企业的需求统一规划：明确分布与建设方式统一标准：统一数据口径主数据建设目标统一规划，统一标准统一平台，统一管理总部事业部集团统一部署财务应用经营管理决策企业应用集团应用专卖OA经济运行分析MESERPCRM…主数据建设集团主数据管理平台制定集团主数据标准板块可以根据各性化需求，在集团主数据标准的基础上进行扩展和完善集团主数据发展的目标在集团总部构建全集团统一的主数据管理系统，对主数据进行统一管控财经类系统

预算

费用资金

……集团主数据所有人新编码请求审批／维护集团分析平台BI/DW大数据HR类系统

核心HR人才管理portal……供应链类系统

SRMSCPTMS集团主数据使用者主数据所有人主数据使用者主数据所有人主数据使用者主数据所有人主数据使用者数据传输网络集团主数据管理平台数据传输网络造纸事业部包装事业部业务系统

EAMMESCRM……业务系统

EAMMESEMS……废纸事业部业务系统

ERPTMSCRM……主数据管理系统功能框架37目标系统A数据架构数据模型工具ETLEAI

-ESB

-SOA业务规则源系统目标系统主数据主数据管理数据获取数据发布数据质量手工处理文件导入标准模板文件

主数据库主数据元数据参考数据应用接口目标系统B源系统A源系统B……源系统AETLEAI

-ESB

-SOA质量分析质量匹配清洗/调整质量控制风险与安全管理工具主数据管理的主要流程与关键控制节点38流程名称主要输入主要活动主要输出控制点备注1.变更管理变更申请变更内容变更相关业务场景申请评估申请文档化变更方案变更业务流程设计方案实施实施效果评估验收及发布申请评估结果变更方案实施评估结果影响性分析结果变更结果影响性分析紧急性分析方案实施范围申请审核方案审核实施效果审核注1：变更包括主数据系统的需求变更或新增需求主数据治理流程变更主数据模型调整主数据标准变更元数据调整源系统数据库变更2.问题处理问题问题内容问题相关业务场景问题验证问题根源分析问题处理方案设计系统/接口风险评估创建问题监控策略方案试实施方案试运行评估问题根源问题处理方案问题监控策略质量控制策略影响性分析结果质量优化建议或流程优化建议或模型变更建议问题升级影响性分析问题监控策略审核方案实施范围问题优先级方案审核方案试运行审核注1：问题包括主数据同步失败、主数据更新影响业务、数据严重错误等通过普通运维不能简单解决，或重复出现的问题。3.质量控制质量优化建议或质量分析结果问题或事件质量计划质量审计质量分析质量监控质量报告发布质量分析结果质量日志质量报告质量审计质量评审主数据变更管理参考流程39BU（事业部/工厂/公司）提出变更申请，并详细描述变更的业务场景和必要性集团数据管理组织审核变更需求，并提供相关的技术方案和实施方案根据变更的内容，决策协调会决定是否紧急变更，并控制变更的影响范围BU（事业部/工厂/公司）及数据管理组织共同实施变更，并评估变更的效果主数据变更管理是针对变更指主数据系统的需求变更或新增需求；主数据治理流程变更；主数据模型调整；主数据标准变更；元数据调整等内容。数据管理组织的审核、评估等内容需要考虑从主数据层面进行控制，决策协调会控制变更的紧急程度和变动范围。主数据问题处理参考流程40BU（事业部/工厂/公司）向数据管理组织反馈业务开展或系统运行时所出现的问题，并支持问题的溯源和调查集团数据管理组织对问题进行确认、调查，给出方案（临时解决方案和监控方案）决策协调会知悉问题的影响范围（主要指跨BU），并对问题进行监控BU（事业部/工厂/公司）及数据管理组织共同实施临时解决方案，并对问题进行确认和定位，转入变更和质量控制流程主数据问题处理流程是针对主数据相关问题处理（数据质量、数据服务、数据错误等）的识别、评估、协调、升级、处置和监控报告的流程。主数据问题处理流程依据管理范围包含BU处置的问题和需要跨BU协调的问题。元数据的基本内涵与管理现状41不同的展示工具不同的开发工具不同存储数据库不同的业务定义不同的建模工具不同的专家知识等元数据管理现状元数据(MetaData)泛指描述领域概念(DomainConcepts)、领域关系(DomainRoles)、领域规则(DomainRules)的数据；元数据协助企业的规划、设计、业务分析“落地”，为IT系统开发提供指导，从而促进企业统计口径的一致，促进企业流程的规范化。元数据可以分为技术元数据和业务元数据两大类，分别为不同的人员提供服务，要有针对性的加以识别和管理42元数据管理可以清晰、直观地了解数据的来源、变化过程、应用对象等信息，当数据源发生变化时，用户借助元数据管理可以快速、直观、准确地分析出数据变化的范围、内容和影响技术元数据源系统元数据应用元数据……运行环境元数据ETL过程元数据SOA元数据技术元数据是为技术人员提供支持的元数据，当技术人员对系统进行维护和扩展时，技术元数据为他们提供了所需的数据信息从技术的角度描述数据，解决技术人员无法全面、清晰、直观地了解数据技术细节的问题业务数据定义业务规则……业务术语业务指标管理流程定义业务元数据业务元数据是为业务人员提供支持的元数据。业务元数据为业务人员提供了访问系统中信息的线路图和背景图从业务的角度描述数据，解决业务人员难于“读懂”应用系统和分析系统中数据的问题。元数据知识库元数据知识库根据元数据的各种不同定义格式，以结构化和非结构化分别存储各种元数据元数据管理需要从制度、流程、系统等多个方面入手，要制定较完善的元数据管理制度43此规范应作为制定元数据管理各个规范的指导原则，同时应说明在企业信息／数据管理的框架下，和其它模块之间的关系整体管理办法此规范是对元数据的管理、维护、考核、组织、流程等方面，做一个完整的要求和说明，以确保元数据的可管理性、可维护性、可用性系统管理办法由于元数据管理对业务定义、技术规范、系统建设起到了指导作用，所以元数据系统自身的质量要求应该是最为严格。此规范是作为对元数据系统自身的质量要求质量管理办法元数据虽然元数据是“数据的数据”，但是它本身仍然是一种数据，也有其生命周期，也应有其生命周期管理规范生命周期管理办法此规范应作为元数据管理对于各个系统的设计、开发、测试、运行、维护的稽核及监控规范对系统稽核及监控管理办法由于元数据的各个内容都是涉及到跨部门跨专业的，如何维持不同背景的人员对元数据的理解及相关的操作（如创建、维护等）能保持一致，有组织、有系统的培训是达到此一要求的有效方法管理培训办法由于元数据管理具有强烈的规范性，对一般人员的作业习惯在初期会起到限制的作用，而元数据自身的完整、准确、一致、及时等因素，对各个方面的影响非常重大，所以如何对使用人员提供良好的服务，是元数据实施成败的关键管理服务办法元数据管理流程示例：新增流程44IT项目组元数据管理员（信息技术部）元数据管理专员（信息技术部）是提出新增元数据需求岗位职责元数据平台管理员（信息技术部）元数据管理平台需求管理平台非管控平台流程提交数据模型、元数据导入模板组织新增元数据有效性评审发起新增元数据需求审核通过？否导入基准库提交元数据上线审核需求组织新增元数据落地检核评审待上线系统元数据采集、检核审核通过？新增元数据发布修改数据模型、元数据导入模板否修改待上线系统元数据是新增元数据需求评审新增元数据需求检核与上线IT开发流程（开发环节）IT开发流程（上线环节）说明IT开发流程（上线环节）收集需求收集需求结束需求IT项目组经理（信息技术部）元数据管理流程示例：变更流程45提出变更IT项目组元数据管理员（信息技术部）元数据管理专员（信息技术部）提出变更元数据需求岗位职责元数据平台管理员（信息技术部）提交数据模型、元数据变更模板组织元数据变更可行性评审发起变更元数据需求审核通过？否提交元数据上线审核需求组织变更元数据落地检核评审待上线系统元数据采集、检核审核通过？变更元数据发布修改数据模型、元数据变更模板否修改待上线系统元数据是变更元数据需求评审变更元数据需求检核与上线IT变更流程（审批环节）IT变更流程（实施环节）导出变更影响分析结果是否影响其它系统？IT变更流程（申请环节）否是是受影响IT项目组/业务部门需求作废新建基准库IT变更流程（上线环节）IT项目组经理（信息技术部）收集需求收集需求结束需求元数据管理平台需求管理平台非管控平台流程说明元数据管理系统主要功能框架参考46元数据技术支撑（获取、关联、浏览/检索、导出）元数据管理访问技术人员业务人员项目管理人员项目管理支撑数据质量评估辅助信息地图变更管理版本管理需求影响分析过程映射分析血缘分析实体关联度（活力）分析实体差异分析数据热点分析业务规则数据标准指标字典元数据管理系统技术架构参考47数据库OLAP工具ETLReport工具DM工具业务文档……获取转换加载数据管控数据库业务元数据技术元数据信息浏览信息查询数据跟踪影响分析定制报表变更管理技术用户（开发维护人员）项目管理用户业务用户（数据与业务分析员）元数据管理支撑工具管理及维护桥接器使用统一的元数据管理平台，对整个组织范围内的元数据进行管理，逐步实现对企业的数据资产的统一查询和管控48元数据查询浏览：侧重于对元数据的内容展现和查询方式支持元数据数据分析：侧重于基于元数据的分析功能，从数据中提取对技术、业务用户有用的信息

元数据管理：元数据平台的管理功能

BI元数据和企业级元数据的互动：企业级元数据经ETL平台加工整理进入仓库，形成BI元数据，可通过血缘分析和影响分析功能查看两者的互动关系；目录Contents数据架构设计的思路数据资源总体规划基础数据管理数据分析与数据应用数据治理与管控项目实施计划建议决策支持系统是企业决策和经营管理的重要抓手，可以带来多方面的收益50BI的重要意义1234决策者的管理可视化平台更直观的可视化方式功能定位于决策、管理、分析不同于ERP系统管理“用数据说话”及时、准确、完整的360统一数据视图对标分析、数据间挖掘钻取内外部数据整合信息透明“倒逼”业务规范化管理促进业务规范化操作进一步优化完善业务系统与ERP等业务系统形成信息化闭环标准化的KPI分析体系一体化的分析体系，统一的分析视图指标体系规范化，统一指标口径数据标准化管理，统一数据口径决策支持系统建设的第一项工作是梳理关键指标体系，确定分析主题框架51关键驱动因素公司战略要求核心业务能力基于驱动战略发展、能力提升的关键因素，建立关键指标体系是管理分析体系的核心输入企业指标体系分析框架以核心能力为框架，以战略要求为起点，建立多层级分析体系以关键指标为核心，配以相应的分析维度、方法、频率，构建详细的分析场景企业决策分析主题重要性简洁性可衡量性可控性分析主题与分析场景场景展现以战略为要求，落实于企业核心能力，分解出驱动价值实现的关键因素；并据此建立相应的衡量企业指标体系、管理分析体系，从而有效支撑公司能力提升、战略实现、价值创造。指标体系设计方法：分析企业战略目标，形成企业战略地图52财务客户运营学习成长战略目标企业综合实力与品牌竞争力双提升F2-盈利能力及运营效率提升境外业务拓张F1-利税增长现有业务增长提升当前投资回报打造可持续发展能力C1-提升企业品牌价值C3-提升客户服务水平带动客户满意C2-提升消费者洞察能力提升产品营销能力O1-加强资源获取提升产品品牌能力提高资金使用效率加强成本精细化管理资源保障基础管理保障人力资本准备度企业文化准备度组织准备度O2-提升产品力O3-增强资源保障L1-提升运营能力准备度信息技术保障提升投融资水平提升产品制造能力营销创新技术创新O3-建立创新驱动管理创新建议公司启动企业绩效管理专项工作，以战略为输入分解指标体系53逐步分解战略价值因素，并建立关键业绩指标体系框架公司企业管理要求行业价值因素与指标库先进企业指标体系模型1-公司战略及愿景分析外部环境信息和驱动因素公司市场规模、市场增长的发展趋势与核心价值定位的契合公司战略公司战略解读4-分析主题基于企业业务能力，设计符合XXX公司管理需求的分析体系框架2-指标体系框架设计分析体系模型设计符合公司管理需求的分析主题与分析场景3-数据分析框架设计指标体系设计设计以图形化、多维化、互动性展示信息的分析展现5-展现设计（示例）专业领域最佳实践决策支持系统建设的第二项工作是构建科学完整的数据分析系统，以系统支持分析自动化工作的实现54数据分析系统应用体系框架是以数据治理体系为保障，以多数据源为输入、以传统数据仓库和大数据仓库融合的数据仓库为支撑，以数据分析为关键，以数据应用为目标。

数据仓库数据分析数据源数据应用数据治理数据交互与传输基础平台（ETL、ESB、FTP）前端展示XXX公司及子公司应用系统外部数据手工录入平台非结构化数据数据交换区数据整合区数据加工区企业数据仓库缓冲层ODS层统计分析大数据平台工具组织流程12351数据挖掘流程驱动4集团级数据分析系统应用体系框架（细化）55数据分析应用体系框架是以数据治理体系为保障，以业务系统数据源为输入、以传统数据仓库和大数据仓库融合的的数据仓库为支撑，以数据分析为关键，以数据应用为目标。

数据分析应用（平台部署）数据源数据仓库数据应用应用系统外部数据手工录入平台外部数据手工数据非结构化数据结构化数据仓库（平台部署）数据治理（数据组织、流程、工具）数据交互与传输基础平台（ETL、ESB、FTP）数据交换区数据整合区分析决策区企业数据仓库数据挖掘区缓冲层ODS层数据集市数据分析应用数据集市数据集市分析报表仪表盘OLAP数据挖掘库数据挖掘组件挖掘引擎模式评估大数据仓库（云部署）数据整合区Hadoop大数据仓库分析决策区高级文本分析机器学习非实时数据实时/准实时数据统一ODS数据分析数据模型12341分析决策区流程驱动前端展示大数据环境下数据平台架构的转变：从以数据仓库为中心向数据资源池为中心转变56ETL企业数据仓库数据模型大数据资源库

仪表盘报表商务智能业务用户业务流程

统计模型分析结果数据科学家分析师数据外部数据关系数据实时数据空间数据非结构化数据分析挖掘环境协作目录Contents数据架构设计的思路数据资源总体规划基础数据管理数据分析与数据应用数据治理与管控项目实施计划建议数据治理体系涵盖组织架构、评价与考核、治理流程和治理工具四个业务域58管理组织数据管理组工具数据治理评价与考核考核指标信息化领导小组业务部门责任人数据生产者数据使用者信息化支持团队考核标准数据认责责任评价数据标准命名标准长度/精度业务主题业务含义…标准执行评价数据质量真实性及时性完整性一致性政策执行评价数据安全权限定义安全等级信息披露数据使用共享数据流转数据加工数据产生系统建设标准管理模版导入标准编辑属性映射标准加载标准分类基础查询质量管理质量规则质量报告稽核任务质量监控问题管理数据清洗安全管理敏感数据识别访问监控敏感数据监控流程组织建立/维护流程标准管理流程评价与考核流程质量管理流程安全管理流程1234集团企业数据管理组织最常见的有三种模式，其中联邦式最普遍59集中式策略数据治理委员会特点

设立专门的组织的来管理整个企业的数据治理工作，所有数据治理职责都由该组织承担不设立专门的企业级组织来行使数据治理管理职责各业务单元只负责本业务领域的数据治理工作设立专门的组织作为数据治理的日常管理部门牵头负责数据治理管理各环节的协调和组织工作分布式策略联邦式策略数据治理委员会结构特点

设立专门组织作为企业数据资产的管理部门，职责明确，目标清晰管理力度大，驱动力强在较小的投入下可取得较好的数据治理成效对现有的组织机构影响较小起点较低，容易在单个业务领域实现资源要求不高对现有的企业组织架构影响较大投入较大，需要较多的人员配置数据治理日常管理部门对其他部门的影响力有限对数据治理日常管理部门的协调能力要求较高，需要较强的影响力和协调组织能力来推动数据治理工作管控力度最弱缺乏企业级视角，无法实现企业级的数据治理优点挑战目前大多采用联邦制，但缺乏数据管理委员会60数据管控方法论的组织架构模型：企业级数据管控组织架构数据管控角色数据管控工作职责数据管控组织建设目的建立数据管控决策、沟通

监控、考核机制推动落实数据管控工作建立培训和推广机制创造数据管控文化技术组系统架构师数据架构师数据模型师元数据管理员数据库管理员ETL开发人员工具专家技术分析员应用开发专家培训专员数据管理委员会业务团队技术团队业务组业务分析专家业务需求专家质量管理员标准管理员培训专家用户支持专家沟通专家帮助中心数据管控组织架构图数据管控组织组织/协调决策层管理层执行层建议构建一个联邦式的数据管理组织，由财务部和流程IT部共同牵头，各业务部门参与，共同做好数据管理工作决策层数据管理委员会数据治理工作组管理层执行层数据架构师集团财务部流程IT部数据标准管理员数据质量管理员数据平台建设工程师数据治理业务主管数据治理技术主管数据管理员（兼职）其他业务部门部门主管管理委会员由公司领导牵头，同时包含各职能部门一把手，是数据管理最高权利机构，负责数据管控战略、管理授权、预算批准。业务管理团队为虚拟机构，由各职能部门组成，每个业务部门设立数据管理负责人（可以兼职），主要负责：（1）诠释本部门相关数据的业务规则（2）提出本部门相关数据的质量要求（3）提出本部门相关数据标准的变更需求，制定并审核数据标准（4）数据管理效果反馈（5）检查并考核数据管理各项工作的执行情况和执行效果建议由集团流程IT部下设技术管理专员，主要负责：（1）制定数据安全授权策略和规范，识别数据加工使用过程中的安全风险（2）制定数据架构，包括数据流向、数据分布、数据模型等（3）协调供应商参与数据架构设计、开发实施和运维工作（4）配合财务部对数据相关的技术问题进行解决建议由集团财务部下设数据管理专员，主要负责：（1）收集数据质量问题，协助制定数据质量提升方案（2）收集数据标准需求，协调标准制定和落实（3）参与数据管理各类协调会议（4）配合数据管理各项工作的执行情况和执行效果（5）配合制定数据质量检查策略，推动自动化质量检查工作数据服务需求管理员数据模型管理工程师主数据、元数据管理工程师数据管理岗位职责示例：数据平台建设工程师62岗位概述任职资格岗位职责学历要求：大学本科（含）以上专业要求：计算机、软件工程等相关专业工作经历：大中型软件开发公司5年以上工作经验，数据平台建设5年以上工作经验者从优。能力要求：熟练掌握数据平台架构、数据建模、数据分析等领域知识熟练掌握数据平台管理体系建设知识熟练掌握主流ETL工具的使用，如Informatica、DataStage等熟悉报表工具Cognos、BIEE开发等精通SQL语句，具有开发和优化复杂SQL的能力，熟练使用JAVA语言开发B/S结构的J2EE系统熟悉建模工具Erwin、PowerDesigner等项目管理能力具有较强的学习和创新能力，善于沟通和合作，具有团队精神平台需求管理协同数据管理中心收集编制平台需求；参与数据平台和相应接口的需求分析。

平台规划和建设负责数据平台的功能和架构规划，包括总体架构、数据模型等的设计；负责全行数据平台落地实施工作和实施管理，包括外包商选择、功能开发、测试等工作；负责数据平台的测试工作，包括功能测试，性能测试和用户接受测试等工作。项目管理负责组织和协调数据管理平台建设项目组，编制项目计划，推进项目完成；随时收集汇总并及时向上反映项目建设风险，并提供解决方案建议。变革管理和培训负责编制建成的数据管理平台的操作手册；为数据平台的用户接受测试提供文本和技术支持；为培训提供文本和技术支持。技术文档编写按照项目开发规范，与开发进度同步提供完整、规范，与程序完全一致的技术文档。推进数据平台的建设，提升数据质量和数据管理效率，为信息化建设打好数据基础。数据管控考核评价工作必须纳入到集团绩效考核方案中，以提升相关业务部门对于数据治理工作的重视程度63数据录入质量考核数据标准落地执行考核报表需求有效性考核数据治理参与情况考核考核内容和目的考核指标类别考核方法选择关键指标对数据录入的准确性进行考核，以确保在系统源头录入数据的可靠性选择监管机构重点考察关注指标或当前考核周期内重点进行质量提升的关键指标进行考核定量考核所选取指标的差错率采用扣分的形式根据本考核周期内数据标准或规范在业务层面及IT系统层面落地情况，促进数据标准和规范的全面执行考核指标可根据该考核周期前制定的落地执行方案进行设定定量考核数据标准或规范在业务或系统层面的执行率采用加分的形式考核本周期内开发报表的使用情况，提高报表需求质量，提高