数据治理系列4主数据管理实施四部曲概论

1、数据治理系列4:主数据管理实施四部曲概论导读：我们知道主数据项目的建设是一个循序渐进、持续优化的过程，不可一蹴而就。个人认为主数据管理项目从咨询规划到落地实施再到初步见效需要经历四个阶段，而每个阶段都是必经阶段，每个阶段均可独立成章，所以这里是四部曲，不是四步曲。作者：石秀峰，多年来一直从事企业数据资源规划、企业数据资产管理、数据治理，欢迎关注。主数据项目建设从方法上，分为以下四部，简单归结为12个字：“摸家底、建体系、接数据、抓运营”！一、摸家底摸家底需要全面调研和了解企业的数据管理现状，以便做出客观切实的数据管理评估！1、数据资源普查数据资源普查的方法常用的有两种，一种是自顶向下的梳理和调

2、研，另一种是自底向上的梳理和调研。自顶向下的调研一般会用到IRP（信息资源规划）和BPM（业务流程管理）两个方法。这里重点介绍一下IRP，信息资源规划（InformationResourcePlanning，简称IRP）,是指对所在单位信息的采集、处理、传输和使用的全面规划。其核心是运用先进的信息工程和数据管理理论及方法，通过总体数据规划，奠定资源管理的基础，促进实现集成化的应用开发，构建信息资源网。IRP是信息工程方法论、总体数据规划和信息资源管理标准的结合体，其实现方法可概括为：IRP=两个阶段+两条主线+三个模型+一套标准，如下图所示：采用IRP方法进行数据梳理需要对职能域、业务域进行定

3、义，并对每个职能域和业务域中的业务流程进行梳理，同时需要收集各类业务单据、用户视图，并对每个单据和用户视图进行梳理和数据元素分析。该方法优点让企业能够对现有数据资源有个全面、系统的认识。特别是通过对职能域之间交叉信息的梳理，使我们更加清晰地了解到企业信息的来龙去脉，有助于我们把握各类信息的源头，有效地消除“信息孤岛”和数据冗余、控制数据的唯一性和准确性，确保获取信息的有效性。缺点是需要消耗较大的成本和周期。这种方法适用于包含咨询的主数据项目建设。由底向上的主数据梳理和调研，一般先确定主数据主题域或数据范围。在范围确定的前提下，从企业信息系统入手，对已建系统、在建系统、待建系统的数据视图进行梳理

4、、分析，识别出主数据在信息系统的分布情况，理清数据来源去向，标准情况、质量情况。另外，还需要对系统未管理的数据（即，我们常说的线下数据）进行整理分析。在这个过程中，需要在既定的数据范围内，摸透企业主数据的管理情况、数据标准情况、数据质量情况、数据共享情况。该方法的优点在于针对性强，快速实施、快速见效，缺点是梳理的数据不够全面和系统。一般是有了明确的项目目标和范围的情况下采用该方法最佳。企业的数据名目繁多，千变万化，我们不可能一次性完成对所有数据资源的梳理和分析。所以，不论使用哪种方法进行需求梳理，企业都要选择好业务重点，优先实施，不能胡子眉毛一把抓。明确范围、明确范围、明确范围，重要的事情说三

5、遍2、主数据识别主数据的识别一般分为四个步骤：第一步，确定主数据识别指标。第二步，基于主数据识别识别，构建评分体系，确定指标权重。第三步，根据业务调研和数据普查结果，确定主数据参评范围。第四步，依据评分标准，识别出企业主数据。2.1. 主数据识别指标，主要从主数据的特征考量：参见之前谈数据公众号分享的：主数据的3大特征、4项超越和主数据管理的3个二八原则?业务价值。主数据具备充足的业务价值。主数据描述企业最核心的数据，是企业最有价值的数据资产。?数据共享性。主数据一般是不同业务部门之间、不同业务系统之间高度共享的数据，如果数据只在一个系统使用，并且未来也不会共享给其他系统，一般不作为主数据管理

6、。?实体独立性。主数据是不可拆分的数据实体，如产品、客户，是所有业务行为和交易的基础。?识别唯一性。在组织范围内同一主数据要求具有唯一的识别标志，如物料、客户都必须有唯一的编码。?相对稳定性。与交易数据相比主数据是相对稳定的，变化频率较低。变化频率较低并不意味着一成不变，例如：客商更名会引起客商主数据的变动、人员调动会引起人员主数据的变动等等。?长期有效性。主数据一般具有较长的生命周期，需要长期保存。2.2. 建立评分体系，确定指标权重。2.3. 数据资源普查和参评数据准备。主要是根据前期的业务调研情况和数据普查情况，确定参评数据范围，并准备出参评数据。2.4. 以及打分模板进行打分，识别出企

7、业主数据。该过程需要充分的VER和VAL。3、数据管理能力评估对于数据管理能力的评估，目前已经有了比较成熟的评价模型，典型的有：?IBM数据治理成熟度评估模型。推荐阅读：旧M的数据治理统一流程一书。?SEI的数据能力成熟度模型（DMM）。?EDM的数据能力成熟度模型（DCAM）。?DataFlux数据治理成熟度模型。?OracleMDM主数据管理成熟度模型。?MD3M主数据管理能力成熟度模型。?国内，全国信息技术标准化技术委员于2014年会启动了数据能力成熟度评价模型的制定工作。数据能力成熟度评价模型（DataCapabilityMaturityModel简称DCMM）是国内关于数据能力成熟度

8、模型的一项国家标准，在制定的过程中充分吸取了国内先进行业的发展经验（以金融业为主），结合了国际上DAMA（国际数据管理协会）数据管理知识体系指南DMBOK»中的内容。注：以上评估模型这里不再展开，后续笔者会根据自己的工作和学习心得进行逐一详解，敬请关注。笔者认为，不论国际还是国内，其数据管理能力成熟度评估模型都大同小异，核心上都借鉴了CMMI,不限于以下几个方面：?企业数据战略?组织机构?标准体系?制度与流程?数据质量?数据应用体系?数据生命周期管理评估模型都是作为企业数据管理能力评估的参考，需要结合企业实际需求和发展目标，切实的、客观的进行评价。二、建体系我国大多数企业的主数据现状

9、普遍都是先污染、后治理的过程，主数据管理必然带来新的标准、体系的确立，和旧系统的改造。整个主数据建设过程是一个有破有立、无破不立的过程。这一过程设计大量的跨部门、跨条线、跨系统的沟通协调，同时也涉及不小的投资。为了不使投入的人力物力付之东流，在项目实施前期就应该规划好各项规章制度和组织架构。1、组织体系有效的组织机构是项目成功的有力保证，为了达到项目预期目标，在项目开始之前对于组织及其责任分工做出规划是非常必要的。主数据涉及的范围很广，牵涉到不同的业务部门和技术部门，是企业的全局大事，如何成立和成立什么样的组织应该依据企业本身的发展战略和目标来确定。建立主数据管理组织目标是：统筹规划企业的数据

10、战略；建立主数据标准规范体系、数据管理制主度和流程体系、数据运营和维护体系；依托主数据管理平台，实施主数据标准化落地、推广和运营。在明确了组织机构的同时，还要明确主数据管理岗位，比如：主数据系统管理员、主数据填报员、主数据审核员、数据质量管理员、集成技术支持员等。主数据管理岗位可以兼职，也可以全职，根据企业实际情况而定。2、标准体系主数据分类和编码标准化。没有标准化就没有信息化，主数据分类和编码标准是主数据标准中的最基础的标准。数据分类就是根据信息内容的属性或特征，将信息按一定的原则和方法进行区分和归类，并建立起一定的分类系统和排列顺序，以便管理和使用信息。主数据编码就是在信息分类的基础上，将

11、信息对象赋于有一定规律性的、易于计算机和人识别与处理的符号。主数据模型标准化，根据前期的调研、梳理和评估，定义出每个主数据的元模型。明确主数据的属性组成、字段类型、长度、是否唯一，是否必填以及校验规则。主数据元模型的设计不能贪大求全，要切合实际。推荐方法：抽取多系统、部门间的共性属性和核心属性，剔除掉单一业务属性。主数据标准体系的建设要适合企业的业务，适应企业的发展。标准的建设不能“先入为主”更不能“直接照搬”。3、制度与流程体系制度章程是确保对主数据管理进行有效实施的认责制度。建立主数据管理制度和流程体系是需要明确主数据的归口部门和岗位，明确岗位职责，明确每个主数据的申请、审批、变更、共享的

12、流程。数据从创建到流转要严格执行企业主数据标准和填报规范。同时，做好数据运营工作，定期检查数据质量，进行数据的清洗和整合。实现企业数据质量的不断优化和提升。制度和流程体系的建设是主数据成功实施的重要保障。4、技术体系主数据管理技术体系的建设应从应用层面和技术层面两个方面考虑。应用层面主数据管理平台需具备元数据（数据模型管理）、数据管理、数据清洗、数据质量、数据集成、权限控制、数据关联分析，以及数据的映射（mapping）/转换（Transforming）/装载（loading）的能力。技术层面，重点考虑系统架构、接口规范、技术标准。业内流行主数据平台更多定位的是数据管理和集成平台，一般采用SO

13、A架构，提供服务总线（dataservicebus）功能。国内外90%以上的产品采用的是这种技术架构。互联网行业的主数据则侧重于主数据的微服务，每个主数据都可以发布多个微服务，例如：会员主数据，提供的微服务包括注册、登录、注销、锁定等服务。5、安全体系主数据安全体系建设包括几个方面:网络安全。尤其是混合云下的数据安全是当前客户最关注的问题。这里建议基于混合云部署的主数据系统采用单向数据流控制，即只允许公有云数据向内流入，不允许私有云数据向外流出。接口安全。即接口数据的传输安全。由于主数据解决的是异构系统的数据一致性问题，需要保证主数据在给异构系统同步数据的过程的数据安全。主数据平台须具备接口的

14、访问控制和加密传输的能力。应用安全。主数据平台的身份认证、访问控制、分级授权、安全审计功能是保障系统应用安全的重要功能。数据安全。主数据平台提供的数据加密存储、加密传输、脱敏脱密功能，是保证主数据安全的重要措施。三、接数据接数据包括主数据的接入和接出。主数据接入是将主数据从数据源系统汇集到主数据平台的过程。该过程需要对接入的数据进行清洗、转换、映射、去重、合并、加载，通过一系列的数据加工和处理形成标准统一的主数据。常用的数据的汇集方式：?ETL抽取，采用ETL工具的方式从数据源系统将数据采集到主数据库中。?文件传输，采用文件传输方式将文件中的数据导入到主数据库中。?消息推送，采用消息的方式从数

15、据源系统将数据采集到主数据库中，一般需要借助ESB。?接口推送，采用接口方式从数据源系统将主数据采集到主数据库中，一般需要借助ESB。?内容爬虫，一般用于互联网的数据爬取，适用于社会化主数据的汇集。主数据的接出，是将标准化的主数据分发共享给下游业务系统使用的过程。在主数据接出的过程中使用的技术与数据汇集技术基本一致。在企业实施主数据过程中，需要根据不同场景选择不同的集成方式。?定期数据共享，一般采用ETL或接口方式定期将主数据抽取到业务系统指定的数据表中。?实时数据共享，一般采用消息订阅的方式，通过数据接口将主数据推送给业务系统。四、抓运营主数据运营管理，包括：主数据管理，主数据推广、主数据质

16、量、主数据变现等。1、主数据管理数据标准和管理规范的常态化贯彻。主数据管理主要是对主数据的新增、变更、使用等过程的规范，需要配合企业主数据管理的相关制度和流程，做到定岗定责、责任到人，从源头上控制好数据的质量，保证数据的唯一数据源和统一数据视图。2、主数据推广主数据推广是逐步将主数据推广到企业的各个业务中，包括线上、线下的业务。主数据的应用不仅需要推广各个相关的业务中，保证各业务系统的主数据一致性。对于线下的业务也应当与主数据保持一致。主数据推广对于单组织企业比较容易，对于集团型企业尤其是多业态集团是有一定难度的，企业应做好相应的推广策略和计划表。3、主数据质量主数据作为“黄金数据”是企业的核心数据资产，主数据质量的好坏决定了数据价值的高低。整个主数据运营过程，最核心的目标就是持续提升数据质量。主数据质量管理包括：主数据质量指标定义，主数据质量模型/算法，主数据质量核查，主数据质量整改，主数据质量报告，主数据质量考评等。（此文不在详诉）4、主数据变现上文我们提到：主数据是企业的“黄金数据”，是企业的核心数据资产。既然是“资产”就一定有其变现的能力，主数据变现主要有以下几个方面：整合协同、降本增效。各系统主数据的标准统一，解决数据重复、不一致、不正确、不准确、不完整的问题，打通企业的采购、生产、制造、营销、财务管理等各个环节，大大