集团企业信息化规划之数据架构规划报告

集团企业信息化规划之数据架构规划报告2022年

目录1.1 目标与理解 21.2 数据架构设计方法 21.3 数据架构设计原则 31.4 数据整体架构方案 41.4.1 数据治理域 51.4.2 数据技术域 71.4.3 数据使用域 101.5 数据治理规划方案 131.5.1 数据管控体系 141.5.2 集团数据标准规划 181.5.3 主数据体系规划 331.5.4 元数据体系规划 361.5.5 数据质量管理规划 441.6 数据共享中心规划方案 471.7 统一平台数据接口设计 481.7.1 集成数据流图 481.7.2 端到端的数据通信机制 491.7.3 数据接口设计原则 511.7.4 统一平台接口规范 511.7.5 统一认证处理过程 581.7.6 应用系统间接口设计规范 591.8 数据架构实施建议 60

目标与理解集团公司根据股份公司数据的架构的总体要求，按照数据资产管理的要求，以“人、机构、项目”为数据主线，以“人、财、物”为数据单元，进行数据架构的总体规划。本次集团公司数据架构规划的目标：解决“方言”问题。数据架构通过制定数据管理标准，如数据模型标准、数据分类编码标准、数据管理规范等，从而确保数据使用者对数据理解的一致性；解决信息集成共享问题。通过建立数据共享中心，保证数据源唯一性，通过数据质量审核，保证数据的准确性、完整性，最终实现数据的共享；解决信息的整合与利用问题。通过构建管理分析、决策模型与指标体系，建立数据整合机制，帮助企业管理者进行分析和决策。数据架构设计方法基于数据架构设计工作的目标分析与理解，结合架构设计工作的一般步骤和集团公司实际情况，基于“人、机构、项目”三条数据主线梳理数据架构，构建数据架构总体视图，并设计数据架构落地规划：按照“人、机构、项目”的维度梳理数据需求：梳理股份、集团本级、各公司、业务单元领导对于数据的不同层次的需求；梳理不同机构业务特点的数据需求；梳理不同项目完整生命周期各个阶段的数据项目、数据格式、数据采集方式、数据存储方式和数据传输方式。按照“以用为主”的方式梳理数据：根据业务过程管控、业务过程处理、业务过程风险识别、业务过程数据统计等的数据要求，整理各业务过程需要的数据项目、数据格式、数据采集方式、数据责任人和数据提交频率。按照业务价值链过程整理数据：数据是伴随着业务执行的过程中产生的，而且是随着业务员价值链的流转过程而流动的，在这个过程中，每个环节对数据进行重新加工和处理，然后再重新传输，本质上主价值链上的数据是“一个数据”，在这个数据流动过程中只是形态和用途发生了变化，但是基本的信息主线是不会消失掉的，要注意掌控好业务价值链上的主要数据流的梳理。按照数据发生地和发生时间及时整理数据：需要在数据的发生地和发生时间采集数据，否则数据就会流失，数据就出先断层，最后会影响整体数据的质量，严重的会造成数据的失真，甚至产生误导信息。按照数据集成的观点整理数据：企业内部的数据实际上集成的，没有一个单独游离在业务主价值链之外的数据，其实各个数据之间都是有关联的，在数据架构设计时必须要保证数据的关联，也就是我们说的数据关系，才能是数据产生聚合效应，否则就是无效的数据。数据架构设计原则数据统一性原则：要在各业务条线间设计统一数据视图，实现统一数据交互模式；要在业务条线内按照管理层级设计统一的数据管控策略；要制订实时、非实时，结构化、非结构数据的统一数据管理策略。数据标准性原则：要充分借鉴成熟、科学的企业数据架构标准，设计数据模型、数据分布，实现有集团公司特色的数据标准体系。数据扩展性原则：要实现数据架构的模型化、层次化，支持在确保统一核心数据模型基础上的模型扩展。数据整体架构方案按照电气化集团的信息化战略，数据是集团将来信息化建设的重点工作，需要从数据治理域、数据技术域、数据使用域三个层面对数据进行综合管理，保证从管理层面、技术层面和使用层面实现一体化的管理，实现数据采集、存储、分类和使用的全面集成，既要保证知道数据如何使用、如何采集，同时又要从管理制度体系层面能够使得数据可以被采集。基于此，集团公司的数据整体架构如下图所示：图4.4-1集团公司数据整体架构数据治理域数据治理是数据架构实现的基础，是集团数据架构的核心，是基于数据资产管理的控制（计划、监控、执行）的实施，是一套持续改善的机制，包括组织架构、政策制度、技术工具、数据标准、作业流程、监督及考核等要素。数据是信息管理部将来管理的核心，在数据架构确定的基础上，需要逐步实现集团内部（包括总部和各下属机构之间）、集团和股份公司的之间的数据集成和共享，业务之间数据要实现交换，对数据治理和数据标准化工作就提出了很高的要求，也可以说数据治理和数据标准化是集团实现数据集成和共享、甚至是股份层面实现数据集成和共享的基础和根本保障。数据治理的目的是为了保证集团数据资产能够反映集团的整体经营状况，同时支持集团将来的经营决策，对数据的要求主要体现在以下几个方面：数据共享：数据必须在集团范围内得到共享，用户拥有访问其职责范围内所需数据的权利。数据业务认责：对集团范围内的重要业务数据进行分类，并明确各类数据的业务负责部门，明确数据属主，明确业务部门和数据管理人员的职责。数据定义标准：每个数据项必须拥有一个一致的、标准的、易理解的业务定义，能够告知用户数据的意义以及如何使用数据。可信数据源：关键数据项的创建必须遵守单点创建的要求，包括外部采集和内部加工形成的数据项；同时数据要从唯一的、可信的和许可的采集点采集数据质量保证：数据质量包括完整性、准确性和时效性，数据质量要求应明确定义，应在数据的生产、供应、消费环节实施数据质量保证，并持续地对数据质量指标进行检测，对数据质量问题进行修复数据可用性：数据的共享都基于业务需求，数据存储及数据服务的非功能需求能够提供连续可用性，同时对数据进行全生命周期管理保证数据安全：数据在采集、交换和应用过程中，必须采取必要的管理和技术手段确保数据安全数据治理就是要达到以上7个方面的目的，对于集团公司来说，不是所有的数据都是资产，只有可以被采购、可以被加工、加工后对企业的经营产生经济效益的数据才能是资产，一般需要具备以下条件：记录电子化。电子化的记录才是数据，否则连数据都不算，怎么能产生可预期的经济收益，又怎么能从数据资源变成数据资产？因为相关行业中，大量的历史记录都没有被电子化，而这些记录中蕴藏着海量的宝贵信息。数据聚合。统一的数据聚合平台，是数据资产化的优质条件。如果没有统一的数据聚合平台，每次不同的业务需求，都会产生不一样的数据提取、整合、清理需求。这些需求常常需要和不同的业务部门沟通，在不同的数据库上直接操作。质量保证。数据分析中有一句名言，叫做：“垃圾进去，垃圾出来（Garbagein，garbageout）”。它讲的道理是，如果数据本身质量很差，如同垃圾一样，还用做模型输入，那么无论模型有多高大上，最后出来的结果仍然是垃圾，没有任何价值。可见数据质量的重要性。数据质量主要表现在以下几个方面：（1）真实性。虚假数据是没有任何意义的；真实的数据，常常分散在各个职能部门中。如果没有合理且强力的制度保障，正常情况下，没有任何人愿意主动贡献自己的真实数据，他的利益何在？因此，合理而且强力的制度设计非常重要。（2）完整性。该收集整齐的数据要尽量收集整齐。一套数据对被记录对象的所有相关指标的完整程度越高，相关模型的预测精度就会越好，数据资源就越有价值。相反，过多的缺失数据会极大地伤害相关模型的预测精度，进而限制数据的应用能力。（3）精准性。有三层含义：第一层含义是数据的逻辑要合理；第二层含义是数据要集成；第三层含义是数据来源明确。数据安全。由于大量数据关乎个人隐私、商业机密，因此数据安全是一个非常重要的问题。数据安全的保障需要必要的软件和硬件。但是，最需要的是一个合理的数据治理制度。该制度应该对数据从产生、使用、到消亡的整个链条进行严格治理。数据技术域（一）数据产生层本层是数据产生的来源，包括业务办理、内部管理过程中产生的数据以及外部接入数据结构化数据：传统关系型数据库中记录的数据。业务数据类：集团内部的IT记录的数据，包括项目业务类、人力资源类、财务管理类、运维管理类等数据；主数据类：包括人员主数据、项目主数据、组织机构主数据、物资主数据、客户主数据、供应商主数据等；外部数据：从外部数据来源接入的数据，如市场资讯和资质评级等。业务类数据：存储在各个应用系统对应的数据库中，在业务执行过程中产生和使用；业务类数据的管理由各个业务系统自行管理，信息管理部规定数据维护规则、安全备份和恢复规则；外部数据：采用接口的方式集成到各个业务系统，由各业务部们自行维护，信息管理部监督管理，并制定统一的规则。非结构化数据：相对于关系型数据，主要包括业务处理过程中产生的文本、声频和视频。这类数据采用文件管理的方式，存储在统一的文件服务器，由各业务部门根据业务权限进行维护，信息管理部制定规则和统一监控；其他应用数据：包括其他设备传入的数据，比如机器设备上传感器采集的数据、智能化工地现场采集的数据、现场监督传回的数据等；这类数据根据实际情况直接传输到对应的信息系统或文件服务器，然后按照固定的格式进行存储，由各业务部门根据业务权限进行维护，信息管理部制定规则和统一监控。（二）数据抽取层从数据的抽取、数据共享中心和数据应用层面进行整合和管理，实现数据产生层和数据展示层的联通。——数据交换层：本层主要描述系统间数据交换的枢纽，对于数据产生层、数据整合层、数据应用层之间数据进行双向交换，包括：批量交换：用于产生层与整合层和应用层间非实时的、大数据量的数据交互；实时交换：用于交易系统间少量、实时或者准实时的数据交互。数据交换方式：同步数据交换：对于时效性要求比较高的数据，在业务系统数据产生后，采用触发器的机制，实时传输到数据共享中心，更新数据共享中心的数据。异步数据交换：对于时效性要求不是很高、并且数据量比较大的数据，采用定时进行数据更新的方式，原则上在业务系统处理业务不是很繁忙的情况下进行数据的更新的操作，比如晚上某个时间点讲业务系统产生的增量数据或修改的数据批量传输到数据共享中心。建议：对应应用架构中的基础服务层，包括数据集成平台中的统一数据交换和应用集成平台中的企业服务总线。统一数据交换负责批量交换，企业服务总线负责实时交互。建议下一步将本层的工作重点放在文件传输系统（传输的是非结构化的数据）的建设、ETL的优化改造方面。（三）数据共享中心层本层作为数据集中存储、整合的核心，避免系统间数据重复存储和加工，实现数据共享。缓存数据：缓存从交换层接收的所有源系统数据，是后续数据处理的基础。缓存是数据库抽取数据的临时存储区域，为后一步的数据处理做准备。一般来说缓存数据和源系统的数据是同构的，主要目的是简化后续数据加工处理的工作。从数据粒度上来说缓存数据的数据粒度是最细的。缓存数据通常包括两类，一个用于存储当前需要加载的数据，一个用于存储处理完后的历史数据。主要目的是为了提高数据的利用效率，避免在一段时间内重复读取同样的数据。操作型数据：作为源系统的镜像，支持快速应用和联机查询。主题数据：对所有接入的源系统数据进行整合，按主题存放，保存明细的、历史的数据。公共汇总：后续应用的共性加工，减少重复加工和口径不一致。——数据应用：基于整合区提供的原始数据和衍生数据，根据业务需求进行相应的加工，提供应用所需的结果数据或接口数据。快速应用：满足操作型分析需要，时效性较高的应用，如柜面操作风险监控。管理分析应用：为满足经营决策和外部监管需要，搭建基于数据分析处理的决策支持系统。股份公司应用：对股份公司需要的数据进行预处理，提供定制接口。数据使用域（一）确定数据展现维度按照“人、机构、项目”的维度组织数据，并提供数据的展示，以便使需要的人员及时得到需要的信息，为业务管控和战略决策提供依据。表4.5-1：数据展现维度示意（二）确定数据展现形式根据不同的数据主题，确定数据的展现形式：管理驾驶舱：是基于数据管理中心的高层决策支持系统，以图表的方式直观的显示各项指标，并支持“钻取式查询”，实现对指标的逐层细化、深化分析，并通过详尽的指标体系，实时反映企业的运行状态，将采集的数据形象化、直观化、具体化。固定报表：结果展现有规定的格式或固定的查询方法。多维分析：随意的组合维度和指标间的关系，从而更灵活的对数据进行分析。灵活查询：用户通过查询工具和平台自由、快速的获取其关心的信息。数据导出：提供数据格式化导出，以满足较小数据量的临时性分析以及外部监管要求所需的接口数据。数据挖据：由数据使用的专业人士，通过根据不同的业务场景选择不同的挖掘算法，从现有数据挖掘和探索数据背后影藏的规则，从而进行业务预测和归类。GIS定位显示：根据工程施工行业的特点，可以支持GIS的地图显示功能，以及定位显示功能，数据和定位关联起来，提高数据的可视化程度；数据展现需要控制用户访问权限，通过安全认证平台来控制用户的登录以及应用级权限控制，通过数据库用户及权限管理来控制数据的访问。数据可以通过公司的门户网站、B/S架构的浏览器客户端、也可以是通用的web服务可以不同的平台上展示、也可以是PC、手机和pad等终端设备，也可以进行位置定位显示功能。（三）确定数据使用对象在企业中，数据根据对象不同，用处也就不同：对于决策层，主要的作用是让决策层了解业务的运行情况，为决策提供支持；对于管理层，是进行业务管理的工具；对于执行层，是产生数据的层面。数据治理规划方案数据治理包括两个大方面的工作：数据管控体系和数据标准规范，如下图所示。图4.5-1数据治理架构（一）数据管控体系包括数据治理管控政策、数据治理流程、数据治理组织结构和数据治理技术支撑四个方面，主要是从管理和工具维度解决企业数据管理职责不清、数据管理技术不到位等问题。（二）数据规范体系包括数据标准制定、主数据规范、元数据管理和数据质量管理四个方面，主要是从数据本身出发，解决数据如何采集、如何存储、如何使用等层面的问题。数据管控体系数据管控体系用于企业数据资产的统一管理、共享和使用，实现数据管理的规范化、标准化和安全可控，提高了企业数据管理的效率和能力，掌握企业内部数据流向，规范数据运维服务。数据管控体系包含四个方面的内容：管控政策数据治理各领域的管理流程、组织架构与职责需要以制度的形式发布，使数据治理的各项工作有据可查，使其具有约束力，便于数据治理工作的开展和执行。同时，管控制度的制定也是数据治理成熟程度的重要评估标准。管控政策的目的在于：通过政策和规范的方式发布数据治理各个相关部门的责任，明确数据治理各领域的政策、规范和实施办法，确保数据治理的管理原则和执行是一致地贯穿全行，改变或规范各个部门数据治理人员的行为。针对数据治理的每个管控领域提出相应的管理制度，并在此基础上形成企业级数据管控政策。包括：数据标准管理办法、元数据管理办法、数据质量管理办法、数据生命周期管理办法和数据安全管理办法等。图4.5-2数据治理管控政策组织架构据治理组织架构的设置目的在于：建立明确的集团公司数据治理组织架构与人员角色定义，明确某类数据的责任人，定义不同数据责任人的职责，对某一特定数据范围内的信息的正确性、一致性和及时性负责。数据治理组织架构/责任人体系是由来自不同层级、业务、功能的人员共同组成的，可从上到下划分为四个层次：决策层、战略层、战术层和操作层。其中，决策层主要由企业高层领导组成，通常由企业CEO/CIO/CFO挂帅，对数据治理工作给予大力支持。支持、确认数据治理相关的战略规划与政策，与业务部门、技术部门沟通确认数据治理的工作目标，通常每季度交流1至4个小时。战略层为数据治理管理委员会，由集团公司业务和IT部门主管领导组成，制定数据治理的愿景、目标、方向，以及企业内部的统筹协调。保障企业愿景计划，提供数据管理的战略指导，从战略层面解决管理问题，通常每季度交流1至4个小时。战术层为数据治理小组，由集团公司各部门业务与技术骨干构成，颁布数据治理的方案、流程、报告执行结果。从战术层面解决问题，管理跨越业务组织的数据内容。通常每月交流1至3个小时。操作层为数据责任人，主要构成为集团公司系统业务和技术支持人员，来源于企业各个层面，具备数据定义/使用权，和数据生产所有权（IT）。主要职能有发现并解决数据相关问题，管理新建/库存数据定义、使用及准确性。操作层面的数据治理相关工作落入日常工作中。图4.5-3数据治理建议组织架构管控流程在集团公司组织架构的基础之上，制定数据治理各领域的管理流程，规范化数据治理工作执行过程，指导数据治理参与人员的日常工作，流程的制定需要全面贯穿数据治理的参与角色，模块化数据治理工作单元，便于数据治理各领域工作的执行和效果评估。管控流程的主要目的在于定义集团公司数据治理各个领域的工作方法和步骤，明确各个相关部门在数据治理各个领域中的分工和协作关系。针对数据治理的每个管控领域提出相应的管理流程，并在此基础上形成集团公司企业级的数据管控流程。包括：数据标准管理流程、元数据管理流程、数据质量管理流程、数据生命周期管理流程和数据安全管理流程。图4.5-4数据治理建议的管控流程体系技术支撑技术支撑是为支持集团公司数据治理相关人员的日常工作，开发或采购的相关技术工具，节省人工，提高效率。目的在于：提供一套数据管理的支撑系统，支撑数据质量的规则，问题的集中管理；支撑数据标准的发布，查询，变更等流程；以及支撑其他数据治理领域及流程的管理。针对数据治理的每个管控领域提出相应的技术支撑建设要点，并在此基础上形成集团公司企业级数据治理平台。包括：数据标准管理平台、元数据管理平台、数据质量管理平台、数据生命周期管理平台和数据安全管理平台等。图4.5-5数据治理技术支撑集团数据标准规划数据标准化是利于集团公司部门之间、集团公司部门和分子公司之间、分子公司之间进行数据交换、降低各个部门之间沟通解码的成本，提高数据的利用效率。数据标准化规范的执行需要信息管理部整体牵头、各部门和分子公司执行的工作，在这个过程中，信息管理部制定数据标准化规范规则，各部门和分子公司根据业务实际情况进行数据规范的整理工作，并且落实标准化规范，保证数据在采集时就按照规范进入系统。图4.5-6集团公司数据标准规划集团数据层级基于数据元素，总体数据架构就分为三个层次：主数据、业务数据和分析数据。如图所示。图4.5-7集团公司数据物理架构第一层：主数据，是最基本的数据单元，是支撑信息系统运行的基础数据，这些数据需要在系统初始化的时候都要设置进系统，才能保证信息业务在运行时可以随时使用到这些数据。图4.5-8集团公司主数据的类型第二层：业务数据，顾名思义是业务运行过程中产生的数据，也就是在业务执行过程中产生和记录下来的数据，是各部门和岗位之间进行业务协作的纽带，比如采购订单数据、工程合同数据等。是信息系统的关键数据，也是产生价值的数据。这些数据的产生依赖于人、机构和项目，通过这些维度展现出来，就可以产生不同的用途，就需要在数据架构设计的时候，业务基本数据需要和人、机构和项目数据建立关联。图4.5-9集团公司业务数据的类型第三层：分析数据，是数据的最高表现形式，数据按照不同维护、不同类型现实的结果，基础是数据平台，按照组织维度、业务维度、时间维度、项目维度等进行展现，展现给不同的管理人员，为他们管控业务运行情况、进行战略决策提供及时全面的决策支持信息。数据架构这三个层次，展现就是数据产生和使用的过程，底层数据经过加工，变成领导需要的决策支持信息，数据才能变成资产。这个过程就是对“元数据”不断组合加工的过程，所以基础是元数据，需要加强对元数据架构的设计工作。数据标准化目标数据标准化，是数据治理工作的核心，否则就谈不上数据集成和共享，比如同样的一个物资，在业务系统中和在财务系统中的编码都不一样，结果就是业务中生成的单据没有办法推送到财务系统直接生产财务凭证。在企业运营过程中，常见的数据问题主要包括：同一个含义名字不一样同一个中文名但英文名不一样同是地区编码有的用ID、CODE等同样为金额的字段类型不一样属性名称一样但类型不一样列名相同但含义不同字段长度远大于实际数据长度存在大量无效字段太多预警字段，值多位空含义不同列名相同存在field1，field2类似的名称对于集团公司而言，需要在股份公司数据标准的基础上，实现全集团的数据标准化。数据标准工作通过建立业务与IT之间的统一语言，提升数据在业务和技术上的一致性，有效加强业务的规范性，提升IT系统建设的效率，并有效加强整个联社数据质量，为实现数据资产的价值奠定基础。数据标准管理工作的核心一是建立企业级的数据标准与规范，二是持续推动数据标准在业务和技术领域的落地实施。主要由三个方面的价值：提升整体业务效率数据标准化统一了业务语言，明确了业务规则，规范了业务的处理过程，促进了信息共享，从而提升全联社整体的业务提升数据质量数据标准化统一了各类系统的数据定义，明确了数据填写及处理要求，并提供了管控方面的保障，因此数据标准化将直接提升集团的数据质量。提升IT实施能力数据标准将提升IT系统的数据模型设计效率，降低各系统间集成的复杂度，并为管理分析类系统提供一致的分析指标和分析维度，从而提升集团的IT实施能力。数据标准化原则数据标准化应当遵循以下原则：协调性：充分借鉴吸收股份公司和集团公司业务标准化方面的已有成果，保持数据标准和业务标准的一致性。统一性：根据集团公司整体需求构建统一的编码规则体系，形成各业务板块主数据编码方案。便捷性：尽量保持编码简单唯一性和“无含义性”，不在编码中体现过多属性信息，而是通过信息系统中的关系性数据进行联接。灵活性：充分考虑未来业务发展和信息膨胀，在设计编码的时候给予充分扩展空间。实施性：数据编码与将来的系统实施紧密结合，充分考虑信息系统实施的需要，编码的具体工作可以提前于系统实施时间。系统性：信息架构与编码体系全面，与业务流程紧密结合，编码需要与未来的信息化系统紧密结合。数据标准化的规范数据标准化是利于集团公司部门之间、集团公司部门和分子公司之间、分子公司之间进行数据交换、降低各个部门之间沟通解码的成本，提高数据的利用效率。数据标准化规范的执行需要信息管理部整体牵头、各部门和分子公司执行的工作，在这个过程中，信息管理部制定数据标准化规范规则，各部门和分子公司根据业务实际情况进行数据规范的整理工作，并且落实标准化规范，保证数据在采集时就按照规范进入系统。数据标准体系分类庞杂，就现阶段来说集团公司无需制定大而全的数据标准体系，而应集中建立业务和IT上急需的标准规范，结合集团公司当前的现状应从以下两个方面考虑标准规范的建设：数据库操作规范：包括数据库的设计、开发、维护、管理、生产环境上的操作等规范。业务数据标准体系：包括主数据类数据标准、指标类数据标准以及业务类数据标准。4.8.4.1数据库操作规范数据库设计与命名规范数据库设计与命名规范工作应遵循以下八项基本原则：体现内涵原则：数据实体、属性或字段的名称应该体现其内容或功能，且业务含义一样，尽量让用户或编程人员通过名称就能了解其内容或功能。名称通常使用英文单词或缩写，尽量避免数字的出现。同义性原则：如果数据实体或属性/列的名称体现的内容或功能相同，应尽量使用类似或相同的名称，且数据类型也要保持一致。统一英文命名原则：数据实体的名称及属性或字段均采用英文命名。通常情况下，各种对象及表中的字段等内容使用英文名称更加规范，因为可以为后续的查询及编程提供便利。大小写一致原则：名称应该全部使用大写字母。因为某些数据库系统对大小写是敏感的，统一使用大写有助于数据库在不同系统之间移值字符范围原则：只能使用英文字母、数字和下划线进行命名，且首位字符必须是英文字母分段命名原则：命名中多个单词或单词缩写单采用下划线“_”分隔，方便用户阅读与理解。同时，这种结构便于某些工具对数据库对象的映射。不使用数据库内部命令：数据库对象命名不能直接使用内部命令，但分段中可以使用。如USER不能直接用于表名、列名等，但是USER_NAME可以用于列名，USER_XXXX也可以用于表名等。命名方式一致原则：在一个项目或是项目群中，尽量采用一致的命名方式，尤其要避免同时出现英文单词和拼音的情况。数据库表的设计规则数据表的设计：可以不满足第三范式；对于必要的“冗余”列，如客户名称，应有相应的程序保持各“冗余”列的同一性，以免出现异议。对于关联较为紧密，但是更新并不频繁的两个表，建议尽可能互相冗余部分字段，以免产生过多的join操作。键的设计：所有的键都必须唯一；避免使用复合键；数据库中原则上不使用外键（写在程序中）、触发器、存储过程，若要使用需要经过数据架构师的批准；使用系统生成的主键；不要使用用户可编辑的字段做为键。视图的设计：为了进行复杂处理、提高运算速度和节省存储空间，视图的定义深度最多两层；视图名称必须遵循标识符的规则，且对每个用户必须为唯一。此外，该名称不得与该用户拥有的任何表的名称相同；不要使用物化视图；对于安全性要求较高的系统，视图的作用更加重要。可根据实际情况对不同人员使用不同视图，保护数据库的安全性。索引的设计：索引由DBA来创建和维护；尽量避免索引大型字段，否则会使索引占用太多的存储空间；不要索引常用的小型表；选择唯一性索引；为经常需要排序、分组和联合操作的字段建立索引；为常作为查询条件的字段建立索引；限制索引的数目；尽量使用数据量少的索引；尽量使用前缀来索引；删除不再使用或者很少使用的索引。4.8.4.2业务数据标准体系集团公司业务数据标准规范如下所示：图4.5-10：集团公司数据标准体系示例数据统一编码规范集团公司数据编码管理体系包含统一的编码范围、编码规则以及编码流程等内容。建议集团公司数据编码范围按分级分层的方式进行，一部分使用范围广的数据在集团公司统一编码，各下级单位负责使用、申请新编码以及维护私有数据，这部分数据可以包括组织机构编码、物料编码和会计科目等；其他数据如：客户编码、供应商编码可以在集团公司一级统一编码。图4.5-11：数据编码统一标准规范分层控制示例数据标准化示例数据标准维度图4.5-12数据标准维度指标属性说明指标属性简要说明指标名称指标的中文名称指标分类指标所属的类别指标业务含义指标的业务含义及使用场景指标维度指标的分析维度，如机构、项目等指标统计口径指标的统计口径指标计算公式指标的计算公式以及详细计算方法指标数据来源指标的数据来源可以是报表或者信息系统指标责任部门负责指标设置和维护的部门指标访问权限指标访问控制权限定义数据格式图4.5-13数据格式业务属性数据标准定义内容填写说明标准中文名称数据项的业务名称，是业务上用以唯一识别的内容，易于被业务人员理解和识别标准英文名称数据项的英文名称，通常是用于数据字典中数据项的名称，名称中应该去除所有的空格标准来源标准来源是描述该信息项所依赖的标准来源业务定义对数据项业务定义的详细描述，不应超过500字，不应有循环引用或直接用系统名称进行定义。业务定义应基于创建这一数据的业务流程背景进行描述，对定义的描述应该精准、细致，以利于其他使用该数据项的人员理解业务规则该数据项定义的相关逻辑，用于描述数据项相关业务行为的政策，以及政策约束发生作用的场景。包括可允许的例外、例外条件、业务场景等。每项规则都应有实际含义、可重复、可执行的描述。取值范围数据项可接受的值域范围或取值示例。与其他标准的交及引用也应在此处列示，还包括列示数据项的默认取值。技术属性数据标准定义内容填写说明数据类型是指根据信息项的业务定义、业务规则和常见表现形式定义数据标准项所采用的数据类别。标准项所涉及数据类别包括编码类、代码类、指示器类、文本类、金额类、数值类、百分比类、日期类、时间类。数据格式数据格式是描述该数据标准项的数据字段在精度、长度、形态上的定义。例如：-YYYY-MM-DD日期格式，表示年月日代码编码规则代码编码规则描述是用于描述代码类标准项所采用的编码规则。如：一位顺序码、二位顺序码等。对于数据格式是代码类的数据标准项，还需针对代码值、代码编码规则、代码名称、代码值含义等进行详细规定，形成可供选择的数量清单即代码表。管理属性数据标准定义内容填写说明数据定义部门数据定义部门是指对该数据标准项拥有最终业务解释权的集团公司组织机构，该部门负责对相关标准的业务属性、技术属性、数据标准间的关联等进行定义、变更、复审和检查工作，承担数据认责体系中相应的数据管理职责。权威系统权威系统是指在信息来源于多系统的情形下，为保证信息使用的一致性和准确性，数据标准还需定义业务认定各标准项的权威来源系统，即当各系统有相应数据项，但数据内容不一致时，应以该权威系统的数据项结果为准。主数据体系规划企业主数据（MasterData）是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等；它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。主数据管理是指一整套的用于生成和维护企业主数据的规范、技术和方案，以保证主数据的完整性、一致性和准确性。采集与集成、共享、数据质量、数据治理是主数据管理的四大要素，主数据管理要做的就是从企业外部和企业的多个业务系统中采集和整合最核心的、最需要共享的数据（主数据），集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支持系统等。主数据管理使得企业能够集中化管理数据，在分散的系统间保证主数据的一致性，改进数据合规性、快速部署新应用、充分了解客户、加速推出新产品的速度。从IT建设的角度，主数据管理可以增强IT结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的变化。主数据的类型主数据，是最基本的数据单元，是支撑信息系统运行的基础数据，这些数据需要在系统初始化的时候都要设置进系统，才能保证信息业务在运行时可以随时使用到这些数据。图4.5-14主数据的类型主数据管理体系规划主数据管理是信息管理的基础和关键，在数据整体架构基础上，需要构建主数据管理平台，已解决集团主数据标准化和规范化的问题，确保后续各应用系统之间的数据可以实现共享，并且减少将来各个系统开发是主数据重新构建的工作量。（1）集团公司层面统一对主数据的编码进行管理，建立主数据的编码规范，并且组织业务人员统一对主数据进行编码。图4.5-15主数据管理平台（2）集团公司层面统一确定主数据平台建设方案：功能模块描述接口服务提供一致接入点，以便用户或外部系统请求MDM服务，以及MDM服务与主数据管理系统本身的其它模块交互，如消息服务、发布和订阅服务。生命周期管理服务查询、创建、更新和删除主数据资料库的主数据数据质量管理服务由生命周期管理服务调用，来管理数据质量、标准化数据、决定重复的主数据实体，以及维护交叉参考的信息。创建服务定义主数据的功能，通常由主数据管理用户界面或数据认责用户界面来调用。主数据事件管理服务提供定义事件来检测业务规则的能力，如主数据的变更可能触发某个业务流程。层次与关系管理服务建立和管理主数据的关系，组织主数据实体成不同层次和分组，建立主数据层次多个视图。基础服务通过安全与隐私服务、审计日志服务、工作流服务和搜索服务，来提供一系列统一的服务。主数据资料库包括主数据实例、主数据定义、参考数据、历史数据和元数据。元数据体系规划元数据是关于数据的数据，在某些时候不特指某个单独的数据，可以理解为是一组用来描述数据的信息组/数据组，该信息组/数据组中的一切数据、信息，都描述/反映了某个数据的某方面特征，则该信息组/数据组可称为一个元数据。元数据可以为数据说明其元素或属性（名称、大小、数据类型等），或其结构（长度、字段、数据列），或其相关数据（位于何处、如何联系、拥有者）。可以：提供一套权威的数据字典和数据标准，保证数据的合法性和准确性。提供异源元数据的检核机制和元数据的版本管理机制，保证不同形态数据的一致性。协助数据质量管理平台，管理检核对象，辅助生成检核规则。提供数据变更的影响分析，保证数据在加工过程中的一致性。确定数据元素数据元素是数据架构的最基本单元，电气化集团按照股份公司的数据分类进行管理，集团下属单位在进行数据架构设计时按照该分类标准执行。图4.5-16数据元素（一）核心数据：主要由“人”、“机构”和“项目”三类基础数据构成，对于集团公司及其下属单位来说：1）人员数据——人员数据：基本信息包括人员的基本信息和相关的职位信息；同时对于信息系统准入要求，人员信息还会关联系统用户信息，也就是可以使用系统的人员。人员关联的职位信息是和机构信息中的岗位信息关联的，岗位的职责就决定了人员在信息系统中的数据方位权限和功能访问权限，是系统和数据安全保证的基础。同时，在人的数据架构设计时，还要考虑不同业务组织之间人与人之间的业务协作关系或者业务汇报关系，这样在数据架构设计时可以自动完成数据访问的授权，比如上级可以查看下级的业务数据的权限等。人员数据示意：员工编码、员工姓名、所属组织、职位、人员自然属性、人员状态等属于主数据，不会随着业务的变化而改变，是在信息化系统实施时需要准备的基础数据，否则信息系统将无法运行。2）机构数据——机构数据：也就是我们所说的组织结构，但是又完全等同于我们的组织架构，在系统中反映的是业务的汇报关系，包含三层信息：第一层是组织信息，也就是从财务角度上的数据的独立核算单位，可以是股份公司、集团公司，也可是集团下属的各独立法人单位；第二层是部门信息，是属于组织中的业务单元或行政的单元，比如信管部、工程部、设计部或采购部等，除了部门基本信息外，还需要确定就是部门的类型，包括销售组织类型、采购组织类型、生产组织类型、利润中心、成本中心等类型，是进行财务核算和业务开展范围判断的依据；第三层是岗位信息，是具体执行业务操作的层级，是和业务及数据操作权限相关联的一个层级，比如采购经理、采购员等都是具体的岗位，在系统中执行不同的权限，通过岗位与员工建立关联，便于具体的员工执行系统操作。机构是数据的容器和数据隔离的基本单元，架构核心数据描述的是企业实际形态的组织架构和虚拟形态的业务汇报关系，反映的是数据查看的范围和操作的权限。机构数据是一个层次化的数据，也就是说一个机构会有下属机构和上级机构，他们之间就默认了形成了一种汇报关系。机构数据静态主数据，是不随业务执行过程而改变的，除了调整组织结构外，机构基础数据一般不会发生变化，也是业务系统运行的基础，没有机构数据则数据没有载体，同时也不能实现对数据和业务处理过程的各个环节的处理和管控。机构数据示意：组织代码、部门代码、岗位代码、组织基本信息、部门基本信息、岗位进本信息、组织上级组织、部门上级部门、岗位上级岗位等，形成组织、部门和岗位的层级关系数据结构。3）项目数据——项目数据：属于动态化的业务数据，项目承接就产生新的项目数据，项目完成就关闭该项目，相应的数据也进行了封存。项目数据是一个比较广泛的层面的数据，根据项目的规模，项目由可以分为子项目，子项目甚至还可以分为子项目，所以项目数据应该是一个可以层次化管理的数据。子项目实际上在管理上也是一个项目，只不过是受上级项目的约束。项目数据示意：项目编码、项目自然属性信息（可以默认为项目合同中包含的数字化的信息）、父项目编码等。（二）人员衍生数据人员衍生数据以人员为视角，可以查看人员相关的数据，包括人员的薪酬数据、绩效考核数据、社保数据、培训记录信息、业务请求信息、员工历史业绩信息、员工异动历史信息等。人员管理不只是人力资源管理系统的信息，他是需要和业务系统建立管理的信息，比如业务带处理事项信息、业务订单信息、生产工时统计信息、生产施工作业排班信息等。建立人员全方位的信息视图。图4.5-17人员数据示意图（三）机构衍生数据机构数据的展现方式体现是公司的管理方式，在进行数据架构设计时，需要考虑对每个机构的定位，包括利润中心和成本中心的确定，这样可以把机构确定为一个独立核算的单元。机构可以是集团下属的业务单位，也可以是业务单位下属的部门，或者是项目公司、或者是项目公司下属的工段，也可以是生产作业单元（车架）或班组，根据管理的要求不同，需要在机构设置时作为独立单元设置出来，然后在数据架构设计的时候就可以此为单位进行核算。机构维度的数据架构设计应该是按照最低的层级进行设计，然后逐层向上按照项目进行合并，既要能体现出上一层级的数据全貌，也要能看到下一层极的明细信息。机构维度数据架构的设计需要从最小单元的“人财物、料工费”维度进行核算，按照利润中心的要求核算分项成本和总体利润。图4.5-18机构数据示意图（四）项目衍生数据项目衍生数据以项目为维度进行数据的架构的设计是对项目整个生命周期过程中整体信息的集成，是业务运营另外一个维度的数据架构方式。按照项目维度组织数据也分为几个方面：第一，按照项目的过程进行数据架构设计：项目启动数据架构、项目计划数据架构、项目执行过程统计数据架构、项目完成验收就评估数据架构；这其中包括结构化和非结构化的数据。第二，按照项目的业务领域进行数据架构设计：项目人员数据架构、项目采购数据架构、项目预算数据架构、项目设计数据架构、项目付款数据架构等，这其中包括结构化和非结构化的数据。第三，按照项目核算维度进行数据数据架构设计，包括项目的“人财物、料工费”的数据架构设计。图4.5-19项目数据示意图确定数据结构确定每个元数据的字段项目，形成数据的完整视图。人员数据图4.5-20人员数据机构数据：图4.5-21机构数据项目数据：图4.5-22项目数据图4.5-23工程项目数据数据变更处理组织结构调整是企业经常遇到的问题，集团公司在进行数据架构设计时要充分考虑这种情况，以保证数据能够使用这种情况的变化，才能保证数据架构的灵活性和适应性，避免由于组织架构变化带来的数据架构不能使用，造成信息系统投资的浪费。组织结构调整带来的数据架构变化参考股份公司数据架构规划相关规定执行。数据质量管理规划数据质量管理策略数据质量管理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理策略如下：数据质量管理关键点：制定规范的数据质量度量标准。建立有效的数据质量监管体系。建立完善的数据质量管理制度。高质量的数据来源于数据标准、数据分析、检验以及管理制度的综合作用。数据质量管理模型：数据质量定义模型：以基础模型为前提对数据质量的统一规范的定义，是数据质量分析评价的依据和基础。数据质量定义模型可以使用质量特性描述。数据质量特性归纳为数据的一致性、数据的准确性、数据的完整性、数据的及时性4个关键特性。数据质量控制模型：以数据质量定义模型为基础，按照定义的检查范围和时间以自动或手工方式完成对数据质量的检查工作。在质量控制过程中违反了数据质量定义的，视为数据质量问题，数据质量问题直接通过数据质量的关键特性和指标反映出来。数据质量控制模型的控制内容表现在:对数据检查对象、数据检查频度、数据检查时间、数据检查方式等方面进行控制。数据质量评价模型：是以数据质量定义模型为依据，由数据质量控制模型操控执行，根据反馈的质量检查结果表，评议出数据质量的关键指标，实现对数据质量的量化诊断和评价。数据质量分析评价模型功能核心是，通过对基础模型中的采集计划和质量定义模型中的约束规则的处理，由控制模型调用可以实现检查分析的后台存储过程在实体库中执行检查，形成查询结果，再由分析程序进行分析、计算、分类、汇总，生成反映采集计划完成情况和数据质量量化指标的结果，存储到分析结果表中，从前台调用这个分析结果表，就可以生成一份详尽的反映数据质量问题各类量化指标的数据质量分析评估报告，展现所评估实体库的数据入库的及时率、数据上报的完整性、数据采集的一致性、数据入库的准确率。数据质量管理常态化数据质量常态化管理分两类：一类是对存量数据资产的质量管理。以“全面解决数据问题、提升企业数据质量”为根本出发点，以数据应用报表数据质量问题为切入点，梳理数据质量度量规则，开展数据问题和整改工作，按照集团公司制定的各类数据标准或业务规则，查询出不符合标准规范或规则的数据，出具数据质量问题报告，由业务部门整改；同时建立数据质量问题考核机制，对各部门数据质量问题进行计分考核，将考核结果纳入年终总体考核中，以保证数据质量问题整改的效果。一类是对新建系统的数据资产质量管理，对新建系统的设计文档进行标准质量管理，从数据开发角度，评估设计文档的规范性，在系统上线前进行数据验收管理。作为持续改善数据质量的运行工作，将作为数据质量管理的一项重要职能。数据共享中心规划方案对数据资产的使用是将来集团公司信息化建设的重点，使数据可以对各个层面的管理工作提供及时、有效的支持，及时发现业务运行过程中存在的问题，及时进行调整，提高业务运行的效率和业务运行的质量。图4.6-1决策支持体系根据数据架构规划，将来要形成对集团所有数据的集中管理和共享，需要建设集团层面的数据共享中心，整体技术架构如下图所示。图4.6-2数据共享中心通过数据共享中心，对集团级的数据进行集成，然后根据不同的业务分析主题，提供不同的用户进行使用，实现数据的共享；集团级数据共享中心不对业务系统的数据进行修改，只是使用，保证了业务系统数据的安全；对于使用的股份公司层面的人力资源系统的数据，根据股份提供的接口抽取集团范围内的数据，然后进行集成和共享。统一平台数据接口设计根据股份公司“十三五信息系统规划”，股份公司将采用统一平台管理模式，实现统一用户认证和单点登录，以及实现股份同集团之间的数据交换，这些数据的交换都会涉及到数据接口的设计和管理，也需要建立一套标准化的规范，才能减少接口开发和管理的工作量，降低成本。集成数据流图数据流图反映的是核心业务流程的数据在应用系统中是如何使用的，通常只标识主数据或一、二级主题域。集团公司数据流转要基于应用架构的划分来设计，分析数据实体在应用系统间的流转关系，为应用集成提供支持。图4.7-1集成数据流图应用系统之间通过企业服务总线统一管理接口进行数据交换；决策支持系统通过数据共享中心直接抽取应用系统数据库中的数据；集团综合信息共享平台和应用系统之间通过注册和接口的方式交换数据：主要交互的数据包括用户数据、认证数据和部分应用数据；股份公司一体化技术平台和集团公司综合信息共享平台通过接口交换数据，包括用户接口、认证接口和业务数据接口。端到端的数据通信机制端到端指得是建立电气化局集团端到最终项目、人员执行端的信息贯通：具体到项目层面，就是从项目承接一端开始到项目交付满足业主需求一端结束，形成了项目执行的闭环；从人员层面来说，从人员获取一端开始到人员创造价值完成工作任务实现业务价值开始，形成了人员创造价值的闭环；从机构层面来说，从机构承接任务一端开始到机构完成任务交付一端结束，形成了机构业务执行的闭环。根据股份公司集团管控的要求，建立数据的汇报关系和数据交换关系。在数据架构设计时务必要根据数据汇报关系进行数据结构的设计，同时根据横向共享要求执行共同的数据标准，这样项目之间、基层单位之间、管理单位之间、二级单位之间才能实现数据的交换，才能实现股份公司层面数据的合并。图4.7-2端到端的数据通信模式（一）数据纵向贯通：下级单位数据向上汇集作为支撑，上级单位数据向下分发形成管控；“端到端”的纵向贯通，本质上是机构数据和项目数据自下往上的贯通。（二）数据横向隔离：单位数据不能直接横向沟通，保证数据流向的规范有序，避免数据混乱带来的管理问题。数据接口设计原则安全可靠性原则：系统应提供良好的安全性和可靠性策略，支持多种安全而可靠的技术手段，制定严格的安全可靠的管理措施；开放性原则:提供开放式标准接口，提供与其他系统的互联互通；灵活性原则：提供灵活的接口设计，便于接口的变动；可扩展性原则：支持新业务的扩展以及接口容量与接口性能的提高；可管理性原则：提供良好的管理机制，保证在运行过程中提供给管理员方便的管理方式以及处理各种情况；统一性原则：应当保证系统的接口方式、接口形式、使用的协议等标准、统一。统一平台接口规范统一平台和应用系统之间的接口数据包括：人员数据、组织数据、岗位数据、工程数据和行政办公相关数据。（一）总的命名规范名词原则上以拼音为主，动作以英文为主，所有的字符串以驼峰规则表示；重名的例如部门简写的第一位改成全拼，再有重名第二位改成全拼。（二）接口命名规则和类型根据查询的内容不同，需要定义不同的接口，对于人员接口，统一按照以下命名规则：Yonghu+功能汉语拼音首字母大写（四位）：比如根据用户ID查询用户的保密信息，则命名为：Inqui