集团企业信息化规划之数据架构规划报告

规划之数据架2022年 1.1目标与理解1.2数据架构设计方法基于数据架构设计工作的目标分析与理解，结合架构设计工作的一般步骤地规划：按照业务价值链过程整理数据：数据是伴随着业务执行的过程中产生按照数据发生地和发生时间及时整理数据：需要在数据的发生地和发体数据的质量，严重的会造成数据的失真，甚至产生误导信息。个单独游离在业务主价值链之外的数据，其实各个数据之间都是有关1.3数据架构设计原则据模型、数据分布，实现有集团公司特色的数据标准体系。1.4数据整体架构方案按照电气化集团的信息化战略，数据是集团将来信息化建设的重点工作，需要从数据治理域、数据技术域、数据使用域三个层面对数据进行综合管理，保证从管理层面、技术层面和使用层面实现一体化的管理，实现数据采集、存基于此，集团公司的数据整体架构如下图所示：图4.4-1集团公司数据整体架构1.4.1数据治理域数据治理是数据架构实现的基础，是集团数据架构的核心，是基于数据资行)的实施，是一套持续改善的机制，包括组织政策制度、技术工具、数据标准、作业流程、监督及考核等要素。数据是信息管理部将来管理的核心，在数据架构确定的基础上，需要逐步实现集团内部(包括总部和各下属机构之间)、集团和股份公司的之间的数据集成和共享，业务之间数据要实现交换，对数据治理和数据标准化工作就提出了很高的要求，也可以说数据治理和数据标准化是集团实现数据集成和共享、甚。数据治理的目的是为了保证集团数据资产能够反映集团的整体经营状况，同时支持集团将来的经营决策，对数据的要求主要体现在以下几个方面：集点采集持续地对数据质量指标进行检测，对数据质量问题进行修复能需求能够提供连续可用性，同时对数据进行全生命周期管理和技术手段确保数据安全数据治理就是要达到以上7个方面的目的，对于集团公司来说，不是所有的数据都是资产，只有可以被采购、可以被加工、加工后对企业的经营产生经济效益的数据才能是资产，一般需要具备以下条件：可预期的经济收益，又怎么能从数据资源变成数据资产？因为相关行 该收集整齐的数据要尽量收集整齐。一套数据对被记录对象的所有相1.4.2数据技术域 (一)数据产生层一监控；据根据实际情况直接传输到对应的信息系统或文件服务器，然后按照 (二)数据抽取层从数据的抽取、数据共享中心和数据应用层面进行整合和管理，实现数据与整合层和应用层间非实时的、大数据量的数据交互；实时交换：用于交易系数据交换方式：建议：交一数据交换负责批量交换，企业服务总线负责实时交互。建议下一步将本层的工作重点放在文件传输系统(传输的是非结构化的数据)的建设、ETL的优化改造方面。 (三)数据共享中心层本层作为数据集中存储、整合的核心，避免系统间数据重复存储和加工，监控。1.4.3数据使用域 (一)确定数据展现维度 (二)确定数据展现形式根据不同的数据主题，确定数据的展现形式：GIS定位显示：根据工程施工行业的特点，可以支持GIS的地图显示度；数据展现需要控制用户访问权限，通过安全认证平台来控制用户的登录以通过数据库用户及权限管理来控制数据的访问。 (三)确定数据使用对象图4.5-1数据治理架构1.5数据治理规划方案 数据治理管控政策、数据治理流程、数据治理组织 数据标准制定、主数据规范、元数据管理和数据质1.5.1数据管控体系数据管控体系用于企业数据资产的统一管理、共享和使用，实现数据管理的规范化、标准化和安全可控，提高了企业数据管理的效率和能力，掌握企业内部数据流向，规范数据运维服务。数据管控体系包含四个方面的内容：1.5.1.1管控政策数据治理各领域的管理流程、组织架构与职责需要以制度的形式发布，使数据治理的各项工作有据可查，使其具有约束力，便于数据治理工作的开展和办法、数据生命周期管理办法和数据安全管理办法等。图4.5-2数据治理管控政策1.5.1.2组织架构据治理组织架构的设置目的在于：建立明确的集团公司数据治理组织架构与人员角色定义，明确某类数据的责任人，定义不同数据责任人的职责，对某负责。对数据治理工作给予大力支持。支持、确认数据治理相关的战略规划与政策，与业务部门、技术部门沟通确认数据治理的工作目标，通常每季度交流1至4战略层为数据治理管理委员会，由集团公司业务和IT部门主管领导组成，划，提供数据管理的战略指导，从战略层面解决管理问题，通常每季度交流1战术层为数据治理小组，由集团公司各部门业务与技术骨干构成，颁布数操作层为数据责任人，主要构成为集团公司系统业务和技术支持人员，来权(IT)。主要职能图4.5-3数据治理建议组织架构1.5.1.3管控流程在集团公司组织架构的基础之上，制定数据治理各领域的管理流程，规范化数据治理工作执行过程，指导数据治理参与人员的日常工作，流程的制定需要全面贯穿数据治理的参与角色，模块化数据治理工作单元，便于数据治理各管控流程的主要目的在于定义集团公司数据治理各个领域的工作方法和步在数据治理各个领域中的分工和协作关系。针对数据治理的每个管控领域提出相应的管理流程，并在此基础上形成集期管理流程和数据安全管理流程。图4.5-4数据治理建议的管控流程体系1.5.1.4技术支撑技术支撑是为支持集团公司数据治理相关人员的日常工作，开发或采购的相关技术工具，节省人工，提高效率。目的在于：提供一套数据管理的支撑系针对数据治理的每个管控领域提出相应的技术支撑建设要点，并在此基础上形成集团公司企业级数据治理平台。包括：数据标准管理平台、元数据管理数据生命周期管理平台和数据安全管理平台等。图4.5-5数据治理技术支撑1.5.2集团数据标准规划数据标准化是利于集团公司部门之间、集团公司部门和分子公司之间、分子公司之间进行数据交换、降低各个部门之间沟通解码的成本，提高数据的利用效率。数据标准化规范的执行需要信息管理部整体牵头、各部门和分子公司执行的工作，在这个过程中，信息管理部制定数据标准化规范规则，各部门和分子公司根据业务实际情况进行数据规范的整理工作，并且落实标准化规范，图4.5-6集团公司数据标准规划1.5.2.1集团数据层级基于数据元素，总体数据架构就分为三个层次：主数据、业务数据和分析图4.5-7集团公司数据物理架构这些数据需要在系统初始化的时候都要设置进系统，才能保证信息业务在运行图4.5-8集团公司主数据的类型务执行过程中产生和记录下来的数据，是各部门和岗位之间进行业务协作的纽图4.5-9集团公司业务数据的类型等进行展现，展现给不同的管理人员，为他们管控业务运行情况、进行战略决变成领导需要的决策支持信息，数据才能变成资产。这个过程就是对“元数据”1.5.2.2数据标准化目标如同样的一个物资，在业务系统中和在财务系统中的编码都不一样，结果就是业务中生成的单据没有办法推送到财务系统直接生产财务凭证。同一个含义名字不一样同一个中文名但英文名不一样同是地区编码有的用ID、CODE等同样为金额的字段类型不一样属性名称一样但类型不一样列名相同但含义不同字段长度远大于实际数据长度存在大量无效字段含义不同列名相同标准化。数据标准工作通过建立业务与IT之间的统一语言，提升数据在业务和技术上的一致性，有效加强业务的规范性，提升IT系统建设的效率，并有效加的落地实施。主要由三个方面的价值：提升整体业务效率进了信息共享，从而提升全联社整体的业务提升数据质量提升IT实施能力1.5.2.3数据标准化原则数据标准化应当遵循以下原则：协调性：充分借鉴吸收股份公司和集团公司业务标准化方面的已有成果，保持数据标准和业务标准的一致性。多属性信息，而是通过信息系统中的关系性数据进行联接。的需要，编码的具体工作可以提前于系统实施时间。紧密结合。1.5.2.4数据标准化的规范值体系，而应集中建立业务和IT上急需的标准规范，结合集团公司当前的现状应个方面考虑标准规范的建设：4.8.4.1数据库操作规范数据库设计与命名规范数据库设计与命名规范工作应遵循以下八项基本原则：义性原则：如果数据实体或属性/列的名称体现的内容或功能相因为可以为后续的查询及编程提供便利。是英文字母分段命名原则：命名中多个单词或单词缩写单采用下划线“_”分对象命名不能直接使用内部命令，但分段中可以使用。如USER不能直接用于表名、列名等，但是数据表的设计：➢可以不满足第三范式；➢对于必要的“冗余”列，如客户名称，应有相应的程序保持各键的设计：➢所有的键都必须唯一；避免使用复合键；➢使用系统生成的主键；用用户可编辑的字段做为键。视图的设计：➢为了进行复杂处理、提高运算速度和节省存储空间，视图的定义深度最多两层；➢视图名称必须遵循标识符的规则，且对每个用户必须为唯一。此外，该名称不得与该用户拥有的任何表的名称相同；➢不要使用物化视图；➢对于安全性要求较高的系统，视图的作用更加重要。可根据实索引的设计：➢索引由DBA来创建和维护；➢尽量避免索引大型字段，否则会使索引占用太多的存储空间；➢不要索引常用的小型表；➢选择唯一性索引；➢为经常需要排序、分组和联合操作的字段建立索引；➢为常作为查询条件的字段建立索引；➢尽量使用数据量少的索引；➢尽量使用前缀来索引；再使用或者很少使用的索引。4.8.4.2业务数据标准体系集团公司业务数据标准规范如下所示：1.5.2.5数据标准化示例数据标准维度图4.5-12数据标准维度指标属性说明指标属指标属性简要说明指标名称指标的中文名称指标分类指标所属的类别指标业务含义指标的业务含义及使用场景指标维度指标的分析维度，如机构、项目等指标统计口径指标的统计口径指标计算公式指标的计算公式以及详细计算方法指标数据来源指标的数据来源可以是报表或者信息系统指标责任部门负责指标设置和维护的部门指标访问权限指标访问控制权限定义数据格式业务属性数据标准定义内容标准中文名称标准英文名称标准来源业务定义图4.5-13数据格式填写说明数据项的业务名称，是业务上用以唯一识别的内容，易于被业务人员理解和识别数据项的英文名称，通常是用于数据字典中数据项的名称，名称中应该去除所有的空格标准来源是描述该信息项所依赖的标准来源对数据项业务定义的详细描述，不应超过500字，不应有循环引用或直接用系统名称进行定义。业务定义应基于创建这一数据的业务流程背景进行描述，对定义的描述应该精准、细致，数据标准定义内容业务规则取值范围技术属性数据标准定义内容数据类型数据格式代码编码规则填写说明以利于其他使用该数据项的人员理解该数据项定义的相关逻辑，用于描述数据项相关业务行为的政策，以及政策约束发生作用的场景。包括可允许的例外、例外条件、业务场景等。每项规则都应有实际含义、可重复、可执数据项可接受的值域范围或取值示例。与其他标准的交及引用也应在此处列示，还包括列示数据项的默认取值。填写说明是指根据信息项的业务定义、业务规则和常见表现形式定义数据标准项所采用的数据类别。标准项所涉及数据类别包括编码类、代码类、指示器类、文本类、金额类、数值类、百分比数据格式是描述该数据标准项的数据字段在精度、长度、形态上的定义。例如：-YYYY-MM-DD日期格式，表示年月日代码编码规则描述是用于描述代码类标准项所采用的编码规对于数据格式是代码类的数据标准项，还需针对代码值、代码编码规则、代码名称、代码值含义等进行详细规定，形成可供数据标准定义内容填写说明量清单即代码表。管理属性填写说填写说明数据定义部门是指对该数据标准项拥有最终业务解释权的集团公司组织机构，该部门负责对相关标准的业务属性、技术属性、数据标准间的关联等进行定义、变更、复审和检查工作，承担数据认责体系中相应的数据管理职责。权威系统是指在信息来源于多系统的情形下，为保证信息使用的一致性和准确性，数据标准还需定义业务认定各标准项的权威来源系统，即当各系统有相应数据项，但数据内容不一致时，应以该权威系统的数据项结果为准。数据标准定义内容数据定义部门权威系统1.5.3主数据体系规划企业主数据(MasterData)是用来描述企业核心业务实体的数据，比如客管理要做的就是从企业外部和企业的多个业务系统中采集和整合最核心的、最需要共享的数据(主数据)，集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全企业范围内需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支主数据管理使得企业能够集中化管理数据，在分散的系统间保证主数据的IT角度，主数据管理可以增强IT结构的灵活性，构建覆盖整个企业范围内的数据管理基础和相应规范，并且更灵活地适应企业业务需求的1.5.3.1主数据的类型图4.5-14主数据的类型1.5.3.2主数据管理体系规划主数据管理是信息管理的基础和关键，在数据整体架构基础上，需要构建主数据管理平台，已解决集团主数据标准化和规范化的问题，确保后续各应用系统之间的数据可以实现共享，并且减少将来各个系统开发是主数据重新构建 (1)集团公司层面统一对主数据的编码进行管理，建立主数据的编码规图4.5-15主数据管理平台 (2)集团公司层面统一确定主数据平台建设方案：描述描述互，如消息服务、发布和订阅服资料库的主数据功能模块务服务描述描述功能模块1.5.4元数据体系规划元数据是关于数据的数据，在某些时候不特指某个单独的数据，可以理解为是一组用来描述数据的信息组/数据组，该信息组/数据组中的一切数据、信元数据可以为数据说明其元素或属性(名称、大小、数据类型等)，或其结构(长度、字段、数据列)，或其相关数据(位于何处、如何联系、拥有者)。提供异源元数据的检核机制和元数据的版本管理机制，保证不同形态提供数据变更的影响分析，保证数据在加工过程中的一致性。1.5.4.1确定数据元素数据元素是数据架构的最基本单元，电气化集团按照股份公司的数据分类进行管理，集团下属单位在进行数据架构设计时按照该分类标准执行。图4.5-16数据元素 (一)核心数据：属单位来说：1)人员数据于信息系统准入要求，人员信息还会关联系统用户信息，也就是可以使用系统的人员。人员关联的职位信息是和机构信息中的岗位信息关联的，岗位的职责就决定了人员在信息系统中的数据方位权限和功能访问权限，是系统和数据安同时，在人的数据架构设计时，还要考虑不同业务组织之间人与人之间的业务协作关系或者业务汇报关系，这样在数据架构设计时可以自动完成数据访2)机构数据织架构，在系统中反映的是业务的汇报关系，包含三层信息：第一层是组织信也可是集团下属的各独立法人单位；第二层是部门信息，是属于组织中的业务织类型、利润中心、成本中心等类型，是进行财务核算和业务开展范围判断的依据；第三层是岗位信息，是具体执行业务操作的层级，是和业务及数据操作权限相关联的一个层级，比如采购经理、采购员等都是具体的岗位，在系统中机构是数据的容器和数据隔离的基本单元，架构核心数据描述的是企业实际形态的组织架构和虚拟形态的业务汇报关系，反映的是数据查看的范围和操作的权限。机构数据是一个层次化的数据，也就是说一个机构会有下属机构和。机构数据静态主数据，是不随业务执行过程而改变的，除了调整组织结构据则数据没有载体，同时也不能实现对数据和业务处理过程的各个环节的处理织、部门和岗位的层级关系数据结构。3)项目数据项目完成就关闭该项目，相应的数据也进行了封存。项目数据是一个比较广泛的层面的数据，根据项目的规模，项目由可以分为子项目，子项目甚至还可以分为子项目，所以项目数据应该是一个可以层次化管理的数据。子项目实际上。项目数据示意：项目编码、项目自然属性信息(可以默认为项目合同中包含的数字化的信息)、父项目编码等。 (二)人员衍生数据人员衍生数据以人员为视角，可以查看人员相关的数据，包括人员的薪酬人员管理不只是人力资源管理系统的信息，他是需要和业务系统建立管理工作业排班信息等。建立人员全方位的信息视图。图4.5-17人员数据示意图 (三)机构衍生数据机构数据的展现方式体现是公司的管理方式，在进行数据架构设计时，需要考虑对每个机构的定位，包括利润中心和成本中心的确定，这样可以把机构确定为一个独立核算的单元。机构可以是集团下属的业务单位，也可以是业务单位下属的部门，或者是项目公司、或者是项目公司下属的工段，也可以是生产作业单元(车架)或班组，根据管理的要求不同，需要在机构设置时作为独立在数据架构设计的时候就可以此为单位进行核算。机构维度的数据架构设计应该是按照最低的层级进行设计，然后逐层向上按照项目进行合并，既要能体现出上一层级的数据全貌，也要能看到下一层极机构维度数据架构的设计需要从最小单元的“人财物、料工费”维度进行中心的要求核算分项成本和总体利润。图4.5-18机构数据示意图 (四)项目衍生数据项目衍生数据以项目为维度进行数据的架构的设计是对项目整个生命周期息的集成，是业务运营另外一个维度的数据架构方式。按照项目维度组织数据也分为几个方面：第一，按照项目的过程进行数据架构设计：项目启动数据架构、项目计划数据架构、项目执行过程统计数据架构、项目完成验收就评估数据架构；这其第二，按照项目的业务领域进行数据架构设计：项目人员数据架构、项目图4.5-19项目数据示意图1.5.4.2确定数据结构人员数据图4.5-20人员数据机构数据：图4.5-22项目数据图4.5-21机构数据项目数据：图4.5-23工程项目数据1.5.4.3数据变更处理充1.5.5数据质量管理规划1.5.5.1数据质量管理策略预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。数据质量管理策略如下：数据质量管理关键点：制定规范的数据质量度量标准。建立有效的数据质量监管体系。建立完善的数据质量管理制度。数据质量管理模型：可以生成一份详尽的反映数据质量问题各类量化指标的数据质量的完整性、数据采集的一致性、数据入库的准确率。1.5.5.2数据质量管理常态化数据质量常态化管理分两类：对各部门数据质量问题进行计分考核，将考核结果纳入年终总体考核中，以保证数据质量问题整改的效果。一类是对新建系统的数据资产质量管理，对新建系统的设计文档进行。1.6数据共享中心规划方案对数据资产的使用是将来集团公司信息化建设的重点，使数据可以对各个图4.6-1决策支持体系根据数据架构规划，将来要形成对集团所有数据的集中管理和共享，需要术架构如下图所示。图4.6-2数据共享中心析主题，提供不同的用户进行使用，实现数据的共享；业务系统数据的安全；对于使用的股份公司层面的人力资源系统的数据，根据股份提供的接口抽取集团范围内的数据，然后进行集成和共享。1.7统一平台数据接口设计实现统一用户认证和单点登录，以及实现股份同集团之间的数据交换，这些数据的交换都会涉及到数据接口的设计和管理，也需要建立一套标准化的规范，1.7.1集成数据流图数据流图反映的是核心业务流程的数据在应用系统中是如何使用的，通常只标识主数据或一、二级主题域。集团公司数据流转要基于应用架构的划分来的流转关系，为应用集成提供支持。图4.7-1集成数据流图应用系统之间通过企业服务总线统一管理接口进行数据交换；决策支持系统通过数据共享中心直接抽取应用系统数据库中的数据；集团综合信息共享平台和应用系统之间通过注册和接口的方式交换数据：主要交互的数据包括用户数据、认证数据和部分应用数据；股份公司一体化技术平台和集团公司综合信息共享平台通过接口交换数据，包括用户接口、认证接口和业务数据接口。1.7.2端到端的数据通信机制端到端指得是建立电气化局集团端到最终项目、人员执行端的信息贯通：足业主需求一端结束，形成了项目执行的闭环；从人员层面来说，从人员获取一端开始到人员创造价值完成工作任务实现业务价值开始，形成了人员创造价值的闭环；从机构层面来说，从机构承接任务一端开始到机构完成任务交付一端结束，形成了机构业根据股份公司集团管控的要求，建立数据的汇报关系和数据交换关系。在数据架构设计时务必要根据数据汇报关系进行数据结构的设计，同时根据横向图4.7-2端到端的数据通信模式 (一)数据纵向贯通：下级单位数据向上汇集作为支撑，上级单位数据向 (二)数据横向隔离：单位数据不能直接横向沟通，保证数据流向的规范1.7.3数据接口设计原则段，制定严格的安全可靠的管理措施；开放性原则:提供开放式标准接口，提供与其他系统的互联互通；口的变动；的提高；方便的管理方式以及处理各种情况；1.7.4统一平台接口规范统一平台和应用系统之间的接口数据包括：人员数据、组织数据、岗位数 (一)总的命名规范重名的例如部门简写的第一位改成全拼，再有重名第二位改成全拼。 (二)接口命名规则和类型以下命名规则：Yonghu+功能汉语拼音首字母大写(四位)：比如根据用户ID查询用oumu (三)接口列表数的所有岗位组列表，应用在注册位组，以及能使