国网电力-大数据平台元数据和数据模型管理功能

信息化项目可研报告信息化项目可行性研究报告项目名称：国网电力-大数据平台元数据和数据模型管理功能-实施项目编制单位：信息化项目可研报告 4 4 82建设现状 93项目需求分析 4.1项目目标及范围 4.2项目建设内容 4.4项目实施计划 5经济性和财务合规性 25 267主要设备材料清册 267.1编制说明 7.2主要设备材料表 27 8.2编制原则和依据 信息化项目可研报告8.3投资分析 8.4估算表及附件 表-1 表-2 表-3 表-4 表-5 表-6 表-7 表-8 表-9 信息化项目可研报告本项目是业务应用系统建设类新建项目。该项目主要是基于国网公司企业统一云平台和统一数据库完成数据管理组件（包括元数据管理和数据模型管理）的部署实施工作，包括元数据管理和数据模型管理功能的实施、全业务数据中心元数据信息梳理、SG-CIM3.0逻辑模型信息梳理、数据的收集整理及接入校验、系统测试部署及上线支持等。从而实现基于大数据平台的数据资源的集中可视化管理，为大数据管理提供常态化的信息化支撑手段。(1)《国家电网公司“十三五”信息化规划》(2)《国网省电力公司“十三五”信息化规划》(3)《国家电网智能化规划总报告》(4)《国家电网公司关于印发公司全业务统一数据中心建(5)《国网省电力公司大云物移行动计划》信息化项目可研报告(6)《国家电网公司数据中心典型设计》(7)《国家电网公司公共数据模型(SG-CIM)典型设计》(8)《国网大数据技术架构及应用规范》本项目在实施过程中将遵循如下原则：（1）统一性原则项目遵循四统一原则，即统一领导、统一规划、统一标准、统一建设的原则。在按照公司全业务统一数据中心整体规划的指导下进行，符合公司整体要求。（2）先进性原则选用可控、可靠、成熟、实用的技术，有效支撑全业务统一数据中心的试点建设工作，确保平台架构设计先进性、技术路线先进性、测试技术先进性以及组件选择先进性。（3）安全、可靠性原则信息化项目可研报告充分考虑系统的安全防护、容错能力和抗干扰能力，保证系统长期稳定、安全、可靠、高效地运行。（4）实用性原则从企业数据治理和数据管理角度出发，充分考虑数据规划、数据开发、数据应用、数据管理等用户的个性化需求，提供精而专的管理工具，操作便捷实用，功能完善，界面友（5）可扩展性原则符合国际及国家通用标准，具备良好的开放性和可移植性。采用标准开放平台接口，支持与其它系统的数据交换和共享，便于维护、扩展和互联。（6）资源复用原则建设过程将充分考虑到已有软硬件设备设施，尽可能继承和复用有价值的软硬件资源和数据资源，避免资源浪费，信息化项目可研报告随着国网全业务统一数据中心的建设，全业务统一数据中心已汇集调控、生产、营销、企业经营管理等主要业务领域共40套系统业务数据，存储数据总量440.92T，数据模型共41444个，日运行工作任务50809个。数据作为企业重要资产管理的需求将日益增多，数据资产将被广泛应用于各类预测分析应用、企业管理应用以及各业务合规性监管应用中。现有的数据管理工具和管理模式已无法满足企业数据资产管理的需要，数据治理和管理工具的缺失是导致数据无序增长、元数据管理混乱等问题。以至于决策者不能知晓资产概况、管理者不能知晓数据资产的健康度、运维者不能知晓数据资产关系，无法实现数据到数据资根据《国家电网公司关于印发公司全业务统一数据中心信息化项目可研报告务数据中心数据模型管理支撑功能的要求，需要配套实施大数据平台元数据及数据模型管理组件，对全业务统一数据中心元数据和数据模型进行可视化集中管理。因此，部署实施大数据平台元数据和数据管理管理组件，进行全业务统一数据中心数据模型有效、高效、透明化的管理，有利于巩固全业务统一数据中心建设成果，促进全业务数据形成有价值的部署实施大数据平台元数据和数据模型管理组件，可以进一步加强公司全业务数据管理效果，企业数据加快转变为企业的数据资产，降低企业数据使用成本，驱动数据业务应用的高速迭代，提高数据应用水平，具体体现如下：（1）统一元数据管理方面，在全业务统一数据中心建设成果的基础上，部署实施元模型管理工具，支撑全面厘清公司数据资产，及时、清晰、准确地描述公司数据资产信息，信息化项目可研报告对公司数据资产进行的定义、梳理、整合各级各类数据资源，建立以元数据为基础的数据资产管理体系，实现全企业的信息地图，从而更加有效的发掘和利用、数据资产的价值，实现精准高效的分析和决策。(2)统一数据模型管理方面，通过数据模型管理的部署实施，在概念层、逻辑层和物理层均实现统一管理，进一步促进公司全业务数据的规范化、综合化管理，有助于提升数据的整体性和完整性，提升企业数据的质量，对数据的深度挖掘，尤其是电力大数据应用的深度开展起到了关键的作随着国网公司“十三五”信息化全业务统一数据中心建设的开展，全业务统一数据中心已有效汇集了PMS2.0、ERP、营销等40套系统业务数据，存储数据总量440.92T，覆盖了公司调控、生产、营销、企业经营管理等主要业务领域，基本满足各部门（跨专业）的数据共享与应用需求，已具备全业务数据统一存储、管理与分析的能力。但是对于全信息化项目可研报告业务统一数据中心数据模型管理的支撑工具却是空白。全业务统一数据中心元数据分散在大数据平台各种组件中，未形成元数据的全生命周期的有效管理，导致决策者不能知晓数据资源概况，管理者不能知晓数据资源健康运行状态，使用者不能知晓数据资源的来龙去脉。全业务统一数据中心数据模型设计成果基本没有进行信息化地管理，现阶段模型的设计和合并依靠人肉进行，没有可视化的直观的展示方式，逻辑模型和物理模型脱离，对于模型的遵从度和应用情况难以检查。此外，由于业务迭代快速，逻辑模型的设计变更和物理模型的变更没有一个比较好的监测管控手段，导致大数据平台中的数据物理模型被动（1）需要元数据管理功能为全面厘清公司数据资产，及时、清晰、准确地描述公司数据资产信息，有效管理业务、数据和逻辑的相关性，提升公司数据资产服务能力。需要部署实施元数据管理工具，实现元数据的统一存储和集中管理、数据关系探索和转换规信息化项目可研报告则管理等功能，帮助用户实现数据资产的快速识别定位及高效有序管理和智能便捷应用，全面提升公司数据资产价值。（2）需要数据模型在线可视化管理功能公司“大云物移”相关应用发展迅猛，数据模型设计迭代更新周期缩短，为支撑企业全业务统一数据中心数据模型的设计与管理，需要部署实施数据模型管理工具，实现在线关系维护功能，完成进行逻辑模型与物理模型的映射关系管理与查询，实现纳管模型直观的监测，为数据模型的快速迭（1）性能与可靠性各类工具系统或组件应不受用户数量限制，按需分配;系统最大在线用户数预计将超过100个;系统所需储存空间需求将达100GB;信息化项目可研报告每个工具业务处理能力和吞吐量不小于100TPS；响应时间要求小于500ms;网络带宽需求：系统并发用户数在设计要求范围内时，系统网络带宽平均利用率不得超过60%;可靠性：支持7*24小时连续运行，同时具有良好容错（2）信息安全依据《关于信息安全等级保护建设的实施指导意见》和据业务信息安全保护等级分析和系统服务安全保护等级分析，对企业级云服务平台受到破坏后的侵害程度进行分析，系统安全标准参照两级等级保护要求。(3)系统灾备设计本系统灾备设计从应用、数据存储设计及备份方面考虑：应用平台采用分布式集群设计；数据存储通过分布式文信息化项目可研报告可靠性；对用户数据和系统通过备份系统进行数据备份。除上述非功能性需求内容外，其他非功能性需求相关内容将严格按照《国家电网公司信息系统非功能性需求规范4.1.1预期目标本项目的建设目标是完成大数据平台元数据和数据模型管理组件的实施及全业务数据中心元数据信息和SG-CIM3.0逻辑模型信息的梳理、整理、接入、测试、校验及用户培训和上线支持等工作，确保元数据和数据模型管理组件作为全业务统一数据中心管理域的组成部分为数据模4.1.2项目范围本项目的建设范围是实施大数据平台元数据和数据模型管理功能，管理的对象包括浙电全业务统一数据中心分析本项目用户覆盖国网省电力公司及11个地市供电公司、信息化项目可研报告本项目时间范围：合同签订之日起五个月。4.2项目建设内容（1）功能模块实施完成元数据和数据模型管理功能的实施，要求元数据管理具备元数据采集、元模型管理、元数据查询及元数据服务功能，数据模型管理具备首页（数据模型综合统计）、数据模型采集、模型映射关系管理及数据模型查询功能。集，采集任务配置调度及日志记录和管理。元数据管理功能包括元模型新增、修改、删除，元模型元数据查询主要提供导航树对元数据分类查询。元数据服务为数据模型管理工具提供元数据服务restful接口，并支持数据服务接口的查询。信息化项目可研报告数据模型首页（模型综合统计）对公司数据模型进行综合统计分析，可视化展现SG-CIM模型、数仓模型和物理模型的数量、落地情况等信息。数据模型查询包括SG-CIM模型可视化查询、数仓模型可视化查询、物理模型查询及模型检索功能。模型映射关系管理支持逻辑模型与物理模型的映射关系以excel模板方式批量导入，线上配置及关系查询。数据模型采集支持EA模型文件中SG-CIM模型、数仓模型导入和导出，并集成元数据管理工具中ODPS物理模型采集任务，进行物理模型采集。实施的具体功能清单如下表：理信息化项目可研报告询理护图图入信息化项目可研报告集（2）全业务数据中心元数据梳理全业务数据中心元数据信息梳理，包括业务信息、技术信息、数据项信息和运行信息。业务信息主要包括模型的描述及类别，技术信息主要是使用状态和唯一性规则，数据项信息主要是数据项顺序及描述，运行信息主要是模型的更新（3）SG-CIM3.0逻辑数据模型信息梳理和类信息的获取，主要包括类之间的关系、类基本信息、类基本属性信息及关联物理信息。信息化项目可研报告（4）数据整理和接入整理全业务数据中心元数据和SG-CIM3.0逻辑数据模型梳理成果，按照元数据和数据模型功能要求完成数据的清洗、加工、处理以及数据的接入。（5）系统测试及数据校验完成系统功能的测试，包括业务功能需求和非功能性需求的测试。并进行系统初始化数据和系统配置校验，确保各项功能运行的效率及准确性。（6）系统部署上线及支持完成元数据和数据模型管理功能的部署上线，编制用户使用手册，进行用户使用培训，并完成用户收集、权限分配4.3.1业务架构信息化项目可研报告大数据平台元数据和数据模型管理主要实现对全业务统一数据中心数据模型管理的支撑功能。其中系统管理主要实现用户、权限、角色、菜单等的配置及工作流、任务的调元数据的采集、管理、查询及共享服务。数据模型管理主要实现数据模型信息的采集、逻辑与物理模型关系的维护，以和查询。应用主要进行管理对象的搜索和统计分析。业务架构图如下：信息化项目可研报告元数据和数据模型管理业务架构4.3.2技术架构本项目从整体技术架构视角出发，从下至上将元数据和展现层和接口。技术架构图如下：元数据和数据模型管理技术架构存储层为最底层，主要采用MySQL数据库，用于数据存取。数据连接层采用JDBC的方式进行数据连接。持久层主要采用MyBatis确保数据的持久存储。应用层主要为各业信息化项目可研报告架构，向下调用各功能接口实现管理域技术的对接，对上为PC端提供数据展现。接口主要采用WebService及本项目的应用开发和运行主要基于企业统一云服务平台和企业统一数据库实现技术承载，其相应的技术架构如下：企业统一云服务平台技术架构图在网络组成上：基于公司云服务平台的统一网络承载。信息化项目可研报告在基础资源上：本项目基于企业统一云服务平台和企业统一数据库的基础资源实现，包括服务器、存储、网络和平台化软件资源等软硬件资源，均按照云计算技术要求统一承在数据服务上：本项目基于企业统一数据库的存储服2务，实现数据的采集、清洗、处理与统计分析，不再另外增在集成服务上：本项目基于企业统一云服务平台，采用JAVA语言完成应用开发、应用集成和公共组件集成，涉及云平台公共组件只包括统一权限。本项目的应用架构采用桌面应用的模式，同时实现与企业统一云平台相关公共技术组件的集成。信息化项目可研报告在访问渠道上：本项目主要通过企业门户实现访问。4.3.3数据架构本项目元数据和数据模型管理数据源主要为EA文件和OPDS元数据，数据源数据主要通过实施的采集接口适配器进行数据的采集，采集到的数据传递给应用层进行数据处理，数据处理主要将采集到EA文件数据和ODPS元数据交给对应功能模块进行加工、存储和展现。本项目SG-CIM模用户数据及系统运行数据等使用关系数据库MySQL进行存储。整体数据架构如下图所示：4.4项目实施计划4.4.1项目环境承担本项目的国网省电力公司信息通信分公司有丰富的运行管理经验，有着丰富的信息系统建设经验，有一支很强的生产专业管理的队伍，对电网信息化管理提供了有力的4.4.2项目人员司司司司司人上上上序号123454.4.3项目进度实施元数据和数据模型管理功能：完成元数据采集、元模型管理、元数据查询、元数据服务、首页（数据模型全业务数据中心元数据信息梳理：制定元数据信息梳理方案，进行业务信息、技术信息、数据项信息和运行信SG-CIM3.0逻辑数据模型信息梳理：制定EA信方案，完成类之间的关系、类基本信息、类基本属性信数据整理和接入：按照元数据和数据模型功能要求进行系统功能测试及数据校验：制定系统功能测试及数据校验方案，完成系统功能的测试，包括业务功能需求和非系统部署上线及支持：完成元数据和数据模型管理功能的部署上线，编制用户使用手册，进行用户使用培训，第一个月至第三个月第三个月第四个月至第五个月第二个月第二个月第六个月425.2该信息化项目总投资259.03万元，可抵扣的增值信息化项目可研报告文件，主要包括系统元数据和数据模型管理功能实施，信息梳理，数据整理和接入、系统测试及数据校验、系统部署上线及支持、项目管理费等。5.3本项目基于国网公司企业统一云平台和统一数据库完成元数据和数据模型管理功能的实施。预期完成实施的功能点包括：元数据采集、元模型管理、元数据查询、元数据服务、首页（数据模型综合统计）、数据模型采集、模型映射关系管理及数据模型查询功能共八