国网电力-大数据平台元数据和数据模型管理功能

1、信息化项目可研报告信息化项目可行性研究报告项目名称 国网电力-大数据平台元数据和数据模型管理 功能-实施项目编制单位:目录1蜒51.1 主要依据51.2 主要原则51.3 必要性分析7U效益分析82建设现状93项目需求分析10头1业务功能需求10经非功能性需求104建设方案124.1项目目标及范围12型项目建设内容12”技术方案16四项目实施计划205经济性和财务合规性216软硬件设计22Z主要设备材料清册227.1 编制说明227.2 主要设备材料表228投资估算书228.1 概述228.2 编制原则和依据238.3 投资分析238.4 估算表及附件23附录25表-125表-226表-327

2、表-428表-529表-630表-731表-832表-9331总论本项目是业务应用系统建设类新建项目。该项目主要是基于国网公司企业统一云平台和统一数 据库完成数据管理组件(包括元数据管理和数据模型管理) 的部署实施工作，包括元数据管理和数据模型管理功能的实 施、全业务数据中心元数据信息梳理、SG-CIM3.0逻辑模型 信息梳理、数据的收集整理及接入校验、系统测试部署及上 线支持等。从而实现基于大数据平台的数据资源的集中可视 化管理，为大数据管理提供常态化的信息化支撑手段。11主要依据Q)国家电网公司十三五信息化规划(2)国网省电力公司十三五信息化规划(3)国家电网智能化规划总报告(4)国家电网

3、公司关于印发公司全业务统一数据中心建 设方案的通知(国家电网信通2016 509号)(5)国网省电力公司大云物移行动计划(6)国家电网公司数据中心典型设计(7)国家电网公司公共数据模型(SG-CIM)典型设计(8)国网大数据技术架构及应用规范L2主要原则本项目在实施过程中将遵循如下原则：(1 )统一性原则项目遵循四统一原则，即统一领导、统一规划、统一标 准、统一建设的原则。在按照公司全业务统一数据中心整体 规划的指导下进行，符合公司整体要求。(2 )先进性原则选用可控、可靠、成熟、实用的技术，有效支撑全业务 统一数据中心的试点建设工作，确保平台架构设计先进性、 技术路线先进性、测试技术先进性以

4、及组件选择先进性。(3 )安全、可靠性原则充分考虑系统的安全防护、容错能力和抗干扰能力，保证系统长期稳定、安全、可靠、高效地运行。(4)实用性原则从企业数据治理和数据管理角度出发，充分考虑数据规 划、数据开发、数据应用、数据管理等用户的个性化需求, 提供精而专的管理工具，操作便捷实用，功能完善，界面友 好。(5 )可扩展性原则符合国际及国家通用标准，具备良好的开放性和可移植 性。采用标准开放平台接口，支持与其它系统的数据交换和 共享，便于维护、扩展和互联。(6)资源复用原则建设过程将充分考虑到已有软硬件设备设施，尽可能继 承和复用有价值的软硬件资源和数据资源，避免资源浪费， 重复投资。L3必要

5、性分析随着国网全业务统一数据中心的建设，全业务统一数据 中心已汇集调控、生产、营销、企业经营管理等主要业务领 域共40套系统业务数据，存储数据总量440.92T ,数据模 型共41444个，日运行工作任务50809个。数据作为企业重要资产管理的需求将日益增多，数据资 产将被广泛应用于各类预测分析应用、企业管理应用以及各 业务合规性监管应用中。现有的数据管理工具和管理模式已 无法满足企业数据资产管理的需要，数据治理和管理工具的 缺失是导致数据无序增长、元数据管理混乱等问题。以至于 决策者不能知晓资产概况、管理者不能知晓数据资产的健康 度、运维者不能知晓数据资产关系，无法实现数据到数据资 产的转变

6、。根据国家电网公司关于印发公司全业务统一数据中心 建设方案的通知(国家电网信通(2016) 509号)对全业务数据中心数据模型管理支撑功能的要求，需要配套实施大 数据平台元数据及数据模型管理组件，对全业务统一数据中 心元数据和数据模型进行可视化集中管理。因此，部署实施 大数据平台元数据和数据管理管理组件，进行全业务统一数 据中心数据模型有效、高效、透明化的管理，有利于巩固全 业务统一数据中心建设成果，促进全业务数据形成有价值的 数据资产。L4效益分析部署实施大数据平台元数据和数据模型管理组件，可以 进一步加强公司全业务数据管理效果，企业数据加快转变为 企业的数据资产，降低企业数据使用成本，驱动

7、数据业务应 用的高速迭代，提高数据应用水平，具体体现如下：(1 )统一元数据管理方面，在全业务统一数据中心建 设成果的基础上，部署实施元模型管理工具，支撑全面厘清 公司数据资产，及时、清晰、准确地描述公司数据资产信息,对公司数据资产进行的定义、梳理、整合各级各类数据资源, 建立以元数据为基础的数据资产管理体系，实现全企业的信 息地图，从而更加有效的发掘和利用、数据资产的价值，实 现精准高效的分析和决策。(2)统一数据模型管理方面，通过数据模型管理的部 署实施，在概念层、逻辑层和物理层均实现统一管理，进一 步促进公司全业务数据的规范化、综合化管理，有助于提升 数据的整体性和完整性，提升企业数据的

8、质量，对数据的深 度挖掘，尤其是电力大数据应用的深度开展起到了关键的作 用。2建设现状随着国网公司十三五信息化全业务统一数据中心建 设的开展，全业务统一数据中心已有效汇集了 PMS2.0. ERP、营销等40套系统业务数据，存储数据总量440.92T , 覆盖了公司调控、生产、营销、企业经营管理等主要业务领 域，基本满足各部门(跨专业)的数据共享与应用需求，已 具备全业务数据统一存储、管理与分析的能力。但是对于全业务统一数据中心数据模型管理的支撑工具却是空白。全业务统一数据中心元数据分散在大数据平台各种组 件中，未形成元数据的全生命周期的有效管理，导致决策者 不能知晓数据资源概况，管理者不能知

9、晓数据资源健康运行 状态，使用者不能知晓数据资源的来龙去脉。全业务统一数据中心数据模型设计成果基本没有进行 信息化地管理，现阶段模型的设计和合并依靠人肉进行，没 有可视化的直观的展示方式，逻辑模型和物理模型脱离，对 于模型的遵从度和应用情况难以检查。此外，由于业务迭代 快速，逻辑模型的设计变更和物理模型的变更没有一个比较 好的监测管控手段，导致大数据平台中的数据物理模型被动 随着业务调整。3项目需求分析3.1 业务功能需求(1 )需要元数据管理功能为全面厘清公司数据资产，及时、清晰、准确地描述公司数据资产信息，有效管理业务、数据和逻辑的相关性，提 升公司数据资产服务能力。需要部署实施元数据管理

10、工具， 实现元数据的统一存储和集中管理、数据关系探索和转换规 则管理等功能，帮助用户实现数据资产的快速识别定位及高 效有序管理和智能便捷应用，全面提升公司数据资产价值。(2)需要数据模型在线可视化管理功能公司大云物移相关应用发展迅猛，数据模型设计迭 代更新周期缩短，为支撑企业全业务统一数据中心数据模型 的设计与管理，需要部署实施数据模型管理工具，实现在线 的、EA风格的数据数据模型图展现，并利用元数据提供的 关系维护功能，完成进行逻辑模型与物理模型的映射关系管 理与查询，实现纳管模型直观的监测，为数据模型的快速迭 代提供支撑。3.2 非功能性需求(1)性能与可靠性各类工具系统或组件应不受用户数

11、量限制，按需分配；系统最大在线用户数预计将超过100个；系统所需储存空间需求将达100GB;每个工具业务处理能力和吞吐量不小于100TPS ;响应时间要求小于500ms;网络带宽需求：系统并发用户数在设计要求范围内时, 系统网络带宽平均利用率不得超过60%;可靠性：支持7*24小时连续运行，同时具有良好容错 能力。(2)信息安全依据关于信息安全等级保护建设的实施指导意见和 国家电网公司信息化SG186工程安全防护总体方案,根 据业务信息安全保护等级分析和系统服务安全保护等级分 析，对企业级云服务平台受到破坏后的侵害程度进行分析， 系统安全标准参照两级等级保护要求。(3)系统灾备设计本系统灾备设

12、计从应用、数据存储设计及备份方面考 虑：应用平台采用分布式集群设计；数据存储通过分布式文件系统及分布式数据库集群方式结合（一式三份），实现高可靠性；对用户数据和系统通过备份系统进行数据备份。除上述非功能性需求内容外，其他非功能性需求相关内 容将严格按照国家电网公司信息系统非功能性需求规范 （试行）执行，在系统后续设计、建设过程中逐步完善。4.1 项目目标及范围4.1.1 预期目标本项目的建设目标是完成大数据平台元数据和数据模 型管理组件的实施及全业务数据中心元数据信息和 SG-CIM3.0逻辑模型信息的梳理、整理、接入、测试、校验 及用户培训和上线支持等工作，确保元数据和数据模型管理 组件作为

13、全业务统一数据中心管理域的组成部分为数据模 型管理提供支撑。4.L2项目范围本项目的建设范围是实施大数据平台元数据和数据模 型管理功能，管理的对象包括浙电全业务统一数据中心分析 域元数据、数据模型、EA模型文件及SG-CIM3.0逻辑模型。本项目用户覆盖国网省电力公司及11个地市供电公司、64个县供电公司及17家直属单位。本项目时间范围：合同签订之日起五个月。4.2 项目建设内容(1 )功能模块实施完成元数据和数据模型管理功能的实施，要求元数据管 理具备元数据采集、元模型管理、元数据查询及元数据服务 功能，数据模型管理具备首页(数据模型综合统计)、数据 模型采集、模型映射关系管理及数据模型查询

14、功能。元数据采集功能包括EA模型文件、ODPS数据模型采 集，采集任务配置调度及日志记录和管理。元数据管理功能包括元模型新增、修改、删除，元模型 关联关系在线维护。元数据查询主要提供导航树对元数据分类查询。元数据服务为数据模型管理工具提供元数据服务restful接口，并支持数据服务接口的查询。数据模型首页（模型综合统计）对公司数据模型进行综 合统计分析，可视化展现SG-CIM模型、数仓模型和物理模 型的数量、落地情况等信息。数据模型查询包括SG-CIM模型可视化查询、数仓模型 可视化查询、物理模型查询及模型检索功能。模型映射关系管理支持逻辑模型与物理模型的映射关 系以excel模板方式批量导入

15、,线上配置及关系查询。数据模型采集支持EA模型文件中SG-CIM模型、数仓 模型导入和导出，并集成元数据管理工具中ODPS物理模型 采集任务，进行物理模型采集。实施的具体功能清单如下表：模块功能点功能功能描述元数据管 理元数据采集适配器开发开发EA模型文件、ODPS数据 模型采集适配器元数据采集任务配置EA模型文件、ODPS数据模型 采集任务配置和调度采集日志管理采集日志记录元模型管理元模型查询对元模型进行查询元模型维护对元模型进行新增、修改、删 除等操作关系维护元模型之间的关联关系进行维 护元数据查询元数据查询提供导航树对元数据分类查询元数据服务兀数据服务接口开发为数据模型管理工具提供元数

16、据服务接口数据服务查询数据服务接口查询数据模型WS首页数据模型综合统计对公司数据模型进行综合统计 分析，可视化展现SG-CIM模 型、数仓模型和物理模型的数 量、落地情况等信息。数据模型查 询SG-CIM模型可视化 查询按照业务类别对SG-CIM模型 进行导航，可视化展现类拓扑 图数仓模型可视化查询按照业务类别对数据仓库模型 进行导航，可视化展现类拓扑 图物理模型查询按照统一数据库数据层次对物 理模型进行分类导航,列表展 市物理模型关键信息信息检索对SG-QM模型、数仓模型、 物理模型按照关键字进行模糊 查询，包括实体查询和数据项 查询映射关系管 理映射管理导入对逻辑模型与物理模型的映射 关系

17、以excel模板月式批量导 入映射关系配置对逻辑模型与物理模型的映射 关系进行配置映射关系查询对逻辑模型与物理模型的映射 关系进行查询，检查逻辑模型落地情况数据模型采 集SG-CIM模型导入、 导出EA模型文件中SG-CIM模型 导入和导出数仓模型导入、导出EA模型文件中数仓模型导入 和导出物理模型采集集成元数据管理工具中ODPS 物理模型采集任务，完成物理 模型采集(2)全业务数据中心元数据梳理全业务数据中心元数据信息梳理，包括业务信息、技术 信息、数据项信息和运行信息。业务信息主要包括模型的描 述及类别，技术信息主要是使用状态和唯一性规则，数据项 信息主要是数据项顺序及描述，运行信息主要是

18、模型的更新 方式。(3 ) SG-QM3.0逻辑数据模型信息梳理厘清SG-CIM3.0逻辑数据模型设计工具EA主题、类图 和类信息的获取，主要包括类之间的关系、类基本信息、类 基本属性信息及关联物理信息。(4)数据整理和接入整理全业务数据中心元数据和SG-CIM3.0逻辑数据模 型梳理成果，按照元数据和数据模型功能要求完成数据的清 洗、加工、处理以及数据的接入。(5)系统测试及数据校验完成系统功能的测试，包括业务功能需求和非功能性需 求的测试。并进行系统初始化数据和系统配置校验，确保各 项功能运行的效率及准确性。(6)系统部署上线及支持完成元数据和数据模型管理功能的部署上线，编制用户 使用手册

19、，进行用户使用培训，并完成用户收集、权限分配 工作及用户支持工作。4.3 技术方案4.3.1 业务架构大数据平台元数据和数据模型管理主要实现对全业务 统一数据中心数据模型管理的支撑功能。其中系统管理主要 实现用户、权限、角色、菜单等的配置及工作流、任务的调 度等。元数据管理主要实现EA模型文件、ODPS数据模型 元数据的采集、管理、查询及共享服务。数据模型管理主要 实现数据模型信息的采集、逻辑与物理模型关系的维护，以 及SG_CIM模型、数仓模型和ODPS物理模型的可视化展现 和查询。应用主要进行管理对象的搜索和统计分析。业务架 构图如下：系统管理元数据和数据模型管理业务架构4.3.2 技术架

20、构本项目从整体技术架构视角出发，从下至上将元数据和 数据模型管理划分为存储层、数据连接层、持久层、应用层、 展现层和接口。技术架构图如下:展现层JavaScript&Ajax Twaver/Echarts JSP/HTML Extensible UIWebService Spring RMI应用层接口模型校验采桀配坦模空置噬护采集日志元数据采隼关系映射管理管理元数据管理元模型管理类管理应用配置系统管理用户管理业务组件 数据模型应用可视化展现倏型爸旬模型统计数据连接层JDBC存储层DataBase (MySQL)持久层MyBatis元数据和数据模型管理技术架构存储层为最底层，主要采用My

21、SQL数据库,用于数据存取。数据连接层采用JDBC的方式进行数据连接。持久层主要采用MyBatis确保数据的持久存储。应用层主要为各业务组件和技术组件，以实现业务处理和管理。展现层采用B/S 架构，向下调用各功能接口实现管理域技术的对接，对上为PC端提供数据展现。接口主要采用 WebService及SpringRMI对外进行数据共享。本项目的应用开发和运行主要基于企业统一云服务平台和企业统一数据库实现技术承载，其相应的技术架构如下：应周开左应用序成¥S.近用发布访问中=：s'nratjR企M2na.yx.MWs欣I®少“如户,中?恒二Qg即«5世&

22、2槌阪梆台|能力开故平台数巾三桁加用公RS 努!1用3mte«o*cWJBfrmie塞“收fiHWa，m”d这行 灌炉个如LOawicmwr匕*£S3”wsee胀另分析 源量拄制 KMIS维 认证监仅 应用安金 三平台安全 数握安金 王机安全企业统一云服务平台技术架构图在网络组成上：基于公司云服务平台的统一网络承载。在基础资源上：本项目基于企业统一云服务平台和企业 统一数据库的基础资源实现，包括服务器、存储、网络和平 台化软件资源等软硬件资源，均按照云计算技术要求统一承 载。虚拟资源规模数量备注ECS : CPU 2core ,内存 8GB ,额外数 据盘150G2本项目业

23、用部署RDS :存储空间500G ,内存8G1本项目数据的存储SLB :公网SLB （ 10地址段）1在数据服务上：本项目基于企业统一数据库的存储服 务，实现数据的采集、清洗、处理与统计分析，不再另外增 加数据库资源需求。本项目预计将需要数据存储规模 500GBe在集成服务上：本项目基于企业统一云服务平台，采用 JAVA语言完成应用开发、应用集成和公共组件集成，涉及 云平台公共组件只包括统一权限。本项目的应用架构采用桌面应用的模式，同时实现与企 业统一云平台相关公共技术组件的集成。在访问渠道上：本项目主要通过企业门户实现访问。4.3.3 数据架构本项目元数据和数据模型管理数据源主要为EA文件和

24、 OPDS元数据，数据源数据主要通过实施的采集接口适配器 进行数据的采集，采集到的数据传递给应用层进行数据处 理，数据处理主要将采集到EA文件数据和ODPS元数据交 给对应功能模块进行加工、存储和展现。本项目SG-CIM模 型数据、数仓逻辑模型数据、物理模型数据、映射关系数据、 用户数据及系统运行数据等使用关系数据库MySQL进行存 储。整体数据架构如下图所示：数据模型调SG-CIM 自询,4.4 项目实施计划441项目环境承担本项目的国网省电力公司信息通信分公司有丰富 的运行管理经验，有着丰富的信息系统建设经验，有一支很 强的生产专业管理的队伍，对电网信息化管理提供了有力的 技术和业务支持。

25、44.2项目人员序 号姓名工作年限职称专业项目分工工作单位1江樱10年以 上高级工 程师信息通信项目负责 人国网电力信通公 司2刘鸿宁20年以 上高级工 程师信息通信技术支撑国网电力信通公 司3周洋10年以 上工程师信息通信技术支撑国网电力信通公 司4黄海潮20年及 以上工程师信息通信业务支撑国网电力信通公 司5卢文达2年高级工 程师信息通信业务支撑国网电力信通公 司4.4.3项目进度序号时间段主要工作内容1第一个月至第二个 月实施元数据和数据模型管理功能：完成元数据采集、元 模型管理、元数据查询、元数据服务、首页（数据模型 综合统计数据模型采集、模型映射关系管理及数据模 型查询功能共八大功能

26、的实施。2第二个月全业务数据中心元数据信息梳理：制定元数据信息梳理 方案，进行业务信息、技术信息、数据项信息和运行信 息的梳理。3第二个月SG-CIM3.0逻辑数据模型信息梳理：制定EA信息梳理 方案，完成类之间的关系、类基本信息、类基本属性信 息及关联物理信息信息等的梳理。4第三个月数据整理和接入：按照元数据和数据模型功能要求进行 梳理成果数据的清洗、加工、处理以及数据的接入。5第四个月至第五个 月系统功能测试及数据校验：制定系统功能测试及数据校 验方案，完成系统功能的测试，包括业务功能需求和非 功能性需求的测试，并完成接入数据校验工作。6第六个月系统部署上线及支持：完成元数据和数据模型管理

27、功能 的部署上线，编制用户使用手册，进行用户使用培训， 并完成用户收集、权限分配工作及用户支持工作。5经济性和财务合规性5.1 本项目不涉及原资产的信息。5.2 该信息化项目总投资259.03万元，可抵扣的增值 税额为14.45万元，税后投资244.58万元。成本性支出 259.03万元，划分依据为国家电网公司项目可研经济性与财务合规性评价指导意见（国家电网财2015 536号） 文件，主要包括系统元数据和数据模型管理功能实施，信息 梳理，数据整理和接入、系统测试及数据校验、系统部署上 线及支持、项目管理费等。5.3 本项目基于国网公司企业统一云平台和统一数据库 完成元数据和数据模型管理功能的

28、实施。预期完成实施的功 能点包括：元数据采集、元模型管理、元数据查询、元数据 服务、首页（数据模型综合统计数据模型采集、模型映 射关系管理及数据模型查询功能共八大功能。5.4 本项目无拆旧（或报废）物资。6软硬件设计无7主要设备材料清册7.1 编制说明本项目是基于浙电大数据云平台实现，故本次项目不涉 及设备和材料的采购和供应。7.2 主要设备材料表无8投资估算书8概述本项目工作为大数据平台元数据和数据模型管理功能 的实施部署，主要包括元数据和数据模型管理功能实施，信 息梳理，数据整理和接入、系统测试及数据校验、系统部署 上线及支持等工作。针对上述内容，按照有关要求，对项目 建设过程中的相关费用进行估算，确定项目总体投资。8.2 编制原则和依据(1)国家电网公司关于印发公司全业务统一数据中心 建设方案的通知(国家电网信通(2016) 509号)；(2 )关于印发省电力公司信息化建设项目概预算编 制办法的通知(浙电科信字201060号1(3)系统开发费、系统实施费的人工单价参照国网公 司标准,其中：系统开发费不高于1600.00元/人天，系统 实施费不高于1100.00元/人天。8.3 投资分析本期项目建设总投资