基于影响电网设备的自然灾害及业务系统数据交换集成技术方案

1、格式12-8：附件-投标技术方案基于影响电网设备的自然灾害及业务系统数据交换集成技术方案目录1概述381.1项目背景382系统集成分析产品392.1建设目标392.2系统逻辑架构402.3系统整体框架412.4系统设计原则462.5交换平台技术规范与要求462.6技术特点472.7系统安全管理472.8系统核心设计482.8.1ETL482.8.2系统管理服务492.8.3系统服务监控502.8.4数据服务502.9数据发布服务503项目实施方案50进度控制50质量管理51机构与任务51质量保证方式51测试管理52风险管理52项目组织和人员管理53实施进度554售后服务和培训方案554.1.1

2、售后服务554.1.2培训方案561 概述1.1 项目背景云南电网随着电网设备的增加，以及承载负荷的不断上涨，云南电网在多年的业务系统建设过程中，积累了大量影响电网设备的自然灾害及业务系统数据。有效地使用这些数据成为系统业务发展和深入的瓶颈，从长远的发展角度来看，需要一套完善的数据交换集成、共享和分析机制，为电网设备的正常运行、电网设备资产保护提供大数据分析支撑。从数据集成本省来看，当今数据交换集成仍面临若干关键问题需要解决:1)如何从异构的分布式信息系统中读取数据,并且高效地将异构数据转换为统一的数据视图，建立逻辑模型和物理模型的映射及转换服务；2)如何进行数据清洗 完成数据在业务层上的转换

3、；3)如何拓展数据集成的驱动模式提高实时性；4)如何建立一个有效促进数据整合共享能力的专题数据中心。针对这种分布式异构数据源的交换集成需求,本文提出了一个基于ETL(Extract-Transform-Load)即数据抽取、转换和加载的集成过程模型。本过程模型采用数据提供者读取数据,通过元数据映射方式完成异构数据向统一数据视图的转换;针对转换之后的数据,通过简单规则引擎执行对客户系统定制 的业务规则来完成数据在业务层面上的转换。同时将传统的数据集成的驱动模式任务调度,拓展为同时支持任务调度和按需实时性事件的双驱动模式。如何解决上述问题的过程中同时考虑了数据集成的性能,本过程模型通过增量式的数据

4、集成和在数据库端运行的基于存储过程的规则引擎减少了数据传输的网络开销,提高了数据集成的性能。从数据应用的角度来看，除了将数据进行共享外，还应该具备数据的分析展现应用，分析为用户提供的对数据价值发掘的手段，通过分析，能发现数据背后的价值，发现业务问题，从而反向来提升部门业务水平，支撑业务的良性发展，提高企业信息化水平。2 系统集成分析产品2.1 建设目标根据云南电网的需求情况，结合数据交换集成技术，搭建完善的数据集成框架，框架提供数据的ETL（数据抽取、加载、转换）功能，在框架的支持下，逐渐将质监的数据根据需求，集中汇总进行统一的存储和管理，并借助数据共享平台提供对外服务，在数据分析方面做部分的

5、工作，提供数据的一些基本分析功能；为完成系统建设目标，需要对数据集成分析平台进行全面的分析和规划，使之即能够满足项目需求，也能够适应未来的发展趋势，有较好的扩展性和灵活性，为云南电网长期的数据建设提供保障；2.2 系统逻辑架构系统建设分为五大层次：（1）数据源：对应云南电网已有的数据源，如组织结构库、标准题录库这种关系型的数据源，数据源也可能是非关系型的数据源，如文本文件、Excel数据文件等；（2）数据预处理：数据的核心处理层次，即ETL，是将数据源抽取、转换、装载到目标数据仓库主要层次，ETL是本次项目实施的重点；（3）数据仓库：项目建设主要面向明细级的数据仓库层次建设，保证明细数据能够有

6、效地存储管理，为数据的共享、分析提供数据来源；（4）数据分析：数据分析主要包含多为分析以及更高层次的数据挖掘，这是做为系统未来的发展方向，不做为项目建设内容；（5）数据展现：提供数据的基本分析展现和数据共享功能，本期数据展现直接面对数据仓库层，通过一期数据共享平台来实现数据的共享，同时提供基本数据查询功能，实现明细级的数据查询；2.3 系统整体框架结合质监现状很本期建设重点，考虑到未来的发展趋势，提出质监数据集成及分析系统整体架构。本期建设的重点为ETL部分的建设，根据数据共享需求，搭建面向明细级别数据仓库，这些数据主要为第三方提供数据共享服务，系统的所有功能都通过门户进行操作，门户提供应用的

7、统一集成展现，为用户提供统一的登录入口；在数据处理过程中，需要对元数据进行管理；以下对主要功能进行介绍：ETL1） 数据抽取抽取主要是针对各个业务系统及不同网点的分散数据，充分理解数据定义后，规划需要的数据源及数据定义，制定可操作的数据源，制定增量抽取的定义。由于源数据往往存储在多个地方，有可能是一个RDMS、一个文本文件、一个Excel 文件、一个DBF 文件或其他类型文件，确定如何抽取或查询源数据是有一定难度的，连接时可以通过标准的连接工具比如ODBC 或FTP 等。从设计的角度讲最好忽视一些连接问题，把主要精力集中在源数据如何映射目标数据上。在数据抽取分析时需要对业务深刻理解，比如企业需

8、要的一个数据，在源系统中多个表都有，而ETL只选择其中一个，在当时不会有什么问题，但随着后续工作的开展和分析就会出现意想不到的结果。所以，ETL从哪一个源表取数据不是随意的，需要对多个数据表进行业务分析，从而确定最终的选择；2） 数据传输数据传输是通过网络把远程的数据文件运用FTP传输到本地目录下。在实施中，它的步骤如下：a. 初始化参数表，如间隔时间、远程数据文件的存放位置、本地数据文件存放路径，并连接到远程主机上；b. 取远程数据文件列表，将其取至本地；c. 根据远程数据文件列表，生成取数据文件的脚本，运行此脚本；d. 完成取数据操作后，生成取回数据的列表，根据此列表生成删除远程数据文件的

9、脚本，运行此脚本；e. 将取回的数据文件移到指定文件夹中；3） 数据装载数据加载主要是将经过转换和清洗的数据加载到数据仓库里面，即入库。加载可以通过数据文件直接装载或直连数据库的方式来进行，充分体现高效性。数据加载有 两个部分，一部分是把合法数据文件装入回滚表中，该装入过程没有汇总部分；另一部分是把初次汇总表加载到临时汇总表，根据不同类型的数据，可能会有二次汇 总。当加载临时汇总表的过程完毕以后，再把临时中间表的数据装入到中间表中。在实施中，它的步骤如下： a. 读取汇总数据文件、无需进行汇总的源数据文件或需以后汇总的源数据文件，调用数据文件对应操作配置表，加载到相应数据表（中间表或回滚表）中

10、； b. 读取需进行实时汇总的合法数据文件，调用数据文件对应操作配置表，对数据库进行更新操作； c. 程序根据生成的不同数据文件，同时生成汇总数据，同先前步骤的汇总文件进行对比，如出现不一致，提供系统预警。4） 数据转换数据转换主要是针对数据仓库建立的模型，通过一系列的转换将数据从业务模型数据转换为分析模型数据，通过内建的库函数、自定义脚本或其他的扩展方式，实现 多种复杂转换，并且支持调试环境，监控转换状态。数据转换是将源数据变为目标数据的关键环节，它包括数据格式转换、数据类型转换、数据汇总计算、数据拼接 等等。但转换工作可以视具体情况在不同的过程中实现，比如可以在数据抽取时转换，也可以在数据

11、加载时转换；5） 任务调度对ETL中抽取、加载、转换任务的调度触发，ETL过程是要根据业务需要定期的进行数据处理，任务调度的目的就是对根据需要定时执行这些任务的过程，任务调度一般按照时间周期进行；6） 资源管理对系统数据资源管理，主要是对源头、目标数据源的管理和维护，为ETL执行提供保障；数据仓库：1） 明细库存储质监明细数据，默认本期实现对明细数据的处理，明细数据不仅提供数据共享功能，也是未来分析数据的基础，必须要保证明细数据的一致有效；2） 专题库满足分析功能的专题库，也可以是数据共享库，有些数据共享需要对明细数据进行处理后进行共享，这里的专题库就是指基于明细数据库处理后的数据内容；数据分

12、析：1） 多维分析是高级统计分析方法之一，就是把一种产品或一种市场现象，放到一个两维以上的空间坐标上来进行分析；多维分析提供的基本功能包含数据下钻、上钻、切片、旋转等分析手段；2） 报表分析基本报表查询服务，主要是针对明细数据的统计查询功能；3） 数据服务将仓库中的数据对外共享，数据分析支持以下方式： WebService符合SOAP2.0规范，支持跨系统、跨开发环境的数据交换接口形式，核心传递内容还是XML； XMLXML格式共享数据方式，采用HTTP协议实现数据的共享； JSON面向脚步的数据共享格式，是目前Web应用中最常见的方式，具有灵活，简介的特性，比较适合于页面展现；展现：1） 门

13、户展现提供门户的方式访问系统功能，同时门户也具有将其它Web浏览器应用集成到门户中，门户展现具有灵活、统一、扩展性强等特点，是目前企业应用页面集成的主要形式；2） 页面集成将用户的功能根据设置、全新聚合展现的一种技术手段，门户可以实现跨系统的页面集成，使得用户不需要登录不同的系统就能使用不同系统提供的业务功能；3） 单点登录为了达到用户通过门户就能使用不同系统的功能，需要实现统一的单点登录功能，从而达到用户信息在不同系统之间的同步，保证用户登录的一致性，仅需登录一次，就可以访问不同的系统提供的功能；元数据管理：元数据就是描述数据的数据，随着信息技术的快速向前发展,元数据在数据集成及分析过程中起

14、着关键的作用。元数据有自己的标准，这个标准的主要作用是介绍了元数据的组成元素和分类应用，提出了一些元数据建库的基本原则，并且给出了基于XML格式的元数据管理的设计方案。元数据管理主要包含元数据的编辑、导入导出、查询和目录关联管理的功能；系统管理：系统管理基础功能，系统提供用户管理、角色管理、权限管理、日志管理、系统监控等基本的管理功能，用户管理、角色管了、权限管理实现基本用户相关的管理功能；日志管理记录系统所有操作信息，并为管理员提供日志查询统计功能；系统监控为管理员提供系统运行情况、ETL作业运行情况、系统资源消耗情况的监控；2.4 系统设计原则数据交换平台应遵循以下几个基本设计原则： 稳定

15、性原则，不影响现有或其它相关信息系统的使用和信息安全。 数据安全性原则，不能造成数据的泄露； 先进型原则，保证系统的技术先进性，提高系统的运行生命周期； 开发性原则，系统能投有效地进行数据的共享； 标准型原则，采用国际通用标准，便于和国际接轨，易于系统扩展及升级； 易用性原则，建立一个坚实的系统应用平台，便于系统的管理和维护，技术易于更新，网络及业务规模可以逐步扩展。统一规划，分步实施。2.5 交换平台技术规范与要求1）数据一致性：源头数据和目标数据需要保持一致，对于需要进行转换的数据，如数据字典的映射也要保持语义上的一致性；2）接口简单：数据共享接口需要简单易用，接口满足常见的调用需求和业务

16、场景；3） 安全可靠的传输：数据传输过程需要安全可靠，数据传递过程中要保证数据没有被篡改，数据传递失败，支持断点续传；4） 高可靠性和高性能：ETL过程中涉及到大数据量的传递，一般ETL是在业务不繁忙的时候进行，所以需要ETL高效，在业务空闲期就能将数据处理完毕。5）数据标准：对数据管理遵循业界标准，元数据管理方面采用CWM元数据标准，方便元数据的扩展和元数据交换共享；6）多数据源支持，系统抽取过程支持主流的数据库，如Oracle、MySQL、MS SOLServer等；7）有效完善的系统监控，提供完善的系统监控功能，能够监控主机运行情况、ETL运行情况；2.6 技术特点1) 灵活的ETL调度

17、功能；2) 多数据源支持，满足主流数据库抽取需要；3) 文件传输实现断点续传；4) 通用的元数据管理，满足CWM规范；5) 数据传递过程防篡改验证，数据压缩传递；6) 灵活的数据转换功能，支持数据的合并、数据字典转移、拆分、格式化操作；7) 灵活的系统管理工具，提供高可用性的用户交互界面；8) 可视化的调度管理工具；9) 服务安全性，服务调用的安全验证；10) 增量数据抽签，对于累加数据的增量抽取功能；2.7 系统安全管理安全管理服务借助于系统安全平台提供如下服务：n U-key验证服务调用验证用户的证书信息，保证调用请求的合法性；n 权限管理系统功能、服务权限的有效控制；n 角色管理以角色为

18、中心的权限控制，满足权限分配的同时，降低用户权限的直接耦合，增强系统灵活性；n 身份认证包含门户访问的身份认证和服务调用的身份认证；n 数字签名文件传输过程中通过数字签名，保证文件合法性；2.8 系统核心设计2.8.1 ETLETL是本次实施的重点，决定项目的成败，在ETL方面对系统设计进行细化：1. 调度调度环节可引用业内的调度产品作为调度引擎，平台对调度产品能实现完全兼容，并保证调度效率和资源的完美平衡；2. 统一调度接口统一调度接口作为调度引擎和ETL作业的中间层，有以下特点：l 简化了调度引擎的作业调用：JSI封装了ETL作业的运行逻辑，各种作业之间的差异性就在接口中被屏蔽掉，调度引擎

19、无需过多关心ETL作业细节的运行信息，只需要调用JSI提供给调度引擎的统一接口即可； l 动态资源分配：根据作业的资源要求以及系统当前的资源情况，将作业组织和分配到合适的ETL-Client节点(组)运行； l 作业流组织和管理：作业分组的概念，将一系列相关的ETL作业，以作业流的形式组织起来，确保作业的有序运行； l 统一作业日志登记和管理； l 作业检查：提供作业的前处理、后处理功能，当作业需要进行前处理或后处理操作时，可以在作业参数中配置，使得作业更具有特色；3. 时间管理器结合调度产品实现以事件为驱动的数据加工架构，对事件进行识别，登记，处理，通知调度引擎调起相关的作业完成数据加工，或

20、通知传输模块将数据传输给目标系统，整个过程中采用全事件驱动方式运行，在低资源使用的基础上，获取高效的处理效率；4. 监控管理器提供全方位的监控和管理，包括数据到达监控、数据提交监控、事件监控和手工干预、调度监控、ETL作业运行日志查询、资源监控、统计分析报告等系统管理；2.8.2 系统管理服务n 系统日志管理记录系统运行交换过程和活动，以便进行审核，分析。n 系统参数配置调整和配置系统的运行参数，以优化系统的运行性能和进行安全管理n 系统状态监控对系统中每个服务的运行状态，性能，故障进行监控。如果发生性能瓶颈，或系统故障，则会进行报警，并通知系统管理员。2.8.3 系统服务监控系统提供完备的系

21、统监控服务，及时体现系统运行状况，当系统运行过程中发生异常，系统能够及时反馈给管理人员，根据问题级别，可以设置异常信息推送；如可以设置当系统服务不能正常访问时，自动向管理人员发送消息，消息可以是手机短信或者其他即时通讯工具；为保证监控的有效性，监控模块和系统分类；2.8.4 数据服务在一期的基础上，增强服务的安全性，提高服务的监控能力和手段，保证数据不被窃取，对于恶意数据访问，可以及时切断并反馈到系统管理人员；2.9 数据发布服务提供可视化服务发布功能，管理员可以根据专题数据库，发布用户需要的各种服务，服务可以进行权限控制，服务支持常见的接口类型，包含WebService、JSON、XML，服

22、务可以指定有效时间段，过期服务自动停止，停止的服务也提供启动功能；在服务监控方面，不见能查看服务的调用明细，也能通过汇总的方式提供服务的总体调用情况，以方便管理人员掌握服务实际调用情况；3 项目实施方案进度控制项目进度计划是项目经理最主要的项目进度控制工具，在项目进度计划中包括了关键的里程碑、重大的项目评审、交付日期、主要任务和工作需要依靠的条件，等等内容。完善的进度计划为项目协调、监督工程的进度状况提供依据。进度控制过程的关键要素包括以下几个方面：l 反应能力：及时了解项目的进度状况，进度报告方式包括两个方面的内容，报告周期和报告的形式。项目的报告周期与项目的总周期相关；而报告的方式可以采用

23、多种灵活方式。确定报告方式的原则为：即能及时掌握项目的进展、同时又不占用过多的资源，l 精确性：应在一个工作地点保持一个唯一的、并及时更新的时间数据，反映项目进度计划和进展状态；l 可见能力：时间数据应该广泛散发；l 可维护能力：具备根据客户需求调整、修改项目进度计划的能力；质量管理机构与任务l 为了高质量的完成项目任务，成立质量管理组，其任务是对整个项目质量管理。质量管理组严格按照ISO9001质量体系文件的要求，并按照本计划的各项规定组织和监督各项评审、协助各部门负责人进行日常质量管理活动及变更控制。l 建议成立更改控制组（CCB），由项目经理任CCB组长，负责工程中重要设计和实施的更改。

24、l 在实施组内成立配置管理小组，负责各系统配置管理。在各任务组设立系统配置管理员，对各系统进行配置管理。质量保证方式我们将采用以下方法实现质量控制和管理的要求：l 评审和审核：按照本计划规定的评审时间进行评审与验证。l 日常质量工作检查：通过周报、月报及工作会议检查工作进展情况，及时发现问题解决问题。该项工作由各任务组按工作计划执行，工程的项目管理组监督和参与管理。测试管理项目的测试是一个独立的、关键的阶段，也是保证项目质量的重要手段，项目测试过程如下图所示在测试过程和完成后，要提交的文档包含测试计划、测试说明和测试报告。测试计划描述测试活动的范围、方法、资源和进度。它规定被测试的项、被测试的

25、特性、应完成的测试任务、担任各项工作的人员职责及与本计划有关的风险等。测试说明包括三类文件：测试设计说明、测试用例说明、测试规程说明，测试报告包括四类文件：测试项传递报告、测试日志、测试事件报告、测试总结报告。风险管理项目风险是所有影响项目目标实现的不确定性因素集合。典型的项目风险包括时间表过于仓促、人员/技术能力不足、预算不确定、组织变化和技术更新等。项目风险管理就是对项目风险进行识别、分析和应对的过程，它包括把正面事件影响扩大到最大和把负面影响减少到最小。我们设计了全面的风险管理方案，并已经在许多政府和商业项目中成功应用。我们将根据本项目的具体情况和具体运行环境做出修改，确保本项目能够按时

26、在预算内高质量顺利完成。下图描述了风险管理方案，该方案涉及五个互相关联的步骤：编制风险管理计划、风险识别、风险量化、风险处理和风险控制。阶段风险管理计划风险识别风险量化风险处理风险控制所用的方法或工具计划会议检查表绘制流程图访问调查预计货币值统计和模拟决策树专家评定应急计划编制替代方案策略保险权变措施附加的风险应对措施开发风险管理将由项目经理根据风险管理计划进行控制和总结，并定期向客户报告项目的进展情况，并允许客户对项目风险和解决办法有全面的了解。项目组织和人员管理本项目中，将安排强大的技术队伍来确保项目的实施。项目组结构规划如下：项目组成立后即开始运作，为清晰定义项目组成员的工作职责，项目组

27、进行职责细分如下：l 领导小组主要人员：总经理，项目委员会职责：保证项目活动资源对项目中不能解决的重大问题予以支持、解决；l 项目负责人主要人员：项目经理职责：负责项目具体实施计划和人员安排调度；协调解决项目实施中出现问题；l 项目实施人员主要人员：系统工程师（CCIE）系统工程师（CCNA）系统工程师（CCNA）职责：负责工程具体实施操作；对项目进度进行报告和提出调整建议；l 专家顾问组主要人员：；职责：负责解决项目中出现的各种技术难题；l 商务处理主要人员： 职责：负责管理维护服务合同号；负责设备更换和维修的具体商务操作；l QA（Quality Assurance，质量保证）经理主要人员: 职责：审阅QA报告，监督QA工作，提供独立QA资源；l QA（Quality Assurance，质量保证）主要人员:职责：培训质量体系文件与本项目相关部分的应用；跟踪监督项目实施过程活动；检查项目成果是否符合规范