版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
新能源光伏发电工程智慧光伏建设项目技术方案作者:职场人2022年11月30日目录7693_WPSOffice_Level1第一部分技术方案 217361_WPSOffice_Level21.技术方案和技术性能 217361_WPSOffice_Level31.1.总则 222405_WPSOffice_Level31.2.设计依据 715947_WPSOffice_Level31.3.总体设计方案 921380_WPSOffice_Level31.4.统一门户设计 1227052_WPSOffice_Level31.5.平台系统架构 1220075_WPSOffice_Level31.6.接口设计 1928788_WPSOffice_Level31.7.数据平台设计 211975_WPSOffice_Level31.8.开发平台 4016194_WPSOffice_Level31.9.安全性设计 5285_WPSOffice_Level31.10.性能指标 5522405_WPSOffice_Level22.智慧化应用功能设计 609971_WPSOffice_Level32.1.总体功能概述 6021192_WPSOffice_Level32.2.智能监控系统 646315_WPSOffice_Level32.3.智能巡检系统 9112686_WPSOffice_Level32.4.智能I-V诊断系统 1164917_WPSOffice_Level32.5.电量交易系统 12325980_WPSOffice_Level32.6.智能数据分析 13021603_WPSOffice_Level32.7.三维可视化平台 142第一部分技术方案技术方案和技术性能总则建设背景XXX新能源发电有限公司XXX光伏电站智慧光伏技术研究与示范项目技术服务项目,依托XXX光伏电站生产运行数据和生产管理资料,研究XXX光伏电站光伏智慧化应用示范项目,为集团光伏电站智慧化运营提供科学依据。建立XX集团公司和电力行业光伏能源行创新技术示范点。随着新能源光伏发电行业新技术发展,光伏电站智慧化应用迫在眉睫,提升光伏电站生产的设备可靠性,夯实安全基础,实施精细化的生产管理,降低运营成本是光伏电站的必然之路。针对光伏集约化程度不够、运维效率低下、电力市场交易智能化不足等方面的问题,通过研究智能传感、人工智能、5G+等技术,开发智能监控系统、智能巡检系统、智能I-V诊断系统、电量交易系统、智能数据分析系统,搭建光伏电站一体化三维可视化平台,代替人工现场安保、巡视、远程操作,提升设备运行的可靠和安全性,降低运维成本,实现光伏电站的高效运维和无人值守。智慧光伏的解决方案,实现大数据平台、云平台中心和功能应用中心。智慧光一体化平台包含全景数据和全部应用功能,利用网络化、数据化和平台化的技术方案解决光伏电站实际运营中存在的问题,并实现数据中心全生命周期的应用和业务功能扩展应用。充分利用“云计算”、“大数据”、“物联网”“移动应用”等先进技术设计系统架构及物理部署架构。保证智慧光伏项目建设的先进。智慧光伏平台支持节点弹性扩展以便于后续规模扩张和性能升级,多节点间支持数据的冗余;体系架构采用高性能集群分布式架构的大数据处理系统,数据处理性能随节点数量的增加而线性增加,支持多节点的自动负载均衡及故障转移;系统采用先进的大数据存储技术,采集存储各业务板块的全部数据,系统支持数据重发,对于波形等数据,在网络堵塞的情况下,能够利用空闲时间进行传输,有效提高数据传输的可靠性。项目概况XXX光伏电站位于XXX生态太阳能发电园区南部,距离共和县城约33km,装机容量10万千瓦(直流侧),于2020年12月30日投产,场址海拔高度介于2990m-3035m之间。直流侧装机容量100.06128MWp,交流侧装机容量92.708MW。光伏厂区共26个光伏子阵,组件203520块,组串式逆变器473台,箱变26台。支架4240组,桩基础29680根。采用490Wp/495Wp单晶硅双面组件+固定可调支架+196kW组串式逆变器+3150kVA箱式变压器+35KV汇集站。光伏组件采用单晶双面双玻490Wp和495Wp组件。每组支架单元由48块组件组成,采用2行24列竖向布置,每组支架东西长27.14m,由7个混凝土灌注桩基础组成,桩间距4.0m,桩长2m,桩径0.34m,外露地面0.5m,入土1.5m。每24块组件串联为1个光伏组串,每18路组串接入1台196kW组串式逆变器,每18-19台组串式逆变器接入1台3150kVA/35kV/0.8kV箱式变压器,将逆变器输出的低压交流电升压至35kV。每5-7台35kV箱式变压器并联为1回集电线路,每回集电线路容量约为24.11-26.64MW,以4回35kV集电线路接入35kV汇集站,汇集站出线两回接至红旗四号330KV升压站。本项目依靠已建成的XXX光伏电站(装机容量直流侧100MW)做为技术研究与示范对象,开展光伏电站智慧化建设,解决光伏电站实际生产中的问题。消缺隐性缺陷,增加发电效应,提高设备可靠性,提升光伏电站运维管理,实现电站精细化管理,是开展光伏电站智慧化建设项目发展趋势。成为XX集团公司和电力行业光伏能源行创新技术示范点。为建设“无人值班、少人值守”的“关门”智慧化光伏电站提供技术支撑。针对目前光伏集约化程度不够、运维效率低下、电力市场交易智能化不足等方面的问题,通过研究智能传感、人工智能、5G+等技术,拟计划在XXX光伏实现以下智慧功能:(1)智能监控系统、(2)智能巡检系统、(3)智能I-V诊断系统、(4)电量交易系统、(5)智能数据分析系统,(6)部署光伏电站一体化三维可视化平台共计6个子系统建设。提供6个子系统建设实践,实现以下科技成果:获得下6项专利(2项发明和4项实用新型):1)巡检机器人(实用新型);2)机巢无人机(实用新型);3)无人机自动巡检系统(实用新型);4)智能I-V诊断系统(发明);5)光伏智能数据分析(发明);6)电力市场交易(发明)。软件著作权指标:2项软件著作权:1)光伏智能I-V诊断系统;2)光伏电站一体化三维可视化平台。技术标准指标:主持编写1项关于智慧光伏电站建设的行业标准。论文指标:8篇期刊论文(4篇核心,4篇省级及以上)。同时需完成2023年XXX新能源发电公司数据管理成熟度贯标,达到稳健级(3级)。建设目标按照集团智慧光伏建设指引的要求,针对光伏集约化程度不够、运维效率低下、电力市场交易智能化不足等方面的问题,通过研究智能传感、人工智能、5G+等技术,开发智能监控系统、智能巡检系统、智能I-V诊断系统、电量交易系统、智能数据分析系统,搭建光伏电站一体化三维可视化平台,代替人工现场安保、巡视、远程操作,提升设备运行的可靠和安全性,降低运维成本,实现光伏电站的高效运维和无人值守。同时开展数据管理能力成熟度贯标咨询咨询服务,完成自评估报告、评估计划、资料收集与解读、正式评估、评估报告编制、推荐注册、评估工作部评审、证书发放等工作,要求在2023年完成数据管理成熟度贯标工作,XXX新能源发电有限公司数据成熟度在2023年内达到受管理级(3级稳健级),并中获得中国电子信息行业联合会的认定证书。本项目在统一规划、统一设计基础上,达到统一用户界面、统一操作规程、统一操作风格。实现设备利用最优化、软件复用最大化等经济性目标,逐步实现从数字化到智能化的过渡,且充分利用现有的功能与设备,避免资源浪费,有效降低系统建设成本。建立6个智慧应用子系统,以一体化门户平台提供应用,需满足XXX新能源发电有限公司多级组织的管理架构,并按照系统化、标准化、流程化管理理念进行设计,实功能、性能及标准化管理等方面,满足智慧数据应用接入XXXX新能源集控中心的标准要求。方案概述XXX智能光伏项目共包括智能监控系统、智能巡检系统、智能I-V诊断系统、电量交易系统、智能数据分析系统和光伏电站一体化三维可视化平台6个子系统建设。智能监控系统基于现场条件进行硬件部署,重点实现草原防火监测预警;智能巡检系统包括场区无人机巡检和升压站的智能巡检;光伏电站一体化三维可视化平台接入集中监控、智能巡检、智能I-V诊断、电量交易、智能数据分析系统等相关信息,打通管理大区与生产大区的信息交互,打造新能源光伏场站数字化智能管理平台。平台所需数据由XXXX集控中心优先提供。系统的实现大数据分析和智能化应用的数据由XXXX集控中心提供,包含光伏场站组串数据、逆变器数据、箱变、方阵和升压站的生产实时数据。XXX光伏场站端布置智能元件和智能子系统,智能元件实现智慧应用的数据补充,生产实时数据还是历史数据通过XX集控中心优先提供,同时可实现生产现场数据采集功能,保证智慧化应用数据源的应用。实现应用平台数据统一模式。图1总体建设方案XXX智能光伏项目数据源采用在XXX光伏电站采集,优先使用集控中心数据,包含光伏场站组串数据、逆变器数据、箱变、方阵和升压站的生产实时数据,同时与XX集控中心实现数据共享,可获取生产实时数据和历史数据。视频红外检测、无人机、机器人、单兵系统、视频监控等数据通过现场部署智能化数据实现,生产管理和电力交易数据来源于集控中心。XXX智慧光伏项目在统一规划、统一设计基础上,实现设备利用最优化、软件复用最大化等经济性目标,逐步实现智慧化的过渡,且充分利用现有的功能与设备,避免资源浪费,有效降低并按照系统化、标准化、流程化管理理念进行设计,标准化方面满足《中XX集团公司智慧光伏技术指引》要求。同时需开展数据管理能力成熟度贯标咨询服务,完成自评估报告、评估计划、资料收集与解读、正式评估、评估报告编制、推荐注册、评估工作部评审、证书发放等工作。提升XXX光伏电站数据管理能力,加快推动企业数字化、网络化、智能化发展。2023年完成数据管理成熟度贯标工作,XXX新能源发电有限公司数据成熟度在2023年内达到受管理级(3级稳健级),并中获得中国电子信息行业联合会的认定证书。满足《数据管理能力成熟度评价模型》(GB/T36073—2018,简称DCMM)国家标准要求。建设范围XXX智能光伏项目共包括智能监控系统、智能巡检系统、智能I-V诊断系统、电量交易系统、智能数据分析系统和光伏电站一体化三维可视化平台6个子系统建设。智能监控系统基于现场条件进行硬件部署,重点实现草原防火监测预警;智能巡检系统包括场区无人机巡检和升压站的智能巡检;光伏电站一体化三维可视化平台接入集中监控、智能巡检、智能I-V诊断、电量交易、智能数据分析系统等相关信息,打通管理大区与生产大区的信息交互,打造新能源光伏场站数字化智能管理平台。平台所需数据由XX集控中心优先提供。(一)智慧光伏应用功能系统:(1)智能监控系统(2)智能巡检系统(3)智能I-V诊断系统(4)电量交易系统(5)智能数据分析系统(6)光伏电站一体化三维可视化平台(二)科技成果输出要求专利指标6项:其中发明3项目,实用新型3项;软件著作权指标2项;技术标准1项,主持编制行业标准;论文指标:4篇核心,4篇省级及以上;数据管理成熟度贯标:2023年XXX新能源发电公司数据管理成熟度贯标,达到稳健级。设计依据除非另作特别规定,所有设备的设计、制造、检查、试验及特性都必须遵照最新版本的IEC标准、中国国家标准(GB)及电力行业(DL)标准。如果这些标准内容矛盾时,应按最高标准的条款执行或按双方商定的标准执行。应遵循的主要现行标准包括但不限于以下:GB8566-88计算机软件开发规范GB/T17963信息技术开放系统互连网络层安全协议GA1089-2013电力设施治安风险等级和安全防范要求GA216.1-1999计算机信息系统安全GB/T22081-2008信息技术安全技术信息安全管理实用规则GB/T8566-2007信息技术软件生存周期过程GB/T8567-2006计算机软件文档编制规范GB/T9385-2008计算机软件需求规格说明规范GB/T9386-2008计算机软件测试文件编制规范GB/T15532-2008计算机软件测试规范GB/T14394-2008计算机软件可靠性和可维护性管理GB/T28035-2011软件系统验收规范GB/T20157-2006信息技术软件维护GB/T16681-2003信息技术开放系统中文界面规范GB/T20271-2006信息安全技术信息系统通用安全技术要求GB/T26232-2010基于J2EE的应用服务器技术规范GB/T28168-2011信息技术中间件消息中间件技术规范GB/Z21025-2007XML使用指南GB/T26335-2010工业企业信息化集成系统规范GB/T26327-2010企业信息化系统集成实施指南DL/T1033.3-2006电力行业词汇第3部分:发电厂、水力发电GB/T36572-2018电力监控系统网络安全防护导则QGDW11766—2017电力监控系统本体安全防护技术规范GB/T17859 计算机信息系统安全保护等级划分准则GB/T22239-2019网络安全等级保护基本要求国能安全[2015]第36号文件关于印发《电力监控系统安全防护总体方案》等安全防护方案和评估规范的通知总体设计方案设计思路XXX光伏电站智慧光伏技术研究与示范项目建设包含(1)智能监控系统、(2)智能巡检系统、(3)智能I-V诊断系统、(4)电量交易系统、(5)智能数据分析系统和(6)光伏电站一体化三维可视化平台6个子系统建设内容。图2总体业务架构通过现场部署智能化设备,实现现场智能化应用,重点功能功能包括(1)草原防火监测预警功能、(2)场区无人机巡检和升压站的智能巡检功能、(3)一体化三维可视化实现集中监控、智能巡检、智能I-V诊断、电量交易、智能数据分析多系统融合的聚合展示。实现管理大区与生产大区的信息交互,建立光伏场站数字化智能管理平台,实现XXX光伏电站智慧化运维。项目采用一体化门户平台方式,实现6个子系统集中式一体化平台化系统。实现,智慧化光伏应用一体化平台在统一规划、统一设计基础上,达到统一用户界面、统一操作规程、统一操作风格。考虑智慧化应用扩展性,保证系统项目在未来3-5年的系统增补、完善、扩充,保证技术上的先进性。平台采用分层架构的优势将更利于系统的业务扩展和分布式架构,可快速基于系统之上进行业务需求的持续集成及二次开发,以最少的代价部署上线新的业务模块和功能,进一步提高开发效率、缩短开发周期、减少运维成本。各指系统采用采用独立建设的的单元方式实现。模块化设计遵循模块内高内聚、模块间低耦合标准,基于小模块、大构件思想。每个单独的功能点独立封装功能模块,根据业务实际特点进行功能模块组合成完整的业务模块。分层设计数据层、业务层、界面操作逻辑全部分离,采用MVC标准封装,界面根据实际业务的情况可实现WEB、与窗口程序、小型FLASH、Silverlight等;业务逻辑以服务方式提供,复用性高,系统部署更加灵活;数据层采用成熟的OR-MAP技术,实现数据层的组态建模管理。SOA架构设计基于面向服务体系结构的企业应用集成技术,将资源与业务功能暴露为服务,服务以标准化结构构建,实现资源共享和系统之间互操作性,支持新的应用快速以服务形式加入已有环境;基于XML数据交换格式,满足数据资源共享。设计原则统一规划,安全可靠系统建设满足电力监控系统安全防护相关规定,实现生产管理大区和信息管理大区的物理隔离以及系统与其他外部网络的安全隔离;安全性设计采取有效的身份鉴别、访问控制、安全审计、抗抵赖、软件兼容和资源控制措施,增强监控中心的安全防护能力。顶层设计,创新先进系统建设理念应站在发电企业战略发展的高度,力求高起点、高标准,满足发电企业复杂外部形势及发展需求。在建设中充分借鉴国内外现代企业最新技术成果及管理创新成果,采用国内外先进的计算机技术及信息技术,着力打造精品工程。统一标准,数据融合统一编制采集数据标准、建设和验收技术标准、招标文件技术标准,由公司组织专家进行评审后发布。满足现有与将来公司集中部署的相关系统接口、数据及业务流程集成融合要求及标准,实现公司及基层单位信息化管理纵向贯通,横向协同。提高数据融合能力,通过数据应用提升人员决策分析能力。统一应用,业务驱动平台系统建设技术性强、牵涉面广、新理念多,需要从讲求实效出发,围绕安全生产管理的需求,充分考虑当前及远期各业务层次、各环节数据处理的便利性和可行性,认真消化理解实际需求和技术难点,精心组织技术关键环节研讨和实施方案审定,通过严谨细致的基础工作,保证实施的方案实用性强、性价比高、引领性好,能够取得实实在在的效果,切实满足业务需求。统一模式,多级协同系统建设要充分发挥责任主体的作用,满足各级单位对系统的诉求,尤其是基层单位的业务诉求。要将系统建设成为基层单位的工作平台,既解决了基层单位的实际问题,也沉淀出公司管理所需要的数据。通过对大量数据的分析应用,形成了解和指导基层单位工作的决策依据。前后端分离精细的分工能提高产品品质,前端专注于用户体验及交互设计,后端着力于业务逻辑处理。前后端分离相较于传统的前端通过后端输出更有利于性能的提升,以视图及数据逐步加载。设计目标系统建设采用整体规划、总体设计、分布实施的战略性手段,系统可随客户需求扩展,数据采用由粗到细、由整体到局部的展示方式,软件操作简单,界面友好且操作便捷。易于管理、易于使用、易于扩展,接口软硬件完全满足平台的需要,系统经升级完善并最终建设成为智慧化新能源企业的统一整体。利用先进实用的集成化平台化人性化设计理念进行设计开发,保证数据高度共享统一、操作灵活高效、使用人员不重复录入、相应指标自动生成,实现智能管理现代化和自动化。XXX光伏电站智慧光伏项目建设,通过融合6大子系统功能实现智慧化应用功能,通过场站侧部署智能设备,提升智能化功能,通过建立工业数据网平台,实现集约工业数据网数据传输,研发部署智慧化应用一体化系统门户,遵循集约化、流程化、规范化、标准化的理念,按照区域化集中管理的思想进行方案设计思路。通过数据融合采集功能,完成与公司其他系统的数据交换,实现业务和数据共享。将公司和各场站的数据集中存储、处理,破除现有业务系统的信息孤岛,挖掘各系统融合后的数据价值,实现数据共享,解决数据不一致、管理不统一、业务分散等问题,通过统计、分析达到为生产、管理提供管理与决策分析的功能,为公司科学经营提供支撑。统一门户设计平台应遵循安全可控、开放共享的原则,搭建用户统一门户,确定相关业务子系统集成、业务及技术支撑内容等要素,实现数据共享,统一门户信息服务平台既能满足云端部署又能满足本地服务器部署。电厂员工使用的业务系统数量多,系统切换频繁,操作繁琐,规范性差以及任务与绩效不对应等问题突出,智慧电厂提供一个更加高效、简单、实用、规范的统一门户。按照“简单、实用、高效”的原则,以及专业分工、专业管理的标准。通过管控一体化系统进行集成整合和集中展现,提供WEB应用门户、移动应用门户、个人工作台实现“一站登录,多点应用,统一界面,智慧决策”。平台系统架构系统应用框架建筑在层次模型之上,系统采用先进的SOA架构思想,系统通过SOA技术提供了标准的数据访问和控制接口,为外部业务系统及业务部门的数据共享和访问提供了简便、易用的接口。分层架构的优势将更利于系统的水平扩展和分布式架构,可快速基于系统之上进行业务需求的持续集成及二次开发,以最少的代价部署上线新的业务模块和功能,快速适应需求变化、提高功能、业务的复用度。系统采用组件化、模板库编程思路,同类业务可基于模型库快速构建,减少重复代码编写过程。进一步提高开发效率、缩短开发周期、减少运维成本。系统包括基础设备层、数据通讯层、服务层、业务应用层和展示层。各层描述如下:基础设备层:基础设备层指现场采集智能设备采集数据数据通讯层:数据通讯层主要实现基础数据的采集工作,数据来源主要包括风电场、光伏、升压站及其相关应用系统。基础保障层:以公司现有的网络资源、硬件资源、数据资源及其它信息系统为基础,最大适度地利用、整合现有资源,在此基础上实现快速构建,数据传输过程采用电力认证的加密与解密装置和隔离装置实现数据安全与稳定的传输。数据层:数据层建立事业部统一的实时数据、历史数据和关系型数据的大数据中心,包括了数据通讯层采集的各类生产实时数据以及经过分析、挖掘和统计后形成的决策、分析管理类数据。该类数据可基于标准、简易的接口提供给其它业务部门和业务系统。服务层:通过统一的服务接口,为外部信息系统提供标准的服务。业务层:业务层系统根据分布在不同的安全区域,对访问权限有严格控制,展示层:采用统一平台为用户提供统一的访问入口,提供给各类用户的直观展示和使用界面。业务架构朗清智慧光伏平台系统的核心是建立以自动化设备体系为基础,现场个智能功能独立应用,各智能设备的数据采集,统一标准和数据平台为主要支撑,智能化高级应用体系为主体的智慧化运营中心。建设光伏场站侧智能化应用,实现XXXXX电站智能化应用。作为远程集中监控、智能运营和智慧区域维检,打造智慧光伏,实现“区域集控、无人值班、少人值守、运维一体化、检修专业化”的运营管理模式。通过XX光伏电站智慧化(智能)发电关键技术研究与示范的建设,实现数据集中管理优势的充分利用,结合现场智能化设备的技术的特点,将计算资源、存储资源与设备数据、业务数据有机结合。在将业务自动化、数据可视化、分析智能化的同时,构建能够无缝扩展的计算平台,满足公司未来的发展要求,实现公司信息化战略。图3总体业务架构技术架构采用redis,kafka作为中间件,实现分布式内存缓存、高性能、高并发通讯。中间组件提供数据持久化,可以把数据保存在磁盘中,从而保证数据完整性,组件之间数据数据加密传输,进一步保证数据安全性。基于第四代大数据统一计算框架flink与MPP(大规模并行处理)开源安全可控的分布式关系数据库对光伏、风电场的生产过程数据、管理信息数据的数据建模整合,实时、流式计算与历史计算结合的系统智能预警及关联智能应用。图4总体技术架构网络架构整个系统按照使用专线网络方式设计,使用专线通道,按照最新的发改委14号令《电力监控系统安全防护规定》和《电力监控系统安全防护总体方案》(国能安全【2015】36号)的要求,实现区域监控功能,达到少人值守的要求。系统设计总体原则为“安全分区、网络专用、横向隔离、纵向认证”。安全防护主要针对网络通信和基于网络的子站侧数据采集、监控系统,重点强化边界防护,提高内部安全防护能力,系统本身及重要数据的安全。朗清智慧光伏平台建立在管理大区,信息交换主要与生产管理系统、两票系统、点巡检系统实现数据交换。与生产数据的交换计划在集控中心数据平台实现。各分区已按要求部署安全设备,本次不增加信息安全设备。在的I区和II区之间部署防火墙,进行逻辑隔离。图5智慧电厂总体网络架构安全架构网络信息安全体系框架体现安全方向和目标、安全策略、安全技术和安全管理这几方面内容之间的关系,并将体系框架作为后续调研分析、风险评估以及规划设计的依据。(1)安全战略:网络安全方针、总体安全策略决定事业部在本规划期内,网络安全建设和运维管理的方向和总体实施方法,其架构通过安全目标来体现;指标策划和监督检查体现持续改进的质量管理闭环,推动组织将安全目标细化为考核、管理和技术三个层面的指标,激励不同层面的人员持续改进网络安全水平。将安全方针、总体安全策略、安全目标等落到实处,需要先针对网络安全领域的主要内容制定安全策略,然后围绕安全策略,建立切实可行的安全技术和安全管理体系,才能确保安全目标得到实现。(2)安全策略:是网络安全建设的核心,应该覆盖网络安全领域的主要内容,包括组织和人员、建设和运维以及信息系统各层面的安全要求。(3)安全管理体系:包含安全组织和人员安全、信息系统建设生命周期周期中各阶段的安全制度和流程,以及信息系统运维管理方面的安全制度和流程。(4)安全技术体系:体现面向IT系统的分层保护(即物理安全、网络安全、主机安全、应用安全和数据安全)、分级保护(安全等级定级及保护)、分区保护(体现电力行业特点的信息系统分区,如管理区、生产控制区等)。每个级别和每个区域的信息系统,均包含五个层次的安全保护措施。安全设计原则安全总体设计遵循以下基本原则:需求、风险、代价平衡性:网络系统的绝对安全是难以达到的。通过对安全威胁的定性与定量分析,制定行之有效的安全策略,同时在安全性和投资之间寻求平衡。综合性:运用系统工程的观点、方法分析站点的安全问题,制定工程上可行的具体安全措施,综合应用多种安全措施。一致性:安全措施与网站生命周期同步,安全体系结构必须与安全需求保持一致。易操作性:安全措施易于使用,不能影响系统正常运行。适应性、灵活性:安全措施能够适应系统性能及安全需求的变化。多重保护:构建一个具备多重保护能力的系统,当安全系统某局部被破坏时,其它部分仍能够有效提供安全服务。软件系统安全安全评估需由专业安全服务人员根据相关要求对主机操作系统和数据库系统进行安全评估,并根据需要进行适当加固和提供整改建议。身份鉴别需要部署双因素身份认证系统对操作系统和数据库系统的管理员进行身份鉴别,身份鉴别信息应不易被冒用。需要对远程身份认证过程提供加密保护。访问控制对重要信息资源设置敏感标记,依据安全策略严格控制用户对有敏感标记重要信息资源的操作。系统采用基于角色的授权管理,并坚持最小权限原则,以减少用户越权进行业务操作的现象,最大程度的保证系统的安全。安全审计需要对服务器操作系统、数据库系统和重要客户端操作系统进行用户行为、系统事件的审计,审计记录应包括日期和时间、类型、主体标识、客体标识、事件的结果等。需设置安全、独立的日志存储系统,保护审计记录不被非法删除、修改或覆盖等。能够根据记录数据进行分析,生成审计报表。入侵防范需要在重要服务器上部署入侵检测机制,对非法入侵和攻击行为进行检测、记录和告警,并对系统重要程序的完整性进行检测和保护。恶意代码防范需安装网络版防病毒软件,提供统一管理和更新,且需与网关防病毒系统的代码库异构。资源控制需要对重要服务器的运行情况进行实时监视,包括监视服务器的CPU、硬盘、内存、网络等资源的使用情况,限制单个用户对系统资源的最大或最小使用限度,并能够对系统的服务水平降低到预先规定的最小值进行检测和报警。应用安全安全评估需由专业安全服务人员根据相关要求对应用系统进行安全评估,并根据需要进行适当加固和提供整改建议。身份鉴别需要部署双因素身份认证系统对应用系统用户进行身份鉴别,身份鉴别信息应不易被冒用。访问控制对重要信息资源设置敏感标记,依据安全策略严格控制用户对有敏感标记重要信息资源的操作。系统采用基于角色的授权管理,并坚持最小权限原则,以减少用户越权进行业务操作的现象,最大程度的保证系统的安全。安全审计需要对应用系统进行用户行为、重要安全事件的审计,审计记录应包括事件的日期、时间、发起者信息、类型、描述和结果等。需设置安全、独立的日志存储系统,保护审计记录不被非法删除、修改或覆盖等。能够对记录数据进行统计、查询、分析,生成审计报表。应用通信安全采用密码技术,提供通信双方的会话初始化验证,对重要通信过程进行加解密运算和密钥管理,保证通信过程中数据的完整性,保证整个通信报文或会话过程的保密性,保证通信双方数据收发行为的抗抵赖性。资源控制需要对应用系统的运行情况进行实时监视,对系统的资源分配进行合理设制,并能够对系统的服务水平降低到预先规定的最小值进行检测和报警。数据安全数据传输完整性、保密性采用密码技术或其他有效措施,保证系统管理数据、鉴别信息和重要业务数据在传输过程中的完整性、保密性。数据存储完整性、保密性采用专门的存储安全措施,保证系统管理数据、鉴别信息和重要业务数据在存储过程中的完整性、保密性。数据备份和恢复建立或完善数据备份和恢复机制,在提供本地备份和恢复功能的基础上,建立异地数据备份机制。接口设计接口范围接口设计总体上遵循高内聚、低耦合、精分解的设计原则,采用分布式服务的架构,提供以微服务为基础,结合完善服务管理功能,实现事件驱动的处理模式,应支持基于内容的路由和过滤,具备了复杂数据的传输能力,发布了一系列的标准接口,提供服务请求、服务注册与管理、配置管理、路由选择、适配器、服务质量、服务中介、服务告警监控及安全管理功能等功能,能够实现各组织层级应用系统之间的业务流程数据交互,涵盖管理系统与各业务系统之间直接、即时进行数据交互的场景,保证实现的通用性、提高系统的重用性和扩展性。接口设计内置Java、C++、C#等语言的编程接口,公开了分布式存储系统的访问接口,方便第三方系统直接获取服务支持。支持用户自行设计服务,可以根据已有数据资源和用户的服务需求自行搭建/装配出信息服务。并对服务配置信息和参数的设置管理,并经过相关业务审批后,对外发布调用接口,供用户使用。截止目前,已在中国XX集团有限公司进行了普及应用,通过接口标准及规范的统一,打通了各异构系统的互联互通,对集团法务系统、三重一大系统、财务一体化、安全生产管理系统、安全生产管控平台、公司生产调度系统、燃料调度系统、物资编码系统、综合计划系统、审计信息平台、纪检监察系统、OA系统、制度系统、热网系统、技术监督系统、可靠性系统、智能一体化系统、视频门禁监控系统等异构数据进行了集中与整合,提升了数据的时效性、唯一性和规范性,为实现数据的高度共享和挖掘分析提供了有力条件。设计原则系统采用先进的标准化应用插件接口技术,提供一种业界领先的软件总线结构。标准化的应用接口可以保证与第三方系统的集成与增值开发。接口系统在方案设计时将充分依据以下设计原则:安全性智慧光伏接口通信与电厂各控制系统的通信过程不能影响过程控制系统的运行;接到数据通讯系统上的任一系统或设备发生故障,不导致通讯系统瘫痪或影响其它联网系统和设备的工作;任何站与以太网的接口是无源并是电气隔离的;接口的通信方案将提供完善的安全性能,保障控制系统本身的安全。可靠性通信接口应能够在各种情况下正常工作,其可靠性应与被接口的设备一样;数据的通信机制提供可靠性保障,保证在当数据服务器通信出现故障或出现其它网络故障时不丢失数据;当网络系统中断时,系统能采取措施保存当前实时数据,当网络恢复后再将缓存的数据传送至历史库。开放性通信接口应能够接受被接口设备的通信协议;使通信具有一定的通用性和灵活性;采用标准的通信协议。扩展性通信接口系统具有较强的扩展能力;充分保证电厂以后机组容量设计。易维护性通信接口子系统是易于维护的;维护包括状态提示、故障诊断、系统设置、人机接口、系统网络物理连接等等方面。先进性通信接口子系统的先进性是上述各种性能的综合要求;设计应符合国际流行趋势,具有技术先进性。实时性智慧光伏接口通信能够及时地反映过程信息,这种及时反映是从过程分析的角度提出的;接口系统将提供高速的数据采集通道,保障数据的实时性;智慧光伏接口接口软件提供本地数据缓存功能,即当网络故障或实时数据库出现故障时,接口软件将从子系统采集的数据存入本地硬盘。一旦故障恢复,接口软件将暂存数据自动存到数据库。其它接口其它非实时应用系统(包括视频门禁监控系统)接口需依据平台的规范,主要的方式有数据库直联,RestFul、WebService、OPC服务、DB-Link等,具体遵循以下规则:支持Windows、Linux操作系统。支持多种关系型数据库的读取和写入,支持国产数据库、Oracle、MYSQL等主流关系型数据库管理系统。故障管理:对于网络中断故障,系统能采取对采集到的实时数据进行缓存、记录故障日志等操作;当网络恢复时,系统能采取将缓存数据高效恢复、恢复网络连接等操作;对于系统后台服务故障,守护进程能对其进行重启。提供丰富的数据转发方式:系统提供文件转发、自定义TCP协议转发、自定义UDP协议转发、关系数据库转发等。优秀的可扩展性:系统框架能够灵活支持规约扩展和通信方式的扩展等。数据平台设计XX科技智慧电厂数据应用平台X-DT基础上,开发X-HD大数据平台,提供hadoop集群、分析型数据库、ClickHouse数据库、全文搜索、实时计算、机器学习、深度学习、ETL开发工具、报表工具等功能,包括Hadoop基础组件、DeltaLake、数据服务、各产品组件、社区版组件、关系数据库、Mysql数据库、X-DB实时数据库、对象存储服务、Redis数据库、机器学习框架、报表工具等功能。智慧电厂大数据平台采用“大数据、物联网、移动、人工智能”的多项关键技术。(1)大数据技术。采用Hadoop、Spark、ClickHouse、Delta-lake等技术,实现数据的抽取存储查询计算功能,打造实时大数据平台,提供实时数据服务,是一个革命性突破。(2)AI人工智能技术。使用数据挖掘组件库,提供丰富的算法组件,覆盖回归、分类、聚类、文本分析、关系挖掘等算法,无缝对接多种数据源,对电力设备的运行、诊断提供智能服务。应用服务器集群和负载均衡器设备、数据库服务器、网络服务、存储服务等资源服务层,提供设备底层支持。1)数据采集层通过Datax、Spark等ETL抽取工具,进行全量和增量抽取数据到大数据仓库,通过数采通采集生产设备数据到X-DB。2)数据计算与存储层对采集的数据进行清洗,根据大数据仓库模式建立DW、DM存储数据,融合打通数据,使用Deltalake高效存储数据并提供事务管理,使用Clickhouse存储应用主题数据DM,提供实时数据服务,大数据平台集群提供分布式计算集群、实时流计算和离线批处理计算。3)数据分析层提供商业BI分析和人工智能分析与数据治理功能,通过BI工具进行交互式查询和可视化展现,对数据进行钻取分析,通过人工智能建模平台进行数据挖掘,拖拉式选择数据源、模型等组件建模,零编码进行数据挖掘训练和预测;数据治理提供元数据管理、数据目录、数据质量、数据资产、数据标准等数据治理功能。4)数据服务层提供数据服务开发方案,主要是为数据资源需求单位快速定制开发提供各类数据服务,包括业务数据查询、业务统计数据查询等服务。数据接入系统提供多种数据采集接口,主要涵盖4个主要部分,包括通过业务系统的数据加载与同步(spark、confluent等)、实时流数据接入、人工上传文件数据、微服务数据服务接口等。数据服务采用SpringCloud和SpringBoot框架,构建基于微服务架构的数据服务,具有服务注册、动态令牌验证、服务路由和负载均衡,快速部署,高安全、高可靠、高性能的运行服务。5)数据应用层在大数据平台的基础上运行安全生产等业务系统和人工智能服务,完成业务功能提供智慧服务。大数据平台具备常规的数据抽取、清洗、存储、治理、查询、展示、服务、计算等功能,还紧扣电力行业特点,高度集成业务系统数据和生产设备的实时数据,打通融合数据建立数据仓库,提供共享服务,支持开发电厂、子公司和集团公司的集中运行平台,避免重复建设,大幅度节省成本,并可存储更多的生产和业务数据,便于提升智能建模分析的质量,同时打造一个人工智能平台X-AI和专家系统,根据电力设备生产数据建模,提供智能优化运行和设备智能预警、诊断与运维,通过专家系统、知识库把公司行业专家的工作经验和知识提炼固化下来,提供智能推理功能,根据系统运行参数和情况进行自动操作,并为工作人员的操作提供指引,实现智慧监盘,并持续积累优化,不断提升智能化水平,打造智慧电厂。图6智慧电厂数据平台数据平台抽取平台应提供大数据采集工具,支持业务数据库数据、各类文件、时序数据和网页数据的采集和处理,存储到数据仓库,能够覆盖来自传感器、关系数据库、时序数据库等各类数据源。提供基于Datax的数据抽取功能,支持Mysql、Oracle、Sqlserver等关系数据库与HDFS、Hive、Hbase之间的交互数据导入导出功能,接入采集到的生产设备数据和业务系统数据,并对数据进行清洗保证质量;支持丰富的数据源可直接从Oracle/DB2等传统关系数据库将数据导入至TDC,在不失效率的情况下避免了使用Sqoop带来的步骤繁琐,类型转换复杂等应用场景。支持CSV,定长文件,JSON,XML等文件的导入支持通过Kafka等方式读入流数据支持跨集群的数据导入支持丰富的导出格式可以直接导出数据至传统关系数据库导出多种数据格式,支持hive、数据湖等。支持跨集群导出支持导出至Search提供常见的数据转换操作帮助实现数据的清洗、加工,包括但不限于:字段映射功能、数据关联、集合操作、聚合操作、过滤、去重等。数据治理提供一套数据清洗的过程功能,根据电力行业的特点,对数据填补缺失值、对有噪声的数据进行平滑处理、识别、取合理值等,并移除数据中的离群点并解决数据不一致的问题。数据治理就是以服务组织战略目标为基本原则,通过组织成员的协同努力,流程制度的制定,以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析,实现数据资产价值获取、业务模式创新和经营风险控制的过程。平台提供数据治理功能,对抽取数据按照数据标准进行清洗,消除异常或缺失、错误等数据,确保数据质量。平台对数据进行质量检查,对不合规数据提出警告,确保数据质量。图7智慧电厂数据治理良好的数据标准体系有助于数据的共享、交互和应用,可以减少不同系统间数据转换的工作。数据标准适用于业务数据描述、信息管理及应用系统开发,包括基础标准和指标标准(或称应用标准)。可以作为经营管理中所涉及数据的规范化定义和统一解释,也可作为信息管理的基础,同时也是作为应用系统开发时进行数据定义的依据。涉及国家标准、行业标准、企业标准和地方标准,在定义元数据实体或元素时进行关联。
数据标准的主要由业务定义、技术定义和管理信息三部分构成。同时还需要不断的补充完善、更新优化和积累,以便更好的支撑业务的开发和系统的集成。业务定义业务定义主要是明确标准所属的业务主题以及标准的业务概念,包括业务使用上的规则以及标准的相关来源等。对于代码类标准,还会进一步明确编码规则以及相关的代码内容,以达到定义统一、口径统一、名称统一、参照统一以及来源统一的目的,进而形成一套一致、规范、开放和共享的业务标准数据。
(2)技术定义技术定义是指描述数据类型、数据格式、数据长度以及来源系统等技术属性,从而能够对信息系统的建设和使用提供指导和约束。
(3)管理信息管理信息是指明确标准的所有者、管理人员、使用部门等内容,从而使数据标准的管理和维护工作有明确的责任主体,以保障数据标准能够持续的进行更新和改进。数据平台离线计算离线开发平台底层封装了大数据相关的一系列技术,如:Hadoop、Spark等计算引擎,实现数据同步,离线数据批处理加工,数据分析,运维管理等底层能力,提供无需编码的可视化的数据开发环境,完成大数据中心ETL过程设计、维护、运行、监控,将分散的、异构数据源进行抽取、清洗、转换、集成,最后加载到指定数据库。其作用是通过分布式数据处理和任务调度,高效的完成数据集成,提高数据处理效率、规范开发流程,从而显著降低数据集成的成本。平台还对实时开发提供的低延迟、高吞吐、高可靠的分布式流数据分析工具,支持在线计算,通过全托管的方式让用户不用关心底层计算集群的架构原理,只需要聚焦于本身的业务逻辑,有SQL代码基础即可执行作业。为适应数据中台多类型数据源采集处理的需要,流处理需支持多种类型的数据采集方式,流数据采集技术采用Hadoop架构为基础,集成Hadoop生态圈的多种开源技术如SparkStreaming等各类实时计算引擎,同时流处理封装了多种丰富的数据源接口,包括:常用标准协议接口如Socket等、FTP文件接口、JDBC接口、消息队列(MQ)接口、Hadoop生态圈的开源技术Flume等,支持流式处理任务的管理、监控和日志管理;提供高度伸缩性的可扩展存储集群,可自动平滑的扩容。简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;动态:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;调度中心HA(中心式):调度采用中心式设计,“调度中心”自研调度组件并支持集群部署,可保证调度中心HA;执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;注册中心:执行器会周期性自动注册任务,调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;其中分片任务支持分片粒度的失败重试;任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便的扩展短信、钉钉等告警方式;分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发。任务进度监控:支持实时监控任务进度;Rolling实时日志:支持在线查看调度结果,并且支持以Rolling方式实时查看执行器输出的完整的执行日志;GLUE:提供WebIDE,支持在线开发任务逻辑代码,动态发布,实时编译生效,省略部署上线的过程。支持30个版本的历史版本回溯。脚本任务:支持以GLUE模式开发和运行脚本任务,包括Shell、Python、NodeJS、PHP、PowerShell等类型脚本;命令行任务:原生提供通用命令行任务Handler(Bean任务,"CommandJobHandler");业务方只需要提供命令行即可;任务依赖:支持配置子任务依赖,当父任务执行结束且执行成功后将会主动触发一次子任务的执行,多个子任务用逗号分隔;一致性:“调度中心”通过DB锁保证集群分布式调度的一致性,一次任务调度只会触发一次执行;自定义任务参数:支持在线配置调度任务入参,即时生效;调度线程池:调度系统多线程触发调度运行,确保调度精确执行,不被堵塞;数据加密:调度中心和执行器之间的通讯进行数据加密,提升调度信息安全性;邮件报警:任务失败时支持邮件报警,支持配置多邮件地址群发报警邮件;推送maven中央仓库:将会把最新稳定版推送到maven中央仓库,方便用户接入和使用;运行报表:支持实时查看运行数据,如任务数量、调度次数、执行器数量等;以及调度报表,如调度日期分布图,调度成功分布图等;全异步:任务调度流程全异步化设计实现,如异步调度、异步运行、异步回调等,有效对密集调度进行流量削峰,理论上支持任意时长任务的运行;跨语言:调度中心与执行器提供语言无关的RESTfulAPI服务,第三方任意语言可据此对接调度中心或者实现执行器。除此之外,还提供了“多任务模式”和“httpJobHandler”等其他跨语言方案;国际化:调度中心支持国际化设置,提供中文、英文两种可选语言,默认为中文;容器化:提供官方docker镜像,并实时更新推送dockerhub,进一步实现产品开箱即用;线程池隔离:调度线程池进行隔离拆分,慢任务自动降级进入"Slow"线程池,避免耗尽调度线程,提高系统稳定性;用户管理:支持在线管理系统用户,存在管理员、普通用户两种角色;权限控制:执行器维度进行权限控制,管理员拥有全量权限,普通用户需要分配执行器权限后才允许相关操作;实时计算平台实时开发提供的低延迟、高吞吐、高可靠的分布式流数据分析工具,通过全托管的方式让用户不用关心底层计算集群的架构原理,只需要聚焦于本身的业务逻辑,有SQL代码基础即可执行作业。为适应数据中台多类型数据源采集处理的需要,流处理需支持多种类型的数据采集方式,流数据采集技术采用Hadoop架构为基础,集成Hadoop生态圈的多种开源技术如SparkStreaming等各类实时计算引擎,同时流处理封装了多种丰富的数据源接口,包括:常用标准协议接口如Socket等、FTP文件接口、JDBC接口、消息队列(MQ)接口、Hadoop生态圈的开源技术Flume等,支持流式处理任务的管理、监控和日志管理;提供高度伸缩性的可扩展存储集群,可自动平滑的扩容。人工智能平台人工智能平台集成完整的数据挖掘组件库,提供丰富的算法组件,覆盖数据清洗、数据处理、数据探索、回归、分类、聚类、关联规则等算法,无缝对接多种数据源,对接多种大数据组件,支持使用数据开发加工好的数据;实现从大数据平台获取标准化数据后,通过拖拉的方式,借助人工智能平台组件灵活地拼装自己的试验流程来解决业务场景。图8人工智能平台算子库提供标准通用、工业专用算子库,包括:数据处理类算子、数据探索类算子、机器学习类算子等;算子库提供扩展功能,支持用户自定义开发算子(符合调用加载规范)的加载和利用。平台提供以下算子:序号大类小类算法名称1通用算法数据处理多源行合并2多源连接3数据过滤4过滤列5SQL转换6列间计算7数据抽样8数据去重9行列转换10集合组装11向量切片12向量分解13独热编码14类别编码15类别解码16行数据拓展17类型转换18空值填补19值替换20值转换21多项式扩展22乘积23数据标准化24数值离散化25数据反标准化26线性插值27聚类期望值回归28异常值筛选29数值规范化30离散余弦变换31数据探索相关性分析32线性拟合33正态评分34灰色关联度35工况统计36K值选取37正态分析38正态性检验39箱线图分析40一次调频41奇异值分解42相似度计算43局部离群因子44PCA主成份分析45基本统计量46稳定性分析47列间统计48核密度估计49机器学习算法分类朴素贝叶斯50逻辑回归51决策树分类52K近邻分类53随机森林分类54多层感知机分类55梯度提升决策树56支持向量机57回归线性回归58决策树回归59随机森林回归60K近邻回归61BP多目标神经网络回归62BP神经网络回归63广义线性回归64GBT回归65聚类K-Means聚类、高斯混合聚类、二分支均值聚类66关联规则FP-growth频繁模式树67模型预测模型预测68模型评估排名模型评估69二分类模型评估70多分类模型评估71回归模型评估表1数据算子库平台功能人工智能平台主要功能分为四大块为:主题分析管理、组件管理、作业管理、运行监控。功能整体目标:实现数据从数据源-数据清洗-数据探索-数据建模-数据存储-结果展现-作业发布的可视化化操作建模分析平台,整个系统的分析流程采用图形化方式设计,易于用户操作。大数据共享服务采用SpringBoot微服务技术,查询数据仓库,提供数据查询共享服务,根据业务系统对不同数据的需要,定制微服务,提供RESTAPI调用。大数据可视化大数据分析平台进行基于算法的统计分析并生成报表,展现形式应适应相应的数据特点,包括文氏图,柱状图,折线图,直方图,条形图,散点图,雷达图和饼图等图形,提供BI业务分析和统计报表功能。支持海量数据的不同接口,展示常规数据表,包括二维及多维数据表;根据相关的报表的需求,报表展示部分能够从数据集市中自动抽取数据,并按照业务的查询条件,自动生成相应报支任在大数据量、高并发、多维分析等环境背景下的实时分析。通过实时数据集成(RDI)提供的数据实时复制与DW的列式存储引擎,解决传统架构模式下,普通形式存储引擎无法实现的业务场景。(1)数据挖掘过程简单,强大和直观(2)内部XML保证了标准化的格式来表示交换数据挖掘过程(3)可以用简单脚本语言自动进行大规模进程(4)多层次的数据视图,确保有效和透明的数据(5)图形用户界面的互动原型(6)命令行(批处理模式)自动大规模应用(7)多语言API支持(应用编程接口)(8)简单的插件和推广机制(9)强大的可视化引擎,支持尖端的高维数据的可视化建模大数据多维分析查询系统整体架构如下图所示:图8大数据可视化平台以下是BI报表工具具备的几项关键特点和功能:丰富的报表展现,提供包括柱状、饼状、热点图、词云图等共数十种图表样式,能够满足用户的分析需求。提供强大敏捷的多维度分析功能,支持在各种维度之间流畅切换。同Presto和HDFS对接,提供对大规模数据集的交互分析支持。简化报表仪表板的设计与创建,实现可交互式仪表板,同时拖拽即可调整图表尺寸,轻松改变仪表板布局。实现在线SQLIDE,使SQL语句的调试执行与结果集的图表生成一气呵成。可服务于多租户场景,实现报表的共享与隔离,方便团队协作和互助。同时保障信息安全。轻量的Web应用,用户可以随时在不同移动终端上访问。图9大数据可视化应用平台监控及运维平台提供一个管理界面可以在浏览器中安装、部署、监控和管理整个集群。平台赋予大数据平台运维人员经营者企业级标准的平台管理能力,经营者可以藉此提高平台运维性能,提高服务质量并降低运营成本。运维人员可以轻松地部署和集中操作整个TDH集群。应用程序自动执行安装过程中,部署时间从几周减少到几分钟,平台可以提供群集范围内的实时视图的节点运行和服务;提供了一个单一节点的中央控制台;制定配置的更改和全范围的报告和诊断工具来优化性能和利用率;可以实时报警异常情况。大数据平台支持对数据平台各类用户权限的统一管理,按不同权限粒度,根据数据查询、访问需求,明确其在系统中可以进行的操作、可以看到的数据等权限。X-DB实时数据库XX科技公司X-DB基于云边分布式架构的实时数据库。能够支持百万千万级标签点,
PB级以上数据,是数据库技术在工业控制领域深入的应用。X-DB能够对快速变化的实时数据进行长期高效的存储和检索,是连接工厂控制层(DCS.PLC等)与生产管理层之间的桥梁,是企业流程仿真、生产控制、生产优化,故障诊断、数据走势分析等信息化系统的核心数据平台。X-DB提供了丰富、易用的客户端管理工具,包括授权许可管理、日志管理、安全管理、标签管理、实时/历史数据库管理、分布式管理、目录管理、数据镜像、报表工具、数据告警、组态工具(支持移动终端)、曲线分析、过程回放、散点图分析、数据采集、数据计算、OpcServer等功能,以帮助用户进行数据库数据的各项管理、分析和维护。X-DB主要应用于:电力、钢铁、石油化工、煤炭,智能交通、航空航天、电信、证券、制药等领域。图10X-DB系统架构图(1)产品特点云边分布式架构 采用分布式 架构设计,利用数据管理中心按需进行节点扩展。支持高可用云边部署,云边数据同步,大数据生态集成。异构数据库迁移支持PI、eDNA、iHistorian等国外实时数据库数据平滑迁移。按位压缩专利技术应用采用独有的
X-BIT
按位无损压缩编码算法,获得国家专利,存储效率高。国产软硬件平台适配支持适配华为鲲鹏、海光等处理器,适配湖南麒麟、中标麒麟等国产操作系统。高效率、高性能具有分布式存储计算优势,支持百万、千万级数据读写处理能力,采用高压缩比的磁盘存储(10亿数据点硬盘成本低于1.4),和自动冗余技术备份数据,保障系统安全高效运行。支持SQL聚合函数查询等数据操作,高效率高性能低成本存储企业生产数据,为企业降本增效。(2)技术性能参数主要技术性能指标参数序号技术指标参数1技术架构支持分布式,云边部署,集群部署2国产芯片支持鲲鹏、海光等3操作系统支持windows/linux
湖南麒麟、中标麒麟等4存储方式分布式文件5压缩方式无损压缩6数据维护导入导出、备份恢复、同步镜像7应用特性画面组态、趋势分析、告警展示、报表分析、监控分析8计算特性自定义告警、表达式支持9组态发布方式WEB、移动应用,支持SVG10标签点容量视硬件配置情况,单机支持500万点以上11实时数据更新100万点/秒12实时数据查询100万点/秒13历史数据查询50万点/秒14并发用户数1000个以上15数据压缩比20:0116安全性支持用户三权分立,访问授权认证,文件加密存储。支持双机热备17接口特性工控协议支持:opc、modbus、104等;
物联网协议支持:mqtt等;
异构数据库支持:PI、enda、ihistorain等;
标准编程接口:jdbc、sql、webapi等;18接口编程语言支持c++/java/C#/python表2数据库技术特性(3)主要功能异构数据源数据采集控制系统数据采集支持包括目前国内外主流DCS系统和Siemens、Modicon、ABB、GE、Omron等PLC系统;支持TCP/IP、OPC/DDE、Modbus、Profibus、RTU、电力规约101/102/104、RS232/485等几十种通讯协议。实时数据库采集支持包括eDNA、PI、Ihi、iHistorian、OpenPlant、Agilor、Abb、KingHistorian等上十种国内外实时数据库采集。关系数据库数据采集支持包括Oracle、SqlServer等关系数据库数据采集。手工数据录入支持包括煤质等非自动采集数据录入功能。数据管理提供授权许可管理、日志管理、安全管理、标签管理、实时/历史数据管理、分布式管理、目录管理、数据镜像等功能。图11标签点管理数据计算与分析提供实时计算功能,计算法则采用的是全编码式数据计算扩展接口,算法可以使用C#、VB.NET和Jscript三种语言进行编写,支持动态编译,能够满足用户各种复杂算法;提供多点多Y轴曲线分析,支持曲线局部放大,可以对同类指标和关联指标进行分析,为分析设备故障及数据发展趋势提供很好的直观依据;提供历史数据回放功能;提供散点图分析功能;提供区间告警、多点组合告警,以及趋势拟合告警。图12多点多Y轴曲线分析数据报表提供Excel的外接插件,通过Excel模版绑定标签点数据,报表的生成只需要打开模板,更新一下最新数据即可,非常简单灵活。图13报表分析图形组态设计与发布X-DB为用户提供灵活的、功能强大的组态图设计功能,通过内置的基础元件、官方提供的各行业扩展元件、用户自定义元件,轻松设计出任何所需的组态图,发布到Web页面,支持动画显示;也可以为各个元件绑定监控点数据,为元件编写事件脚本来控制元件的行为,实现设备控制功能;提供历史画面回放功能。图14报表分析组态支持移动终端展现,包括安卓苹果手机、IPad,用户随时随地查看设备运行情况,及时掌握企业生产运行情况:第三方支持API开发包提供标准C语言SDK开发包,支持C++、JAVA、C#等大部分主流开发语言进行第二次开发。SQL语言查询提供标准SQL语句查询数据,能够通过JDBC、ODBC、ADO等通用数据库访问组件访问数据OPCServer和MQTT服务提供标准的OPCServer服务和MQTT服务,使第三方厂商不用编写任何代码即可访问X-DB数据。关系数据库支持支持实时数据库数据导入到关系数据库,第三方厂商不用了解实时数据库知识即可访问实时数据库数据。开发平台以XX科技多个子系统为基础构建而成,各子系统原是相对独立,现以JREAP平台为基础,融合各系统形成一体化应用平台,各子系统包括:安全生产管控系统、智能作业安全管控系统(门禁系统、智能视频监控、巡检系统、人员定位系统)、三维仿真系统、新能源智慧化、电力营销管理系统、数字化移交系统、多媒体会议、视频会议、产区大屏幕发布、智能分析与决策等。图15智慧电厂一体化信息平台框架图平台遵循SOA架构体系,基于统一的ICT基础设施,在统一的模型及服务接口标准基础上,构建一体化支撑平台。各类业务功能以此为基础开展建设或功能完善。通过支撑平台和横向服务总线集成各系统功能模块/业务子系统,通过纵向服务总线实现与上、下级相关业务系统的互联。平台通过服务总线实现与其它相关业务系统(如资产管理系统等企业信息化系统)的信息共享、协调控制及流程化管理。一体化平台是一个系统架构科学合理、开放互联的应用服务平台,提供集成的功能,提高开发效率,节约成本、提升质量。不仅能解决数据互联互通问题,消除信息孤岛,实现资源整合与共享;而且未来能够灵活的应对需求发展,可以根据需求的发展变化,在此平台上快速开发建设丰富多样的应用,同时保证这些应用有机统一,集成创新,发挥最大效益。平台由以下几方面构成(表1)。通过先进的RESTAPI方式为产品提供有力的支撑,提高产品整合能力,形成有机的生态系统。采用开源的Kubernets,Docker,springcloud等开源容器及负载均衡及微服务等技术,实现先进的PAAS平台。统一管理服务、安全服务、数据管理、建设标准、相关规范及法规体系,避免管理混乱;通过服务中间件和聚合中间件实现信息共享与交互,实现统一用户认证,权限管理,单点登录;统一、开放的信息展现层;提供基础软件和通用服务,并提供标准接口,可通过无代码开发工具和代码开发工具,快速开发,适应应用变化需求,为持续发展奠定技术基础。序号子系统功能说明1统一安全服务平台(4A平台)负责菜单、权限、用户、角色的统一集中管理,以及身份认证、权限控制的集中控制和机构部门、数据字典、人员信息等共享数据集中维护、分发2服务总线平台负责各应用系统之间服务调用统一中转、路由、负载均衡等3Web应用门户各web应用系统的统一入口。负责单点登录、把各应用系统的界面集中在门户中展现4移动应用门户各移动端的应用的统一入口。负责单点登录、以微应用的方式集中各应用功能5数据采集平台负责从各种数据源采集数据到相应的目标数据库,并做简单的清洗工作6统一流程管理平台以独立的流程引擎服务提供跨应用系统的流转7数据治理平台负责对采集来的数据进行清洗、转换、整合等数据处理工作,使得来源于多个系统的数据能够在满足数据质量要求的前提下进行有效集成,为数据分析、数据应用准备好数据。图16智慧电厂一体化系统构成表平台架构图17Jreap业务开发平台架构JReap平台由安全保障体系,标准规范体系两大体系和数据层、支撑层、用户层等三个层面组成,能为信息系统建设提供软件项目管理、软件设计、软件开发、软件集成、软件交付等全方位的支撑,采用其特定的软件开发方法可快速交付与系统落地。技术层面,系统通过分层、分模块地设计,分解为若干相对独立又不相交的业务组件,把复杂问题进行统筹和分而治之的一种业务设计模式。整合开源框架,实现了业务逻辑、业务服务及业务流程松耦合,并在技术上采用标准化规范实现软件信息系统的快速交付。移动应用框架方面,以标准的HTML、JavaScript、CssWeb开发技术进行具有良好用户体验原生移动应用开发,一次开发,即可跨多平台运行。屏蔽了原生应用和移动平台相关的开发技术复杂度,降低了移动应用开发的技术门槛,帮助客户快速交付高质量的移动应用。作为JReap平台的核心即支撑层,主要包括如下内容:模块描述用户授权中心提供统一的认证、授权、帐号、审计等管理功能,以提高软件及数据的复用度,包括了组织机构、账户、角色、权限、模块、菜单、功能资源、日志、编码字典等业务功能流程中心提供流程定义、流程引擎、流程监控、待办任务,流程历史等业务功能,降低了流程开发与实施难度移动应用中心移动平台采用了混合模式(原生+Html5)移动应用,实现了移动端一套代码多端部署、降低了开发难度,节约了开发成本。封装了多种硬件调用方式,集成了JReap的管理功能,并且开放了公共的调用接口,满足业务系统开发需要。实现装配式的系统集成方式,实现统一平台下多业务系统的切换。强大的后台管理功能让使用者通过配置进行版本发布,模块管理,权限分配,任务通知发布等功能。微服务中心提供微服务模块的统一管控,满足了多系统统对业务功能界面集成要求,另外提供配个性化的首页展示。提供统一的日志管控,具备日志记录、日志级别设定、基于AOP方式的日志拦截能力,便于日志追踪审计微服务通用组件及服务分布式缓存组件:使用缓存框及相关规范开发的系统可极大的提升系统的运行性能,满足后续的集群、分布式部署要求。分布式服务组件:为满足一体化应用要求,同时为适应应用规模大、多应用数据的集成与服务整合需求,也为降低各系统之间依赖复杂度,提升系统性能,平台提供了分布式服务框架,该框架采用RPC方式实现高效的分布式服务框架,提供了服务注册、服务发现、服务路由、服务接口版本控制等功能,为系统的微服务化提供了解决方案。定时调度框架:为满足周期性、定期性等执行周期较长的后端服务要求,平台整合作业调度框架,提供了灵活的配置,实现多线程架构实现灵活的定时调度作业,极大的降低了此类应用的开发门槛消息队列组件:可满足跨平台或不同技术架构的系统进行数据及服务层面的整合。平台采用消息队列总线,实现
多种语言和协议支持。JReap开发工具提供JReap工程创建、模型及逻辑配置、代码自动生成等功能,为了降低研发人员的技术门槛,提升开发效率,有利于节约研发成本。在开发工具JReapStudio中集成可视化设计工具,采用简单的配置达到智能生成项目前后端代码,降低研发人员的重复性劳动,采用自动化生成,内置功能,简化代码调用,提高开发效率。表3平台技术特征图18JReap5.1与其他系统的关系平台特点(1)平台的灵活性、易操性、稳定性、可延续性灵活性方面:高度的模块化设计便于功能修改。多层体系结构,有效地实现了数据与应用的分离,进一步提高了功能修改的灵活性和数据结构调整的灵活性。系统有高度的可配置性,表单、流程、业务逻辑均可通过配置来调整,适应实际业务的变更或优化。易操性方面:模块菜单层次鲜明,操作步骤少,查询过滤条件强大操作界面一致、和谐。录入方便,界面的颜色搭配和谐。提示标准化、清晰明确,系统的提示清晰明确、统一标准。对不同性质的提示(如一般提示、错误提示、警示等),在界面上有明显的区别,提示内容规范,可理解性强。稳定性方面:JReap5.1平台可实现分布式部署,主备部署,集群容错配置,JReap平台的有效性不低于99.9%。可延续性方面:当服务集群规模进一步扩大,带动IT治理结构进一步升级,需要实现动态部署,进行流动计算,现有分布式服务架构不会带来阻力。JReap5.1产品线按规划路线,分步研发,实现智能化的、云端的应用开发平台。可帮助企业面向未来,轻松应对各种层出不穷的“新型应用场景”,包括但决不止于:大数据应用、物联网应用、移动应用、云计算应用、人工智能应用等。未来JReap平台将是全面线上化的IT能力平台,是支撑IT真正成为企业战略的必备。(2)平台的集成能力JReap平台是一个支持复杂信息环境下应用开发和系统集成运行的开发平台,具备数据集成、服务集成、组件集成、应用集成等多种集成方式。在异构分布环境(操作系统、网络、数据库)下提供透明、一致的信息访问和交互手段,对其运行上的应用进行管理,为应用提供服务,并支持各特定领域应用系统的集成。
JReap平台为企业实施信息系统提供了开放的、易维护的、可重构的应用开发(开发工具、设计器、工作流引擎、规则引擎、任务引擎等)与应用集成(Maven仓库、自动化构建、自动化部署等)的支持工具。JReap平台是企业实施信息化工程的有效支持工具,它可以缩短应用开发周期,提高信息系统的运行效率,降低系统维护费用,提供通用的通信和信息访问服务,从而使应用软件功能不依赖于特定的硬件系统、操作系统、网络协议和数据库管理系统,具有良好的可移植性。JReap平台通过提供通用的应用编程接口和图示化界面,达到方便用户使用的效果。JReap平台能够集成企业已有系统和信息源,充分发挥企业过去在信息技术上投资的效益,并保证所开发的软件具有高度的可重用性。平台详细功能(1)JReap开发工具提供JReap工程创建、模型及逻辑配置、代码自动生成等功能。开发过程,基于创建的实体上创建该实体的业务逻
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年地产项目土地储备转让合同范本3篇
- 短期租赁场地租赁合同
- 人力资源招聘与培训管理办法
- 污水处理厂水塔施工合同
- 施工电梯大修拆卸合同
- 橄榄球场遮阳棚定制协议
- 服装企业内部招投标管理规定
- 乳制品销售专员招聘协议
- 乡镇企业员工聘用协议书
- 2024年度铁路货物运输合同范本6篇
- 员工危机意识培训
- 中国急性胰腺炎诊治指南课件
- 数据结构课件队列
- 弹力重力和摩擦力
- 配料罐(搅拌罐)说明书
- 【超星尔雅学习通】《中国近现代史纲要(首都师范大学)》章节测试题及答案(一)
- 国有企业副经理竞聘面试问题及参考答案
- 2023-2024学年新疆维吾尔自治区乌鲁木齐市小学数学五年级上册期末评估提分题
- 乐山市市中区2022-2023学年度上期期末学情调查测试六年级语文答案
- GB/T 325.1-2008包装容器钢桶第1部分:通用技术要求
- GB/T 31326-2014植物饮料
评论
0/150
提交评论