康拓普海量实时数据服务平台介绍71

1、康拓普康拓普海量实时数据服务平台海量实时数据服务平台介绍介绍2011年12月引言引言 实时数据实时数据非结构化数据非结构化数据结构化数据结构化数据数据分类数据分类 在电力行业中数据按照其组成方式和存储方法可以分为三类：结构化数据、非结构化数据和实时数据. . 设备台帐流程数据组织人员文档、图片及视频专家库问题库案例库遥信量遥测量关系数据库NoSql数据库实时数据库引言引言 实时数据库实时数据库 RTDBRTDBReal Time DataBaseReal Time DataBase是数据库系统发展的一个分支，是数据库技术与实时处理技术结合处理的成果，可用于企业过程的自动采集、存储和监视。具体而

2、言，可在线存储每个生产过程点的多年数据，用户既可浏览企业当前的生产情况，也可回顾过去的生产情况。198019801990199020002000 2000年进入中国，而今已成为各行业数据应用的发展的必然趋势80年代兴起于美国 90年代在世界范围内开始广泛应用l 一个对实时性要求高实时性要求高的时标型信息 的数据库管理系统；l 一个以统一接口规范统一接口规范为基础的数据接入平台；l 一个实时数据集中海量存储集中海量存储的数据库；l 一个兼备实时计算、实时分析与展现的实时数据处理平台实时数据处理平台；相对关系型数据库的特点：相对关系型数据库的特点：内容内容产品概述产品概述 产品特点产品特点 产品应

3、用产品应用 产品交流产品交流应用背景应用背景实时数据服务平台实时数据服务平台调度自动化调度自动化配网自动化配网自动化配变监测配变监测GISGIS生产生产营销营销管理信息与自动化信息无法融合管理信息与自动化信息无法融合生产生产各系统使用点对点的方式进行交互各系统使用点对点的方式进行交互调度自动化调度自动化配网自动化配网自动化配变监测配变监测GISGIS生产生产营销营销资产资产GISGISEMSEMSDMSDMS计量自动化计量自动化实时数据服务平台自身两个特点：1、海量数据存储；2、实时数据的同步与访问产品功能架构产品功能架构 EMSDMS计量系统计量系统在线监测在线监测数据接入数据接入数据编码数

4、据编码数据转换数据转换数据质量数据质量高级计算引擎高级计算引擎事件告警事件告警状态估计状态估计拓扑分析拓扑分析实时数据实时数据高速数据访问服务高速数据访问服务数据访问接口数据访问接口实时数据实时数据中心中心实时数据分析实时数据分析平台平台ECIM引擎引擎管理工具管理工具Portal图形平台图形平台Excel报表报表数据展现平台数据展现平台数据源数据源采用分布式集群部署模式，支持大规模用户群、海量实时数据服务要求采用分布式集群部署模式，支持大规模用户群、海量实时数据服务要求 接口机客户端- 系统管理工具- 门户网站- 图形平台SCADA单服务器单服务器 整套系统整套系统磁盘阵列实时库实时库历史库

5、历史库实时库实时库历史库历史库前端服务器前端服务器大客户大客户 计量计量后台服务器组1后台服务器组N1、实现服务动态负荷均衡、系统容量灵活扩充；2、支持大规模用户群、海量实时数据的管理和服务要求 。目前深圳局物理部署实例目前深圳局物理部署实例 在通过正反向隔离器时，使用了数据隧道技术，大大提高了数据传输的速度和安全性。标准制定：建立了统一的各个自动化系统数据接入规范标准制定：建立了统一的各个自动化系统数据接入规范 模型构建：基于模型构建：基于ECIMECIM（企业公共信息模型）构建全电网模型（企业公共信息模型）构建全电网模型 基于ECIM（企业公共信息模型）构建全电网模型 ，为主网、配网拼接打

6、下统一模型基础。内容内容产品概述产品概述 产品特点产品特点 产品应用产品应用 产品交流产品交流产品特点产品特点 基于全电网模型，实现电网运行状态全景视图基于全电网模型，实现电网运行状态全景视图1 采用状态估计、多数据源调和等手段进行数据管理，保证采用状态估计、多数据源调和等手段进行数据管理，保证 数据质量数据质量3 综合野点检测、例外检测、自适应旋转门等压缩技术，优综合野点检测、例外检测、自适应旋转门等压缩技术，优 化海量数据存储化海量数据存储2 独创数据保险箱技术，结合安全数据访问体系，保证用户独创数据保险箱技术，结合安全数据访问体系，保证用户 数据安全性数据安全性4 独创高速数据隧道技术，

7、实现安全独创高速数据隧道技术，实现安全I I区与安全区与安全IIIIII区的实时区的实时 交互交互5 提供高级计算引擎，灵活实现电网实时在线分析与统计提供高级计算引擎，灵活实现电网实时在线分析与统计6 提供丰富多样的展现工具，满足各类专业用户不同场景的提供丰富多样的展现工具，满足各类专业用户不同场景的 应用需求应用需求71、基于全电网模型，实现电网运行状态全景视图、基于全电网模型，实现电网运行状态全景视图ECIM引擎引擎实现主配网模型拼接，和电网运行状态全景视图SubstationBusbarSectionBayPowerTransformerBreakerBayVoltageLevelMea

8、surementBayMeasurement配网生产EMS系统GIS系统DMS系统主网生产CIM-RDF CIM-E语言2、综合野点检测、例外检测、自适应旋转门等压缩技术，优化海量数据存储、综合野点检测、例外检测、自适应旋转门等压缩技术，优化海量数据存储野点检测野点检测 根据各类业务系统数据点的对异常值进行过滤处理。例外检测例外检测 数据写入周期短导致系统负荷增大。 例外检测算法简单，对超过设定偏差范围的数据进行存储，从而大大减少了服务端压力。自适应旋转门自适应旋转门 经典旋转门算法偏差固定，压缩效果取决与人工输入的压缩偏差E。 系统应用九点控制器在线调整压缩偏差。离线压缩离线压缩 过程数据存

9、储时标占用存储空间一半以上。 归档文件设计用相对时间来节省空间。源数据源数据 快照值数据快照值数据缓存数据缓存数据归档文件归档文件实时数据存储全过程管理 2、综合野点检测、例外检测、自适应旋转门等压缩技术，优化海量数据存储、综合野点检测、例外检测、自适应旋转门等压缩技术，优化海量数据存储值值时间时间设定偏差值E业界旋转门算法业界旋转门算法起点值数据点值值时间时间设定偏差值E自适应旋转门算法自适应旋转门算法设定压缩步长上一个归档值终点值当前值自适应调整偏差，保证压缩率的同时，又不会产生失真新偏差E模糊控制器模糊控制器偏差调整偏差调整反馈实际反馈实际压缩步长压缩步长设定初始设定初始压缩步长压缩步长

10、进入下个进入下个压缩周期压缩周期偏差值E太大，压缩率太高，导致失真偏差值E太小，每个点都记录，压缩率太低计算得到的数据计算得到的数据线路对侧数据线路对侧数据状态估计数据状态估计数据厂站端厂站端RTU采采集的信息集的信息数据源数据源IBA优先级优先级可信度可信度状态估计状态估计多数据源调和多数据源调和优选数据优选数据一致性一致性 正确性正确性 完整性完整性 3、采用状态估计、多数据源调和等手段进行数据管理，保证数据质量、采用状态估计、多数据源调和等手段进行数据管理，保证数据质量有些实时有多个采样点来源，所以在系统中我们采用“多数据源调和多数据源调和”技术，对每个“多源数据”的描述，包含来源名称、

11、数值、采集时刻、可信度、优先级等，并按其可信度、优先级可信度、优先级有关规则，选出供运行人员使用的唯一数值 在确定多源数据的数值后，采用状态估计检测技术，辨识和剔除或修正不良数据，排除量测采样中偶然出现的少数不良数据，提高数据质量。4、独创数据保险箱技术，结合安全数据访问体系，保证用户数据安全性、独创数据保险箱技术，结合安全数据访问体系，保证用户数据安全性自动化系统自动化系统 写入服务写入服务服务端服务端数据保险箱处理流程数据保险箱处理流程 高性能持久化技术高性能持久化技术数据接收方：数据接收方：先持久化到缓存文件，再向发送方确认接收到数据；数据发送方：数据发送方：确认发送到接收方，再从缓存文

12、件中清除数据；高性能持久化技术高性能持久化技术数据数据确认确认数据确认数据确认4、独创数据保险箱技术，结合安全数据访问体系，保证用户数据安全性、独创数据保险箱技术，结合安全数据访问体系，保证用户数据安全性 数据库中每个数据点，都有一套权限管理机制。 依据用户组的账号，分别赋予读、写、修改等访问权限。软负荷均衡软负荷均衡安全安全I I区区安全安全IIIIII区区正反向隔离正反向隔离正反向隔离正反向隔离实时数据库实时数据库总总线线服服务务器器实时数据库实时数据库总总线线服服务务器器配电GIS生产MIS营销系统配网自动化调度自动化5、独创高速数据隧道技术，实现安全、独创高速数据隧道技术，实现安全I区

13、与安全区与安全III区的实时交互区的实时交互遵循安全防护要求遵循安全防护要求 实时数据库严格遵循规定，通过配置电力专用安全隔离装置作为安全I区与安全III区的必备边界，使系统具有最高的安全防护强度，符合安全I/III区横向防护的要求。高速数据传输技术高速数据传输技术 实时数据库使用先进的通讯技术与传输策略，大大提高了安全隔离装置的数据传输性能，能够满足准确实时数据传输的要求。6、提供高级计算引擎，灵活实现电网实时在线分析与统计、提供高级计算引擎，灵活实现电网实时在线分析与统计负荷预测负荷预测供电可靠性供电可靠性电压合格率电压合格率高级计算引擎高级计算引擎 逻辑逻辑数学与三角函数数学与三角函数统

14、计函数统计函数average() count() countif() countmax() countmin() max()andorifelsetruefalsenot sin() asin() cos() acos() tan() atan() sqrt() abs() pow()min()median()forecastcorrelexp()log()mod()rand()sum() 加快数据分析的工作效率，提升了企业的生产管理水平高级计算引擎为用户提供了转换原始数据成为强大信息的工具。方便客户编写专用的算式，使得高级计算引擎模型易于编写和部署。拥有丰富的函数库，能够实现实时运算、在线定

15、义功能。7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求图形平台图形平台Portal自定义报表自定义报表实时数据库菜单内嵌入到EXCEL中，支持多种类型的自定义EXCEL报表，提供多维度的统计方式。7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求图形平台图形平台Portal自定义报表自定义报表使用实时查询功能，根据名称、描述或数据源查询数据点。7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不

16、同场景的应用需求图形平台图形平台Portal自定义报表自定义报表查看该点的详细信息。7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求图形平台图形平台Portal自定义报表自定义报表点击单元格，可以查看到单元格的计算公式。7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求图形平台图形平台Portal自定义报表自定义报表7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求图形平台图形平

17、台Portal自定义报表自定义报表7、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求、提供丰富多样的展现工具，满足各类专业用户不同场景的应用需求图形平台图形平台Portal自定义报表自定义报表功能对比功能对比功能功能服务平台服务平台国外主流产品国外主流产品国内某产品国内某产品数据服务数据服务数据存储数据存储双机冗余双机冗余跨平台跨平台分布式扩展分布式扩展隔离器传输隔离器传输高级计算高级计算Excel插件插件企业门户企业门户三维图形平台三维图形平台模型数据库模型数据库标准接口标准接口告警服务告警服务性能指标性能指标 -测试数据摘自广东电网公司电力科学研究院测试报告测试数据摘自广东电网

18、公司电力科学研究院测试报告项目项目明细明细硬件平台硬件平台中档服务器中档服务器操作系统操作系统Linux/Microsoft Window Server 2003 软件版本软件版本IBA V1.0系统容量系统容量500万数据点万数据点在线客户端在线客户端5000写入速度写入速度100万万条记录条记录/秒秒平均查询速度平均查询速度50万万条记录条记录/秒秒CPU平均平均负荷率负荷率10%CPU占有率一直保持在占有率一直保持在10%左右，表明了在海量负荷下，左右，表明了在海量负荷下，IBA实时数据库仍实时数据库仍然具有响应强实时任务的余量和可靠的稳定性然具有响应强实时任务的余量和可靠的稳定性压缩率

19、压缩率10:1每个数据点每天所需的存储容量大约在每个数据点每天所需的存储容量大约在2.0K左右，左右，10000个数据点每天所需个数据点每天所需的存储容量的存储容量10000*2.0K20MB内容内容产品概述产品概述 产品特点产品特点 产品应用产品应用 产品交流产品交流应用场景应用场景营销系统主网生产系统GIS系统实时监视实时监视趋势分析趋势分析数据挖掘数据挖掘康拓普海量实时数据服务平台康拓普海量实时数据服务平台实时数据库统计查询统计查询模型库营销管理营销管理计量自动化计量自动化调度自动化调度自动化配网自动化配网自动化用电业扩报装用电业扩报装:：通过10KV出线电流和配变电流制定用户业扩报装主

20、网设备状态管理：主网设备状态管理：通过监测开关电流、分合状态、油温等数据实现对主网设备状态的管理实时监视实时监视 （ 电网运行监视电网运行监视 ）厂站接线图监视厂站接线图监视电容器状态监视电容器状态监视实时曲线监视实时曲线监视三相电压柱状三相电压柱状图图主网潮流图主网潮流图区域负荷曲线区域负荷曲线配变三相负荷配变三相负荷曲线曲线清晰的掌握厂站设备的运行情况，包括每条线路的功率、开关的闭合状态、电机的运行状态等趋势分析趋势分析全市负荷曲线全市负荷曲线历史曲线对比历史曲线对比全市无功曲线全市无功曲线负荷曲线：负荷曲线：供电企业辖区内的整体负荷情况，包括总功率变化、有功、无功功率变化曲线等，实时展现供电企业的生产情况用电趋势对比图：用电趋势对比图：可以选择一段时间内的用电情况对比，方便对用电趋势做出分析，制定检修计划等统计查询统计查询实时数据查询实时数据查询历史断面查询历史断面查询最大最小值查询最大最小值查询变电站遥测报变电站遥测报表表分时段负荷报表分时段负荷报表电容器状态统电容器状态统计计A、B类电压类电压合格率合格率主变负载率统计主变负载率统计母线电压越限趋势图：母线电压越限趋势图：查看母线运行状态，对母线