风电能源大数据解决方案

风电能源大数据解决方案Guildline定位:为什么大数据传统集控中心：分布式架构，数据量级、数据粒度、数据质量、数据资产规模大数据优势：安全、全量、实时、可挖掘数据驱动决策标准范式（技术范式介绍）Iaas基础架构（公有云，私有云，混合云）Paas（XX大数据工具，数据仓库、数据探索、数据共享、流式服务、开发者环境）Saas（大数据服务：EBA/PHM/EnOS/Kong/）国网方案（大数据方案整理版）海上方案部署实施及平台设计原则运维方案案例龙源：混合云广核：公有云河北建投：混合云国网案例2为什么大数据0为什么大数据3

12风电信息化现状大数据中心的优势3大数据的价值定位4大数据在能源行业的展望4

2015年新增30.753GW，16740台；累计安装风机92981台，计145.362GW单台风机单秒数据量：500测点*4B=2K单台风机每年数据量：500测点*4B*3600*24*365=63.1G10000台风机每年数据量：500测点*4B*3600*24*365=631T5.9P92981台数据来源：CWEA1500块4TB的磁盘，200台服务器传统互联网5

某电商网70007亿10PB万风电领域1086亿5.9PB万日活跃用户数日页面访问年数据量日活跃风机数日数据量条数年数据量6

某手环厂商12007200万30TB万风电领域1086亿5.9PB万日活跃用户数日页面访问年数据量日活跃风机数日数据量条数年数据量新兴物联网为什么大数据7

12风电信息化现状大数据中心的优势3大数据的价值定位4大数据在能源行业的展望8

BigData安全大量高维快速可挖掘从逐级汇报模式到云模式9

透明绩效10

运维降本从人肉运维到自动化运维从专家驱动到信息驱动11

数据探索状态预测风险管理为什么大数据12

12风电信息化现状大数据中心的优势3大数据的价值定位4大数据在能源行业的展望大数据分析（BIGDATA&ANALYTICS）在整个资产管理体系中定位于绩效和状态监测，持续优化，及资产管理策略优化等管理要素中摘自《PAS55-1：2008》资产管理体系定位及框架资产管理体系关键要素大数据及分析资产绩效是个比较大的概念，一般包括安全性（倒塔、着火之类），成本性（维护成本，度电成本之类），效能性（EBA,MTBT等）。从开源角度来看，EBA是个受领导关注的大指标。龙源项目大数据触发的资产管理策略及计划，集中于EBA提升策略，及资产管理体系提升计划，运行维护计划（成本性投入项目，不要涉及复杂决策流程的资本性投入技改计划，技改项目立项评价除技术因素外还有其他很多因素）资产管理策略概要和框架结构–关键目标

和

主要的方法/流程资产管理体系优化策略

指导资产管理业务流程，能力建设等根据业务需要制定某个具体业务的优化策略，如：投资策略可靠性管理策略风险管理策略EBA提升策略资源管理策略…风电场发展策略中长期策略-电网发展中长期策略-各类资产寿命周期管理资产管理计划基建计划技改计划运行维护计划资产管理体系提升计划资产管理项目资产管理体系资产职能策略组织，流程，支撑各类型资产策略（风机，升压站等）各类型资产全寿命周期活动策略，主要以类型设备的专业管理为视角，考虑设备的状态，风险、成本、效能等驱动因素。增量资产管理策略，主要以电量增长需求，电网接入，系统安全、效益要求，等驱动因素工作后评价模型(项目后评估、供应商评估、设备类型后评估…)资产管理基础方法：形成体系化的技术方法和模型，支持资产决策及执行全过程评价规划方案比选投资优化内外部约束投资策略策略模型基础理论模型决策支持模型执行评价模型采购策略建设策略运检策略报废处置策略LCC招投标仓储配送策略工程设计方案比选运检、技改策略抢修策略处置方案优选方法计划执行状态评估模型风险评价模型全寿命成本模型资产墙模型资产历史数据设备状态故障概率c1/c2/c3/c4/c5技术经济寿命老旧资产规模重要性等级设备风险值损失程度1222345基于大数据技术的风机绩效、状态评价策略优化计划执行工作评价大数据分析及应用框架PHM用于设备状态评价，实际业务过程包括如下两类场景，针对整体运检策略优化（相关检修、巡视技术标准等），及单体资产应用方面。龙源大数据项目，考虑与现有EAM系统取数据，暂不不考虑IT优化。设备状态汇集管理，通过数据分析、评定设备状态。建立设备绩效评估体系，开展设备类型/家族的绩效分析。运维策略技术政策修编设备状态评估设备绩效管理设备状态汇集策略优化循环状态分析循环工作执行工作关闭工作计划设备风险评估根据设备状态，评估设备是否安排检修工作的影响及后果。通过绩效、成本等综合分析，优化资产的运维策略。大数据分析，完善各类型（厂商、型号）风机管理的技术标准。该技术标准是开展运维检修作业的法律依据。对某个具体的风机的状态信息采集，到工作过程。大数据使策略更加优化科学，决策过程更加快速扁平。但不会去改变工作过程。整个工作过程，可以通过EAM进行集成，左侧是策略定量化，右侧是状态评价与EAM集成，所谓“状态触发工单”。龙源暂时不考虑IT方向（EAM等）。为什么大数据17

12风电信息化现状大数据中心的优势3大数据的价值定位4大数据在能源行业的展望互联网的数据很“容易”18

数据规范化数据可闭环行业标准，PV/UV/CTR实时性低封闭系统，中心化/C端目标清晰，CTR为中心评估反馈单一，可评估工业4.0/能源互联网很“难”19

设备连接，Kiwigrid

实时性，电的天然属性，交易

多维度：生产/设计/投资

大生态：设备/领域/应用互联网转型的趋势信息获取转变到交易零售业：Amazon,eBay,淘宝服务:airbnb,滴滴财务:陆金所提供方由集中转到分布淘宝3千万卖家Uber有百万级别司机陆金所有百万级别的贷款提供方物理交易转变为虚拟交易Uber不拥有汽车和司机Airbnb不拥有房屋淘宝不拥有供应链和物流从实体运维转换为数据驱动门户P2P金融C2C电商行业服务BigDataPlatformDistributedProviders21标准范式-解决方案介绍1大数据技术的标准范式22

1Iaas基础架构2Paas平台服务5运维方案4设计及部署3Saas数据应用基于XX云的大数据中心基础架构23

XX云范式介绍：私有云公有云混合云技术路线（特点及功能分区）：三种云的架构图文安全设计：安全设计原则及功能说明成本结构说明AgendaXX云平台简介XX云平台的成本介绍XX云平台的安全介绍XX云平台的技术特点公有云市场安全防护统计XX云平台安全介绍光环新网云平台通过的国际安全认证：CloudSecurityAlliance—STARRegistrantDIACAPFedRAMP(FISMAATOModerate)FIPS140-2HIPAAISO27001:2005ITARPCIDSSLevel1SOC1Type2SOC2TypeSOC3XX云平台安全介绍光环新网提供的安全防护：承诺多租户虚拟私有网络隔离.单一用户的专线内网直连多层级的访问控制.超出其他任何IDC机房的物理安全防护.超大规模的云平台默认DDos攻击防护体系

世界上公有分布式存储最高的SLA：11个9便利的异地容灾技术完整的审计功能、权限控制功能关系型数据库的容灾、备份XX云平台安全介绍XX能源提供的安全防护：安全的数据传输加密系统VPN.国际先进的防火墙安全隔离.国家认证的横向隔离、纵向加密设备.中国专利的堡垒机系统。

混合云自动化备份系统和监控系统。自动化运维系统专业的互联网安全运维团队XX云平台技术介绍灵活性

基于公有云的体系架构，具备公有云特有的随时使用灵活变化的特征.1.随时启用，一天内开启上百台服务器规模的系统，满足客户快速上线需求。2.智能伸缩，随着业务压力的变化自动调整服务器系统规模，贴合业务需求。3.按需使用，按需付费，IT资源像水龙头一样，打开龙头就用，按月按流量收费。XX云平台技术介绍规模化公有云的规模化带来的技术红利和成本红利.1.公有云面对大规模的企业用户，客户可以自然的获得潜在的先进技术能力共享2.公有云的规模化势必带来成本红利3.站在巨人的肩膀上，才能站得更高、看得更远XX云平台技术介绍自动化云，就是自动化.1.公有云技术，将大量过去无法避免的人为操作，简化为自动化，效率和准确率极大提高。2.公有云技术，提供了一个更大的自动化平台，帮助XX在智慧能源管理实现领域内的自动化。3.信息爆炸的时代，只有大数据和自动化能够帮助我们获得对世界的洞察力、对行业发展的先机。XX云平台技术介绍领域知识沉淀XX能源在公有云技术和新能源的领域知识相结合的能力，是其他单一供应商无法取代的。公有云技术，XX能源在公有云的深度研究，曾经帮助光环新网发现大量bug，并在AWS大数据解决方案EMR上发现致命缺陷，采用XX大数据解决方案取代EMR后实现高可靠的大数据平台。XX能源在2014年就独立承担了XX大数据云平台从私有云到公有云的迁移项目，为光环新网云平台塑造了优秀典范。XX能源在新能源领域的应用经验，远远超过光环新网和亚马逊的能力，光环新网不断努力和XX合作提供新能源领域的应用云平台服务。业务应用和先进的云技术的紧密合作才能打造高效的能源互联网平台。基于XX能源和光环新网的深度技术合作，光环新网无论在价格或技术支持方面，都提供XX特殊的优待服务，技术上能够直接调用后台技术支持，价格上有特殊折扣。大数据技术的标准范式33

1Iaas基础架构2Paas平台服务5运维方案4设计及部署3Saas数据应用EDH平台服务数据仓库数据探索数据交互平台流式数据区开发者环境35

数据平台技术架构接入系统：负责从各源系统收集数据；流处理区：采用SparkStreaming作为流式处理的基础框架流处理应用区：各类流式处理的应用，譬如清洗、规约解析、告警等生产存储分析区：基于Hadoop族搭建的大数据离线处理平台数据仓库区：架设在大数据平台上的公司级数据仓库，支持各类业务应用，多维度查询等。算法探索区：架设在大数据平台上的供算法人员进行挖掘类算法研发的区域，提供各种机器学习算法库算法应用区：各类已经在生产环境下投入使用的算法应用，如故障识别、电量预测等。数据共享区：大数据平台上经过处理的数据会被传输至数据共享区，供集团各应用调用调度：为了完成日常数据处理需要有统一的调度机制权限：控制数据的存取权限所以需的权限管理机制API/SDK：经过封装的数据访问接口，供开发人员获取数据使用报表系统：统一的报表展示系统多维查询工具：实现多维查询的工具；即席查询工具：供分析人员进行adhoc查询使用的工具。系统管理工具：管理大数据平台的各项配套工具；MDS：主数据系统，管理大数据平台内存放的各类数据，保证数据定义的一致。资源管理分布式存储36大数据技术架构数据平台中心门户开放平台EEOP实时接入系统批处理引擎Workflow模型引擎算法库调度管理算法工具平台DataIDE自助提取查询……实时计算集群管理权限及安全元数据管理用户交互中心大数据技术的标准范式38

1Iaas基础架构2Paas平台服务5运维方案4设计及部署3Saas数据应用Enlight应用服务使用风展ppt材料集中式/失效式的设备运检管理

分散式/预防性的设备健康度管理数据接入特点接入各类型风机，监测与启停复位信号，接入变电站监测信号，集中在一个系统界面显示出来价值基本的报表，控制与监测功能通过远程桌面实现挑战懂得要开放哪些监控点，并要求各设备厂家开放；或者直连风机特点变电站运行班迁入集控中心价值现场驻场人员减少挑战各种电量与数据跳变；各机型故障告警与风机复位策略；运行班与检修班远程协同工作机制，互相复位，责任分割不明特点检修班不驻升压站，迁入附近县城；运行班远程监控与数据分析价值运营成本降低挑战电网无人值守变电站规范阻力；远程管理检修班人员的响应、安全与工作质量无人值班移动式检修绩效透明特点准确计算损失电量及其责任原因；风场后评估与竞争性分析：横向比较风资源，功率曲线，可靠性差异导致发电量差异；人员物料成本差异价值正确有效反馈风场运营现状后，人员行为与设备运行性能将得到有效改善

挑战准确可闭环的指标评价体系健康度监控特点基于数据交互实现设备健康度管理，衡量设备健康度，预测部件寿命与可靠性，提供设备实时告警及健康预警价值实现实时告警与健康预警相结合的管理模式，将被动式检修转化为主动式维护，提升设备可靠性及发电量挑战领域模型的定义，预测算法的深度机器学习及数据模型的训练及应用被动式/失效式的监控管理主动式/预防式的健康管理41风电场的绩效指标管理现状-发电量都去哪了？同期设计发电量1,8002,736跑冒滴漏实际发电量今年风小？今年限电？风机不行？运维不行？微观选址不行？备品备件问题？……？42计划停运停运损失发电量收入内部收益率+发电损失++电价设备理论转化效率理论发电量+损失电量电网限电+++风轮前实时风速生产损失非计划停运运维成本物料人工+投资成本融资成本+折旧成本实际发电量理论发电量合同功率曲线实际平均风速/Welbull分布实际风速湍流强度实际风玫瑰图EBA能量可利用率损失电量限电损失电量/比例生产损失电量/比例停机损失电量TBA时间可利用率实际功率曲线功率曲线损失电量WPI功率曲线达标率WPSD功率曲线标准差工时负荷率物料成本1.MTBT平均故障间隔时间2.MTBR平均检修间隔时间3.一类/二类故障率MTBI平均风机工作间隔时间运维成本IRR资本金收益率度电利润生产消耗场用电率线路损失基于理性的运行评价体系可以实现全生命期的优化指导43能量的输入/预测实时：实时监控能量输出管理FCOSEMS每天：故障/亚健康告警PHMOS当日计划分配质控指导OMOMMAPFD记录OM运营数据获取WindEBA资产运营评估RCA分析决策周期跑冒滴漏分析技术改造方案技改计划OM每日执行维护数据分析维护工艺更新状态维护计划OMOMOMEEIII机位风资源分析控制与机位改造方案WindEBA模块，实现一体化的生产运营评估，辅助决策，指导生产，闭环管理44

WindEnlight，实现一体化的生产运营评估，辅助决策，指导生产，闭环管理自定义绩效报表自定义定期报告绩效图表移动端绩效分析以EBA为核心的指标评价体系指标明细查询及分析，满足分析人员日常分析需要多维度灵活展示对比核心指标，跑冒滴漏一目了然支持客户定制化报告，闭环提供绩效分析方案绩效指标支持移动端查询及对比，随时随地掌握风场运行绩效XX场站XX场站45数据驱动的智能资产健康度管理（PHM）45

DATAAbnormalReasonSolution设备监控数据CMS振动数据生产管理数据工况数据……发电性能亚健康预警大部件温度预警子系统运行健康度预警……复位更换接线更换模块打磨滑环……轴承磨损齿面磨损不平衡……Model检修指导及推荐健康度预警OPERA失效原因分析运行数据集中管理什么是PHM——PrognosticsandHealthManagement故障诊断与健康管理ISO标准的5级设备健康度分类：正常:设备正常，残差正常

注意：设备正常，残差波动

亚健康：设备正常，残差偏离

警告：设备亚健康，残差异常

故障：设备无法运行，残差异常物联网传感器大数据健康度监控数据挖掘算法模型设备健康管理主动/预防故障诊断与健康管理（PHM）

故障诊断，即预先诊断部件或系统完成其功能的状态，确定部件正常工作的时间长度；

健康管理，即根据诊断/预测信息、可用资源和使用需求对维修活动做出适当决策的能力；

PHM系统已经成为新一代的飞机、舰船、车辆和军用电子产品等系统设计和使用中的一个重要组成部分。正常亚健康故障47PHM业务模型风电场A风电场B风电场C设备台账（主数据）传感器数据失效数据库检修故障树（PFMEA/DFMEA）设备接入及数据采集层（WindOS/EnOS……）失效式实时告警设备健康度监测测点接入数据清洗特征提取模型训练预警策略增量预测近实时预警生产管理系统（EAM/SAP…）亚健康预警故障告警服务申请单停机记录工单执行48OPERA-PHMAlphaHealthWarningModelIdentificationandearlywarningofabnormalwindturbineLargeComponentTemperatureHealthWarningModelEquipmentPerformanceManagementModelOPERA-PHMAlphaVersion23:8094/phm大部件（齿轮箱/发电机/主轴承）预警算法针对风机大部件故障预警，采用支持向量机回归的算法模型，利用风机各部件相关测点及风机档案等数据，刻画模型特征变量，根据不同数据指标选取训练集合，进而对部件温度进行回归预测，最后实现对部件温度残差的分析和预警。算法简介功率曲线是衡量风机整体性能的重要特征，通过基于核密度估计的算法模型，实现异常数据的清洗，扩展特征数据，并拟合风机的功率曲线。进一步地，根据功率的跌落状态结合业务逻辑进行限功率、结冰、叶片变脏等等异常状态识别和预警。算法简介设备性能预警模型（功率曲线失效模型）算法简介齿轮箱散热系统预警模型根据风机工况及传感器感知数据，综合运用聚类、boosting及回归树等模型，探索设备工况、测点数据之间的关系，扩展出可以刻画风机部件动作的特征变量，然后对生成的数据进行统计分析，实现基于时间序列的多维统计指标的分析和预警。依据非高斯性、均方根、趋势性及相关性四个指标，再参考一些原始数据的统计指标产生最终的预警。PoweredbyTechnologyofEnvisionXX全球风电气象监测网络:XX智慧能源管理平台管理着5000万千瓦的新能源资产2016.5收购欧洲第二大新能源资产管理软件公司BazeFieldPoweredbyTechnologyofEnvisionXX科罗拉多空气动力与气象研发中心:20+全球顶级气象与流体专家,整合全球气象网络资源,推进核心气象研发PoweredbyTechnologyofEnvision牵手太湖之光与天河二号:基于高性能计算和云技术建立风电基础大数据RankSiteCoresRpeak(TFlop/s)1ChinaNationalSupercomputingCenterinWuxi10,649,600125,435.902ChinaNationalSuperComputerCenterinGuangzhou3,120,00054,902.403USDOE/SC/OakRidgeNationalLaboratory560,64027,112.504USDOE/NNSA/LLNL1,572,86420,132.705JapanRIKENAdvancedInstituteforComputationalScience(AICS)705,02411,280.40全球100米*1小时高精度四维风资源数据来源：/Greenwich™PoweredbyTechnologyofEnvisionPoweredbyTechnologyofEnvision格林威治平台高精度风场数值模型风机/塔筒/基础变电站/箱式变集电线路道路与平台地形植被环境要素风资源外购全球商业气象数据集合预报风场数值模型风机运行模型机器学习预报展现验证体系优化风电转换测风塔风速预报XX全球预报系统全球预报数据源区域集中预报VS单点预报EOS全球风电资产VS无监控Greenwich+Wind

OS全物理过程预测功率VS神经网络等统计模型集团级统一后评估调优VS风场统计评估验证体系GreenwichWind

OSPoweredbyTechnologyofEnvision孔明气象服务–风功率预报与发电计划基于多气象源及风场数值模型的功率预报全球优质数据集合预报海量实测数据同化技术精确风场数值模型机器学习大数据分析全球验证体系闭环孔明气象服务预报精度数值模型大数据可再生资源气象数据源测风方案风资源流体仿真尾流模型损失电量预测模型灾害性天气预测运行大数据实时监控资产运维管理设备性能分析基于EBA的指标体系大部件健康度管理生产计划管理限电优化控制PoweredbyTechnologyofEnvision格林平台的孔明气象产品家族风功率预报系统中期预报经营计划电能交易支持用电负荷预测设备/工作安全气象事件预警预防/预测性维护计划气候要素智慧风场设计优化商业居民工业电动汽车发电预测负荷预测交易中心孔明气象服务–负荷预报与电能交易风温度气压降雨雷电冰雹降雪台风潮汐PoweredbyTechnologyofEnvision孔明气象服务–风电生命期工作计划与安全阵风、雷电预测有效降低吊装安全气象预报制定预测性维护计划冰冻预测提前控制设备运行安全台风、潮流预测辅助海上风电生产计划PoweredbyTechnologyofEnvision降雨冲刷与下雪结冰导致交通安全孔明气象服务–气象要素的风场设计优化降水和水文分析规避升压站及道路洪水风险落雷分析设计电气工程绝缘配合及接线方案冰冻及大风评估指导电气方案设计及选型历史台风概率评价指导海上升压站选址选型PoweredbyTechnologyofEnvisionPoweredbyTechnologyofEnvision台风跟踪/阵风预警冰冻/降雪预报数据降雨与地表流量雷电预报数据基础数据15分钟7天站点预报1小时7天站点预报月/季/年中期预报雷达图谱卫星图谱预报数据图谱气象特征数据风电数据测塔1秒-10分钟观测数据风机1秒-10分钟测量数据15分钟7天区域预报15分钟7天发电预报格林平台的孔明风电气象数据服务智慧风场孔明气象应用联盟风电行业理性繁荣研发资源共享计算资源共享预报数据共享IntroductiontoEnergyOSNov7,201667AgendaIntroductionofEnOSOverviewArchitectureReal-timeDataPipelinewithExtensionPointsDataandBatchJobmanagementServicesandWidgetsforAppDeveloperSampleBuildupanApponEnOSSolutionforSonnenAppMigrationPlanPendingQuestions68EnergyOS-EnablingtheEnergyEcosystemoftheFutureAnintegratedEnergyOSsolutioncouldofferaplatformtodeveloparangeof“apps”fordifferentstakeholderstodevelopandderivevaluefromthenewenergymarketplace.IllustrativeForDiscussionPurposesEnergyOSApp.LayerEnergyOSInfrastructureThirdPartySystemsEnergySystemHardware/DevicesEnergyOSUIInterfaceEndUsersUtilityInfrastructureHomeInfrastructureCommercialInfrastructureVehiclesThirdPartyInfrastructureSCADAEMS/DMSETRMEnergyMarketEVChargingBuildingMgmtCRMGeneratorsNetworkOperatorsEnergyRetailersEnd-ConsumersEnergyOS&AppsData&AnalyticsValueCreationsofEnergyOSTime-to-marketUnifiedDataCostMultiplicityIntegrationApplicationDomain

ModelDataConnectivityTechnicalAdvantagesBusinessValuesSecurityConnectivityIntelligence69MicroGrid/VirtualPower

PlantEOS

EdgeData

InfrastructureComputing

InfrastructureEOSFoundationServicesAlertsEnterprise

SystemFleet

managementDemand

ResponseEnergymanagementSolutionPortalCloud

ServicesApplicationsConnectivityServicesEnergyOSArchitectureAssetsDataDomainAnalyticsSecurity7071EnOSServiceTiers72Real-timeDataPipeline73DataPlatform-Architecture

WeareplanninganewcomponentthatisPredictionengine,in

the

near

futuredeveloperswouldusetheonlineapproachtotrainthemodelandapplicationwouldusePredictionEnginetopredictfaultsinrealtime.MessageQueueRealTimeComputeHDFSMachineLearningMetaDataManageWorkflowVisualizationPredictionEngineDataServiceMapReduceSparkBIReportIDEScheduling741CreateandAuthorizeCreateandAuthorizeadminadminadminEnOSAuthService:Oauth2.0FrameworkwithRBACmodelOauth2.0FrameworkRBACmodelMulti-levelusersininsolatedaccountsystemUnifiedmodelinbothonlineandofflinesystemFinegranularityofpermissionsSecurityManagement75EnOSWidgets:standardandeasytouseBasedonstandardwebframeworkSupportmultipleframeworklikeReact,Jquery…StronglibrarywithvariouskindsFlexibleandfriendlytodevelopers76EnOSNavigationBasedonstandardwebframeworkStandardAPISupportmultiplesites、domainsandapplicationsFriendlytodevelopers77HowtocreateanAppforanewDomain1DefinetheDomainModelDefinetheMappingbetweenDeviceandDomainImporttheEEOP

SDKCreateyourApp23478StepbyStepMigrationPlanDataImportMasterdatadefinitioninEnOSPortalImplementdataadapterwithmappingandtransforminglogicLoadhistoricaldataintodataadapterPushrealtimedatabySonnenDeviceControlDefinecontrolpointsImplementdevicecontrolprotocolDataAnalysisandMiningImplementbatchjobsbasedonCanaanAPIMachineLearningsupport-TBDApplicationsStatusControlHistoryForecastAlarm79PendingQuestionsDataImportDescriptionofeachcolumnsofdumpedhistoricaldatatableFeasibilityofpushingincrementaldatabySonnensideConsiderationofimportingrawdataDataAnalysisandMiningExpectedlatencyofdatareportForecastalgorithmRequirementofMLsupportDeviceControlControlsupportonSonnenpublicAPIAuthorizationmethodLong-termMigrationDirectdatagatheringanddevicecontrolbyEnOS大数据技术的标准范式80

1Iaas基础架构2Paas平台服务5运维方案4设计及部署——代、宏3Saas数据应用设计及部署数据量预估方法：假设“全量数据是每秒500个数据点，按10个风场，每风场30台风机，共300台风机计算”，计算如下：单台风机单秒数据量：500*4B=2K单台风机单天数据量：2K*3600*24=172.8M单台风机月度数据量：172.8M*30=5.2G300台风机月度数据量：5.2G*300=1560G300台风机年度数据量：1560G*12=18.3T综上计算，风机点表原始数据，年度的全量数据存储大约在104.6TB，以上数据作为主要的业务基础数据存储时，还需要考虑以下两个方面的扩展：HDFS的冗余扩展（通常3倍）：18.3TB*3=54.9TB中间数据的冗余扩展（通常2倍）：54.9TB*2=109.8TB综上所述，以109.8TB作为平台需要的未压缩数据总量计算，数据缩容主要采用lzo压缩算法，保持计算和存储的平衡(压缩比1：2~3)，存储需约36.6~54.9TB左右。

风机数量秒（500*4B大小/数据点）天月年6倍数据冗余Lzo压缩（1:2~3）10分钟数据风机12kb172.8mb5.2gb62.4gb374.4gb149.76gb0.26gb风场3060kb5.2gb156gb1.8tb10.98tb4.58tb7.8gb风电公司300600kb52gb1560gb18.3tb109.8tb45.8tb78.2gb设计及部署Zookeeper的配置要领：Zookeeper是被依赖组件，数量至少为3台，使用Zookeeper的集群越大，Zookeeper的数量则需要越多，一般以500-1000为界，集群数量如果超过该值，建议Zookeeper的节点数量为5，如果集群规模超过2000-3000台，Zookeeper集群可以配置为7个节点。但最好不要再增加，考虑到一点，Zookeeper的写入性能是随着节点数量的增加而降低，7个节点是相对比较平衡的。一般Zookeeper作为系统的核心，是保持足够的稳定性的，所以都单独部署Zookeeper的节点，不与其他节点混合部署。但Zookeeper是非常轻量级的系统，所需的内存和CPU都不大，基本以8G、4核、千兆网卡足够使用。设计及部署Hadoop配置要领： Hadoop有NameNode，DataNode，ResourceManager，NodeManager四个组件。NodeManager与DataNode均是slave节点，每个slave节点都需要部署一个NodeManager和一个DataNode，提供存储与计算服务，一般slave节点数量以存储的容量为计算基础。集群节点数量计算公式为

（总计划存储乘以3乘以2除以单机容量），一般单机内存32G-64G可以满足计算需求，16~24core，为保证IO吞吐建议12块机械盘，千兆网卡及以上配置。 NameNode与ResourceManager是集群中央节点，需要独立一台机器部署，在考虑集群规模不大的情况下，单机即可，建议内存32G~64G及以上，建议CPU为16~24core及以上，磁盘没有要求，网卡千兆及以上。需要注意的是，目前NameNode与ResourceManager为了保证集群高可用，提供了HA的方式，因此需要另一台同配置的机器作为Standby。因此部署Master节点的机器需要2台。设计及部署Kafka配置要领： Kafka是消息队列性质的集群，集群主要消耗资源是网卡和CPU，资源所需下限需要满足网卡流量，一般需要16~24core以上的CPU，网卡千兆即可（万兆网卡会受限磁盘的IO，性能根本利用不上），磁盘尽量多配，但是对容量没有太大需求，主要是磁盘IO足够，磁盘整体带宽能满足千兆网卡流量即可。

所需节点数量以网卡流量为主要计算标准，示例：有数据接入预估每秒1GB，千兆网卡流量为125MB，1GB/125MB=8，也就是跑满网卡需要8台机器，但考虑到系统资源以及buffer空间在现有机器数量乘以40%~50%，建议11~12台机器。设计及部署交换机配置要领：

至少千兆交换能力，其他无特殊限制，需要考虑机器数量多于交换机口数时，需要搭建多层交换机网络架构。其他：

其他组件都是以单机为主并不做特殊需求，只要配置不低于DataNode的硬件配置即可。大数据技术的标准范式86

1Iaas基础架构2Paas平台服务5运维方案-潘、代、宏（待完善）4设计及部署3Saas数据应用运维方案工程师A技能要求：1）

精通Hadoop、Hive、Hbase、Kafka、Spark等大数据集群工作原理。2）

具备2年以上大数据平台运维经验（维护过的集群规模超过100台的为佳）3）

具有较强的学习能力、逻辑分析能力、问题排查能力。

工程师A工作内容包括：1）

灾备方案制定：需针对各类可能的状况制定应急预案，保证平台可用性。2）

系统性能优化：根据平台资源使用情况，给出针对性的优化建议，使平台能够尽可能满足各类应用的需要。3）

疑难问题诊断：能够及时的定位问题的原因，并给出解决方案。

工程师B技能要求：1）1年以上Linux工作经验2）至少熟练掌握一种主流脚本能力（shell、python）3）熟悉Nagios/Zabbix等监控管理工具，最好有开发经验4）能够熟练部署、维护、优化Nginx/Tomcat/MySQL/Redis等应用5）熟悉MySQL,Oracle数据库，能够胜任基础DBA工作

工程师B工作内容包括：1）

日常监控：监控平台各组件的运行状况，及时发现问题。2）

集群维护：包括扩/缩容，平台各组件升级等。3）

权限管理：平台新接入用户时的帐号创建与权限分配。88案例2看疗效89

1龙源大数据平台：PaaS混合云2中广核和风数据中心：SaaS（补充）5海上或其他（吹牛B）4国网案例（吹牛B）3河北建投智慧舱项目：SaaS混合云90

龙源大数据平台-建设目标满足企业业务部门高级应用的需要实现风电设备实时采集数据的安全可靠接收、数据处理、数据压缩存储。实现海量原始数据的加工处理，及加工结果数据的存储查询。具备流式计算、内存计算、分布式计算环境，实现海量数据分析查询，数据挖掘，具备可视化的多维展示。基于龙源大数据平台建设统一的资源共享平台,实现信息一致、资源共享，消除信息孤岛。实现以数据为核心资产的信息化建设理念，统一采集业务数据存储到大数据平台，实现数据共享。统一软件开发标准、开发规范，信息资产标准规范，实现信息化的规范管理，提升企业效益。91

龙源大数据平台功能分区大数据平台DT区模块92

龙源大数据平台功能分区大数据平台设计使用基于开源的Hadoop、商业化实时数据库，以及规范的数据共享技术等。平台建设功能包括采集数据接收及传输、数据实时清洗、数据实时处理、实时数据告警、元数据管理、数据压缩存储、海量数据在线多维查询及导出、数据并行分析计算、数据挖掘、作业调度管理、与实时数据库接口、数据共享服务、平台维护管理功能。平台建设对外围应用模块进行统一的规范管理。93

龙源大数据平台-基础架构设立异地双云系统临时环境负责功能、数据测试正式环境负责企业级数据服务运行异地灾备，双网冗余94

龙源大数据平台-服务架构95

龙源大数据平台-数据质量监测及绩效透明龙源大数据平台成果及进展汇报96

1月2月3月4月5月6月7月11月8月10月12月9月项目准备项目合同与技术协议书签署临时机房搭建大数据平台硬件选型方案设计与确定正式环境搭建及机房搬迁平台搭建与功能部署CDH安装测试数据仓库区部署数据探索区部署数据共享区部署平台管理组建部署平台功能完善平台监控与其他功能部署CDH升级大数据平台管理人员培训实时数据接入实时接口开发标准风机模型开发及部署方案功能开发标准模型升级数据准备风机编码规则确定标准点表确定标准点表确定客户资料收集龙源集团风电场数据采集、接入与解析河北、辽宁、江苏三省数据接入与解析基于业务应用场景的数据服务数据质量算子开发与部署基于标准风机模型的指标体系算子开发与部署效能分析Β值WindEBA功能应用demo部署看疗效97

1龙源数据中心：PaaS混合云2中广核和风数据中心：SaaS（补充）5海上或其他（吹牛B）4国网案例（吹牛B）3河北建投智慧舱项目：SaaS混合云看疗效98

1龙源数据中心：PaaS混合云2中广核和风数据中心：SaaS（补充）5海上或其他（吹牛B）4国网案例（吹牛B）3河北建投智慧舱项目：SaaS混合云99

河北建投智慧舱项目-设计目标智慧舱数字化平台的采集数据包括风电场/光伏电站的运行数据，包括但不限于风电机组/光伏发电单元实时运行数据（模拟量、开关量）、升压站实时运行数据（模拟量、开关量）、告警信息、功率预测数据、功率控制系统(AGC/AVC)数据、保护及故障录波信息、电能量计量信息、测风塔信息等，同时系统平台具备接入状态在线监测系统、油液监测系统等其他系统数据的能力，实现未来可扩展的数据接入。智慧舱数字化平台属于安全3区，生产数据仅限于从张家口集控系统单向传输至智慧舱数字化平台，智慧舱数字化平台与张家口集控中心系统和各风电场/光伏电站的控制指令无关。智慧舱数字化平台的核心是对生产数据的存储、加工、分析、挖掘。在数据层建立大数据基础平台，实现公司运营所有机组的数据采集、数据统一处理、数据统一建模，并针对不同机组实现各机组特点的模型训练，实现数据分析及挖掘的全机型覆盖。大数据基础平台具备高度开放性，提供标准的数据读写访问接口，支持用户友好的二次开发，向上对应用层提供统一开放接口，支持应用的可扩展性。智慧舱在大数据平台上层构建可扩展的应用体系组件，应用体系主要包含运营监测、运营管理、企业级报表、数据组态（加工、处理、建模、算法应用）、可视化风场、风机性能分析、故障诊断及预警、手机客户端及其他扩展应用接口。智慧舱通过大数据基础平台和可扩展的应用体系组件的分层构建，实现了系统的可扩展性和后期持续迭代开发与维护。通过公司分析师的分析及创造性工作不断积累经验，在生产运维实际中通过反复迭代验证实现自学习，从而为公司投资策略及现场运维等方面提供信息支持。100

河北建投智慧舱项目-基础架构看疗效101

1龙源数据中心：PaaS混合云2中广核和风数据中心：SaaS（补充）5海上或其他（吹牛B）4国网案例（吹牛B）3河北建投智慧舱项目：SaaS混合云案例及思考（案例1）

通过电量损失及备件短缺GIS地理信息分析，优化备件管理决策南方某电力公司开展的配网物资需求预测分析研究方法根据预测性应用建模方法，选择相应的需求预测算法，构建与优化物资需求预测模型开展业务管理现状调研分析明确工作目标和范围需求预测基础数据调研分析需求预测基础数据数据质量分析预计需求预测模型要求，进行基础数据的准备和加工从业务目标出发，评估物资需求预测结果，依据评估情况进一步调整和优化模型依据物资需求预测结果进行业务管理决策，并设计业务方案开展行动1.工作范围确定4.需求预测模型建立与优化6.决策与行动2.基础数据分析5.需求预测模型评估3.基础数据准备数据案例及思考（案例1）

通过电量损失及备件短缺GIS地理信息分析，优化备件管理决策南方某电力公司开展的配网物资需求预测分析文本数据处理低压电缆低压开关柜低压电线交流不间断电源三相多功能电能表……GlobalK-Means聚类算法10kVSF6环网柜10kV电缆分接箱10kV干式变压器110kV电力电缆110kV钢管杆110kV钢管组合塔……项目一级物资使用情况分词、词频统计业务理解业扩配套开关工程配电网改造台区改造应急抢修负荷工程环网工程……72个项目群项目类型属性集合有别于传统处理方式，通过对3-5年各类“碎片化”

配网项目需求、采购计划、批复以及大量系统文本字段（均为非机构化性质）采用聚类分析（全局K均值），以大量历史数据代替传统的专家推断，从而建立具有近似的物资需求分布的项目群。案例及思考（案例2）

气象模式与电网限电调控模式学习，提供主动控产能策略南方某省级电力公司开展的基于社交网络客户诉求分析1、研究方法数据获取构建微博客户诉求关键词库构建微博数据抓取的蜘蛛算法获取微博用户的合法信息与具体微博内容形成服务工单微博分类构建微博分类算法，对微博进行内容识别与分类，明确用电客户的抱怨点微博事件识别与匹配将微博数据与内部事件，如停电、客服事件等，建立关联关系，实现对事件的评判和分析用户分析识别用户身份，敏感度及影响力，分析用户常用活动区域，便于对重点关注的微博进行跟踪和掌控情感判别构建情感判别算法，对用户的微博内容进行情感判别，准确识别用电客户的负面微博案例及思考（案例2）

气象模式与电网限电调控模式学习，提供主动控产能策略南方某省级电力公司开展的基于社交网络客户诉求分析主要成果成果应用示例1：以GIS地理信息为基础，全面整合多渠道的客户抱怨信息，进行监控与分析。准实时监控多渠道的客户抱怨分类型、分区域的客户抱怨分析分析客户抱怨的地域分布、类型分布及变化趋势监控不同渠道的客户抱怨信息，并基于GPS信息在地图上呈现与跟踪。微博事件辨识并形成工单通过地理位置、发布时