大数据技术在智能电网中的应用课件

大数据

--开启智能电网新时代大数据

--开启智能电网新时代1

目录

1、大数据概念

2、应用中看大数据

3、迎接电力大数据时代

4、展望电力大数据时代

5、迈向电力大数据时代

6、电力大数据实践

7、大数据技术实现

8、云计算与大数据目录

1、21、大数据概念

1、大数据概念

3大数据的判断标准——3个V第4页多样性（Variety）大数据不仅局限于结构型数据，也包括非结构型数据，比如：文字，录音，录像，视频，记录高速度（Velocity）大数据是时间敏感的，必须快速识别和快速响应才能适应业务需求大容量（Volume）大数据的特点就是巨大。公司充斥着各种数据，经常是TB级，甚至是PT级的信息量大数据的判断标准——3个V第4页多样性（Variety）高速4大数据及大数据时代维基百科将大数据定义为“一组数据集，其复杂度与规模已经使得现有的数据库管理工具难以对其进行处理”；大数据与技术环境的互动不只体现在技术方面，也体现在包括商业、法律、社会规范等人类生活的方方面面。“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”

———哈佛大学社会学教授加里·金海量（Volume）多样（Variety）快速（Velocity）大数据及大数据时代维基百科将大数据定义为“一组数据集，其复杂5大数据时代趋势的本质及特点信息生产的廉价与泛在更廉价的存储、更廉价的计算、更廉价的网络访问与带宽，使得信息生产、传输、存储变得更加廉价与泛在信息反馈丰富及时大数据利用数字化记录使得人类反思自己的思想与行为从而改善生活；这些数字化的记录能够让人们从宏观的视角更加准确地俯瞰人群的种种行为，形成整个人类对自身的反射思考信息量巨大信息量巨大是大数据时代的一个特点；数据量的增加将从信息环境和人们的认知方式两方面带来深远的影响；不同来源的数据的融合将产生更大的价值；大数据时代的信息处理方式也将是以MoveCodetoData的方式进行；以数据挖掘和模式识别为代表的在海量数据中自动发现关系和模式的机械化数据处理工具为人们分析海量数据提供了可能。信息具备外部性往往数据本身是信息化系统在实现特定功能而进行支撑时所产生的副产品，这个副产品除了对组织自身的决策与运营改善有所帮助之外，它对第三方的组织也有不可估量的价值；在未来，数据为其拥有者创造价值仍将在未来的数据应用领域占有重要地位，同时数据通过开放与流动为第三方创造价值也将是未来数据应用的一个重要领域信息的数字化信息的数字化存储将有助于人们建立数学模型，分析事物之间的相关关系与因果关系；数字化信息可在不同系统中无损地被复制、传播，并展现信息不同的侧面非主动干预的信息生产非主动干预的信息生产能够突破人类注意力的瓶颈而产生海量的信息；非主动干预所生产的信息更加真实信息生产的民主化我们所生活的信息环境是由多数人决定的，而不是被少数特权者所把持；每个信息的消费者同时也可能是信息的生产者，即人们在被信息环境所影响的同时也在影响着信息环大数据时代趋势的本质及特点信息生产的廉价与泛在信息反馈丰富及6大数据的产生备注存储价格的下降计算能力的提升带宽的增加感知器成本的下降f()=技术以指数的速度进步触发了大数据现象的出现大数据的产生备注存储价格的下降f()=技术以指数的速度进步触7算法+IT+人才——数据商业“三驾马车”备注

Algorithms-MachinelearningMachines-Hadoop/NoSQL

People-CrowdSourcingBIGDATAAMP3月29日奥巴马政府的六个部门联合发布了“大数据研究与发展计划”，其中美国国家自然科学基金（NSF）的1,300万美元预算中的1,000万美元投资于UCBerkley的AMP研究。其AMP研究框架中的Algorithms、Machines、People，可以分别对应MachineLearning、CloudComputing、CrowdSourcing。算法+IT+人才——数据商业“三驾马车”备注Algorit82B，2C到2D。

数据驱动的新业务模式传统经济Step2Step3传统经济模式下，企业向客户出售产品或服务，以直接赚取金钱为目的互联网经济下，企业尽可能多地发展用户，不以直接从用户处赚取金钱为目的，希望通过后向收费或者发掘用户终身价值等方式赚取利润。互联网经济大数据经济数据将是未来企业的重要资产，企业通过数据创造新的商业模式，或直接通过数据售卖以及利用数据提供增值服务获得巨大利润产品、服务用户数据海量用户+良好的数据资产成为未来核心竞争力与收入的重要来源2D2C2B2B，2C到2D。

数据驱动的新业务模式传统经济Step9

从业务支撑走向业务引导

形成新的生产资料和生产力IT从后台走向前台，IT从后台走向前台

从业务支撑走向业务引导

形成新的生产资料和生产力IT从后台102、应用中看大数据2、应用中看大数据11使用纪录大规模人类行为活动的全量数据动画视频是演示的2012除夕夜北京市民短信拜年的行为，随时间推进拜年短信在市区地图上以烟花效果显示。基于对数百万条短信的可视化分析，拜年的高潮并不是我们想像的午夜，而是晚餐前。全量数据，告诉了我们所不知的事实。量尺、天平、显微镜是我们认知传统物理世界的工具。而今天，能够如上帝般掌控全量数据，依赖于创新的信息技术，计算机不再只是打字、记账、通讯工具，大数据帮助我们重新认识探索世界使用纪录大规模人类行为活动的全量数据动画视频是演示的201212大数据开启个性化商业

借助网络数据的客户感知大数据的时代才真正的开启了对个体的关注，对意识层面的关注。

输入你的微博账户，系统会计算并试图描述你，主题词标签云，你背后的朋友圈、事业圈，性格分析、情绪分析，这些都来自于你的历史言论和社交行为。天云大数据利用自然语言处理和机器学习技术，为零售、金融等商业活动，精确感知客户，从而洞察市场，有效干预。大数据开启个性化商业

借助网络数据的客户感知大数据的时代才真13要效率，大数据3秒锁定疑犯－

公安刑侦系统应用乘坐同一班列车，住同一酒店的两个人可能是同伙，刑侦人员将不同线索拼凑起来排查疑犯，可是来自于多源数据的处理在传统IOE架构上，需要数小时甚至整日。天云大数据平台将这一操作缩短至3秒，同时描述出疑犯的交往关系。公安人员可以基于计算出的线索流畅的思考。大数据的效率让量变成为质变，形成新的洞察与知识要效率，大数据3秒锁定疑犯－公安刑侦系统应用乘坐同一班列车14“感觉”“情绪”等大量碎片息的度量与评估

大数据品牌影响力分析收集社交网络中索纳塔8新车发布一年里的全部言论，通过天云大数据的NPL和机器学习技术，对该品牌的各类主题关键词形成标签云。“优惠”“客运”“出租”“帕萨特”等标签，基本勾勒出了基本品牌定位和竞争车型。同时社交网络谈论的数量，可以描述该品牌的市场活跃度和影响力。基于语义情绪分析引擎可以定量品牌美誉度（蓝色）和负面评论（红色），从而对线下市场营销活动做针对性指导。大数据提供更广、更多维度的度量工具，帮助我们认知和改造世界。“感觉”“情绪”等大量碎片息的度量与评估

大数据品牌15移动：已经落地——经分上网行为分析移动：已经落地——经分上网行为分析16移动：上网行为分析应用架构移动：上网行为分析应用架构17移动：BDA——URL解析分词库爬取基准url分类日志URL比对陌生URL已知URL网页分类训练集百度热词爬取爬取内容，分词，根据规则将分词入分词库爬取内容，与分词库根据规则匹配，找出对应url类别读库入库匹配入库入库读库移动：BDA——URL解析分词库爬取基准url分类日志URL18运营商——CDR话单的交往圈识别CDR话单基于大数据处理及分析技术的交往圈运算全量用户真实的交往圈机器学习算法：最大边缘算法最大连通图最短路径Hip-Hop社交圈分析…垃圾用户

主叫多

通话人之间无社交关系

通话时间短…优质用户互动

社交圈

通话时间长…基于大数据技术的交往圈识别与分析运营商——CDR话单的交往圈识别CDR话单基于大数据处理及分银行：根据用户行为与交往圈进行个贷信用评估购买一氧化碳检测器以及烟雾警报器的顾客购买了房子，并且他们的生活态度比较谨慎，是低信用风险顾客。购买钛合金钻头以及木工工具的顾客有着比较奢侈的业余爱好，这部分顾客的信用风险也比较低。“风险”最高的消费是：加拿大蒙特利尔市的SharxPool酒吧里的消费，其中47%的顾客用CanadianTire信用卡消费以后在12个月内曾经四次拖欠还款。最“安全”的顾客是：购买昂贵的鸟食以及一种新型的“屋顶雪铲”的顾客——户主用这种雪铲清除高处的积雪以免它们落到人行道上。社会资本代表了一个人的社交网络的价值。一个人的社会资本由其所处的社会地位、影响力、声望等因素决定社会资本和资产、人力资本存在一定相关性，但其中相关性并非绝对，有可能资产较低的人却拥有较高的社会资本。一个拥有较低的资产，但是他拥有较好的社会资产，有可能在短期内调动有用资源完成任务。可以使用类似PageRank的算法对用户的社会资本进行评估。“你的成功不仅取决于你拥有什么，还取决于你认识谁”“你的行为有可能出卖了你”银行：根据用户行为与交往圈进行个贷信用评估购买一氧化碳检20银行——历史数据存储查询业务系统A业务系统B业务系统N……BDP平台数据准备层需求定义结构统一逻辑定义转换加载BDF中间件固定查询动态查询司法查询其他查询条件解析异构转换数据更新优化策略浏览器客户端Excel下载PDF下载门户管理任务监控权限管理运维管理系统管理银行——历史数据存储查询业务系统A业务系统B业务系统N……B213、迎接电力大数据时代3、迎接电力大数据时代22备注每个设备15分钟产生一组数据，每年产生35万条数据如果一个家庭有10个设备需要监控，则一年产生400TB

存储12传统电表每年产生12条数据电力大数据源起备注每个设备15分钟产生一组数据，每年产生35万条数据1223电力大数据价值内涵电力大数据价值内涵24电力大数据特征电力大数据特征254、展望电力大数据时代4、展望电力大数据时代26电力大数据价值分析大数据技术能够为中国电力工业带来显著的财务价值，在企业内部的应用也将极大的提高电力企业的运营效率和营收能力。除此之外，由于电力能源基础设施的泛在性，其“天然联系千家万户”的能源特质，将使电力大数据的理念得到了全社会的广泛认可。由此带来的规模化效应，电力工业的发展，加速传统能源设施行业的快速转型之外，整个国家经济中国社会的可持续发展都将起到积极而特殊的作用、绿色发展的方法、路线和政策。电力大数据价值分析大数据技术能够为中国电27电力大数据应用前景电力大数据应用前景28电力大数据应用前景（续）电力大数据应用前景（续）29电力大数据发展挑战一数据质量较低，数据管控能力不强。二数据共享不畅，数据集成程度不够。三防御能力不足，信息安全面临挑战。四承载能力不足，基础设施函待完善。五相关人才欠缺，专业人员供应不足。电力大数据发展挑战一数据质量较低，数据管控能力不强。二数据共305、迈向电力大数据时代5、迈向电力大数据时代31电力大数据关键技术一数据分析技术二数据管理技术三数据处理技术四数据展现技术电力大数据关键技术一数据分析技术二数据管理技术三数据处理技术32电力大数据发展策略一策划先行、加快示范二数据质量、行业共享三人才培养、生态建设四智慧电力、智慧城市电力大数据发展策略一策划先行、加快示范二数据质量、行业共享三336、电力大数据实践6、电力大数据实践34实时海量数据是坚强智能电网的重要资产实时海量数据是坚强智能电网的重要资产35对实时数据的接入、存储与处理、

监测与智能分析要求海量安全接入信息网络覆盖范围，支持智能传感器、智能表计等设备接入多渠道互动用户入口信息双向交互的安全防护能力海量存储电网状态、设备状态、用电信息采集等海量信息的存储能力海量实时数据的处理、分析能力覆盖营销、生产调度、经营管理的公司一体化数据模型，统一管理公司各类数据资源实时监测资产运行绩效的实时监测和分析能力电网的动态运行监测、智能报警、自动故障定位等能力用户用电行为、能效、电能质量等分析能力智能分析新能源和分布式能源的并网控制能力电网调度和运行监控的协同融合能力实时线损管理及实时费控能力储能系统的远方监视和控制能力需求侧管理和对用户负荷的控制能力对实时数据的接入、存储与处理、

监测与智能分析要求海量安全接36电网实时数据调研现状——某省实时数据分布1部门业务系统实时数据数据量频率调控中心SCADA/EMS电流、电压、功率、档位、频率、开关动作、SOE、保护事件、计算值、积分电量132980点1~3秒电能计量关口电量数据2860个表计15分钟生技(电科院)设备在线监测系统变压器监测SPTR、绝缘监测SINS、局放监测与诊断SPDC、断路器SCBR、避雷器SLAR、环境监测SENV、绝缘气体监测SIMG、绝缘液体监测SIML等待调研3秒覆冰检测系统平均温度（℃）、温度（℃）、湿度（%RH）、风速（m/s）、雨量（mm/h）、导线拉力（kg）、地线拉力（kg）、导线倾角（°）、地线倾角（°）、导线覆冰厚度（mm）、地线覆冰厚度（mm）12个检测点5-15分钟变压器绝缘油在线监测氢气、一氧化碳、二氧化碳、甲烷、乙烯、乙炔、乙烷、总烃、总可燃气体350个检测点日变压器中性点直流分量监测系统变压器中性点直流电流347个检测点3秒

雷电定位系统电流、地点（经纬度）18个检测点

秒

电网实时数据调研现状——某省实时数据分布1部门业务系统实时数37电网实时数据调研现状——某省实时数据分布2部门业务系统实时数据数据量频率电科院电能质量所电能质量监测系统频率、谐波电流、谐波电压等180个采集点秒

计量中心计量自动化系统冻结电量,实时电量,功率数据,电流数据,电压数据,报警数据

四分线损统计数据主网3000个表计，

配网专变用户266418表计，配网公变用户192853表计，低压用户322153815分钟电网实时数据调研现状——某省实时数据分布2部门业务系统实时数38电网实时数据调研现状——某市实时数据分布部门业务系统实时数据数据量频率系统运行部（调度）SCADA/EMS电压，电流，开关位置，电网拓扑结构遥测：超过3万遥信：超过6万1~3秒DMS10kv出线到用户表计的电压、电流、开关位置等信息1万个监测点遥测2-3万遥信2万多15分钟计量中心计量自动化系统冻结电量,实时电量,功率数据,电流数据,电压数据,报警数据，四分线损统计数据专变1万多公变1万多小区集抄20多万15分钟电网实时数据调研现状——某市实时数据分布部门业务系统实时数据39大数据不仅服务于决策，更是新的生产力

精确城市用电统计控制动画中实时记录了每一座建筑的用电情况，酒店因party而在周末达到峰值，区域的用电情况并不均衡…智能电表的应用引爆了数据激增，数据从12条每年增至400TB(10万人口的城镇每15秒采集)。但数据形成了新的生产力，不仅是预测，更可精确指导送电和发电。如同工业时代的机器人批量生产工业品，信息时代大数据在规模化自动化加工新的生产资料(数据)，形成新的生产力。大数据生产力并不仅仅是供人类使用的洞察与决策，更可直接嵌入生产环节，机器指导机器，形成新的控制闭环，服务于工业、农业、商业、服务业等，相对于互联网的注意力经济，大数据构建了一张更为广阔的产业蓝图。Bigdata

ismoreaboutAutomation

thanInsight大数据不仅服务于决策，更是新的生产力

精确城市用电统计控制动40大数据服务IT创新，提高生产效率

浙江电力统一日志采集与分析系统需求随着公司信息化水平的不断提高，主机、网络设备、应用软件数量不断增多，业务资源访问、操作量不断增加，急需建立一套统一的日志集中管理和审计系统，能够收集来自企业和组织计算环境中各种设备和应用的安全日志，并进行存储、监控、分析、报警、响应和报告。目标基于HADOOP分布式存储和计算平台的开发及系统部署全面的日志采集及归一化处理功能开发及实施多维关联分析功能开发及实施价值IT服务创新，提高服务水平和生产效率大数据新技术的引入创新，团队大数据技术的使用和掌握探索大数据新模式，为深入挖掘数据价值铺垫大数据服务IT创新，提高生产效率

浙江电力统一日志采集与分析417、大数据技术实现7、大数据技术实现42其他数据旁路采集数据HA管理集群监控集群告警日志管理元数据管理数据生命周期管理安全管理操作系统自动部署接口采集数据数据管理数据层资源部署层分布式集群自动部署数据获取层数据并行采集数据文件导入开发管理层清洗转换脚本开发流程开发流程管理流程调度SQL开发接口访问层JDBC接口Web服务接口自定义API平台管理监控层监控报表展示（展现，告警，报送，门户集成）逻辑架构图其他数据旁路采集数据操作系统自动部署接口采集数据数据管理数据43物理架构图电力大数据服务群物理架构图电力大数据服务群44数据处理向大数据处理的过渡从发展趋势和支撑的数据扩展规模上看，传统给MPP技术是数据处理向大数据处理的过渡性技术。不能有效的支持应用灵活性及随需变化的要求。大数据解决方案提供了释放应用灵活性所需要的底层平台和数据加工能力：通过WEB页面和网络就能进行HADOOP相关组件的部署、监控、配置和操作的自动化管理平台。提供了是能够实现如多种主流Linux操作系统的网络分发安装，基于Hadoop集群的快速部署、管理和监控，以及分布式的数据就绪及处理等等的组件。为企业中大数据能力及项目的快速就绪提供简单有效的高性价比解决方案。大数据技术固然诱人，但是其进入企业的过程仍然需要适合企业的生长环境，需要与企业已有的生态系统的方方面面共同生存。因此，大数据之于企业而言，在考虑业务需求的同时，对于数据安全、系统高可用性和容灾能力的要求也非常重要。流计算平台可以捕捉数据流、筛选内容并调用复杂的分布式事件计算，从而在最短的时间内把数据关联、分类和转换为有价值的信息。

用普通PC服务器集群构建的分布式流计算平台，实现高性能、高可靠性、高弹性；易用性（便捷开发与灵活定制以及自动化运维）和即时就绪能力；可视化（流计算的可视化实时性往往与实时性相关，决定了其技术与传统的BI的可视化不同）数据处理向大数据处理的过渡从发展趋势和支撑的数据扩展规模上看45大数据核心技术——Hadoop

大数据核心技术——Hadoop46

大数据产业化的领跑者

行业最佳实践的执行者BDABDFBDPBeagleDataFlow:企业友好MapReduce免开发行业最佳实践的集成BeagleDataPlatform:自动化部署智能调度使用简单助力构建企业差异化竞争优势为企业提供：专家服务解决方案基础平台架构BeagleDataAccelerator:机器学习等算法的集成ANN,SVM,BAYERS,NLP…数据到商业价值的转换分布式计算基于分布式计算的开发能力科研成果的商业化使用简单加速创新解决问题核心竞争力大数据产业化的领跑者

行业最佳实践47商品化的X86服务器无需定制HadoopDistributionsBDF(BeagleDataFlow)Hadoop中间件开发运行

BDA(BeagleDataAccelerator)ML机器学习工具包发布语义计算行为关系视觉计算DataPlatformasServiceStreamingJob/SQL/Batch/Script…DataScienceasServiceMachineLearning&PatternRecognition政府智慧城市公共安全

金融历史纪录/影像/风险管理医疗卫生EMR/HER/重症监护医疗／BI/能源智能电网/油田制造自动控制/质检零售消费行为分析StreamingSearching&IndexMemDBBDP

(BeagleDataPlatform)集成/自动化/监控/调度任务管理/任务分配/日常维护电信精准营销/话单查询/IT支撑优化DataMgnt:企业友好数据视图位置感知／数据膨胀／生命周期管理／容灾业务能力数据能力平台能力领先的大数据理念—

助力企业“大数据能力”的形成商品化的X86服务器HadoopDistributions48其他数据日志数据系统数据云化ETL工具抽取加载转换数据存储（分布式大数据存储平台）权限管理标准化运维监控质量管控数据流式处理数据任务调度数据挖掘数据平台服务（PAAS）数据分析服务（SAAS）监控系统用户数据可视化系统分类其他数据应用大数据监控的系统架构其他数据日志数据系统数据云化ETL工具抽取加载转换数据存储（498、云计算与大数据8、云计算与大数据50云计算的理念

云计算是计算资源像祥云一样广域分布、统一配置、精确管理、协同工作、多任务并发运算的一种计算机集群工作方式，使用支持多任务、多节点统一并发计算的专用操作系统并将数据存储在分布式数据库中。

核心理念：在成本低廉的基础设施上提供高性能、高可靠的服务。云计算的理念云计算是计算资源像祥云一样广域分布、统一51NIST:云计算是一种能够通过网络以便利的、按需付费的方式获取计算资源（包括网络、服务器、存储、应用和服务等）并提高其可用性的模式，这些资源来自一个共享的、可配置的资源池，并能够以最省力和无人干预的方式获取和释放。52软件即服务（SaaS）基础设施即服务（IaaS）平台即服务（PaaS）公有云面向外部用户需求，通过开放网络向一般大众或中小企业群体提供云计算服务私有云大型企业按照云计算的架构搭建平台，面向企业内部需求提供云计算服务社区云混合云云基础设施被一些组织共享，并为一个有共同关注点的社区或大机构服务云基础设施由上述两种或以上的云组成，每种云仍然保持独立实体，但用标准或专有技术将其组合起来操作系统+应用服务引擎硬件资源应用系统按需自助服务虚拟化的资源池宽带网络接入快熟弹性架构可测量的服务用户通过Internet（如浏览器）使用软件，不必购买软件，只需按需租用软件提供应用服务引擎，如互联网应用编程接口/运行平台等用户基于该应用服务引擎，可以构建相应类别的应用以服务的形式提供虚拟硬件资源。用户无需购买服务器、存储等，只需通过互联网租赁即可搭建自己的应用系统5个关键特征3种服务模式4种部署方式*注：NIST，即美国国家标准与技术研究院云计算的定义NIST:云计算是一种能够通过网络以便利的、按需付费的方式获52云计算核心思想是根据用户需求，将大量用网络连接的计算、存储资源集中进行统一管理和调度，构成一个资源池，向用户提供IT基础设施、数据和应用的服务，这个提供资源的网络就称为“云”。之所以称为“云”，是因为云计算在某些方面具有现实中云的特征：规模比较大、可以动态伸缩、无需确定具体位置等。云计算意味着计算能力也可以作为一种商品通过网络进行流通，类似于电力从单台发电机转向了电厂集中供电。网络云云计算的核心思想云计算核心思想是根据用户需求，将大量用网络连接53计算模式的发展趋势MainframeNetwork、Client/Server、ClusterGrid、Cloud、Internet规模、能力范围、用户PC80%数据、计算、应用将“云化”计算模式的发展趋势MainframeNetwork、Clie54云计算与传统IT架构的对比55云计算优势体现提高可靠性实现数据冗余备份实现资源的可靠利用实现计算的安全稳定降低成本降低服务成本延长资产的寿命随需提供简化用户对信息资源的获取提高信息服务质量提高效率提高运行效率提高资源的效能提高运维管理效率云架构传统IT架构虚拟化架构应用服务器网路存储图例云计算与传统IT架构的对比55云计算优势体现提高可靠性降低成55云计算三层体系架构计算资源池基础设施资源存储资源池网络资源池平台资源应用资源数据库中间件ERP办公服务自动化运维管理系统监控管理商业智能操作系统资源开发环境测试环境

软件即服务SaaS

(SoftwareasService）并行计算框架

平台即服务PaaS

(PlatformasService）

基础设施即服务IaaS

(InfrastructureasService）云计算三层体系架构计算资源池基础设施资源存储资源池网络资源池56云计算表现形式数据在云端：不怕丢失,不必备份,可以任意点的恢复；软件在云端：不必下载自动升级；无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；强大的计算：具有无限空间的，无限速度。硬件为中心软件为中心服务为中心PCC/S云计算云计算表现形式数据在云端：不怕丢失,不必备份,可以任意点的恢57云计算可靠性研究组云计算大数据案例1：中国移动BigCloud云计算可靠性研究组云计算大数据案例1：中国移动BigClo58云计算大数据案例2：淘宝分布式数据处理云可靠性研究小组云计算大数据案例2：淘宝分布式数据处理云可靠性研究小组59数据改变商业Bigdataisnotaboutthesize,butfreedom.谢谢！数据改变商业Bigdataisnotaboutth60大数据

--开启智能电网新时代大数据

--开启智能电网新时代61

目录

1、大数据概念

2、应用中看大数据

3、迎接电力大数据时代

4、展望电力大数据时代

5、迈向电力大数据时代

6、电力大数据实践

7、大数据技术实现

8、云计算与大数据目录

1、621、大数据概念

1、大数据概念

63大数据的判断标准——3个V第64页多样性（Variety）大数据不仅局限于结构型数据，也包括非结构型数据，比如：文字，录音，录像，视频，记录高速度（Velocity）大数据是时间敏感的，必须快速识别和快速响应才能适应业务需求大容量（Volume）大数据的特点就是巨大。公司充斥着各种数据，经常是TB级，甚至是PT级的信息量大数据的判断标准——3个V第4页多样性（Variety）高速64大数据及大数据时代维基百科将大数据定义为“一组数据集，其复杂度与规模已经使得现有的数据库管理工具难以对其进行处理”；大数据与技术环境的互动不只体现在技术方面，也体现在包括商业、法律、社会规范等人类生活的方方面面。“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”

———哈佛大学社会学教授加里·金海量（Volume）多样（Variety）快速（Velocity）大数据及大数据时代维基百科将大数据定义为“一组数据集，其复杂65大数据时代趋势的本质及特点信息生产的廉价与泛在更廉价的存储、更廉价的计算、更廉价的网络访问与带宽，使得信息生产、传输、存储变得更加廉价与泛在信息反馈丰富及时大数据利用数字化记录使得人类反思自己的思想与行为从而改善生活；这些数字化的记录能够让人们从宏观的视角更加准确地俯瞰人群的种种行为，形成整个人类对自身的反射思考信息量巨大信息量巨大是大数据时代的一个特点；数据量的增加将从信息环境和人们的认知方式两方面带来深远的影响；不同来源的数据的融合将产生更大的价值；大数据时代的信息处理方式也将是以MoveCodetoData的方式进行；以数据挖掘和模式识别为代表的在海量数据中自动发现关系和模式的机械化数据处理工具为人们分析海量数据提供了可能。信息具备外部性往往数据本身是信息化系统在实现特定功能而进行支撑时所产生的副产品，这个副产品除了对组织自身的决策与运营改善有所帮助之外，它对第三方的组织也有不可估量的价值；在未来，数据为其拥有者创造价值仍将在未来的数据应用领域占有重要地位，同时数据通过开放与流动为第三方创造价值也将是未来数据应用的一个重要领域信息的数字化信息的数字化存储将有助于人们建立数学模型，分析事物之间的相关关系与因果关系；数字化信息可在不同系统中无损地被复制、传播，并展现信息不同的侧面非主动干预的信息生产非主动干预的信息生产能够突破人类注意力的瓶颈而产生海量的信息；非主动干预所生产的信息更加真实信息生产的民主化我们所生活的信息环境是由多数人决定的，而不是被少数特权者所把持；每个信息的消费者同时也可能是信息的生产者，即人们在被信息环境所影响的同时也在影响着信息环大数据时代趋势的本质及特点信息生产的廉价与泛在信息反馈丰富及66大数据的产生备注存储价格的下降计算能力的提升带宽的增加感知器成本的下降f()=技术以指数的速度进步触发了大数据现象的出现大数据的产生备注存储价格的下降f()=技术以指数的速度进步触67算法+IT+人才——数据商业“三驾马车”备注

Algorithms-MachinelearningMachines-Hadoop/NoSQL

People-CrowdSourcingBIGDATAAMP3月29日奥巴马政府的六个部门联合发布了“大数据研究与发展计划”，其中美国国家自然科学基金（NSF）的1,300万美元预算中的1,000万美元投资于UCBerkley的AMP研究。其AMP研究框架中的Algorithms、Machines、People，可以分别对应MachineLearning、CloudComputing、CrowdSourcing。算法+IT+人才——数据商业“三驾马车”备注Algorit682B，2C到2D。

数据驱动的新业务模式传统经济Step2Step3传统经济模式下，企业向客户出售产品或服务，以直接赚取金钱为目的互联网经济下，企业尽可能多地发展用户，不以直接从用户处赚取金钱为目的，希望通过后向收费或者发掘用户终身价值等方式赚取利润。互联网经济大数据经济数据将是未来企业的重要资产，企业通过数据创造新的商业模式，或直接通过数据售卖以及利用数据提供增值服务获得巨大利润产品、服务用户数据海量用户+良好的数据资产成为未来核心竞争力与收入的重要来源2D2C2B2B，2C到2D。

数据驱动的新业务模式传统经济Step69

从业务支撑走向业务引导

形成新的生产资料和生产力IT从后台走向前台，IT从后台走向前台

从业务支撑走向业务引导

形成新的生产资料和生产力IT从后台702、应用中看大数据2、应用中看大数据71使用纪录大规模人类行为活动的全量数据动画视频是演示的2012除夕夜北京市民短信拜年的行为，随时间推进拜年短信在市区地图上以烟花效果显示。基于对数百万条短信的可视化分析，拜年的高潮并不是我们想像的午夜，而是晚餐前。全量数据，告诉了我们所不知的事实。量尺、天平、显微镜是我们认知传统物理世界的工具。而今天，能够如上帝般掌控全量数据，依赖于创新的信息技术，计算机不再只是打字、记账、通讯工具，大数据帮助我们重新认识探索世界使用纪录大规模人类行为活动的全量数据动画视频是演示的201272大数据开启个性化商业

借助网络数据的客户感知大数据的时代才真正的开启了对个体的关注，对意识层面的关注。

输入你的微博账户，系统会计算并试图描述你，主题词标签云，你背后的朋友圈、事业圈，性格分析、情绪分析，这些都来自于你的历史言论和社交行为。天云大数据利用自然语言处理和机器学习技术，为零售、金融等商业活动，精确感知客户，从而洞察市场，有效干预。大数据开启个性化商业

借助网络数据的客户感知大数据的时代才真73要效率，大数据3秒锁定疑犯－

公安刑侦系统应用乘坐同一班列车，住同一酒店的两个人可能是同伙，刑侦人员将不同线索拼凑起来排查疑犯，可是来自于多源数据的处理在传统IOE架构上，需要数小时甚至整日。天云大数据平台将这一操作缩短至3秒，同时描述出疑犯的交往关系。公安人员可以基于计算出的线索流畅的思考。大数据的效率让量变成为质变，形成新的洞察与知识要效率，大数据3秒锁定疑犯－公安刑侦系统应用乘坐同一班列车74“感觉”“情绪”等大量碎片息的度量与评估

大数据品牌影响力分析收集社交网络中索纳塔8新车发布一年里的全部言论，通过天云大数据的NPL和机器学习技术，对该品牌的各类主题关键词形成标签云。“优惠”“客运”“出租”“帕萨特”等标签，基本勾勒出了基本品牌定位和竞争车型。同时社交网络谈论的数量，可以描述该品牌的市场活跃度和影响力。基于语义情绪分析引擎可以定量品牌美誉度（蓝色）和负面评论（红色），从而对线下市场营销活动做针对性指导。大数据提供更广、更多维度的度量工具，帮助我们认知和改造世界。“感觉”“情绪”等大量碎片息的度量与评估

大数据品牌75移动：已经落地——经分上网行为分析移动：已经落地——经分上网行为分析76移动：上网行为分析应用架构移动：上网行为分析应用架构77移动：BDA——URL解析分词库爬取基准url分类日志URL比对陌生URL已知URL网页分类训练集百度热词爬取爬取内容，分词，根据规则将分词入分词库爬取内容，与分词库根据规则匹配，找出对应url类别读库入库匹配入库入库读库移动：BDA——URL解析分词库爬取基准url分类日志URL78运营商——CDR话单的交往圈识别CDR话单基于大数据处理及分析技术的交往圈运算全量用户真实的交往圈机器学习算法：最大边缘算法最大连通图最短路径Hip-Hop社交圈分析…垃圾用户

主叫多

通话人之间无社交关系

通话时间短…优质用户互动

社交圈

通话时间长…基于大数据技术的交往圈识别与分析运营商——CDR话单的交往圈识别CDR话单基于大数据处理及分银行：根据用户行为与交往圈进行个贷信用评估购买一氧化碳检测器以及烟雾警报器的顾客购买了房子，并且他们的生活态度比较谨慎，是低信用风险顾客。购买钛合金钻头以及木工工具的顾客有着比较奢侈的业余爱好，这部分顾客的信用风险也比较低。“风险”最高的消费是：加拿大蒙特利尔市的SharxPool酒吧里的消费，其中47%的顾客用CanadianTire信用卡消费以后在12个月内曾经四次拖欠还款。最“安全”的顾客是：购买昂贵的鸟食以及一种新型的“屋顶雪铲”的顾客——户主用这种雪铲清除高处的积雪以免它们落到人行道上。社会资本代表了一个人的社交网络的价值。一个人的社会资本由其所处的社会地位、影响力、声望等因素决定社会资本和资产、人力资本存在一定相关性，但其中相关性并非绝对，有可能资产较低的人却拥有较高的社会资本。一个拥有较低的资产，但是他拥有较好的社会资产，有可能在短期内调动有用资源完成任务。可以使用类似PageRank的算法对用户的社会资本进行评估。“你的成功不仅取决于你拥有什么，还取决于你认识谁”“你的行为有可能出卖了你”银行：根据用户行为与交往圈进行个贷信用评估购买一氧化碳检80银行——历史数据存储查询业务系统A业务系统B业务系统N……BDP平台数据准备层需求定义结构统一逻辑定义转换加载BDF中间件固定查询动态查询司法查询其他查询条件解析异构转换数据更新优化策略浏览器客户端Excel下载PDF下载门户管理任务监控权限管理运维管理系统管理银行——历史数据存储查询业务系统A业务系统B业务系统N……B813、迎接电力大数据时代3、迎接电力大数据时代82备注每个设备15分钟产生一组数据，每年产生35万条数据如果一个家庭有10个设备需要监控，则一年产生400TB

存储12传统电表每年产生12条数据电力大数据源起备注每个设备15分钟产生一组数据，每年产生35万条数据1283电力大数据价值内涵电力大数据价值内涵84电力大数据特征电力大数据特征854、展望电力大数据时代4、展望电力大数据时代86电力大数据价值分析大数据技术能够为中国电力工业带来显著的财务价值，在企业内部的应用也将极大的提高电力企业的运营效率和营收能力。除此之外，由于电力能源基础设施的泛在性，其“天然联系千家万户”的能源特质，将使电力大数据的理念得到了全社会的广泛认可。由此带来的规模化效应，电力工业的发展，加速传统能源设施行业的快速转型之外，整个国家经济中国社会的可持续发展都将起到积极而特殊的作用、绿色发展的方法、路线和政策。电力大数据价值分析大数据技术能够为中国电87电力大数据应用前景电力大数据应用前景88电力大数据应用前景（续）电力大数据应用前景（续）89电力大数据发展挑战一数据质量较低，数据管控能力不强。二数据共享不畅，数据集成程度不够。三防御能力不足，信息安全面临挑战。四承载能力不足，基础设施函待完善。五相关人才欠缺，专业人员供应不足。电力大数据发展挑战一数据质量较低，数据管控能力不强。二数据共905、迈向电力大数据时代5、迈向电力大数据时代91电力大数据关键技术一数据分析技术二数据管理技术三数据处理技术四数据展现技术电力大数据关键技术一数据分析技术二数据管理技术三数据处理技术92电力大数据发展策略一策划先行、加快示范二数据质量、行业共享三人才培养、生态建设四智慧电力、智慧城市电力大数据发展策略一策划先行、加快示范二数据质量、行业共享三936、电力大数据实践6、电力大数据实践94实时海量数据是坚强智能电网的重要资产实时海量数据是坚强智能电网的重要资产95对实时数据的接入、存储与处理、

监测与智能分析要求海量安全接入信息网络覆盖范围，支持智能传感器、智能表计等设备接入多渠道互动用户入口信息双向交互的安全防护能力海量存储电网状态、设备状态、用电信息采集等海量信息的存储能力海量实时数据的处理、分析能力覆盖营销、生产调度、经营管理的公司一体化数据模型，统一管理公司各类数据资源实时监测资产运行绩效的实时监测和分析能力电网的动态运行监测、智能报警、自动故障定位等能力用户用电行为、能效、电能质量等分析能力智能分析新能源和分布式能源的并网控制能力电网调度和运行监控的协同融合能力实时线损管理及实时费控能力储能系统的远方监视和控制能力需求侧管理和对用户负荷的控制能力对实时数据的接入、存储与处理、

监测与智能分析要求海量安全接96电网实时数据调研现状——某省实时数据分布1部门业务系统实时数据数据量频率调控中心SCADA/EMS电流、电压、功率、档位、频率、开关动作、SOE、保护事件、计算值、积分电量132980点1~3秒电能计量关口电量数据2860个表计15分钟生技(电科院)设备在线监测系统变压器监测SPTR、绝缘监测SINS、局放监测与诊断SPDC、断路器SCBR、避雷器SLAR、环境监测SENV、绝缘气体监测SIMG、绝缘液体监测SIML等待调研3秒覆冰检测系统平均温度（℃）、温度（℃）、湿度（%RH）、风速（m/s）、雨量（mm/h）、导线拉力（kg）、地线拉力（kg）、导线倾角（°）、地线倾角（°）、导线覆冰厚度（mm）、地线覆冰厚度（mm）12个检测点5-15分钟变压器绝缘油在线监测氢气、一氧化碳、二氧化碳、甲烷、乙烯、乙炔、乙烷、总烃、总可燃气体350个检测点日变压器中性点直流分量监测系统变压器中性点直流电流347个检测点3秒

雷电定位系统电流、地点（经纬度）18个检测点

秒

电网实时数据调研现状——某省实时数据分布1部门业务系统实时数97电网实时数据调研现状——某省实时数据分布2部门业务系统实时数据数据量频率电科院电能质量所电能质量监测系统频率、谐波电流、谐波电压等180个采集点秒

计量中心计量自动化系统冻结电量,实时电量,功率数据,电流数据,电压数据,报警数据

四分线损统计数据主网3000个表计，

配网专变用户266418表计，配网公变用户192853表计，低压用户322153815分钟电网实时数据调研现状——某省实时数据分布2部门业务系统实时数98电网实时数据调研现状——某市实时数据分布部门业务系统实时数据数据量频率系统运行部（调度）SCADA/EMS电压，电流，开关位置，电网拓扑结构遥测：超过3万遥信：超过6万1~3秒DMS10kv出线到用户表计的电压、电流、开关位置等信息1万个监测点遥测2-3万遥信2万多15分钟计量中心计量自动化系统冻结电量,实时电量,功率数据,电流数据,电压数据,报警数据，四分线损统计数据专变1万多公变1万多小区集抄20多万15分钟电网实时数据调研现状——某市实时数据分布部门业务系统实时数据99大数据不仅服务于决策，更是新的生产力

精确城市用电统计控制动画中实时记录了每一座建筑的用电情况，酒店因party而在周末达到峰值，区域的用电情况并不均衡…智能电表的应用引爆了数据激增，数据从12条每年增至400TB(10万人口的城镇每15秒采集)。但数据形成了新的生产力，不仅是预测，更可精确指导送电和发电。如同工业时代的机器人批量生产工业品，信息时代大数据在规模化自动化加工新的生产资料(数据)，形成新的生产力。大数据生产力并不仅仅是供人类使用的洞察与决策，更可直接嵌入生产环节，机器指导机器，形成新的控制闭环，服务于工业、农业、商业、服务业等，相对于互联网的注意力经济，大数据构建了一张更为广阔的产业蓝图。Bigdata

ismoreaboutAutomation

thanInsight大数据不仅服务于决策，更是新的生产力

精确城市用电统计控制动100大数据服务IT创新，提高生产效率

浙江电力统一日志采集与分析系统需求随着公司信息化水平的不断提高，主机、网络设备、应用软件数量不断增多，业务资源访问、操作量不断增加，急需建立一套统一的日志集中管理和审计系统，能够收集来自企业和组织计算环境中各种设备和应用的安全日志，并进行存储、监控、分析、报警、响应和报告。目标基于HADOOP分布式存储和计算平台的开发及系统部署全面的日志采集及归一化处理功能开发及实施多维关联分析功能开发及实施价值IT服务创新，提高服务水平和生产效率大数据新技术的引入创新，团队大数据技术的使用和掌握探索大数据新模式，为深入挖掘数据价值铺垫大数据服务IT创新，提高生产效率

浙江电力统一日志采集与分析1017、大数据技术实现7、大数据技术实现102其他数据旁路采集数据HA管理集群监控集群告警日志管理元数据管理数据生命周期管理安全管理操作系统自动部署接口采集数据数据管理数据层资源部署层分布式集群自动部署数据获取层数据并行采集数据文件导入开发管理层清洗转换脚本开发流程开发流程管理流程调度SQL开发接口访问层JDBC接口Web服务接口自定义API平台管理监控层监控报表展示（展现，告警，报送，门户集成）逻辑架构图其他数据旁路采集数据操作系统自动部署接口采集数据数据管理数据103物理架构图电力大数据服务群物理架构图电力大数据服务群104数据处理向大数据处理的过渡从发展趋势和支撑的数据扩展规模上看，传统给MPP技术是数据处理向大数据处理的过渡性技术。不能有效的支持应用灵活性及随需变化的要求。大数据解决方案提供了释放应用灵活性所需要的底层平台和数据加工能力：通过WEB页面和网络就能进行HADOOP相关组件的部署、监控、配置和操作的自动化管理平台。提供了是能够实现如多种主流Linux操作系统的网络分发安装，基于Hadoop集群的快速部署、管理和监控，以及分布式的数据就绪及处理等等的组件。为企业中大数据能力及项目的快速就绪提供简单有效的高性价比解决方案。大数据技术固然诱人，但是其进入企业的过程仍然需要适合企业的生长环境，需要与企业已有的生态系统的方方面面共同生存。因此，大数据之于企业而言，在考虑业务需求的同时，对于数据安全、系统高可用性和容灾能力的要求也非常重要。流计算平台可以捕捉数据流、筛选内容并调用复杂的分布式事件计算，从而在最短的时间内把数据关联、分类和转换为有价值的信息。

用普通PC服务器集群构建的分布式流计算平台，实现高性能、高可靠性、高弹性；易用性（便捷开发与灵活定制以及自动化运维）和即时就绪能力；可视化（流计算的可视化实时性往往与实时性相关，决定了其技术与传统的BI的可视化不同）数据处理向大数据处理的过渡从发展趋势和支撑的数据扩展规模上看105大数据核心技术——Hadoop

大数据核心技术——Hadoop106

大数据产业化的领跑者

行业最佳实践的执行者BDABDFBDPBeagleDataFlow:企业友好MapReduce免开发行业最佳实践的集成BeagleDataPlatform:自动化部署智能调度使用简单助力构建企业差异化竞争优势为企业提供：专家服务解决方案基础平台架构BeagleDataAccelerator:机器学习等算法的集成ANN,SVM,BAYERS,NLP…数据到商业价值的转换分布式计算基于分布式计算的开发能力科研成果的商业化使用简单加速创新解决问题核心竞争力大数据产业化的领跑者

行业最佳实践107商品化的X86服务器无需定制HadoopDistributionsBDF(BeagleDataFlow)Hadoop中间件开发运行

BDA(BeagleDataAccelerator)ML机器学习工具包发布语义计算行为关系视觉计算DataPlatformasServiceStreamingJob/SQL/Batch/Script…DataScienceasServiceMachineLearning&PatternRecognition政府智慧城市公共安全

金融历史纪录/影像/风险管理医疗卫生EMR/HER/重症监护医疗／BI/能源智能电网/油田制造自动控制/质检零售消费行为分析StreamingSearching&IndexMemDBBDP

(BeagleDataPlatform)集成/自动化/监控/调度任务管理/任务分配/日常维护电信精准营销/话单查询/IT支撑优化DataMgnt:企业友好数据视图位置感知／数据膨胀／生命周期管理／容灾业务能力数据能力平台能力领先的大数据