电力大数据开发试验与共享服务平台体系架构设计

体系架构设计·数据已经渗透到当今的每个行业，成为重要的生产因素。国家电网公司于2015年1月正式启动企业级大数据平台建设计划，并开展了多项数据分析应用开发建设。但随着接入数据类型的逐渐丰富，数据总量的持续增长，已形成相·为了促进国家电网公司内外大数据互助共享协作，推动外部数据资产整合，突破部门之间的信息封闭状态，规避数据平台重复构建，消除部门之间信息差别，实现相关资源的有效互通，支撑公司电力大数据共享流通的需求，急需建设数据开放共享平台。·国家电网公司拥有大量敏感数据，如电力营销数据、电力调度数据、个人用电信息等。中华人民共和国网络安全法规定：网络运营者不得泄露、篡改、毁损其收集的个人信息；未经被收集者同意，不得向他人提供个人信息。但是，经过处理无法识别特定个人且不能复原的除外。①目前国家电网公司内部大数据平台已经得到推广，电力大数据技术日趋成熟，开放共享平台作为大数据技术的深化应用，有相应的经验作为保障。②基于大数据平台开发的应用目前处于起步阶段，需要一个开放共享平台作为底层技术的支撑，可以让大数据应用开发变得更加简单、快捷，同时节约成本。③大数据应用技术门槛较高，同时存在数据安全的问题，所以对人员的专业知识要求比较高，相应的学习成本也比较大，而开放共享平台可以避免这些问题。①国家电网公司拥有大量电力营销数据、电力调度数据、个人用电信息等等敏感数据，数据来源分散，时空跨度巨大，数据粒②数据的充分共享和分析挖据将为公司产生巨大的商业价值，数据的所有者和使用者分离，数据利用和保护产生矛盾。③数据在产生、传输、存储、处理以及使用等环节存在隐私泄露的隐患。项目意义项目意义·促进公司内外大数据互助共享协作，推动外部数据资产整合；推动数据共享·形成电力数据资产与社会经济、气象、地理空间等外部数据源之间的互动；推动数据共享·支撑电力数据应用需求，深化数据价值创造；提供数据服务·积极响应社会对电力公共数据的访问需求，提供数据共享服务·提升对大数据平台安全技术体系及方法论与现有大数据平台的契合度；提供数据保护·通过对敏感数据的过滤保护，可逐步扩大数据共享的范围和对象，为数据的进一提供数据保护步挖掘和分析提供了重要支撑；环境快速部署帮助系统开发人员设计系统功能、调优系统性能、提升部署方法，协助用户比环境快速部署较不同系统的性能，利于选购产品。角色服角色服务数据数据分析域基础设施测试验证测试验证仿真数据生成定制化数据仿真数据生成定制化数据外部数据接入明细层数据源数据源请业务分析门户数据分析探索数据资源申请申请分析结果输出数据处理应用数据展示应用电力业务应用大数据平台环境申请化技术架构生产区区国家电网公司国家电网公司分析域分析域半结构与非绘构化数据电力大数据开发试验和共享服务平台关系数据关系数据结构化FIP传输离线拷贝实时数据国家电网公司数据表数据表 还原到还原到…………信息录入(名称、存放信息录入(名称、存放等)数据集市数据集市数据访问即时查询数据接口数据集基础数据集用采数据集检修数据集档案数据集其它数据集数据组织数据整理关联、切分、打包转换、清洗、装载数据处理数据传输原始数据列式数据库HBase数据仓库Hive数据源国家电网公司国家电网公司分析关联关联聚类分类预测国家电网公司国家电网公司样本数据样本访问访问方式即时查询样本集基础数据样本用电客户样本电压曲线样本电流曲线样本负荷曲线样本历史电量样本样本存储数据存储数据安全数据整理样本处理ETL处理原始数据数据源BI展示据据据据据元数据存储库据据据据据据据据国家电网公司|班数据统计数据挖掘并行算法库数据统计数据挖掘并行算法库具数据接入数据接入国家电网公司擎统一开发接口电力大数据开发试验和共享服务平台国家电网公司应用集市应用集市等置统一服务接口电力大数据开发试验和共享服务平台电力大数据开发试验和共享服务平台国家电网公司基础设施基础设施服务服务管理层基础设施服务基础组件基础组件计算资源计算资源池服务器存储资源池计算资源池服务器存储资源池国家电网公司验证对象验证服务验证工具验证对象验证服务验证工具统一服务接口工具部署大数据仿真生成工具大数据负载生成工具大数据性能验证工具电力大数据开发试验和共享服务平台国家电网公司◆应用在独立沙箱内运作，相互不影响AppB商◆应用在独立沙箱内运作，相互不影响AppB商业应用DOCKER容器技术◆启动速度快：通常在一秒内可以启动◆性能开销小：几乎没有额外资源开销过20亿个◆在2015年的618活动，京东线上共运行了超过了11000个Docker实例以及几百个KVM虚拟机来支持◆截止2015年3月份，腾讯已使用了大概15000个常驻的Docker容器，来实现对其服务的支持国家电网公司DOCKERDOCKER容器技术容器和VM一样具有着一定的隔离性，各个容器之间的数据和内存空间相互隔离，可以保证一定的安全性。容器相对于VM有以下几个优点：用户使用优点宿主OS,对系统资源直接按容器划分，不需要虚拟化出新的OS高好不足容器内应用只能使用宿主一样的OS资源，且需要考虑宿主安全容器特点，不推荐持久化依赖LINUX优点使用自己的OS好不足占用更多的系统资源镜像文件大，部署时间长，横向扩展性差国家电网公司国家电网公司基本架构DOCKER容器技术国家电网公司Kubernetes+DockerNodeNodeNodeKube-Proxy:对Node提供网络代理和Label功能，配合Service提供网络服务。Pod:是Kubernetes最基本的部署调度单元，可以包含container,逻辑上表示某种应用的APIserver:提供标准的Rest服务，更新EtcdScheduler:负责完成Pod与Node的绑定。ReplicationController:是pod用于解决pod的扩容缩容问题国家电网公司微服务&微应用微服务&微应用架构的特点：■可通过API访问的、单一用途的小型程序集合■是一组非常小的、粒状的(granular)、独立的协作服务或应用的集合■旨在通过将功能分解到各个离散的服务或应用中以实现对解决方案的解耦，符合单一职责原则和便于接口依赖。■各小程序可使用不同语言，不同架构■多系统联调费时费力，编译时间长，构建过程往往互不相同，前期成本高WebUIDocker将所有应用都标准化为可管理、可测试、易迁移的镜像/容器，因此为不同技术栈提供了整合管理的途径。国家电网公司多租户技术。电力大数据开放共享服务平台的多租户的主要功能是进行分布式存储资源的隔离以及计算资源的隔离，是通过HDFS用户组以及Yarn动态资源池来实现的。HDFS用户组中对存储资源的读写权限进行了设定和控制，不同的用户和用户组对存储资源具有不同的读写权限。·建立可以与HDFS的用户组——映射的租户组，通过将租户加入或移除租户组来实现对HDFS存储资源的隔离。drwxr-x---drwxr-x---drwxr-x---drwxr-x---·基于Yarn动态资源池的计算资源隔离·动态资源池是对YARN应用程序进行资源和策略分配的池。动态资源池允许安排和分配用户访问特定池，用来执行YARN应用程序的资源。如果一个池的资源未被使用，它可以被占用并分配给其他池。否则，就根据各个池的权重来共享资源。·命名资源池+调度策略·基于权重的资源分配·基于用户优先级的服务水平保证/users/(tenantId)/arc/users/(tenantId)/wareh/users/ItenantId]/warehouse/[db]/Itable]/Ipar/users/AtenantId)/lan/users/itenantId)/proces/users/(tenantId)/processing/ljo/users/itenantId]/processing/ljobId)//users/itenantId)/processing/ljobId)/o国家电网公司国家电网公司清洗关联用户业务业务用户管理员数据资源需求→浏览数据目录信息填写数据申请表提交数据申请N数据YYY收收业务业务用户管理员NN审批审批审批审批数据探索-开发流程据据Y基础设施服务大数据基础组件验证测试工具系统环境计算资源大数据基础组件验证测试工具系统环境计算资源存储资源数据资源生产区开发区自有分自有分黑求设计设计国家电网公司电力地图国家电网公司面向政府面向政府面向企业面向社会行业复工率分析行业复工率分析利用节假日期间企业用电量数据，判定企业开/复工状态，展现各行业在节日期间的复工率走势，反映行业发提供信息服务。tm后种积都和以，标m =2286*0558*i85uFF*TE#人出出展示十大行业节后复工率情况，对全行业复工率排名。用不同开工判断标准反映各行业节日期间的复工率走势。典型应用案例面向政府面向政府面向企业面向社会利用居民日常用电量数据，判定住房居住情况，展现各省近几年的住房空置率走势，对比某省下辖市和某市各区县的住房空置率，反映房地产市场供求状况，为政府制定楼市宏观调控政策提供决策支持。住房空置带住房空置带A中Bm0以热力图形式展示全国各省份住房空置率高低，点击某省份区域，右图呈现该省近三年住房空置率走势，综合判断该省房地产市场供求稳定。住房空省事住房空省事能期：医过输份等选器和年份集选器，左下图及肤了某年某留份各书的空置府数是世基中任康柱形，在上重论出对直验的找空置房占比填定，右下握以气过图形此反族该力各附找、获测居民教以及住病空算本、其中模业标表示登用国民技，保业行该区《器)的往房空重本。4●1中%m*m从居民用电维度判断住房空置情况，展示某省各下辖市住房空置率，进一步对比各区(县)住房空置率高低，反映各地区房地产市场房源分布不均、供求不平衡等状态。典型应用案例根据行业用电量与影响因素相关性分析，对观察区域用电市场支柱产业和新兴产业进行辨识。在政府规划城市产业政策时，可根据用电市场的辨识及发展趋势有针对性的对产业政策进行调整。用户数量对比100方##区●用电证疫充题势+F各用电奥到用电型对比区○落○区1产业类型特征分析根据支柱产业和新兴产业不同的用电类别和特征差异，并对比二者在该区域内的产业规模及用电趋势特征，对用电市场合理调整提供依据。支柱产业行业用电量新兴产业行此用电量支柱产业综合发属水平排名新孔产业统合发属水平排名u=发展评估评估各产业当下的发展水平和态势，可以很直观的看到目前在制造业和金融业是其主要的发展行业。典型应用案例利用用户用电信息和缴费情况建立征信模型，以全面分析评估企业或个人的资质和信用情况，从而有效提升现有征信体系的服务能力，有利于联合征信体系进一步拓宽对非银行信息的采集，有利于进一步倡导诚实守信的理念，引导消费者更为重视自己的信用。数据预处理数据预处理筛选用于建模的数据维度进行统计分析业依据行业信息对数据进行标准化并构建征信体系输出用户的信用情况及相关指标统计结果分析结果展示分析结果展示各类型用户信用情况00022030972好各类型用户用电和欠费情况mmmP依照基于用电数据的征信参考模型，用户可细分为信用极好，信用较好及信用一般三种类型，结合用户个人及所在行业征信相关信息，可以有针对性地采取不同的管控策略和营销方案。.基础分析状内展东为产布，用市改化为步，药片为的的长通的用产和用电类的，通片了.基础分析状内展东为产布，用市改化为步，药片为的的长通的用产和用电类的，通片了期电趋势O□院a产用电安动与欠责汇欠费行为i计*压据用电分布情况0叫*?面向政府面向政府面向企业面向社会电力客户价值划分电力客户价值划分电力客户价值划分模型主要实现对客户基本信息、用户用电行业类别、用户用电增长潜力、欠缴费记录、等数据进行聚类分析，对共同特征进行描述分析，最终得出更细化的用户