大数据图像处理技术在智能电网的应用分析

1、大数据图像处理技术在智能电网的应用分析【摘要】随着互联网、移动通讯技术的不断发 展，特别是电商、社交、即时通讯平台的活跃，以及 企业信息化、智慧城市、智能电网的快速建设，近几 年来，视频、图像数据呈现爆炸式增长，与此同时， 图像处理技术也得到快速发展，特别是大数据技术的 应用为大规模图像处理提供了技术可行性。本文就图 像技术的现状、大数据体系、大数据图像处理技术进 行分析论述，并结合智能电网应用场景进行了思考与 分析。【关键词】图像技术大数据hadoop智能电网 引言当前，大数据分析已经成为各行业的一个重要决 策支撑手段，大数据技术能够简化处理海量数据，其 大规模集群数据处理开源软件框架apa

2、che hadoop, 可以可靠地依靠成千上万规模节点处理pb级数据。利 用大数据技术实现图像处理，能够突破传统图像处理 技术瓶颈，快速实现大规模图像数据的处理计算，给 企业带来巨大价值。一、图像技术现状分析1.1存储技术现状目前国内外图像存储解决方案有两种，分别是图 像存储至数据库和图像存储至硬盘。在海量图像规模 下，传统数据库承载太多图像会导致数据库容量和效 率成为极大的瓶颈，常见做法是图像存储在硬盘，图 像路径存储至数据库。存储容量方面常采用增加专业 的磁盘阵列，磁盘柜或者高级的光纤盘阵、局域网盘 阵等方式解决，而提升访问效率方面常采用squid缓 存和镜像方法。1.2应用技术现状图像应

3、用技术随着互联网浪潮不断发展，按应用 领域不同可归纳为物理设备应用、基础软件应用、智 能分析应用、智慧分析应用四个应用层次，其技术实 现难度逐层增加。物理设备应用、基础软件应用是当 前主流应用技术，智能分析应用、智慧分析应用是未 来图像应用的演进方向。物理设备应用。物理设备应用是基于视频采集设 备的基础应用，表现为基于各类型摄像头的监控应用。 当前视频监控数据保存周期有限，监控识别过程多为 人工。目前市面上部分厂家将带有特定算法的智能芯 片集成到物理设备中，实现特定的分析功能，如：智 能家居安防摄像头，能够监测视频画面中的物体移动 实现远程预警；智能车库解决方案，通过车牌识别算 法实现车牌的快

4、速识别。基础软件应用层。以社交网站、视频网站为典型 代表。主要实现图像信息、视频信息的海量存储、快 速读取、分享交互。根据业务的不同需求，可灵活采 用传统图像处理架构或分布式图像处理架构，图像信 息的检索主要以文字搜索为主。智能分析应用。智能分析应用包括图像智能分析， 图像检索，视频切片分析等高级应用。目前淘宝、京 东等电商企业图像智能分析技术领先。如淘宝“拍立 淘”功能便是图像智能分析（以图搜图）的典型应用， 通过类目预测，主体检测，图像特征提取，检索索引 和排序5层算法框架、利用大数据、云计算、机器学 习等先进的信息技术实现用户购物方式的颠覆。智慧分析应用。智慧分析应用是指对图像信息处 理

5、的实时计算、深度学习和智慧决策。典型应用为 google公司无人驾驶技术的应用研宄，实时对摄像传 感器采集的视频信息进行计算分析，实时决策。二、hadoop体系结构hdfs和mapreduce是hadoop的两大核心。而整 个hadoop的体系结构主要是通过hdfs来实现对分布 式存储的底层支持的，通过mapreduce来实现对分布 式并行任务处理的程序支持，hbase是hadoop体系下 基于bigtable的分布式数据库，其为大数据的存储和应用提供很好的底层支持。hdfshdfs采用了主从(master/slave)结构模型，一 个hdfs集群是由一个namenode和若干个datanod

6、e 组成的。其中namenode作为主服务器，管理文件系 统的命名空间和客户端对文件的访问操作；datanode 管理存储的数据。hdfs允许用户以文件的形式存储数 据。从内部来看，文件被分成若干个数据块，而且这 若干个数据块存放在一组datanode上。namenode 执行文件系统的命名空间操作，比如打开、关闭、重 命名文件或目录等，负责数据块到具体datanode的 映射。datanode负责处理文件系统客户端的文件读写 请求，并在namenode的统一调度下进行数据块的创 建、删除和复制工作。hdfs体系结构如下：mapreducemapreduce是一种并行编程模式，这种模式使得 软

7、件开发者可以轻松地编写出分布式并行程序。在 hadoop的体系结构中，mapreduce是一个简单易用的 软件框架，基于它可以将任务分发到由上千台商用机 器组成的集群上，并以一种高容错的方式并行处理大量的数据集，实现hadoop的并行任务处理功能。 mapreduce框架是由一个单独运行在主节点上的 jobtracker和运行在每个集群从节点上的tasktracker 共同组成的。主节点负责调度构成一个作业的所有任 务，这些任务分布在不同的从节点上。主节点监控它 们的执行情况，并且重新执行之前失败的任务；从节 点仅负责由主节点指派的任务。当一个job被提交时， jobtracker接收到提交作

8、业和配置信息之后，就会将配 置信息等分发给从节点，同时调度任务并监控 tasktracker 的执行。hbasehbase是apache hadoop的数据库，一个开源的，分布式的，多版本的、面向列的存储模型。能够对大 数据提供随机、实时的读写访问功能。h base可以直 接使用本地文件系统，但在hadoop hdfs的文件存储 系统中更能提高数据的可靠性和系统的健壮性，最大 限度发挥hbase大数据处理能力。hbase存储松散型数据，数据介于映射(key/value) 和关系型数据之间。hbase向下提供存储，向上提供 计算，在hbase之上还可以使用hadoop的mapreduce 计算模

9、型来并行处理大规模数据，将数据存储和并行3.1 hadoop图像存取技术分析hadoop分布式存储为海量图像、视频存储提供了 原始模型，其开源性，高容错性符合图像存储业务发 展的特性。图像信息存取架构1. 图像存储：采用hadoop中的hdfs存储图像， 通过hdfs的冗余备份和心跳检测保证存储数据的安 全性，设定负载均衡策略，保证各个存储节点的运行 稳定。2. 图像索引：设计图像url，将图像存储信息设 定在图像url中，通过解析url快速定位存储图像 block的datanode和fileld。图像元数据作为键值对存 放在hbase中，保证海量数据扩容和快速检索。3. 采用mapreduc

10、e进行图像业务处理的编程实现， 针对大数据的批量处理和存储优化制定相应策略。4. 读取服务：采用nginx的web服务器对图像进行读取，nginx的redis模块对缓存中的微型图像进行 读取。5. 负载均衡：采用haproxy的roundrobin负载均衡算法构建负载均衡，分载前端用户请求的压力。6. 应用服务器：java应用服务器完成图像写入的操作图像信息写流程图像写请求由用户发起后，通过负载均衡模块过 滤，到达应用服务器排队，等待进入hdfs存储系统， 通过namenode分配datanode进行存储，图像写入 过程中先确定写入block，再确定sequence file，图像 元数据保存

11、至hbase和redis构建的缓存系统2。3.2 hadoop图像处理技术分析在mapreduce计算框架中，hadoop将输入图像 数据划分成等长的作业分片，每个map任务处理一个 作业分片，map任务并行执行，定义reduce任务， 调用reduce函数实现结果数据的最终输出。图像文件处理流程mapreduce的工作过程分为两个阶段：map阶段 和reduce阶段。（图2）图像文件对应路径将作为mapreduce程序的输 入，imagelnputformat对输入进行划分， imagerecordreader对输入进行记录读取，取得key值 为 imagesplit 对象的路径，value

12、 值为 imagewritable。 mapreduce框架把读取的对传递给map程序进行执行， map程序对图像进行相关操作后，利用reduce程序将 处理后的图像分片进行整合，得到处理后的整个图像 文件，reduce程序将构建的对象传递给imageoutputformat 进行输出。hadoop通过writable对消息进行序列化。writable 接口定义了输入流的基本方法，mapreduce程序用 writable来序列化键/值对。writable接口定义 dataoutput、datalnput 方法。自定义的 imagewhtable 对方法进行重写，分别写入和读出图像的高度和宽度

13、， 源图像的y轴高度，图像的路径和图像的像素信息。1）imagelnputformat。imagelnputformat 继承 filelnputformat类，负责产生输入分片并将它们分割 成记录。记录大小小于或等于分片imagesplit。key（键） 存储该图像在文件系统的路径。value （值）存储 imagewritable类型的一个图像分片记录。2）imagerecordreader。map 任务使用 imagerecordreader来读取记录并且生成键/值对传递 给map函数。imagerecordreader方法重写 recordreader 函数，imagerecordre

14、ader 的 nextkeyvalue方法是得到下一个键/值对，getconfig方 法用来接受用户传递的数据信息。图像算法图像处理常用图像缩放、图像增强、图像边缘检 测方法。图像缩放插值方法有最近邻插值、双线性插 值、使用像素关系重采样和立方插值。图像边缘检测 是进行图像分割、目标区域识别、区域形状提取等图 像分析的技术基础。对于连续图像f （x，y），边缘检 测是求梯度的局部最大值和方向。利用canny边缘检 测算子，在map函数中实现对图像的边缘检测，从而 实现对图像文件的并行化边缘检测。3四、智能电网图像技术应用分析4.1基于图像的覆冰状态监测 目前输电线路覆冰状态监测常用方法有覆冰观

15、测 站观测法、覆冰力学模型估算法二种。覆冰观测站可以比较准确了解覆冰信息，但投资巨大且需要人工操 作，只适合于一些典型地区；覆冰力学模型估算法是 建立覆冰厚度与杆塔载荷的关系，通过测量杆塔受力 等参数间接测量覆冰厚度，该方法受限于风载荷对弧 垂、应力等参数的影响，精准性方面存在一定不足大数据、云计算的发展为基于图像的覆冰状态监 测提供另一有效途径。通过无人机、固定采集摄像头 采集线路覆冰图像信息，通过大数据计算框架快速实 现对覆冰厚度的计算。基于图像大数据的覆冰状态监测分析包括覆冰状态的图像信息的采集，图像的传输，图像的计算与反 馈等步骤，通过对图像进行二值化、去噪、边缘检测 等处理，完成覆冰厚度的计算。具体计算流程如图34.2电力图像大数据平台随着国家电网公司sg186、sgerp信息化的不断 发展，业务数据呈现爆发式增长。针对于结构化数据，国家电网公司于2015年开始试点实施企业级大数据 平台，已开展如“新型客户服务业务型态应用”、“配 网故障抢修精益化管理”等结构化大数据应用研宄。 而针对图像、视频非结构化数据，还未进行有效的挖 掘利用，数据存在孤岛，共享不便。基于hadoop架构构建电力企业图像大数据平台， 实现企业图形图像数据整合，挖掘数据价值，全面服 务于电力生产。平台架构分为数据源层、平台层、应 用层三个层面。数据源层包含各类图形