大数据处理详细设计

1、目录目录 .错误 ! 未指定书签。1.引言 .错误 ! 未指定书签。1.1背景与目的 .错误 ! 未指定书签。1.2专业术语及说明 .错误 ! 未指定书签。1.3参考资料 .错误 ! 未指定书签。2. 设计概述 .错误 ! 未指定书签。2.1任务及目标 .错误 ! 未指定书签。2.2需求概述 .错误 ! 未指定书签。2.3运行环境概述 .错误 ! 未指定书签。3.系统详细需求分析 .错误 ! 未指定书签。3.1详细需求分析 .错误 ! 未指定书签。4.总体设计方案 .错误 ! 未指定书签。4.1系统总体结构 .错误 ! 未指定书签。4.2系统模块划分 .错误 ! 未指定书签。5.系统详细设计

2、.错误 ! 未指定书签。5.1系统结构设计 .错误 ! 未指定书签。5.2系统功能模块详细设计 .错误 ! 未指定书签。6.信息编码设计 .错误 ! 未指定书签。6.1代码结构设计 .错误 ! 未指定书签。6.2代码命名规则 .错误 ! 未指定书签。7.维护设计 .错误 ! 未指定书签。7.1系统的可靠性和安全性 .错误 ! 未指定书签。7.2系统及用户维护设计 .错误 ! 未指定书签。7.3系统扩充设计 .错误 ! 未指定书签。8.系统配置 .错误 ! 未指定书签。8.1硬件配置 .错误 ! 未指定书签。8.2软件配置 .错误 ! 未指定书签。9.关键技术 .错误 ! 未指定书签。9.1关键

3、技术的一般说明 .错误 ! 未指定书签。9.2关键技术的实现方案 .错误 ! 未指定书签。10. 测试.错误 ! 未指定书签。10.1 测试方案 .错误 ! 未指定书签。1.引言1.1 背景与目的当下互联网和计算机技术越来越多的被各行各业利用，于是产生了海量的数据。进入2012 年后，“大数据”一词越来越多的被提及，人们用它来描述和定义信息爆照时代产生的海量数据。显而易见地， 数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能还没有意识到， 但随着时间的推移， 人们将越来越多的意识到数据对企业的重要性。 而这就需要有一种框架来分析处理这种大数据。 对于电力行业更是如此， 电力方面

4、每时每刻都在产生着大量的数据，而对这些数据的分析和利用有着巨大的市场前景和意义。1.2 专业术语及说明：一种分布式基础架构，由基金会开发。 用户可以在不了解分布是底层细节的情况下，开发分布式程序。充分利用集群的威力运算和存储。实现了一个分布式系统（），简称。有着高容错性的特点，并且设计用来部署在低廉的（）硬件上。而且它提供高传输率（）来访问应用程序的数据，适合那些有着超大数据集（）的应用程序。 放宽了 （）的要求（）这样可以流的形式访问（）文件系统中的数据。：是一个分布式的、面向列的开源数据库。：是一种编程模型，用于大规模数据集（大于1T）的并行运算。当前的软件实现是指定一个函数， 用来把一组

5、键值对映射成一组新的键值对，指定并发的函数，用来保证所有的映射的键值对中的每一个共享相同的键组。1.3 参考资料【 1】相海泉 . 大数据时代 J. 中国信息界 , 2013 (5).【 2】李成华 , 张新访 , 金海 , 等. : 新型的分布式并行计算编程模型 J. 计算机工程与科学, 2011, 33(003): 129-135.【 3】谢桂兰【 4】陈勇 .交通大学 , 2009.【5】 R C., 罗省贤 . 基于模型的应用研究JJ.微型机与应用基于平台的通信数据分布式查询算法的设计与实现J., 2010, 11( 12): S1., 2010, 25(3): 4-7.DD.北京:

6、北京2.设计概述从中取数据 （ 类） >通过对数据进行第一次处理( 类 ) >根据应用层的需要，对处理过的数据再次进行处理（类以及附加类：简单的数学基本函数、统计、概率等），并且返回给客户端（预留接口）2.1 任务及目标数据合成：1、的常用函数：最大值、平均值等2、专业函数（与服务器类似的内置函数）数据订单：1、基本的数据挖掘、数理统计函数功能（如统计/概率）2.2 需求概述因为电力行业在实际生产和应用的过程中会产生大量的数据，而这些数据又对电力有着巨大的影响和意义。对这些数据的处理和存储就成为一个迫在眉睫的问题。从这些数据中可以提取很多对于电力行业以后的发展和现今的实际生产有着指

7、导意义的数据，利用好这些海量的数据则成为如今电力的一个极具战略意义的问题。但是，如今的服务器不但不能满足于这个需求而且成本较高，所以就有替代的必要。2.3 运行环境概述20 个计算节点的集群（可横向扩展），集群配置为2*4 核， 40 80G 内存， 6 12T 存储。2.4 详细设计方法和工具利用函数从中取数据，函数对取到的数据进行处理，返回结果给用户。如下图编程工具：编程语言：3.系统详细需求分析3.1 详细需求分析A 功能需求分析：批量查询功能，数据处理功能（专业数学函数，基本计算函数，统计等）B 性能需求分析：实时性要求较高，对于数据的处理计算完全能够胜任C 资源需求分析：多台普通 X

8、86 服务器，成本较低。D 系统运行环境及限制条件分析：系统需要在系统上面运行，搭建集群框架E 现有软、硬件资源分析：如今华电现有 X86 服务器 4 台，可以利用虚拟技术对集群进行布置。软件方面目前框架已搭建成功，可以直接使用。4.总体设计方案4.1 系统总体结构如下图为、 的层次结构分为三个类：类、类、类输入的参数类型是类（测点名+时间段 +（内容），解析之后，通过按照检索条件最后输出（）类型结果；经过 之后的结果，然后在类里通过调用附加类的函数进行运算，最后输出结果（）。如下图< >()。用户4.2 系统模块划分1）类：写入检索条件， 遍历数据库，得到需要的数据 （可以提供的

9、按时间检索，按点名检索等）。需要参数为类型（<>）进过函数之后输出数据为< > 。2）类：函数得到的返回结果即类型的数据之后经过运算处理返回给的数据为()。3）基础类：封装的函数：加减乘除等基本运算、统计、计算概率、解析字符串、专业函数等。4）类：使用和提交作业；与类和类关联。5.系统详细设计5.1 系统结构设计系统分为两个包：一个是批量查询的包（），一个是批量计算的包（）。在包内，有四个类：类、类、类、类。在包内，有多个类：类、类、类、类、类等，这个包内需要封装一些类似服务器里的函数，如下表所示：三角函数、平方根、方差、（）三角函数（、）、平方根、方差、（）绝对值、近

10、似值（）绝对值、近似值（）加减乘除加减乘除统计统计专业函数（水汽、功率）专业函数（水汽、功率）字符串解析 (.)字符串解析（ .）时间转化（时间戳）时间转化（时间戳）错误处理错误处理好点、坏点处理好点、坏点处理55.2 系统功能模块详细设计总体功能分为两个部分：数据订单，数据合成。A. 数据订单即批量查询功能编写字符串解析类， 解析的。然后编写类， 这个类继承自， 重写这里面的接口函数，将检索条件写入类。然后通过类调用和提交作业。B. 数据合成即根据上次应用的需求对查询后的数据进行处理计算。查询后的数据传递给类， 在类里进行处理， 这里需要封装多个类， 根据上面列表内的函数依次封装， 用户类需

11、要继承类及实现接口函数， 注意的一点是这个里面的输入及要与的输出及类型相同。另外因为有电力方面专业函数的存在，需要编写一个附加类来提供这些计算方法，以便于在用户类里面调用。以上的核心逻辑处理完之后，用方法来输出最终的结果。最后还是使用及来提交作业。6.信息编码设计6.1 代码结构设计源代码分为两个包， 每个包内有不同的类。 文件下需要导入框架的四个文件分别为：、。还有需要有的包支持。框架结构主要是分为3 个类：类、类、类类代码结构为：首先创建对象，设置的配置，关联类、类及其他类。然后调用的静态方法方法启动程序。类代码结构为： 这个用户类要求继承自并且实现接口， 然后根据检索条件遍历中的内容，得

12、到所需要的内容，并且或输出或传递给用户类。类代码结构为： 这个用户类要求继承自并且实现接口， 然后通过调用附加类中的函数运算或者根据要求，对之后的数据经行处理，并且利用方法输出最终的结果。附加类代码结构：根据表中所列的函数及其他需求，编写封装函数。6.2 代码命名规则尽量使用英文直译之后名称来定义，首字母大写。7.维护设计7.1 系统的可靠性和安全性后期设计中会加入控制台设计，权限设计以及针对用户的特殊设计。7.2 系统及用户维护设计利用框架提供的维护可以实现这一功能。7.3 系统扩充设计因为框架是支持横向扩展的， 所以存储量这方面不用担心。 在功能方面可以预留接口以方便以后的功能性扩展。8.

13、系统配置8.1 硬件配置开发：可以在虚拟机下开发，需要五台虚拟机搭建集群（测试使用）运行：多台普通的X86 服务器。（实体的集群）。8.2 软件配置开发环境：、 1.6、框架、7 64 位操作系统运行环境：、 64 位操作系统9.关键技术9.1 关键技术的一般说明是一个用于大规模数据处理的分布式计算编程模型， 用户定义一个函数来处理一个对以生成一批中间的对， 在定义一个函数将所有的这些中间的有着相同的的合并起来。 而基于的也是如此。9.2 关键技术的实现方案运行于的应用程序最基本的组成部分包括一个和一个类，以及一个创建的执行程序，一些应用中还可以包括一个类。框架是由一个单独的（）和很多歌（）集群节点的一个共同组成。在客户端的代码需要指明输入/输出的位置（文件路径），客户端再加上作业的参数，就在构成了作业配置 （ ），客户端代码需要定义和方法通过实现合适的抽象类，并在实现的方法