大数据平台概要设计说明书审批稿

1、大数据平台概要设计说明书YKK standardization office YKK5AB- YKK08- YKK2C- YKK18计算平台概要设计说明书文件编号受控编号版次密级内部公开总页数42附录作者： 日期：2013-01-28批准：日期：审核：日期：（版权所有，翻版必究）文件修改记录修改日期修改状态修改页码及条款修改人审核人批准人1.引言1.1 编写目的大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。华 尔街日报将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三 大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创 新、竞争、生产力提高的前沿。世界

2、经济论坛的报告认定大数据为新财富，价 值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高 点的重要抓手。互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日 常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB （兆字 节），2000 年是 10MB, 2003 年是 100MB, 2008 年是 1GB （1GB 等于 1024MB） , 2014年将是10GB。全网流量累计达到1EB （即10亿GB或 1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而 2013年仅需一天，即一天产生的信息量可刻满亿张DVD光

3、盘。我国网民数居 世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔 交易，单日数据产生量超过50TB （1TB等于1000GB）,存储量40PB（1PB等 于1000TB）。仃度公司目前数据总量接近1000PB,存储网页数量接近1万亿 页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps （兆比特每 秒）的摄像头一小时能产生数据，一个城市若安装几十万个交通和安防摄像 头，每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在，一 个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计，并且他 们的信息需要长时间保存。总之，大数据存在于各行各业，一

4、个大数据时代正 在到来。信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方 面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增 长更快。2007年全球有5亿个设备联网，人均个；2013年全球将有500亿个设 备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速提 升。全球新产生数据年增40%,即信息总量每两年就可以翻番，这一趋势还将 持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无 法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更 大,这就是大数据热的原

5、因。鉴于越来越大的数据规模，采用常规基于DBMS 的数据分析工具和方法已经无法满足大规模数据分析的需求，目前一些大型互 联网公司采用hadoop体系进行大规模数据的运算，结合hadoop体系结构与实 际的运算需求结合，采用hadoop体系结构的分布式运算模型，通过集群的方式 实现大数据运算，为企业提供大数据的价值。为适应大数据计算的要求，同时提供大数据运算平台的系统设计的依据，特 制定计算平台的系统概要设计文档，为后期的系统详细设计和实现提供依据。1.2 术语与缩略词下列术语、定义和缩略语适用于本标准:术语与缩略词解释备注NamenodeHDFS采用master/slave架构。-个HDFS集

6、群是由个 Namenode 和定数目的 Datanodes 组成。Namenode > - 个中心服务券，负责管理文件系统的名字空间(namespace)以 及客户端对文件的访问。Namenode执行文件系统的名字空间 操作，比如打开、关闭、重命名文件或目录。它也负贲确定数据 块到具体Datanode节点的映射Datanode集群中的Datanode一般是一个节点一个，负责管理它 所在节点上的存储。HDFS暴露了文件系统的名字空 间，用户能够以文件的形式在上面存储数据。从内部 看，一个文件其实被分成一个或多个数据块，这些块 存储在一组Datanode上。Datanode负责处理文件系 统

7、客户端的读写请求。在Namenode的统一调度下进行 数据块的创建、删除和复制Secondnamenode光从字面上来理解，很容易让一些初学者先入为主的 认为：SecondaryNameNode (snn)就是 NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的 一个组成部分，但是经常由于名字而被人误解它真正 的用途，其实它真正的用途，是用来保存namenode中 对HDFS metadata的信息的备份，并减少namenode重 启的时间JobtrackerJobTracker是MapReduce框架中最主要的类之一，所 有job的执行都由它来调度,而且Hadoop系统中

8、只配 置一个JobTracker应用。？它们都是由一个master 服务JobTracker和多个运行于多个节点的slaver服 务TaskTracker两个类提供的服务调度的。master 负责调度job的每一个子任务task运行于slave上， 并监控它们，如果发现有失败的task就重新运行它， slave则负责直接执行每一个taskTaskTrackerTaskTracker都需要运行在HDFS的DataNode上，而JobTracker 则不需要，一般情况应该把JobTracker部署在单独的机器上HBaseHBase是一个分布式的、面向列的开源数据库，该技术来源F Chang et

9、al所撰写的Google论文“Bigtable： 一个结构化数据的分布式存储 系统就像Bigtable利用了 Google文件系统(File System)所提供 的分布式数据存储一样，HBase在Hadoop之上提供了类似 Bigiable 的能力。HBase 是 Apache 的 Hadoop 项 口 的子项 口。HBase 不同一般的关系数据库，它是一个适合于非结构化数据存储的数 据库。另一个不同的是HBase基于列的而不是基于行的模式。Hivehive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供完整的sql查询功能，可以将sql语 句转换为M

10、apReduce任务进行运行。其优点是学习成本低，可以通 过类SQL语句快速实现简单的MapReduce统计，不必开发专门的 MapReduce应用，十分适合数据仓库的统计分析。StormStorm为分布式实时计算提供了一组通用原语，可被 用于“流处理”之中，实时处理消息并更新数据库。这 是管理队列及工作者集群的另一种方式。Storm也可被用于"连续计算"(continuous computation ),对 数据流做连续查询，在计算时就将结果以流的形式 输出给用户。它还可被用于“分布式RPC”，以并行 的方式运行昂贵的运算。FlumeF1 ume是C1 oudera提供的

11、一个高可用的，高可 靠的，分布式的海量日志采集、聚合和传输的系 统，Flume支持在日志系统中定制各类数据发送方， 用于收集数据；同时.，Flume提供对数据进行简单处 理，并写到各种数据接受方(可定制)的能力。ETLETL是数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load) 的过程。是构建数据仓库的重要一环，用户从数据 源抽取出所需的数据，经过数据清洗，最终按照预先 定义好的数据仓库模型，将数据加载到数据仓库中 去。KettleKettle是一款国外开源的ETL工具，纯java编写， 可以在Window、Linux> Unix上运行，绿色

12、无需安 装，数据抽取高效稳定。MySQLMySQL是一个开放源码的小型关联式数据库管 理系统，开发者为瑞典MySQL AB公司。目前 MySQL被广泛地应用在Internet上的中小型网站 中。由于其体积小、速度快、总体拥有成本低，尤 其是开放源码这一特点，许多中小型网站为了降低 网站总体拥有成本而选择了 MySQL作为网站数据 库。MongoDBMongoDB是一个介于关系数据库和非关系数据库之 间的产品，是非关系数据库当中功能最丰富，最像 关系数据库的。他支持的数据结构非常松散，是类 似json的bson格式，因此可以存储比较复杂的数据类型。Mong。最大的特点是他支持的查询语言非常 强大

13、，其语法有点类似于面向对象的查询语言，儿 乎可以实现类似关系数据库单表查询的绝大部分功 能，而且还支持对数据建立索引。1.3 对象及范围1、开发人员、DBA、测试人员;2、研发主管领导、产品人员；1.4 参考资料1、大数据处理体系架构2、HBase The Definitive Guide3、4 、 Programming_Hive5 .系统总体设计5.1 需求规定5.2 运行环境操作系统：RedHad Enterprise软件环境：JavaKettleMySQL硬件环境：8核16G内存PC服务器8台5.3 基本设计思路和处理流程1、按照数据分析的实时性，分为在线数据分析和离线数据分析。2、在

14、线数据分析：往往要求系统在数秒内返回上亿行数据的分析，从而才能达 到不影响用户体验的目的。3、离线数据分析：对大多数反馈时间要求不高的应用，比如离线统计分析、机 器学习等，应采用离线分析的方式，通过数据采集工具将日志数据导入专门的 分析平台进行分析。4、系统主要以离线数据分析为主，采用目前在互联网业界流行的hadoop体系结构对大批 量的数据进行运算，采用hadoop集群的方式对大数据进行运算。5、数据运算平台以调度为主线，作为运算平台的核心控制系统，对运算平台的各个环节进 行控制，且对运算过程中的步骤依赖关系进行控制，同时对各个环节进行监控，通过监控 异常报警来提高系统的稳定性和异常响应速度

15、。2.4系统结构2.4.1大数据运算系统架构图2.4.2大数据平台系统功能图监控系统国度系统应用模版驱动代理数据应用HDFSZooke eper离线计算系统管理Zooke eperKafka源数据系统功能图逻辑说明1) 生产系统的源数据通过sqoop, flume, Kettle等获取后保存在Kafka消息队列中或者保存到hadoop的hdfs系统中。2) 调度系统负责自身的控制功能，通过读取调度控制的配置信息调用驱动代理程序处理相关的运算功能。3) 驱动代理程序负责所有基于运算平台的相关组件的驱动任务，读取调度系统传递过来的模版信息，读取模版信息，并执行相应的驱动操作。4) 系统管理功能部分

16、完成系统相关配置，管理等相关信息的维护操作。5) 监控系统对整个系统的运行状况进行监控，由各个业务子系统按照监控系统的要求实现相应的监控功能。务用业应个性化推荐数据服务扫描任务执行步骤依赖检查异常报警统度 系调动理驱代Hive驱动MapReuce 驱动HBase驱动Stome驱动Sqoop驱动HDFS驱动Kafka驱动 版理模管业务模版计算模版功能模版Hive MahoutStorm离线计算MapRedcue HBase二。okeeperKakfaFSHD决时计算Flume系统管理用户管理权限管理服务器管理资源管理集群管理组件管理任务管理模版管理系统配置业务配置监控配置参数配电规则配厘系统监控

17、服务器监控资源监控任务监控功能监控数据监控异常监控程序运行统计异常统计运行统计超时统计执行监控元数力专管理调度元数据监控元数据计克元数据文件元数据1大数据平台功能结构图说明：1）大数据平台功能结构主要划分为计算平台，应用平台，系统管理以及监控， 配置等相关应用功能。2）计算平台分为基础运算部分，模版管理部分，驱动代理部分，系统调度部 分。3）计算平台分为离线计算与实时计算两种形式。4）计算平台基于模版的功能开发，实际应用中做到模版的热插拔，对于功能需 求只需要开发相应的模版，并部署上计算平台即可应用。5）驱动代理程序管理所有的基于大数据运算的相关组件的代理功能，对外提供 给调度系统应用，调用模

18、版设置的相应的类型，进行相应类型的驱动操作。6）调度系统只关心其自身的系统控制能力，不参与具体的业务以及计算功能组 件的调用。2.5尚未解决的问题3.模块/功能设计3.1 调度模块3.1.1 设计思路-：调度模块实现功能思路二：流程说明以及注意事项：1、 任务与步骤采用配置表的方式保存在mysql中，调度程序定时扫描任务表，判断是否有启动的任务，如果有启动的任务，则启动任务。2、 调度任务需要判断任务中步骤之间的依赖关系，根据依赖关系判断是否可以执行下一步的执行步骤。3、 一个任务中可以包含多个步骤，每个步骤为一个具体的任务，步骤与步骤直接存在依赖关系。4、 对于具体的执行任务将由驱动代理自动

19、完成。3.1.2流程图3.1.3处理逻辑1、调度任务启动后扫描任务配置表，看任务配置表是否存在需要处理的任务信 息，如果不存在需要处理的任务信息，则线程执行休眠，否则执行步骤2；2、生成数据日期，并检查任务依赖关系，如果依赖关系未执行完，则现成等待 操作，等待依赖的任务执行完成，如果依赖关系都执行完，则获取符合条件的 任务，执行步骤3：3、读取任务信息表，获取任务信息，根据任务信息读取步骤信息，执行相应的 步骤操作，执行步骤4；4、根据步骤信息的配置获取需要执行的相应的模版信息，调用驱动代理程序执 行相应的功能，执行步骤5；5、驱动代理程序执行模版初始化，初始化完成后获取相应的参数数据，并根据

20、 模版类型选择具体的驱动程序，执行相应的操作。6、判断该任务的下步骤是否执行完成，如果未执行完成，则执行步骤3,继续 下一个步骤的执行，否则执行步骤7；7、写步骤完成信息表，判断是否还存在要执行的任务，如果没有等待，存在需 要执行的任务则执行步骤3.3.2 驱动代理模块3.2.1 设计思路一：计算驱动模块实现功能思路二：流程说明以及注意事项：1、计算平台的驱动提供针对Hive, M叩Reduce, Hbase等相关的驱动应用。2、基于业务模版的设置操作，调度执行业务模版，不关心模版具体业务形态。3、一个驱动应用包含四个步骤：1）删除不用的数据；2）加教数据；3）运 算；4）导出结果文件。4、提

21、供监控需要的相应信息。5、对于文件的操作，会涉及到多个文件或者目录操作，多个文件或者目录以逗 号分隔，对文件操作中涉及到一些按照小时，天，月份的文件命名的操作，配 置中以特殊字符进行替换。3.#.2流程图3.2.3处理逻辑1、山调度程序驱动代理模块，调用驱动代理模块的驱动应用，传递需要驱动的 模版编号，处理时间范围等相关信息，执行流程2；2、驱动程序首先查询是否存在该模版，如果不存在模版，、则执行流程3,否 则执行流程4；3、则直接返回任务失败信息，不存在相关的模版，整个流程结束；4、如果查询到相关的模版信息，先执行初始化模版信息以及需要删除的中间文 件，多个文件以逗号分割，如果为空则表示不需

22、要清理中间文件，执行流程5；5、清理hive表数据操作，多个hive语句以逗号分割，如果为空则表示不需要 进行分割，执行流程66、判断该操作是hive驱动mapreduce还是自定义的mapreduce,如果是自定义 的mapreduce则走自定义的mapreduce操作，执行流程7,否则如果是hive驱动 的mapreduce,则走hive操作流程，否则执行流程8；7、如果nuipreduce的操作流程，第一步执行加载文本文件数据，多个文本文件 以逗号进行分割，第二步执行mapreduce操作，通过shell脚本的方式执行m叩reduce操作，第三步执行完后将结果输出。8、如果是hive的操

23、作流程，第一步先执行加教文本文件到hive表，如果有多 个文件操作一逗号分割，第二步执行hive语句，多个hive语句以逗号分割的方 式，第三步将结果输出到相应的hive表中。9、根据设置导出的方式,将结果文件导出到mysqL或者mongodb,或者直接将文本文件从hdfs文件系统中导出。3.3 对操作系统/应用程序监控流程3.3.1处理流程图3.3.2处理逻辑1、读取监控服务器列表，判断是否需要监控，如果需要监控，则执行步骤2, 如果不需要监控，执行步骤5；2、监控模块向监控服务器发送监控请求，等到被监控服务器的返回，执行步骤3;3、被监控服务器接收到请求监控信息后，将相关的信息返回给监控模

24、块，执行 步骤4；4、监控服务器将返回的数据进行解析后入库，执行步骤5；5、判断被监控服务器是否都请求完成，如果请求完成，则执行步骤6,否则执 行步骤1:6、监控模块线程休眠10分钟，等待下次进行监控，执行步骤1.3.4 监控报警模块3.4.1 设计思路一：监控模块实现功能思路二：流程说明以及注意事项：1、监控报警模块主要完成三个级别的监控报警，分为：1）操作系统级别，检测运行的机器的操作系统是否正常运行，CPU,内存， I/O,存储等资源的利用情况，采用Linux的Shell脚本对相关的信息进行收集 并上报；2）应用程序级别监控,检测kettle, hadoop, hive, hbase,

25、zookeeper等相关 程序是否正常启动，以及应用程序的相关资源的监控。3）程序数据级别的监控，对数据情况进行监控，主要是数据异常的监控。2、监控模块主要负责监控数据的采集，数据异常报警，以及后期的监控数据展 示等功能。3、对于系统级别和应用程序级别的监控数据采集采用由监控模块主动调用相应 的应用接口的方式采集数据，对于应用数据级别的监控则由各个应用将相关的 数据写入到数据库表，由监控系统对其进行扫描。4、监控模块的报警机制支持优先级报警模式，对于优先级较高，需要紧急处理 的报警，需要不间断的进行报警，但需要设置报警的频率，如10分钟重复一 次。5、监控的报警模式采用邮件监控的方式，辅助以短

26、信提醒的方式。3.#.2流程图3.4.3处理逻辑1、监控报警启动采用启动启动的方式进行，当监控报警线程启动后判断是否到 达监控时间点，如果未到达监控时间点，则线程休眠1分钟后再次进行判断， 如果到达监控时间点则执行步骤2o2、读取需要监控任务列表，得到需要监控的任务，执行步骤3。3、对监控任务的源数据进行扫描，判断是否存在异常，如果存在异常则保存监 控异常数据，执行步骤4,否则执行步骤1。4、判断监控列表是否都执行完，如果执行完，对于异常情况以邮件的方式通知 相关人，否则执行步骤3。4.系统数据结构设计4.1 数据实体关系图详细图例见附件却D帽人弓务DRO松人MDFK1kD用MMW 101 任

27、务N您 fltA4.2 数据逻辑结构4.2.1调度任务表字段说明数据类型是否 为空主键备注Taskld任务IDint否是主键,自增长IDTaskName任务名称Varchar(255)否TaskDesc任务描述Varchar(500)是Priority优先级int是数值110值 越大优先级越 高，默认5CycleType周期类型int否。.执行一次1.分钟2.小时3.天4.月Interval频次间隔Int是整数PlanRunTime预期执行时 长Int是单位：分钟LastRunDate最后执行日 期int否Status任务状态int否0.正常L暂停CreateUser创建人Varchar(25

28、5)否CreateTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.2调度步骤表字段说明数据类型是 否 为 空主键备注Stepld步骤IDint否是主键,自增长IDTaskld任务IDint否“任务表”主键StepSort执行顺序int否相同则表示并 行StepName步骤名称Varchar(255)否TeniplatelD模板IDInt否PlanRunTime预期执行时 长Int是单位：分钟CreateUser创建人Varchar(255)否CreateTime创建时间date否ModifyUser修改人Varchar

29、(255)是ModifyTime修改时间date是4.2.3调度任务依赖表字段说明数据类型是 否 为 空主键备注Taskld任务IDint否Fatherld父任务IDint否4.2.4调度任务运行日志表字段说明数据类型是 否 为 空主键备注Serialld记录IDInt否是主键，自增 长IDTaskDate任务日期Int否Taskld任务IDInt否“任务表”主键Status任务状态Int否0.初始化1执 行中2.已完 成-99.执行错 误RetryTimes重试次数IntBeginTime开始执行时 间Date是EndTime结束执行时 间Date是CreateTime创建时间Date否Mo

30、difyTime修改时间Date是4.2.5调度步骤运行日志表字段说明数据类型是 否 为 空主键备注Serialld记录IDInt否是主键，自增长IDTaskDate步骤日期Int否Taskld任务IDInt否“任务表”主键Stepld步骤IDInt否“步骤表”主键StepSort步骤序号int否Status步骤状态Int否0.初始化1.执 行中2.已完 成-99.执行错 误RetryTimes重试次数IntBeginTime开始执行时 间Date是EndTime结束执行时 间Date是CreateTime创建时间Date否ModifyTime修改时间Date是4.2.6调度步骤运行错误日志表

31、字段说明数据类型是 否 为 空主键备注Serialld记录IDInt否是主键，自增 长IDTaskDate任务日期Int否Taskld任务IDInt否Stepld步骤IDInt否Errorinfo错误信息Varchar(4000)否InsertTime记录时间Date是4.2.7系统资源表字段说明数据类型是 否 为 空主键备注Resourceld资源IDInt否是主键，自增长IDCpulnfoCpu信息Varchar(4000)是Memoryinfo内存信息Varchar(4000)是Diskinfo硬盘信息Varchar(4000)是CreateTime记录创建时 间date否CreateN

32、ame记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4.2.8服务器机器表字段说明数据类型是 否 为 空主键备注Machineld机型IDInt否是主键，自增长IDCpulnfoCpu信息Varchar(4000)是Memoryinfo内存信息Varchar(4000)是Diskinfo硬盘信息Varchar(4000)是CreateTime记录创建时 间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varcha

33、r(256)否4.2.9服务器信息表字段说明数据类型是 否 为 空主键备注Serverld服务器IDInt否是主键，自增长IDServerName服务器名称Varchar(256)是Serverip服务器IPVarchar(256)是CreateTime记录创建时 间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4210系统管理信息表字段说明数据类型是 否 为 空主键备注Systemld服务器IDInt否是主键，自增长IDMachineld机型IDInt否Resourceld

34、资源IDInt否Serverld服务器IDInt否CreateTime记录创建时 间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4.2.11集群信息表字段说明数据类型是 否 为 空主键备注Clusterld集群IDInt否是主键，自增 长IDCkisterName集群名称Varchar(256)是ClusterPath集群配置目 录Varchar(256)是Remark集群配置备 注Varchar(256)是CreateTime记录创建时 间date否CreateName记

35、录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4212集群列表字段说明数据类型是 否 为 空主键备注Listld集群列表IDInt否是主键，自增 长IDClusterld集群IDInt否Serverld服务器IDInt否CreateTime记录创建时 间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4213系统配置表字段说明数据类型是 否 为 空主键备注Configld系统配置IDInt否

36、是主键，自增 长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否Clusterld集群IDInt否CreateTime记录创建时 间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4.2.14Hadoop参数酉己置表字段说明数据类型是 否 为 空主键备注Configld系统配置IDInt否是主键，自增长IDConfieName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)

37、否Clusterld集群IDInt否CreateTime记录创建时 问date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName记录修改人Varchar(256)否4.2.15 Jar酉己置表字段说明数据类型是 否 为 空主键备注Configld系统配置IDInt否是主键，自增长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否Clusterld集群IDInt否CreateTime记录创建时 间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时 间Date否ModifyName