大数据平台概要设计说明书

1、计算平台概要设计说明书文件编号受控编号版次1.0密级内部公开总页数42附录作者： 日期：2013-01-28批准：日期：审核：日期：（版权所有，翻版必究）文件修改记录修改日期修改状态修改贝码及条款修改人审核人批准人1. 引言 1.1 编写目的1.2 术语与缩略词1.3 对象及范围1.4 参考资料2. 系统总体设计2.1 需求规定2.1.1 数据导入2.1.2 数据运算2.1.3 运算结果导出2.1.4 系统监控2.1.5 调度功能2.1.6 自动化安装部署与维护2.2 运行环境2.3 基本设计思路和处理流程2.4 系统结构2.4.1 大数据运算系统架构图2.4.2 hadoop体系各组件之间关

2、系图2.4.3 计算平台系统功能图2.4.4 系统功能图逻辑说明2.4.5 计算平台业务流程图2.5 尚未解决的问题3. 模块 /功能设计3.1 计算驱动模块3.1.1 设计思路3.1.2 流程图3.1.3 处理逻辑3.2 调度模块3.2.1 设计思路3.2.2 流程图3.2.3 处理逻辑3.3 自动化安装部署模块3.3.1 设计思路3.3.2 处理逻辑3.4 调度模块与计算驱动模块交互流程3.4.1 处理流程图3.4.2 处理逻辑3.4.3 hadoop驱动模块调用驱动接口3.4.4 调度模块接收hadoop执行状态接口3.5 调度模块与kettle 交互流程3.5.1 处理流程图3.5.2

3、 处理逻辑3.6 对调度任务运行过程进行监控流程3.6.1 处理流程图3.6.2 处理逻辑3.7 对 hadoop 驱动任务运行过程进行监控流程3.7.1 处理流程图3.7.2 处理逻辑3.8 对操作系统/应用程序监控流程3.8.1 处理流程图3.8.2 处理逻辑3.9 监控报警模块3.9.1 设计思路3.9.2 流程图3.9.3 处理逻辑4. 系统数据结构设计4.1 数据实体关系图4.2 数据逻辑结构4.2.1 驱动任务设置表4.2.2 驱动设置表4.2.3 驱动任务执行明细表4.2.4 调度任务表4.2.5 调度步骤表4.2.6 调度步骤执行记录表4.2.7 操作系统监控数据表4.2.8

4、应用程序监控数据表4.2.9 监控系统配置表业务数据记录表4.3 数据物理结构5. 安全设计6. 容错设计6.1 挽救措施6.2 系统维护设计7. 日志设计引言1.1 编 写目的大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。华尔街日报将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。互联网特别是移动互联网的发展，加快了信息化向社会经济各方面、大众日常生活的

5、渗透。有资料显示，1998年全球网民平均每月使用流量是 1MB（兆 字节），2000 年是 10MB 2003 年是 100MB 2008 年是 1GB （1GB等于 1024MB, 2014年将是10GB全网流量累计达到1EB即10亿GB或1000PB）的时间在2001 年是一年，在2004 年是一个月，在2007 年是一周，而2013 年仅需一天，即一天产生的信息量可刻满1.88亿张DVDt盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB （1TB等于1000GB）,存储量40PB（1PB等于1000TB）。百度公司目前数

6、据总量接近1000PB， 存储网页数量接近1 万亿页， 每天大约要处理60 亿次搜索请求，几十PB数据。一个8MbpS兆比特每秒）的摄像头一小时能产生 3.6GB 数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十PR医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB， 而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来信息爆炸不自今日起，但近年来人们更加感受到大数据的来势迅猛。一方面，网民数量不断增加，另一方面，以物联网和家电为代表的联网设备数量增长更快。2007年全球有5亿个设备联网，人均 0

7、.1个；2013年全球将有500亿 个设备联网，人均70个。随着宽带化的发展，人均网络接入带宽和流量也迅速 提升。全球新产生数据年增 40%即信息总量每两年就可以翻番，这一趋势还将 持续。目前，单一数据集容量超过几十TB甚至数PB已不罕见，其规模大到无法在容许的时间内用常规软件工具对其内容进行抓取、管理和处理。数据规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。鉴于越来越大的数据规模，采用常规基于DBMS勺数据分析工具和方法已经无法满足大规模数据分析的需求，目前一些大型互联网公 司采用hadoop体系进行大规模数据的运算，结合hadoop体系结构与实际的运算

8、需求结合，采用hadoop体系结构的分布式运算模型，通过集群的方式实现大数据运算，为企业提供大数据的价值。为适应大数据计算的要求，同时提供大数据运算平台的系统设计的依据，特制定计算平台的系统概要设计文档，为后期的系统详细设计和实现提供依据。1.2 术语与缩略词F列术语、定义和缩略语适用于本标准:术语与缩略词解释备注NamenodeHDFS 采用 master/slave架构。一个 HDFS 集群是由一个Namenode和te数目的 Datanodes 组成。Namenode个中心服务器，负责管理文件系统的名子空间(namespace) 以及客户端对文件的访问。 Namenode执行文件系统的名

9、子空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射Datanode集群中的Datanode是 个节点 个，负责管 理它所在节点上的存储。HDFS暴露了文件系统的 名字空间，用户能够以文件的形式在上面存储数 据。从内部看，一个文件其实被分成一个或多个 数据块，这些块存储在一组 Datanode上。Datanode 负责处理文件系统客户端的读写请求。在 Namenode的统一调度下进行数据块的创建、删除 和复制Secondnamenode光从字面上来理解，很容易让一些初学者先入为 主的 认为：SecondaryNameNode ( snn ) 就是Na

10、meNode nn)的热备进程。其实/、是。snn是HDFS架构中的一个组成部分，但是经常由于名字 而被人误解它真正的用途，其实它真正的用途， 是用来保存namenode中对HDFS metadata的信息 的备份，并减少 namenode重启的时间JobtrackerJobTracker是MapReduce匡架中最主要的类之一，所有job的执行都由它来调度，而且Hadoop系统中只配置一个JobTracker应用。？它们都是由一个master服务JobTracker和多个运行丁多个节点的slaver服务TaskTracker两个类提供的服务 调度的。master负责调度job的每一个子任务

11、task运行于slave上，并监控它们，如果发现有 失败的task就重新运行它，slave则负责直接执 行每一个taskTaskTrackerTaskTracker 都需要运行在 HDFSDataNode上，而JobTracker则不需要，一般情况应该把JobTracker部署在单独的机器上HBaseHBase号-个分布式的、面同列的开源数据库，该技术来源于Changet al所撰与的Google论文 Bigtable : 一个结构化数据的分布式 存储系统"。就像Bigtable利用了 Google文件系统(File System) 所提供的分布式数据存样，HBase在Hadoop之

12、上提供了类似于 Bigtable 的能力。HBase是Apache的Hadoop项目的子项目。HBase 不同什般的关系数据库，它是一个适合于非结构化数据存储的数 据库。另一个不同的是HBase基于列的而不是基于行的模式。Hivehive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce壬务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的 MapReduc噬计，不必开发专门的 MapReduce用，十分适合数据仓库的统计分析。StormStorm为分布式实时计算提供了一组通用原语

13、，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一 种方式。Storm 也可被用于“连续计算”(continuous computation ),对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC ,以并行的方式运行昂贵的运算。FlumeFlume是Cloudera提供的一个晨:可用的，晨:可 靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用 于收集数据；同时，Flume提供对数据进行简单处 理，并写到各种数据接受方（可定制）的能力。ETLETL是数据抽取 （Extract ）、清洗

14、 （Cleaning ）、转换（Transform ）、装载（Load） 的过程。是构建数据仓库的重要一环，用户从 数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载 到数据仓库中去。KettleKettle 是一款国外开源的ETL工具，纯 java编写，可以在 Window、Linux、Unix上运行， 绿色无需安装，数据抽取高效稳定。MySQLMySQL是一个开放源码的小型关联式数据库管理系统，开发者为瑞典MySQLAB公司。目前MySQL被广泛地应用在 Internet 上的中小型网站中。由于其体积小、速度快、总体拥启成本低，尤其是开放源码这一特点，许多中

15、小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。MongoDBMongoDB是一个介于关系数据库和非关系数据 库之间的产品，是非关系数据库当中功能最丰 富，最像关系数据库的。他支持的数据结构非 常松散，是类似 json的bson格式，因此可以 存储比较复杂的数据类型。Mongo最大的特点是 他支持的查询语言非常强大，其语法有点类似 于面向对象的查询语言，几乎可以实现类似关 系数据库单表查询的绝大部分功能，而且还支 持对数据建立索引。1.3 对象及范围1、开发人员、DBA、测试人员；2、研发主管领导、产品人员；1.4 参考资料1、大数据处理体系架构2、HBase The Def

16、initive Guide »3、«»4、Programming_Hive2. 系统总体设计2.1 需 求规定2.2 运 行环境操作系统：RedHad Enterprise 5.5软件环境：Java 1.6Hadoop-1.0.4HBase-0.94.9Hive-0.10.0sqoop-1.4.2zookeeper-3.4.5Kettle 4.3MySQL 5.1硬件环境：8核16G内存PC服务器8台2.3 基 本设计思路和处理流程1、按照数据分析的实时性，分为在线数据分析和离线数据分析。2、在线数据分析：往往要求系统在数秒内返回上亿行数据的分析，从而才能达到不影

17、响用户体验的目的。3、离线数据分析：对大多数反馈时间要求不高的应用，比如离线统计分析、机器学习等，应采用离线分析的方式，通过数据采集工具将日志数据导入专门的分析平台进行分析。4、系统主要以离线数据分析为主，采用目前在互联网业界流行的hadoop体系结构对大批量的数据进行运算，采用hadoop集群的方式对大数据进行运算。5、数据运算平台以调度为主线，作为运算平台的核心控制系统，对运算平台的各个环节进行控制，且对运算过程中的步骤依赖关系进行控制，同时对各个环节进行监控，通过监控异常报警来提高系统的稳定性和异常响应速度。2.4.1大数据运算系统架构图统计、分析数据存储，数据接口LMongoDB My

18、Sql2.4 系统结构数据服务I -一./， = -,一- - . I统计分析在线计算：Storm流计算框架离线计算：*Hadoop(Map/Reduce、Hive、pig).4"IHadoop(HDFS HBASE)日志采集日志采集系统Flume2.4.2大数据平台系统功能图系统功能图逻辑说明1) 生产系统的源数据通过sqoop， flume ， Kettle 等获取后保存在Kafka 消息队列中或者保存到hadoop 的 hdfs 系统中。2) 调度系统负责自身的控制功能，通过读取调度控制的配置信息调用驱动代理程序处理相关的运算功能。3) 驱动代理程序负责所有基于运算平台的相关组

19、件的驱动任务，读取调度系统传递过来的模版信息，读取模版信息，并执行相应的驱动操作。4) 系统管理功能部分完成系统相关配置，管理等相关信息的维护操作。5) 监控系统对整个系统的运行状况进行监控，由各个业务子系统按照监控系统的要求实现相应的监控功能。2.4.3 大数据平台功能结构图大数据平台功能结构图说明：1)大数据平台功能结构主要划分为计算平台，应用平台，系统管理以及监控，配置等相关应用功能。2) 计算平台分为基础运算部分，模版管理部分，驱动代理部分，系统调度部分。3)计算平台分为离线计算与实时计算两种形式。4)计算平台基于模版的功能开发，实际应用中做到模版的热插拔，对于功能需求只需要开发相应的

20、模版，并部署上计算平台即可应用。5)驱动代理程序管理所有的基于大数据运算的相关组件的代理功能，对外提供给调度系统应用，调用模版设置的相应的类型，进行相应类型的驱动操作。6)调度系统只关心其自身的系统控制能力，不参与具体的业务以及计算功能组件的调用。2.5 尚 未解决的问题无3. 模块 / 功能设计3.1 调度模块3.1.1 设计思路一：调度模块实现功能思路二：流程说明以及注意事项：1、 任务与步骤采用配置表的方式保存在mysql 中，调度程序定时扫描任务表，判断是否有启动的任务，如果有启动的任务，则启动任务。2、 调度任务需要判断任务中步骤之间的依赖关系，根据依赖关系判断是否可以执行下一步的执

21、行步骤。3、 一个任务中可以包含多个步骤，每个步骤为一个具体的任务，步骤与步骤直接存在依赖关系。4、 对于具体的执行任务将由驱动代理自动完成。3.1.2 流程图3.1.3 处理逻辑1、调度任务启动后扫描任务配置表，看任务配置表是否存在需要处理的任务信息，如果不存在需要处理的任务信息，则线程执行休眠，否则执行步骤2； 2、生成数据日期，并检查任务依赖关系，如果依赖关系未执行完，则现成等待 操作，等待依赖的任务执行完成，如果依赖关系都执行完，则获取符合条件的任务，执行步骤3：3、读取任务信息表，获取任务信息，根据任务信息读取步骤信息，执行相应的步骤操作，执行步骤4；4、根据步骤信息的配置获取需要执

22、行的相应的模版信息，调用驱动代理程序执行相应的功能，执行步骤5；5、驱动代理程序执行模版初始化，初始化完成后获取相应的参数数据，并根据模版类型选择具体的驱动程序，执行相应的操作。6、判断该任务的下步骤是否执行完成，如果未执行完成，则执行步骤3，继续下一个步骤的执行，否则执行步骤7；7、写步骤完成信息表，判断是否还存在要执行的任务，如果没有等待，存在需要执行的任务则执行步骤3.3.2 驱动代理模块3.2.1 设计思路一：计算驱动模块实现功能思路二：流程说明以及注意事项：1、计算平台的驱动提供针对Hive, MapReduce Hbase等相关的驱动应用。2、基于业务模版的设置操作，调度执行业务模

23、版，不关心模版具体业务形态。3、一个驱动应用包含四个步骤：1）删除不用的数据；2）加载数据；3）运算；4）导出结果文件。4、提供监控需要的相应信息。5、对于文件的操作，会涉及到多个文件或者目录操作，多个文件或者目录以逗号分隔，对文件操作中涉及到一些按照小时，天，月份的文件命名的操作，配置中以特殊字符进行替换。3.2.2 流程图3.2.3 处理逻辑1、由调度程序驱动代理模块，调用驱动代理模块的驱动应用，传递需要驱动的模版编号，处理时间范围等相关信息，执行流程2；2、驱动程序首先查询是否存在该模版，如果不存在模版，、则执行流程3，否则执行流程4；3、则直接返回任务失败信息，不存在相关的模版，整个流

24、程结束；4、如果查询到相关的模版信息，先执行初始化模版信息以及需要删除的中间文件，多个文件以逗号分割，如果为空则表示不需要清理中间文件，执行流程5；5、清理hive 表数据操作，多个hive 语句以逗号分割，如果为空则表示不需要进行分割，执行流程66、判断该操作是 hive 驱动 mapreduce还是自定义的 mapreduce,如果是 自定义的 mapreduce 则走自定义的mapreduce 操作，执行流程7，否则如果是hive 驱动的mapreduce,则走hive操作流程，否则执行流程 8;7、如果mapreduce的操作流程，第一步执行加载文本文件数据，多个文本文件以逗号进行分割

25、，第二步执行mapreduce 操作，通过shell 脚本的方式执行mapreduce操作，第三步执行完后将结果输出。8、如果是hive 的操作流程，第一步先执行加载文本文件到hive 表，如果有多个文件操作一逗号分割，第二步执行hive 语句，多个hive 语句以逗号分割的方式，第三步将结果输出到相应的hive 表中。9、根据设置导出的方式，将结果文件导出到mysql,或者mongodb或者直接将文本文件从hdfs 文件系统中导出。3.3 对操作系统/应用程序监控流程3.3.1 处理流程图3.3.2 处理逻辑1、读取监控服务器列表，判断是否需要监控，如果需要监控，则执行步骤2，如果不需要监控

26、，执行步骤5；2、监控模块向监控服务器发送监控请求，等到被监控服务器的返回，执行步骤3；3、被监控服务器接收到请求监控信息后，将相关的信息返回给监控模块，执行步骤4；4、监控服务器将返回的数据进行解析后入库，执行步骤5；5、判断被监控服务器是否都请求完成，如果请求完成，则执行步骤6，否则执行步骤1 ；6、监控模块线程休眠10 分钟，等待下次进行监控，执行步骤1.3.4 监控报警模块3.4.1 设计思路一：监控模块实现功能思路二：流程说明以及注意事项：1 、监控报警模块主要完成三个级别的监控报警，分为：1 ） 操作系统级别，检测运行的机器的操作系统是否正常运行，CPU， 内存，I/O ，存储等资

27、源的利用情况，采用Linux 的 Shell 脚本对相关的信息进行收集并上报；2 ）应用程序级别监控，检测kettle ， hadoop， hive ， hbase， zookeeper等相关程序是否正常启动，以及应用程序的相关资源的监控。3 ）程序数据级别的监控，对数据情况进行监控，主要是数据异常的监控。2、监控模块主要负责监控数据的采集，数据异常报警，以及后期的监控数据展示等功能。3、对于系统级别和应用程序级别的监控数据采集采用由监控模块主动调用相应的应用接口的方式采集数据，对于应用数据级别的监控则由各个应用将相关的数据写入到数据库表，由监控系统对其进行扫描。4、监控模块的报警机制支持优先

28、级报警模式，对于优先级较高，需要紧急处理的报警， 需要不间断的进行报警，但需要设置报警的频率，如 10 分钟重复一次。5、监控的报警模式采用邮件监控的方式，辅助以短信提醒的方式。3.4.2流程图4 .4.3处理逻辑1、监控报警启动采用启动启动的方式进行，当监控报警线程启动后判断是否到达监控时间点，如果未到达监控时间点，则线程休眠1分钟后再次进行判断,如果到达监控时间点则执行步骤2。2、读取需要监控任务列表，得到需要监控的任务，执行步骤3。3、对监控任务的源数据进行扫描，判断是否存在异常，如果存在异常则保存监控异常数据，执行步骤 4,否则执行步骤1。4、判断监控列表是否都执行完，如果执行完，对于

29、异常情况以邮件的方式通知相关人，否则执行步骤 3。4 .系统数据结构设计4.1 数据实体关系图详细图例见附件4.2 数据逻辑结构4.2.1 调度任务表字段说明数据是否为空主键备注TaskId任务IDint否是主键，自增长IDTaskName任务名称Varchar(255)否TaskDesc任务描述Varchar(500)是Priority优先级int是数值11。值越大优先级越高，默认5CycleType周期类型int否0.执行一次1.分钟2.小时3.天4.月Interval频次间隔Int是整数PlanRunTime预期执行时长Int是单位：分钟LastRunDate最后执行日期int否Stat

30、us任务状态int否0.正常1.暂停CreateUser创建人Varchar(255)否CreateTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.2 调度步骤表字段说明数据是否为空主键备注StepId步骤IDint否是主键，自增长IDTaskId任务IDint否“任务表”主键StepSort执行顺序int否相同则表示并行StepName步骤名称Varchar(255)否TemplatelD模板IDInt否PlanRunTime预期执行时长Int是单位：分钟CreateUser创建人Varchar(255)否Creat

31、eTime创建时间date否ModifyUser修改人Varchar(255)是ModifyTime修改时间date是4.2.3 调度任务依赖表字段说明数据是否为空主键备注TaskId任务IDint否Fatherld父任务IDint否4.2.4调度任务运行日志表字段说明数据是否为空主键备注Serialld记录IDInt否是主键，自增长IDTaskDate任务日期Int否TaskId任务IDInt否“任务表”主键Status任务状态Int否0.初始化1执行中2.已完成-99.执行错误RetryTimes重试次数IntBeginTime开始执行时间Date是EndTime结束执行时间Date是Cr

32、eateTime创建时间Date否ModifyTime修改时间Date是4.2.5调度步骤运行日志表字段说明数据是否为空主键备注SerialId记录IDInt否是主键，自增长IDTaskDate步骤日期Int否TaskId任务IDInt否“任务表”主键StepId步骤IDInt否“步骤表”主键StepSort步骤序号int否Status步骤状态Int否0.初始化1.执行中2.已完成-99.执行错误RetryTimes重试次数IntBeginTime开始执行时间Date是EndTime结束执行时间Date是CreateTime创建时间Date否ModifyTime修改时间Date是4.2.6调度

33、步骤运行错误日志表字段说明数据是否为空主键备注SerialId记录IDInt否是主键，自增长IDTaskDate任务日期Int否TaskId任务IDInt否StepId步骤IDInt否ErrorInfo错误信息Varchar(4000)否InsertTime记录时间Date是4.2.7系统资源表字段说明数据是否为空主键备注Resourceld资源IDInt否是主键，自增长IDCpuInfoCpu信息Varchar(4000)是MemoryInfo内存信息Varchar(4000)是DiskInfo硬盘信息Varchar(4000)是CreateTime记录创建时间date否CreateName

34、记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.8服务器机器表字段说明数据是否主键备注为空Machineld机型IDInt否是主键，自增长IDCpuInfoCpu信息Varchar(4000)是Memoryinfo内存信息Varchar(4000)是Diskinfo硬盘信息Varchar(4000)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.

35、9服务器信息表字段说明数据是否为空主键备注Serverld服务器IDInt否是主键，自增长IDServerName服务器名称Varchar(256)是ServerIp服务器IPVarchar(256)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.10系统管理信息表字段说明数据是否为空主键备注SystemId服务器IDInt否是主键，自增长IDMachineId机型IDInt否ResourceId资源IDInt否ServerId服务器ID

36、Int否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时Date否间ModifyName记录修改人Varchar(256)否4.2.11集群信息表字段说明数据是否为空主键备注Clusterld集群IDInt否是主键，自增长IDClusterName集群名称Varchar(256)是ClusterPath集群配置目录Varchar(256)是Remark集群配置备注Varchar(256)是CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时

37、间Date否ModifyName记录修改人Varchar(256)否4.2.12 集群列表字段说明数据是否为空主键备注ListId集群列表IDInt否是主键，自增长IDClusterld集群IDInt否Serverld服务器IDInt否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.13系统配置表字段说明数据是否为空主键备注ConfigId系统配置IDInt否是主键，自增长IDConfigName配置名称Varchar(256)否Confi

38、gValue配置信息Varchar(256)否Clusterld集群IDInt否CreateTime记录创建时间date否CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.14 Hadoop参数配置表字段说明数据是否为空主键备注ConfigId系统配置IDInt否是主键，自增长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否ClusterId集群IDInt否CreateTime记录创建时date否间CreateName记录创建人Varchar(256)否ModifyTime记录修改时间Date否ModifyName记录修改人Varchar(256)否4.2.15 Jar配置表字段说明数据是否为空主键备注ConfigId系统配置IDInt否是主键，自增长IDConfigName配置名称Varchar(256)否ConfigValue配置信息Varchar(256)否ClusterId集群IDInt否CreateTime记录创建时