大数据平台介绍高教知识

1、 大数据平台介绍大数据 二零一五年七月1全面分析12目录hadoophadoop大数据生态圈介绍大数据生态圈介绍大数据应用介绍大数据应用介绍3clouderacloudera manager manager介绍介绍2hadoophadoop大数据生态圈大数据生态圈3全面分析 hadoop生态圈4 hadoop简介 hadoop一个分布式系统基础架构，由apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储 。简单地说来，hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 hadoop的框架最核心的设计就是：hdfs和map

2、reduce。hdfs为海量的数据提供了存储，则mapreduce为海量的数据提供了计算。5 hadoop能解决哪些问题 海量数据需要及时分析和处理。 海量数据需要深入分析和挖掘。 数据需要长期保存问题： 磁盘io成为一种瓶颈,而非cpu资源。 网络带宽是一种稀缺资源 硬件故障成为影响稳定的一大因素6 hdfs适应条件hdfs：为以流式数据访问模式存储超大文件而设计的文件系：为以流式数据访问模式存储超大文件而设计的文件系统统。 流式数据访问 指的是几百mb，几百gb，几百tb，甚至几百pb 流式数据访问 hdfs建立的思想是：一次写入、多次读取模式是最高 效的。 商用硬件 hadoop不需要运

3、行在昂贵并且高可靠的硬件上。7 hdfs不适应条件 低延迟数据访问 hdfs是为了达到高数据吞吐量而优化的，这是以延迟为代价的，对于低延迟访问，可以用hbase（hadoop的子项目）。 大量的小文件 多用户写入，任意修改8 hdfs基本单元block(块)：hdfs基本储存单元，是个逻辑单元。一个文件有可能包含多个块，一个块有可以包含多个文件，由文件的大小和块大小的参数决定。dfs.block.size参数。hdfs中block的大小，默认64mb，如果设置大，就会有可能导致map运行慢，设置小，有可能导致map个数多，所有一定要设置适当。（目前主流机器建议设置为128m）设置一个block

4、 64mb，如果上传文件小于该值，仍然会占用一个block的命名空间（namenode metadata），但是物理存储上不会占用64mb的空间block大小和副本数由client端上传文件到hdfs时设置，其中副本数可以变更，block是不可以再上传后变更的9 hdfs处理机制 client：切分文件；访问hdfs；与namenode交互，获取文件位置信息；与datanode交互，读取和写入数据。 namenode：master节点，管理hdfs的名称空间和数据块映射信息，配置副本策略，处理客户端请求。 datanode：slave节点，存储实际的数据，汇报存储信息给namenode。 se

5、condary namenode：辅助namenode，分担其工作量；定期合并fsimage和fsedits，推送给namenode；紧急情况下，可辅助恢复namenode，但secondary namenode并非namenode的热备10 hdfs文件读取11 mapreduce简介 简介 mapreduce 是一个高性能的批处理分布式计算框架，用于对海量数据进行并行分析和处理。 mapreduce 将分析任务分为大量的并行 map 任务和 reduce 任务两类。 与传统数据仓库和分析技术相比，mapreduce 适合处理各种类型的数据，包括结构化、半结构化和非结构化数据。结构化、半结构

6、化、非结构化数据 结构化数据（即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据） 不方便用数据库二维逻辑表来表现的数据即称为非结构化数据（包括所有格式的办公文档、文本、图片、xml、html、各类报表、图像和音频/视频信息等等） 所谓半结构化数据，就是介于完全结构化数据（如关系型数据库、面向对象数据库中的数据）和完全无结构的数据（如声音、图像文件等）之间的数据，html文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。12 mapreduce简介适合处理的任务 适用于离线批处理任务 是以“行”为处理单位的，无法回溯已处理过的“行”，故每行都必须是

7、一个独立的语义单元，行与行之间不能有语义上的关联。 相对于传统的关系型数据库管理系统，mapreduce计算模型更适合于处理半结构化或无结构话的数据。不适合处理的任务 不适合一般web应用 不适合实时响应的任务 不适合小数据集的处理 不适合需要大量临时空间的任务 不适合cpu密集且具有许多交叉调用的任务13 mapreduce工作原理mapreduce执行流程 mapreduce 角色 client ：作业提交发起者。 jobtracker: 初始化作业，分配作业，与tasktracker通信，协调整个作业。 tasktracker：保持jobtracker通信，在分配的数据片段上执行mapr

8、educe任务。 任务的分配 tasktracker和jobtracker之间的通信与任务的分配是通过心跳机制完成的。 tasktracker会主动向jobtracker询问是否有作业要做，如果自己可以做，那么就会申请到作业任务，这个任务可以使map也可能是reduce任务。14 mapreduce工作原理 任务的执行 申请到任务后，tasktracker会做如下事情： 拷贝代码到本地 拷贝任务的信息到本地 启动jvm运行任务 状态与任务的更新 任务在运行过程中，首先会将自己的状态汇报给tasktracker，然后由tasktracker汇总告之jobtracker。 作业的完成 jobtra

9、cker是在接受到最后一个任务运行完成后，才会将任务标志为成功。 此时会做删除中间结果等善后处理工作。15 mapreduce工作原理16 hadoop实例根据url的顶级域名进行分类统计 输入、输出格式：文件 源文件格式如下： 统计目标：17 hadoop实例1. 编写mapreduce函数，客户端作业 map函数18 hadoop实例 reduce函数 job设置19 hadoop实例编译、打包成jar文件 略3. 源文件提交到hdfs文件系统 文件从本地提交到hdfs文件系统put命令 查看hdfs文件系统中已提交的文件20 hadoop实例使用hadoop命令提交作业 提交作业 查看作

10、业 http:/localhost:5003021 hadoop实例查看执行结果 查看执行结果生成的文件 查看hdfs文件系统中的结果 hdfs文件拷贝到本地，查看结果22 hive简介hive是什么l hive是基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为mapreduce任务进行运行。其优点是学习成本低，可以通过类sql语句快速实现简单的mapreduce统计，不必开发专门的mapreduce应用，十分适合数据仓库的统计分析。l hive是建立在 hadoop 上的数据仓库基础构架。它提供了一系列的工具，可

11、以用来进行数据提取转化加载（etl），这是一种可以存储、查询和分析存储在 hadoop 中的大规模数据的机制。hive 定义了简单的类 sql 查询语言，称为 hql，它允许熟悉 sql 的用户查询数据。同时，这个语言也允许熟悉 mapreduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。23 hive实例创建托管表 1. 在hive命令行执行建表语句 2. 查看元数据库中的表信息、字段信息sds、columns_v224 hive实例 3. 从本地向net_addr_1表中导入数据 4. 查看导入的数据

12、25 hive实例根据url的顶级域名进行分类统计-hive实现 1. 源数据入表略，使用已生成的net_addr_1 2. 源数据加工转换，生成中间表insert overwrite table net_addr_3 select net_id,regexp_replace(net_url,(.+.), ) from net_addr_1; 3. 根据中间表数据进行统计26 hbase简介 hbase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，hbase采用了bigtable的数据模型：增强的稀疏排序映射表（key/value），其中，

13、键由行关键字、列关键字和时间戳构成。hbase提供了对大规模数据的随机、实时读写访问，同时，hbase中保存的数据可以使用mapreduce来处理，它将数据存储和并行计算完美地结合在一起。利用hbase技术可在廉价pc server上搭建起大规模结构化存储集群27 hbase架构28 hbase实例1、构建hbase表hbase_test hbase create hbase_test, id012、构建hive外表hive_test, 并对应hbase_test表create external table hive_test (id01 string)stored by org.apache

14、.hadoop.hive.hbase.hbasestoragehandler with serdeproperties (hbase.columns.mapping = :key,id01) tblproperties( = hbase_test); 3、数据通过hive_test导入到hbase_test表中 insert overwrite table hive_test select id01 from hive_date;29 hbase实例30大大数据应用介绍数据应用介绍31全面分析用户上网行为分析系统32用户行为分析系统数据处理流程图33唯品会日志处

15、理框架简介34唯品会日志处理框架简介35全国重点车辆联网联控平台36clouderacloudera managermanager介绍介绍37全面分析cloudera manager介绍cdh (clouderas distribution, including apache hadoop)，是hadoop众多分支中的一种，由cloudera维护，基于稳定版本的apache hadoop构建，并集成了很多补丁，可直接用于生产环境。cloudera manager则是为了便于在集群中进行hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、hadoop、hive、hbase、sp

16、ark等服务的安装配置管理做了极大简化。cloudera manager有四大功能（1）管理（2）监控（3）诊断（4）集成38cloudera manager介绍 cloudera flumeflume是cloudera提供的日志收集系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；flume是cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。39cloudera manager介绍 cloudera im

17、palacloudera impala对你存储在apache hadoop在hdfs，hbase的数据提供直接查询互动的sql。除了像hive使用相同的统一存储平台，impala也使用相同的元数据，sql语法（hive sql），odbc驱动程序和用户界面（hue beeswax）。impala还提供了一个熟悉的面向批量或实时查询和统一平台。 impala不再使用缓慢的hive+mapreduce批处理，而是通过与商用并行关系数据库中类似的分布式查询引擎（由query planner、query coordinator和query exec engine三部分组成），可以直接从hdfs或者hb

18、ase中用select、join和统计函数查询数据，从而大大降低了延迟40cloudera manager介绍 cloudera huehue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行sqoop，编写oozie工作流等大量工作。41cloudera manager介绍 sparkspark与hadoop一样，用于构建大规模、低延时的数据分析应用。spark采用scala语言实现，使用scala作为应用框架。spark采用基于内存的分布式数据集，优化了迭代式的工作负载以及交互式查询。与hadoop不同的是，spark和scala紧密集 成，scala像管理本地collective对象那样管理分布式数据集。spark支持分布式数据集上的迭代式任务，实际上可以在hadoop文件系统 上与hadoop一起运行spark基于map reduce算法实现的分布式计算，拥有hadoop mapreduce所具有的优点；但不同于mapr