第5章-云计算的开源实现Hadoop

第5章云计算的开源实现Hadoop25.1Hadoop概述以MapReduce框架和Hadoop分布式文件系统（HDFS）为核心。同时包含Hive、HBase、Pig、Common、Avro、Chukwa等多个子项目的大数据处理平台。目前基本上已成为MapReduce实现的产业标准。在互联网领域得到了广泛的应用：Yahoo!百度：搜索日志的分析和网页数据的挖掘工作淘宝：存储并处理电子商务交易的相关数据35.2Hadoop在云计算和大数据

的位置和关系Hadoop是构建云计算环境的一种分布式框架

HDFS采用了分布式存储方式，提高了读写速度。MapReduce

用以整合分布式文件系统上的数据。采用存储冗余数据的方式保证了数据的安全性。工业界大数据领域的事实标准业界的使用和改进迭代进一步完善并推动了Hadoop的发展。45.3Hadoop生态系统底层以HDFS和MapReduce为核心，上层为各种存储、计算、分析等应用系统，包括Common、Avro、Chukwa、Hive、HBase、Pig等。5Hadoop生态系统HDFS：Hadoop分布式文件系统，用以实现分布式存储，是GFS的Java开源实现，运行在大型商业机集群。MapReduce：分布式数据处理模型和执行环境，运行在大型商业机集群，能够处理T级别及以上的数据。Hbase：分布式、按列存储的数据库。HBase使用HDFS作为底层存储，同时支持MapReuce的批量式计算和随机读取。Hive：是为提供简单的数据操作而设计的分布式数据仓库。Hive管理HDFS中存储的数据，提供了一种类似SQL语法的HiveQL语言进行数据查询（由运行时引擎翻译成MapReduce作业）。Pig：大数据流处理系统，运行在HDFS和MapReduce的集群上，用来执行并行计算，检索大型数据集。6Hadoop生态系统Mahout：基于MapReduce的大规模数据挖掘与机器学习算法库。Zookeeper：分布式协调系统，是GoogleChubby的Java开源实现，是一种可靠的分布式协同（coordination）系统，可以用来构建分布式应用。Flume：一个分布式、可用性高的海量日志收集和传输系统。Sqoop：数据转换系统，Hadoop环境下连接关系数据库和Hadoop存储系统的桥梁：可以将一个关系型数据库中的数据导入非关系型数据库中，也可以将非关系型的数据导入关系型数据库中。Ambari：Hadoop分布式集群配置管理工具，支持Hadoop集群的供应、管理和监控。Ambari充分利用一些已有的优秀开源软件，在分布式环境中实现集群式服务管理、监控和展示。7分布式文件系统HDFS主从架构模型系统，一个HDFS集群由一个Master节点和多个Slave节点构成。Master节点：称为NameNode，用以管理整个文件系统命名空间和客户端对文件的访问Slave节点：称为DataNode，用于真正存储数据。HDFS的副本存放策略将3个数据块副本（默认配置下）中的两个存放在同一个机架的不同节点上，另一个存放在另外一个机架的一个节点上。在读取数据时，HDFS会尽量读取离客户端最近的副本。8分布式数据处理MapReduce一种并行计算模型，用于大规模数据集的并行运算。Map函数把一个输入的键值对<key,value>映射成同样为<key,value>形式的中间结果把具有相同key值的value归纳起来形成一个value列表（这个过程称为Shuffle）并传递给reduce函数reduce函数对这个value列表进行处理，输出形式为<key,value>的最终结果。9分布式数据库HBase构建在HDFS之上的面向列的分布式数据库系统。利用HDFS作为其文件存储系统采用MapReduce框架处理海量数据通过ZooKeeper进行集群管理。HBase有别于关系数据库。基于列的映射数据库，表示简单的键-数据的映射关系只有简单的字符串类型只提供插入、删除、查询、清空等简单操作，没有复杂的表和表之间的关联基于列存储，每一列单独存放，数据就是索引数据更新是通过时间戳增加了新的数据版本，历史数据仍然会保留可伸缩性，通过简单的增加节点进行水平扩展10数据仓库Hive一个基于Hadoop文件系统的开源数据仓库架构。定义了类SQL的语言（HQL），通过HQL实现和SQL相似的操作。对存储在HDFS中的大规模数据进行查询和分析。Hive有别于关系数据库。Hive的数据存储在HDFS中Hive没有定义专门的数据格式，只需在定义表的时候指明数据中的列分隔符和行分隔符即可Hive不支持对数据的改写和添加，所有数据在加载时就确定好Hive中的数据查询是把HQL语句解析，最终转换成MapReduce任务进行处理Hive具有高扩展性11Hive、HBase、HDFS比较125.4Hadoop的行业应用Hadoop在百度的应用领域：大数据挖掘与分析日志分析平台数据仓库系统用户行为分析系统广告平台等百度的Hadoop集群规模：超过数十个集群单集群节点数目超过5000台每天处理的数据量超过8000TB。开发了HCE（HadoopC++ExtendSysterm）系统通过HCE对Streaming作业的排序、压缩、解压缩、内存控制进行了优化，并提供了C++版的MapReduce接口。13Hadoop的行业应用Hadoop在阿里的应用领域：数据平台系统、搜索支撑、广告系统、数据魔方、量子统计、淘数据、推荐引擎系统等。阿里的Hadoop集群-“云梯”所有数据都在云梯上，在集群模式下实现数据共享，避免了重复的存储和计算。自主研发的数据传输组件实时传输数据到Hadoop集群“云梯”，实现数据同步。自主研发了iStream（流式计算引擎）、iCall（基于Thrift的分布式RPC服务）iStream可以自动感知流处理的进度快慢，智能调整计算节点的数量。iStream承担了流式数据处理的角色，为搜索引擎提供实时增量数据。MapReduce承担了全量或者批量数据处理的角色，为搜索引擎提供全量数据。14Hadoop的行业应用Hadoop在中国联通的应用：构建了全国集中的海量数据存储和查询系统各个省份采集数据实时传送到北京的数据中心，实现移动通信用户上网记录集中查询与分析。Hadoop在中国移动的应用-“大云”使用BC-Hadoop在PaaS层部署大数据存储与分析平台“大云”并行数据挖掘工具（BC-PDM）支持SaaS模式的海量数据并行处理、分析与挖掘，适用于经营决策、用户行为分析、精