《计算及其实践教程（第二版）》第五章Hadoop云平台教学课件

第五章Hadoop云平台内容5.1并行计算概述5.2Hadoop概述5.3HDFS(HadoopDistributedFileSystem)5.4MapReduce5.5HBase5.6Zookeeper5.7Hadoop的程序实例运行与分析5.1并行计算概述5.1.1并行计算定义5.1.2并行计算的体系结构5.1.3集群计算5.1.4并行计算的进程模型5.1.5并行编程模型5.1.6并行计算发展阶段5.1.1并行计算定义并行计算是相对于串行计算而言的，它的基本思路是用多个处理器来同时协调求解一个问题，即将需要求解的问题分解成若干个部分，各部分分配给一个独立的处理机来进行并行计算。在分类上可分为时间上的并行和空间上的并行。时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。并行计算的研究得益于科学计算问题，但目前以MapReduce为代表的分割数据型并行计算在商业领域也得到广泛应用。5.1.2并行计算的体系结构目前，主要的并行计算体系结构有以下四种：对称多处理(SMP：SymmetricalMulti-Processing)：它由处理单元、高速缓存、总线或交叉开关、共享内存以及I/0等组成。大规模并行处理(MPP：MassivelyParallelProcessing)：它是并行计算机发展过程中的主力，现在已经发展到由上万个处理机构成一个系统。分布式共享存储多处理(DSM：DistributedShared-Memory)：它较好地改善了SMP的可扩展能力，是目前高性能计算机的主流发展方向之一。集群(Cluster)：Linux平台的集群系统己成为最流行的高性能计算平台，在高性能计算机中占有越来越大的比重，系统规模可从单机、少数几台联网的微机直到包括上千个节点的大规模并行系统，既可作为廉价的并行程序调试环境，也可设计成真正的高性能计算机。SMP系统与MPP系统比较SMP(SymmetricMultiProcessing),对称多处理系统内有许多紧耦合多处理器，在这样的系统中，所有的CPU共享全部资源，如总线，内存和I/O系统等，操作系统或管理数据库的复本只有一个，这种系统有一个最大的特点就是共享所有资源。对称性：系统中任何处理器均可以访问任何存储单元和I/O设备。SMP系统与MPP系统比较MPP(MassivelyParallelProcessing)，大规模并行处理系统，这样的系统是由许多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每个单元内的CPU都有自己私有的资源，如总线，内存，硬盘等。在每个单元内都有操作系统和管理数据库的实例复本。这种结构最大的特点在于不共享资源。理想的共享存储多处理器基于总线的DSM多处理器结构带缓存的多处理器结构概念集群（Cluster）是一种分布式处理系统，由很多连接在一起的独立计算机节点组成，像一个单独集成的计算机资源一样协同工作。计算机节点可以是物理上集中在一起的，也可以是物理上分散而通过LAN连结在一起的。一个连接在一起（LAN基础上）的计算机集群对于用户和应用程序来说像一个单一的系统，这样的系统可以提供一种价格合理且性能快速而可靠的解决方案。

集群特点集群计算主要有以下几个特点：集群技术支持混合平台工作模式，体系结构上可以同时支持RISC和IA节点，操作系统上可以同时支持WindowsServer、LINUX、Unix等操作系统。集群技术具有统一的系统监控和管理功能，可以简单直观的监控到整个集群的软硬件运行状态，同时通过集群的主机入侵检测系统保障系统的安全性。特点集群计算主要有以下几个特点：集群技术的架构具有优异的动态扩展性，可以根据用户应用的需要，随时增加新的节点，而不必改动整个集群系统。集群服务器节点可以根据不同的需要，灵活的进行调整和配置，承担不同的应用服务、计算任务，或通过软件管理协同处理某一特定任务。

分类集群的分类和工作原理按照侧重点的不同，可以把集群分为三类：高可用性集群

负载均衡集群

超级计算集群

可用性计算机系统的可用性定义为：MTTF/(MTTF+MTTR)*100%平均无故障时间（MTTF）：计算机系统平均能够正常运行多长时间，才发生一次故障平均维修时间（MTTR）：系统发生故障后维修和重新恢复正常运行平均花费的时间由此可见，计算机系统的可用性定义为系统保持正常运行时间的百分比。可用性计算机产业界通常用如下表所示的"9"的个数来划分计算机系统可用性的类型。可用性分类可用水平每年停机时间容错可用性99．9999<1min极高可用性99．9995min具有故障自动恢复能力的可用性99．9953min高可用性99．98.8h商品可用性9943.8h高可用性集群高可用性集群运行于两个或多个节点上，目的是在系统出现某些故障的情况下，仍能继续对外提供服务。高可用性集群的设计思想就是要最大限度地减少服务中断时间。高可用性集群能适用于提供动态数据的服务，是由于集群中的节点共享同一存储介质，如磁盘阵列。也就是说，在高可用性集群内，每种服务的用户数据只有一份，存储在共用存储设备上，在任一时刻只有一个节点能读写这份数据

两节点集群典型结构系统组成两台节点服务器节点可以是一个单处理器（PC、工作站）或多处理器的系统（共享存储的多处理机），拥有内存、I/O设备和操作系统。集群管理软件实现集群功能需要集群软件。如TurbolinuxTurboHA，或者与MSWindowsServer集成在一起的集群软件MSCS（MicrosoftClusterServer），或者如IBM的HACMP软件，HP的MCServiceGuard。共享存储设备如磁盘阵列等。用来存储大量的由各节点共享的数据。存储设备通过I/O控制卡和相应的传输介质连接到节点。系统组成心跳链路（HeartbeatLink）用来实现集群中两个节点之间的直接高速互连，并交换信息。可以通过RS232线缆实现，也可通过内部连接网卡以双绞线方式实现。网络链路用来与网络交换机相连，并进一步连接到所有的客户端设备，从而使各个客户端能够访问集群的资源。

高可用性集群工作过程举例以Linux环境为例，集群中有两个节点A和B，设这个集群只提供Oracle服务，用户数据存放于共用存储设备的分区/dev/sdb3上。在正常状态下，节点A提供Oracle数据库服务，分区/dev/sdb3被节点A加载在/mnt/oracle上。当系统出现某种故障并被TurboHA软件检测到时，TurboHA会将Oracle服务停止，并把分区/dev/sdb3卸载。之后，节点B上的TurboHA软件将在节点B上加载该分区，并启动Oracle服务。对于Oracle服务有一个虚拟的IP地址，当Oracle服务从节点A切换到节点B上时，虚拟的IP地址也会随之绑定到节点B上，因此用户仍可访问此服务。负载均衡集群负载均衡集群目的是提供和节点个数成正比的负载能力，这种集群很适合提供大访问量的Web服务。负载均衡集群往往也具有一定的高可用性特点。负载均衡集群适用于提供相对静态的数据的服务，比如HTTP服务。因为通常负载均衡集群的各节点间没有共用的存储介质，用户数据被复制成多份，存放于每一个提供该项服务的节点上。TurbolinuxClusterServer负载均衡集群的工作机制下面以TurbolinuxClusterServer为例简要介绍一下负载均衡集群的工作机制。在集群中有一个主控节点，称为高级流量管理器（ATM）。假设这一集群仅被用来提供一项HTTP服务，其余各节点均被设定为HTTP的服务节点。用户对于页面的请求全部发送到ATM上，因为ATM上绑定了这项服务对外的IP地址。ATM把接受到的请求再平均发送到各服务节点上，服务节点接收到请求之后，直接把相应的Web页面发送给用户。负载均衡集群的工作机制这样一来，假如在1秒内有1000个HTTP页面请求，而集群中有10个服务节点，则每个节点将处理100个请求。这样，在外界看来，好象有一台10倍速度的高速计算机在处理用户的访问。这也就是真正意义上的负载均衡。负载均衡集群的工作机制但是ATM要处理所有1000个页面请求，它会不会成为集群处理速度的瓶颈呢？由于对于页面请求的数据量相对较少，返回页面内容的数据量相对较大，因此这种方式还是很有效率的。ATM发生故障，也不会导致整个系统无法工作。TurbolinuxClusterServer可以设置一台或多台计算机为后备ATM节点，当主ATM节点故障时，在后备ATM中会产生出一个新的主ATM，接替它的工作。可以看出，这种负载均衡集群也具有一定的高可用性。

TurboCluster中采用的调度策略有：轮回(RoundRobin)、加权轮回(WeightedRoundRobin)、最少连接(LeastConnection)两者的结合高可用性集群对一种服务而言不具有负载均衡功能，它可以提高整个系统的可靠性，但不能增加负载的能力。当然，高可用性集群可以运行多种服务，并将其适当分配在不同节点上，比如节点A提供Oracle服务，同时节点B提供Sybase服务，这也可以看成是某种意义上的负载均衡，不过这是对多种服务的分配而言

对于同一种服务，是不能同时获得高可用性与负载均衡能力的。对一种服务，要么是只有一份数据，放在共用存储设备上，一次被一个节点访问，获得高可用性；要么是把数据复制为多份，存储于每个节点的本地硬盘上，用户的请求同时发送到多个节点上，获得负载均衡能力超级计算集群超级计算集群。按照计算关联程度的不同，又可以分为两种：一种是任务片方式，要把计算任务分成任务片，再把任务片分配给各节点，在各节点上分别计算后再把结果汇总，生成最终计算结果；另一种是并行计算方式，节点之间在计算过程中大量地交换数据，可以进行具有强耦合关系的计算。这两种超级计算集群分别适用于不同类型的数据处理工作。有了超级计算集群软件，企业利用若干台PC机就可以完成通常只有超级计算机才能完成的计算任务

云计算系统的资源组织方式云计算系统的资源组织方式有两种虚拟机方式利用虚拟化技术，在物理服务器抽象出能够被上层使用的虚拟化服务器，以屏蔽底层硬件差异的影响，并提高资源的利用率。其上的执行环境与传统PC系统相同，通常在IaaS服务中提供分布式集群方式分布式集群方式分布式集群方式的原理是首先由云操作系统组织一批物理服务器或者虚拟服务器构成集群，然后再在集群上部署分布式软件系统作为上层软件的开发和执行环境，包括分布式集群管理分布式程序开发环境分布式文件系统分布式数据库等等两种资源组织方式比较虚拟化架构虽然也可用于整合分布式的服务器节点，但其思想是一种“分裂”思想，也就是把服务器“分裂”成多台虚拟机来调度；而分布式集群架构则侧重于“聚合”各个服务器的资源，输出一种新的“计算”和“存储”能力。互联网公司（如Google\Hadoop）采用分布式集群架构的比例更高；企业私有云（如IBM\VMware\MicrosoftAzure\AmazonEC2\OpenStack）则以虚拟化技术的应用为主。5.1.4并行计算的进程模型主从模式(Master-slave)：有一个主进程，其它为从进程。在这种模式中，主进程一般负责整个并行程序的数据控制，从进程负责对数据的处理和计算任务，当然，主进程也可以参与对数据的处理和计算。一般情况下，从进程之间不需要发生数据交换，数据的交换过程是通过主进程来完成的。对等模式:在这种编程模式中，没有哪个进程是主进程，每个进程的地位是相同的。对等模式即参与运算的各进程地位相同，计算程序一致，只是处理的数据不同。然而，在并行实现过程中，我们总是要在这些进程中选择一个进行输入输出的进程，它扮演的角色和主进程类似。5.1.5并行编程模型并行编程模型是并行算法和并行计算机硬件结构间的桥梁，它用并行编程接口的形式提供给程序开发员，程序开发员通过这种并行编程接口编写并行程序，从而实现并行算法。并行编程模型并行编程模型比较流行的是消息传递模型MPI（MessagePassingInterface），共享存储模型OpenMP以及数据并行模型。共享存储模式：以OpenMP为代表，主要是利用添加并行化指令到串行程序中，由编译器完成自动并行化。消息传递模式：以MPI为代表，PVM（并行虚拟机，ParallelVirtualMachineComputing）是消息传递模式的一个变种。数据并行模式：MapReduce是数据并行计算模型的典范，在云计算领域被广泛采用。并行编程模型可以这样打比方：作并行计算好比是盖楼房，你有了MPI就好比是有了砂石，水泥和钢材，你可以盖最美的房子，但你必须使用最原始状态的原材料，付出可观的智力劳动；你有了OpenMP就好比是有了预制板和各种预制件，可以非常快速地造房子，事半功倍；你有了数据并行环境，可以比作你有了包工头，很多事情您就可以完全依靠他了。也许比喻方式不是很恰当，但是三种编程模式的优劣、效率是很有差别的，可以不夸张地说OpenMP比MPI要容易很多倍。MPIMPI（MessagePassingInterface）是消息传递并行程序设计的标准之一.MPI正成为并行程序设计事实上的工业标准。MPI的实现包括MPICH、LAM、IBMMPL等多个版本，最常用和稳定的是MPICH，曙光天潮系列的MPI以MPICH为基础进行了定制和优化。然而,MPI同样存在着一些不足。由于进程的唯一性和显式消息传递的特点,加上MPI标准繁琐,从而使得基于其开发并行程序也相当复杂。在通信上也会造成很大的开销OpenMPOpenMP提供了对并行算法的高层的抽象描述，程序员通过在源代码中加入专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥以及通信。当选择忽略这些pragma，或者编译器不支持OpenMP时，程序又可退化为通常的程序(一般为串行)，代码仍然可以正常运作，只是不能利用多线程来加速程序执行。OpenMPOpenMP支持的编程语言包括C语言、C++和Fortran。要在VisualC++.NET中使用OpenMP其实不难，只要将Project的Properties中C/C++里Language的OpenMPSupport开启（参数为/openmp），就可以让VC++.NET在编译时支持OpenMP的语法了；而在编写使用OpenMP的程序时，则需要先includeOpenMP的头文件：omp.h两种并行编程模型特征对比特征消息传递共享存储典型代表MPIOpenMP适用体系结构所有流行的并行机SMP，DSM控制流多进程多线程数据存储方式分布式共享存储数据分配方式显式隐式两种并行编程模型特征对比消息传递模型编写的程序可移植性好，但编程难度系数大于共享存储这种编程模型，共享存储模型编写的程序只适用于SMP(SymmetricalMulti-Processing)和DSM（DistributedShared-Memory）这两种并行机，可移植性稍微逊色于消息传递模型编写的程序，但编程简单。两种并行编程模型特征对比消息传递并行编程能支持进程间的分布式存储模式，即各个进程只能直接访问其局部内存空间，而对其他进程的局部内存空间的访问只能通过消息传递来实现。共享存储并行编程基于线程级细粒度并行，仅被SMP和DSM并行计算机所支持，可移植性不如消息传递并行编程3）数据并行模型从程序和算法设计人员的角度来看，并行计算又可分为数据并行和任务并行。一般来说，因为数据并行主要是将一个大任务化解成相同的各个子任务，比任务并行要容易处理。对于数据密集型问题，可以采用分割数据的分布式计算模型，把需要进行大量计算的数据分割成小块，由网络上的多台计算机分别计算，然后把结果进行组合得出数据结论。MapReduce是分割数据型并行计算模型的典范，在云计算领域被广泛采用。并行计算涉及的研究领域包括三方面的主要研究内容，即硬件方面并行计算机的研究，软件支持方面并行程序的设计与理论基础方面并行算法的研究并行计算的研究存在的问题并行计算的研究存在的问题主要总结为4个方面。(1)对比并行计算研究的3个主要研究内容来看，理论基础即并行算法的研究相对比较薄弱；(2)当前的并行计算研究尚未十分成熟，并不能非常有效地利用并行计算资源；(3)尚未有一门比较简单高效地并行编程语言供程序员使用，也未有比较成熟的开发环境；(4)并行计算的硬件基础并行计算机本身有着比较难以管理，可扩展性难以保证等困难，目前尚未有比较成熟的管理方法。5.2Hadoop概述5.2.1Hadoop的由来5.2.2Hadoop的特点5.2.3Hadoop基本结构5.2.4Hadoop的应用5.2.1Hadoop的由来Hadoop源于两个开源项目Nutch和Lucene。Lucene是一个高性能全文检索工具包，是利用Java语言开发的。Lucene并不是一个应用程序，而是一个简单而且容易使用的API库。它可以很容易地植入到各种应用程序中，从而实现搜索和索引功能。Hadoop的由来Nutch是第一个Web搜索引擎，它在Lucene项目的基础上增加了一些与Web相关的功能、网络爬虫以及一些需要解析各类文档格式的插件等等，它还包含一个用来存储数据的分布式文件系统。从Nutch0.8.0开始，Nutch将其中实现分布式文件系统以及MapReduce算法的代码独立分列出来，从而实现了一个新的开源项目—Hadoop。Hadoop名字的来源Hadoop并不是一个缩写字，而是一个虚构的名字，Hadoop名字的起源是由于Hadoop项目创始人DougCutting，他的孩子为他画了一幅刚吃饱的的大象，他借用了孩子为这头棕黄色大象的命名，这个名字只是因为简短，发音容易、拼写简单，除此之外没有太大的意义。于是Hadoop成为了DougCutting所创立的项目的名字，而这只大象便成为Hadoop的标签。5.2.2Hadoop的特点(1)扩容能力。Hadoop的根本特点就是存储的扩展性和计算的扩展性。Hadoop可以扩展到数千甚至数万个节点上。(2)低成本。Hadoop框架无需昂贵的服务器，普通PC机也可正常运行。必要时，在你的笔记本上也可以安装。(3)可靠性高。Hadoop采用的分布式文件系统和MapReduce的任务监控，一定程度上保证了系统的备份恢复机制和分布式处理的可靠性。(4)效率高。数据交互的高效性以及MapReduce的处理模式，可以在数据所在的节点并行处理，为海量信息的高效处理做了铺垫。5.2.3Hadoop基本结构PigChukwaHiveHBaseMapReduceHDFSZooKeeperCore(Common)AvroHadoop基本结构(1)Core(Common):一系列分布式文件系统和通用I/O的组件和接口（序列化、JavaRPC和持久化数据结构）。这是整个Hadoop项目的核心，其他的Hadoop子项目都是在HadoopCommon的基础上发展的。(2)Avro:Hadoop的RPC（remoteprocedurecall远程过程调用）方案。是一种提供高效，跨语言RPC的数据序列系统，持久化数据存储。Hadoop基本结构(3)Chukwa：分布式数据收集和分析系统，Chukwa运行HDFS中存储数据的收集器，它使用MapReduce来生成报告。是一个用来管理大型分布式系统的数据采集系统。(4)HBase：一个分布式，列存储数据库。HBase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询。是支持结构化和非结构化数据存储的分布式数据库，Google的BigTable的开源实现。Hadoop基本结构(5)HDFS:是一个高吞吐量、高容错性、高可靠性的分布式文件系统，是Google的文件系统GFS的开源实现。(6)Hive：提供数据摘要和查询功能的分布式数据仓库，Hive管理HDFS中存储的数据，并提供基于SQL的查询语言用于查询数据。Hive是数据查询的接口而不是数据本身，HBase则用于存储数据本身，Hive可以和HBase一起工作(7)MapReduce:大型数据的分布式处理模型。是分布式数据处理模式和执行环境，运行于大型商用机集群。它是Google的MapReduce的开源实现。Hadoop基本结构(8)Pig:在MapReduce上构建的一种高级的数据流语言。是一种数据流语言和运行环境，用于检索非常大的数据集。Pig运行在MapReduce和HDFS的集群上。它是Google的Sawzall的开源实现。它更适用于批处理任务，而不适用于需要快速响应的任务；这个数据模型更适用于处理流式访问，而不是随机访问。(9)ZooKeeper:

用于解决分布式系统中一致性问题。是一个分布式的，高可用性的协调服务。ZooKeeper提供分布式锁之类的基本服务用于构建分布式应用。它是Google的Chubby的开源实现。Hadoop与GoogleHadoop云计算系统Google云计算系统HadoopHDFSGoogleGFSHadoopMapReduceGoogleMapReduceHadoopHBaseGoogleBigtableHadoopZooKeeperGoogleChubbyHadoopPigGoogleSawzall5.2.4Hadoop的应用(1).Hadoop在阿里巴巴：用于商业数据处理和排序，并将Hadoop应用到阿里巴巴的ISEARCH搜索引擎和垂直商业搜索引擎。节点数：15台机器的构成的集群;服务器配置:32G内存，16核CPU，2T硬盘容量。(2).Hadoop在百度：主要应用于日志分析，同时使用Hadoop做一些网页数据的数据挖掘工作。节点数:：0一600个节点;周数据量:3000TB。Hadoop的应用(3).Hadoop在Facebook：主要用于内部日志的拷贝，同样用于处理数据挖掘和日志统计。硬件环境主要使用了2个集群:一个是由1200台节点组成的集群，每台机器8核，每台机器12T硬盘；一个是由400台节点组成的集群，包括2500核CPU，和4000T的原始存储数据。并且由Hadoop基础上开发了基于SQL语法的项目——Hive。(4).Hadoop在HULU：主要用于日志的分析和存储。节点数：由14台机器构成的集群(8核CPU，单台机器是4TB硬盘);并且开发了基于HBase的数据库。Hadoop的应用(5).Hadoop在Twitter:主要用于存储微博数据、日志以及许多中间数据;并且开发了基于Hadoop构建的Cloudera'SCDH2系统，存储压缩后的数据文件(LZO格式)。(6)Hadoop在雅虎:主要用于支持广告系统存储及网页数据搜索与分析。节点数:26000台机器，CPU:8核;集群机器数:6000个节点(4*2CPU，1*4TB磁盘，8GB内存)5.3HDFS5.3.1HDFS的功能5.3.2HDFS的结构5.3.3HDFS文件读写操作流程5.3.4HDFS如何实现可靠存储、副本管理5.3.1HDFS的功能设计前提与目标硬件错误是常态而不是异常流式数据访问

超大规模数据集

简单一致性模型

移动计算比移动数据更简单

异构软硬件平台间的可移植性

5.3.2HDFS的结构HDFS的结构HDFS有三个重要角色：NameNode（名字节点）、DataNode（数据节点）和Client（客户端）。一个HDFS集群由一个NameNode和一定数目的DataNode组成，NameNode管理文件系统的元数据（Meta-data），DataNode存储实际的数据。Client是仅需要获取分布式文件系统文件的应用程序。HDFS的结构NameNode是一个主控服务器，负责管理分布式文件系统的命名空间（NameSpace）、集群配置信息、存储块的复制以及客户端对文件的访问。集群中的DataNode一般是一个节点一个，负责管理它所在节点上的数据存储以及客户端的访问。它存储Block（数据块）于本地文件系统中，同时周期性的发送所有存在的Block的报告给NameNode。HDFS的结构HDFS暴露了文件系统的命名空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组DataNode上。NameNode执行文件系统的命名空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体DataNode节点的映射。DataNode负责处理文件系统客户端的读写请求。在NameNode的统一调度下进行数据块的创建、删除和复制。5.3.3HDFS文件读写操作流程HDFS的数据访问模式是“一次写入、多次读取”，这种模式是最高效的。读取过程读取过程(l)客户端通过Filesystem对象的open()方法来打开希望读取的文件。(2)分布式文件系统通过RPC来调用名字节点(Namenode)，来确定文件开头部分数据块的位置。(3)客户端对FSDatalnputstream输入流调用read()方法。读取过程(4)FSDatalnputstream对象随即与存储着文件开头部分的块的数据节点相连，通过在数据流中反复调用read()方法，数据就会从数据节点返回到客户端。(5)当读取到块的最后一端时，FSDatalnputstream就会关闭与数据节点间的联系。然后为下一块找到最佳的数据节点。(6)当客户端读取完毕时，就会对文件系统输入数据流调用close()方法写入过程写入过程(1)客户端通过Filesystem对象的create()方法来创建希望写入的文件。(2)分布式文件系统通过RPC来调用名字节点(Namenode)，并在文件系统的命名空间中创建一个新文件(3)客户端对写入数据调用write()方法。写入过程(4)FSDataOutputstream将客户写入的数据分成一个个的包(writepacket)，写入内部的数据队列，然后队列中的数据流依次写入到由数据节点组成的管线中.(5)FSDataOutputstream有一个内部的包队列来等待数据节点发送的确认信息（ackpacket），一个包只有在被管线中的所有节点确认后才被转移出包队列(6)当客户端完成数据的写入后，就会对数据流调用close()方法。(7)向名字节点发送写入完成的信息。5.3.4HDFS如何实现可靠存储、副本管理HDFS在对文件存储时，首先把文件按照一定的大小分割成一个或多个的数据块，数据块默认大小为64MB。系统把分割好的数据块存储在Datanode中.除了最后一个数据块，分割后的数据块大小都是相同的。HDFS为了实现节点故障容错，对文件的数据块实施副本存储机制。在对HDFS配置文件进行设置时数据块的副本数量一般情况下为3。副本存放策略首先是将数据块A放在本地节点，在对另外两个副本存放时，为了充分考虑集群内节点的容错机制，是将第二个副本A存储在机架1上的另一个节点内，第三个副本A则存储到不同的机架2上的一个节点内。副本存放策略每个机架失效的概率要远远小于节点失效的概率。这种数据块副本存储策略有效的保证了数据存储的可靠性和高效性，又节省了客户端在进行读操作时所占用的网络带宽（数据块存储在不同的机架内）提升性能的措施

提升性能措施副本选择HDFS会尽量使用离程序最近的副本来满足用户请求，这样可以减少总带宽消耗和读延时

负载均衡HDFS的架构支持数据均衡策略客户端缓存HDFS客户端先把数据缓存到本地的一个临时文件，程序的写操作透明地重定向到这个临时文件流水线复制DataNode从前一个节点接收数据的同时，即时把数据传给后面的节点，这就是流水线复制5.4MapReduce5.4.1MapReduce原理5.4.2MapReduce执行流程5.4.3MapReduce数据流程5.4.4MapReduce的容错机制5.4.1MapReduce原理MapReduce基本原理是把输入看为一组<key,value>对集，输出同样也是一组<key,value>对集或者是单个<key,value>.在利用MapReduce编写程序时，程序员只需要关注两个自定义函数：映射(map)函数和简化(reduce)函数map和reduce函数函数

输入

输出说明map<k1,v1><K2,list(V2)>将数据集解析成一批<key,value>对，输入map函数中进行处理并输出中间结果集<k2,v2>reduce<k2,list(v2)><k3,v3>List(v2)表示属于同一个k2的valueMapReduce处理的任务基本要求：待处理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理

映射阶段，用户输入的数据分割为M个片断，对应M个Map任务。每一个Map操作的输入是数据片断中的键值对<K1,V1>集合，Map操作调用用户定义的Map函数，输出一个中间态的键值对<K2,V2>集合。接着，按照中间态的K2将输出的数据集进行排序，并生成一个新的<K2,list(V2)>元组，按照K2的范围将这些元组分割为R个片断化简阶段，每一个Reduce操作的输入是一个<K2,list(V2)>片断，Reduce操作调用用户定义的Reduce函数，生成用户需要的键值对<K3,V3>进行输出并行编程如果说并行编程的难度足以让那些没有并行编程经验的普通程序员望而却步的话，开源实现的Hadoop极大的降低了编程的门槛，通过学习Hadoop，你会发现基于Hadoop的并行编程非常简单，无须任何并行编程程序的开发经验，你也可以轻松的开发出所需要的并行程序，并让其分布式并行地运行在数百台机器上，然后在很短时间内完成大规模数据的计算。5.4.2MapReduce执行流程MapReduce执行流程（1）分割输入文件:在并行程序中的MapReduce函数库首先将输入文件分割成M个块，每块的大小一般从16MB到64MB不等(可以通过参数自行调整)。（2）分配map或者reduce任务:在进程中有一个身份比较特殊的进程，它是主控程序master。其余都是执行map或者reduce任务的worker（工作机），并且任务都是由主控程序分配的。master分别分配给这些workerM个map任务与R个reduce任务。MapReduce执行流程（3）读取输入块:一个执行map任务的worker节点读取相关输入块的内容，worker从数据中解析出所需要的<key,value>对集合，并把它们传送给用户自定义的map函数，由map函数处理这些数据集合并产生中间<key,value>对集，并暂时把它们缓冲到内存中MapReduce执行流程（4）本地写入中间结果：这些缓冲到内存的中间<key,value>对集将被定时的写入到本地硬盘（5）远程读取中间结果：当执行reduce任务的worker节点在本地硬盘读取了所有的中间数据后，就通过排序函数使具有相同key的中间value聚集在一起。MapReduce执行流程（6）写入输出文件：reduce节点将具有相同key的中间value值进行迭加，并把结果传递给用户自定义的reduce函数。reduce函数的结果写到最终的输出文件。（7）返回调用点：当所有的map任务和reduce任务都执行后，这时MapReduce就直接返回到用户程序的调用点。5.4.3MapReduce数据流程在MapReduce执行过程中数据流程主要分三个阶段：（1）用户将输入文件拷贝到HDFS文件系统中。在该阶段用户需要将相关文件用命令拷贝到HDFS文件系统中，然后提交该任务。5.4.3MapReduce数据流程（2）Map阶段输入文件块首先被划分为多个数据分块（Split），以便Map任务能并发的进行之后每一个划分将分配到Map函数为之运行Combine阶段:将中间结果中有相同key的<key,value>对集合并成一对 Partition阶段：该阶段是把Map任务输出的中间结果按key划分成R份(R是预先定义的，数目等于Reduce任务的个数)Map阶段（3）Reduce阶段这个阶段可以分为3个步骤：排序（Sort）、混洗（Shuffle）和Reduce。Sort同Shuffle一块进行的，在这个阶段中保证给定一个key它所有键值对是连续排列，并将来自不同Map输出的中间结果具有相同key的<key,value>对集合并到一块Reduce阶段:用户定义的Reduce函数执行用户所定义的操作，执行后的最终结果通过OutputFormat输出到HDFS中Reduce阶段5.4.4MapReduce的容错机制（1）worker节点错误master节点会周期性的向worker节点发送检测命令。如果持续在一定的时间内没有从工作节点收到反馈，master节点就认为该worker节点失效。MapReduce可以有效地允许一定范围的worker节点失效的情况。MapReduce的master节点就会简单的把这些不能访问的worker节点上的工作再执行一次MapReduce的容错机制（2）master节点失效分析master节点失效要区分两种情况，一种是master程序失效，一种是运行master程序的节点失效。Master会周期性地设置检查点（checkpoint），并导出Master中的数据。一旦master程序失效，系统就从最近的一个检查点恢复并重新执行。另一种情况下，由于只有一个主控节点，所以如果主控节点失效了，就只能终止整个MapReduce程序的执行并重新开始。5.4.5Hadoop新MapReduce框架YarnHadoop自0.23.0版本后新的map-reduce框架（Yarn)Yarn维持与以前版本（hadoop-0.20.205）的API兼容性。这意味着所有的MapReduce作业只需重新编译就可以在新框架上运行。Hadoop中的JobTracker进程相当于前面所说的Master程序，TaskTracker进程相当于前面所说的Worker程序。原框架的问题随着分布式系统集群的规模和其工作负荷的增长，原框架的问题逐渐浮出水面，主要的问题集中如下：1）JobTracker是Map-reduce的集中处理点，存在单点故障。2）JobTracker完成了太多的任务，造成了过多的资源消耗，当map-reducejob非常多的时候，会造成很大的内存开销，潜在来说，也增加了JobTrackerfail的风险，这也是业界普遍总结出老Hadoop的Map-Reduce只能支持4000节点主机的上限。原框架的问题3）在TaskTracker端，以map/reducetask的数目作为资源的表示过于简单，没有考虑到cpu/内存的占用情况，如果两个大内存消耗的task被调度到了一块，很容易出现OOM(OutOfMemory,内存溢出)4）在TaskTracker端，把资源强制划分为maptaskslot和reducetaskslot,如果当系统中只有maptask或者只有reducetask的时候，会造成资源的浪费slotslot不是CPU的Core，也不是memorychip，它是一个逻辑概念，一个节点的slot的数量用来表示某个节点的资源的容量或者说是能力的大小，因而slot是Hadoop的资源单位。原框架的问题5）源代码层面分析的时候，会发现代码非常的难读，常常因为一个class做了太多的事情，代码量达3000多行，造成class的任务不清晰，增加bug修复和版本维护的难度。6）从操作的角度来看，现在的HadoopMapReduce框架在有任何重要的或者不重要的变化(例如bug修复，性能提升和特性化)时，都会强制进行系统级别的升级更新。更糟的是，它不管用户的喜好，强制让分布式集群系统的每一个用户端同时更新。这些更新会让用户为了验证他们之前的应用程序是不是适用新的Hadoop版本而浪费大量时间。YARN是一个资源管理平台作为资源管理平台，YARN不仅能够承载MapReduce（离线批处理计算框架）这一传统计算框架，而且能承载Storm（实时计算框架）、Spark（内存计算框架）、MPI（并行计算框架）。更重要的是，它还可以避免这些计算框架各自为战，实现各个计算框架之间的数据共享。YARN是一个资源管理平台另外，使用YARN可以降低运维管理成本并大大提高资源利用率。不同的计算框架，比如HadoopMapReduce、Spark、MPI等可以分别在不同的集群上运行，即采用“一个框架一个集群”的模式，但需要多个管理员管理这些集群，增加了运维成本。而“多个框架一个集群”的模式将只需要少数管理员就可完成统一管理，降低了运维成本。而且不同的框架其运行高峰所处的时间可能不同，若分散在不同的集群中，其资源利用率低，而集中在同一个共享的集群中，则可以提高资源利用率。图中分散运行的HadoopMapReduce、Spark、MPI框架其资源利用率最高时为33%，而集中到一个共享集群后，其资源利用率基本持续在100%。MapReduce1.0和MapReduce2.0区别：MapReduce1.0是一个独立的系统，直接运行在Linux之上MapReduce2.0则是运行在YARN上的框架，且可与多种框架一起运行在YARN上MapReduce2.0和YARN区别：YARN是一个资源管理系统，负责资源管理和调度MapReduce只是运行在YARN上的一个应用程序

如果把YARN看做“android”，则MapReduce只是一个“app”

但为什么人们又常常把MapReduce2.0和YARN相提并论呢，原因在于MapReduce从1.0到2.0升级时，其2.0组件中包含了YARN，所以有人称YARN就是MapReduce2.0。Yarn架构工作流程客户端向资源管理器发送作业（Job）请求，资源管理器接收作业后为该作业分配一个容器以运行该作业，并启动一个AppMaster跟踪应用程序的状态，负责一个Job生命周期内的所有工作。容器要向AppMaster汇报应用程序的运行状态。若某个作业所需的资源较多，需要更多容器，则由AppMaster向资源管理器申请分配更多资源。NodeManager监控应用程序容器的资源使用情况(CPU，内存，硬盘，网络)并且向资源管理器汇报节点状态。Yarn架构原框架中核心的JobTracker和TaskTracker不见了，取而代之的是ResourceManager,ApplicationMaster与NodeManager三个部分ResourceManager是一个中心的服务，它包括两个组件：调度器（scheduler）和ApplicationsManager。调度器做的事情是调度。ResourceManager是基于应用程序对资源的需求进行调度的;每一个应用程序需要不同类型的资源因此就需要不同的容器。资源包括：内存，CPU，磁盘，网络等等。可以看出，这同现Mapreduce固定类型的资源使用模型有显著区别，它给集群的使用带来负面的影响。资源管理器提供一个调度策略的插件，它负责将集群资源分配给多个队列和应用程序。调度插件可以基于现有的能力调度和公平调度模型。ApplicationsManager负责接收作业提交（job-submission），协商第一个容器用于启动每一个Job所属的ApplicationMaster，另外监控ApplicationMaster的存在情况，当ApplicationMaster失效时负责提供服务重启ApplicationMaster容器Yarn架构NodeManager是每一台机器框架的代理，是执行应用程序的容器，监控应用程序容器的资源使用情况

(CPU，内存，硬盘，网络)并且向调度器(scheduler)汇报。NodeManager功能比较专一，就是负责Container状态的维护，并向RM/scheduler保持心跳。每一个应用的ApplicationMaster的职责有：向调度器索要适当的资源容器，运行任务，跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。ApplicationMaster负责一个Job生命周期内的所有工作。但注意每一个Job（不是每一种）都有一个ApplicationMaster，它可以运行在ResourceManager以外的机器上。Yarn框架相对于老的MapReduce框架什么优势1)这个设计大大减小了JobTracker（也就是现在的ResourceManager+ApplicationMaster）的资源消耗，并且让监测每一个Job子任务(tasks)状态的程序分布式化了，更安全、更优美。2)老的框架中，JobTracker一个很大的负担就是监控job下的tasks的运行状况，现在，这个部分就扔给ApplicationMaster做了，而ResourceManager中有一个模块叫做ApplicationsManager，它是监测ApplicationMaster的运行状况，如果出问题，会将其在其他机器上重启。Yarn框架相对于老的MapReduce框架什么优势3)在新的Yarn中，ApplicationMaster是一个可变更的部分，用户可以对不同的编程模型写自己的AppMst，让更多类型的编程模型能够跑在Hadoop集群中Yarn框架相对于老的MapReduce框架什么优势4）对于资源的表示以内存为单位(在目前版本的Yarn中，没有考虑cpu的占用)，比之前以剩余slot数目更合理。5)Container是Yarn为了将来作资源隔离而提出的一个框架。这一点应该借鉴了Mesos的工作，目前是一个框架，仅仅提供java虚拟机内存的隔离,hadoop团队的设计思路应该后续能支持更多的资源调度和控制,既然资源表示成内存量，那就没有了之前的mapslot/reduceslot分开造成集群资源闲置的尴尬情况在HDFS之上单独搞多存储介质支持是不太友好的，最好跟Hadoop中资源管理系统YARN做一个结合，所以，有人预测，HDFS和YARN的关系会逐步朝下图展示的方式发展：HDFS和YARN的关系的预测支持长服务YARN在2015年新增的一个重大特性是：支持长服务YARN的最终定位是通用资源管理和调度系统，包括支持像类似MapReduce，Spark的短作业和类似WebService，MySQL的长服务。长服务是指永不停止的应用程序（除非异常退出或用户主动关闭），比如WebService、MySQL等，长服务是相对短作业而言的，短作业是指分钟，小时级别就会退出的应用程序。5.5HBase5.5.1HBase概述5.5.2HBase与关系型数据库的比较5.5.3HBase的数据模型5.5.4HBaseShell命令的应用5.5.1HBase概述2006年底由PowerSet的ChadWalters和JimKellerman发起HBase，2008年HBase成为ApacheHadoop的一个子项目。HBase是一个分布式的、面向列的开源数据库。HBase是GoogleBigtable的开源实现HBase最浅显来看就是一张很大的表，表的属性可以根据需求去动态增加，但是又没有表与表之间关联查询的需求。5.5.2HBase与关系型数据库的比较HBase不同于一般的关系数据库，它是一个适合于结构化和非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式使用‘表’的概念，但不同于关系数据库，不支持SQL5.5.3HBase的数据模型HBase会存储一系列的行记录，行记录有三个基本类型：行键（RowKey）:表的主键，表中的记录按照RowKey排序。时间戳（TimeStamp）:每次数据操作对应的时间戳，可以看作是数据的版本号（versionnumber）。列簇（ColumnFamily）:一个ColumnFamily中可以由任意多个Column组成，即ColumnFamily支持动态扩展，无需预先定义Column的数量以及类型5.5.4HBaseShell命令的应用HBase提供了一个shell的终端给用户交互，提供各种表操作命令命令描述create创建表describe描述表enable表激活disable表取消drop删除表get读表put写表HBaseShell命令的应用以一个学生成绩表的例子来演示HBaseShell命令的用法namegradcoursematharthao5

9787liu48980

学生成绩表的例子scores

HBaseShell命令的应用(1)建立一个表格scores，具有两个列族grad和course。hbase(main):001:0>create'scores','grade','course'0row(s)in0.4780seconds(2)查看当前HBase中具有哪些表？hbase(main):002:0>listTABLEscores1row(s)in0.0270secondsHBaseShell命令的应用(3)加入一行数据，行名称为hao，列族名为“grad”，值为5。hbase(main):006:0>put'scores','hao','grad:','5'0row(s)in0.0420seconds(4)给hao这一行的数据的列族course添加一列<math,97>hbase(main):007:0>put'scores','hao','course:math','97'0row(s)in0.0270secondsHBaseShell命令的应用(5)给hao这一行的数据的列族course添加一列<art,87>hbase(main):008:0>put'scores','hao','course:art','87'0row(s)in0.0260seconds(6)加入一行数据,行名称为liu，列族名为“grad”，值为4。hbase(main):009:0>put'scores','liu','grad:','4'0row(s)in0.0260secondsHBaseShell命令的应用(7)给liu这一行的数据的列族course添加一列<math,89>hbase(main):010:0>put'scores','liu','course:math','89'0row(s)in0.0270seconds(8)给liu这一行的数据的列族course添加一列<art,80>hbase(main):011:0>put'scores','liu','course:art','80'0row(s)in0.0270secondsHBaseShell命令的应用(9)查看scores表中hao的相关数据hbase(main):012:0>get'scores','hao'COLUMNCELLcourse:arttimestamp=1316100110921,value=87course:mathtimestamp=1316100025944,value=97grade:timestamp=1316099975625,value=53row(s)in0.0480secondsHBaseShell命令的应用(10)删除scores表。hbase(main):024:0>disable'scores'0row(s)in0.0330secondshbase(main):025:0>drop'scores'0row(s)in1.0840seconds值得注意的是，用drop命令删除表之前要先用disable命令禁用表5.6Zookeeper5.6.1Zookeeper的功能5.6.2Zookeeper的数据模型5.6.3Zookeeper的典型的应用场景5.6.1Zookeeper的功能Zookeeper是Google的Chubby一个开源的实现，是高效和可靠的协同工作系统。提供的功能包括：统一命名服务（NameService）、配置管理（ConfigurationManagement）、集群管理（GroupMembership）、共享锁（Locks）、队列管理。它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理5.6.2Zookeeper的数据模型Zookeeper维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统Zookeeper数据结构的特点1.每个子目录项如NameService都被称作为znode，这个znode是被它所在的路径唯一标识，如Server1这个znode的标识为/NameService/Server1。2.znode可以有子节点目录，并且每个znode可以存储数据，注意Ephemeral（临时的）类型的目录节点不能有子节点目录。3.znode是有版本的，每个znode中存储的数据可以有多个版本，也就是一个访问路径中可以存储多份数据。

Zookeeper数据结构的特点4.znode可以是临时节点（Ephemeral节点），一旦创建这个znode的客户端与服务器失去联系，这个znode也将自动删除5.znode的目录名可以自动编号（Sequential节点，有序的节点），如App1已经存在，再创建的话，将会自动命名为App2。6.znode可以被监控，包括这个目录节点中存储的数据的修改，子节点目录的变化等，一旦变化可以通知设置监控的客户端，这个是Zookeeper的核心特性，Zookeeper的很多功能都是基于这个特性实现的5.6.3Zookeeper的典型应用场景（1）统一命名服务（NameService）分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住，通常情况下用树形的名称结构是一个理想的选择，树形的名称结构是一个有层次的目录结构，既对人友好又不会重复Zookeeper需要一个不会重复的名称，就像数据库中产生一个唯一的数字主键一样。（2）配置管理（ConfigurationManagement）配置的管理在分布式应用环境中很常见，例如同一个应用系统需要多台PCServer运行，但是它们运行的应用系统的某些配置项是相同的，如果要修改这些相同的配置项，那么就必须同时修改每台运行这个应用系统的PCServer，这样非常麻烦而且容易出错。像这样的配置信息完全可以交给Zookeeper来管理，将配置信息保存在Zookeeper的某个目录节点中，然后将所有需要修改的应用机器监控配置信息的状态，一旦配置信息发生变化，每台应用机器就会收到Zookeeper的通知，然后从Zookeeper获取新的配置信息应用到系统中配置管理结构图（3）集群管理（GroupMembership）Zookeeper能够很容易的实现集群管理的功能，如有多台Server组成一个服务集群，那么必须要一个“总管”知道当前集群中每台机器的服务状态，一旦有机器不能提供服务，集群中其它集群必须知道，从而做出调整重新分配服务策略。同样当增加集群的服务能力时，就会增加一台或多台Server，同样也必须让“总管”知道。（3）集群管理（GroupMembership）它的实现方式都是在Zookeeper上创建一个Ephemeral类型的目录节点，然后每个Server在它们创建目录节点的父目录节点上调用getChildren(Stringpath,booleanwatch)方法并设置watch为true，由于是Ephemeral目录节点，当创建它的Server死去，这个目录节点也随之被删除，所以Children将会变化，这时getChildren上的Watch将会被调用，所以其它Server就知道已经有某台Server死去了。新增Server也是同样的原理。（4）共享锁（Locks）共享锁在同一个进程中很容易实现，但是在跨进程或者在不同Server之间就不好实现了。Zookeeper却很容易实现这个功能，实现方式也是需要获得锁的Server创建一个Ephemeral_Sequential目录节点，然后调用getChildren方法获取当前的目录节点列表中最小的目录节点是不是就是自己创建的目录节点，如果正是自己创建的，那么它就获得了这个锁，如果不是那么它就调用exists(Stringpath,booleanwatch)方法并监控Zookeeper上目录节点列表的变化，一直到自己创建的节点是列表中最小编号的目录节点，从而获得锁。释放锁很简单，只要删除前面它自己所创建的目录节点就行了。（5）队列管理Zookeeper可以处理两种类型的队列：当一个队列的成员都聚齐时，这个队列才可用，否则一直等待所有成员到达，这种是同步队列。队列按照FIFO方式进行入队和出队操作，例如实现生产者和消费者模型。5.7Hadoop的程序实例运行与分析5.7.1WordCount实例5.7.2每年最高气温实例5.7.3基于Hadoop的数据挖掘开源平台-Mahout5.7.1WordCount实例MapReduce对数据的处理是通过map（）和reduce（）两个自定义函数实现的，在词频统计中这两个函数具体如下：Map(K,V){

ForeachwordwinV

Collect(w,1);

}

Reduce(K,V[]){

intcount=0;

ForeachvinV

count+=v;

Collect(K,count);

}词频统计Step1：首先对输入的文档文件进行分割（Split），把输入文件分成两组，且由系统自动完成HelloHadoopByeHadoopHelloWorldGoodByeWorldsplitsplitHelloHadoopByeHadoopHelloWorldGoodByeWorld词频统计Step2：在输入文件分割完成之后，使用用户编写好的Map函数从而产生<key,value>集HelloHadoopByeHadoopHelloWorldGoodByeWorldmapmap<Hello,1><Hadoop,1><Bye,1><Hadoop,1><Hello,1><World,1><GoodBye,1><World,1>词频统计Step3：combine和partition过程<Hello,1><Hadoop,1><Bye,