hadoop培训1高级开发实战

目前流行什么 +大数Hadoop1.0 Hadoop1.0HDFS分布SecondaryNameNode根据过editslogHadoop2.0Hadoop2.0新特性:NameNodeHadoop2.0HA Hadoop2.0新特性:通过 HadoopNFSv3实现方

NFS允许用户像本地文件系统 通过引入一个NFSgateway服务实，该服务能将NFS协议转换 协unnameduser(fileunnamedgroup(filenamednamed权限掩码，用于过滤nameduser和namedgroup的权限MapReduceMapReduceMapReduceMapReduce

(2)assign

local

getmap

(onlocaldisks)

MapReduceMapReduceReduceMapper抽象1、protectedvoidsetup(Context2、protectedvoidmap(KEYINkey,VALUEINContextcontext)throwsIOException,InterruptedException{context.write((KEYOUT)key,(VALUEOUT)}3、protectedvoidcleanup(Context)throwsIOException,InterruptedException//}4、publicvoidrun(Contextcontext)throwsIOException,InterruptedException{while(context.nextKeyValue())}Reducer抽象1protectedvoidsetup(Context)throwsIOException,InterruptedException}2、protectedvoidreduce(KEYINkey, ble<VALUEIN>values,Context)throwsIOException,InterruptedException{for(VALUEINvalue:values){context.write((KEYOUT)key,(VALUEOUT)}}3、protectedvoidcleanup(Context)throwsIOException,InterruptedException}4、publicvoidrun(ContextcontextthrowsIOExceptionInterruptedExceptionwhile(context.nextKey())}} 文件输入格式Defaultformat;readsoftextThebyteoffsetofTheParseslinesintokey-valEverythinguptothefirsttabcharacterofthelineAHadoop-specifichigh-performancebinaryformat输入数据分块输入数据分块InputSplit定义了输入到单个任务的输入数一个MapReduce程序被统称InputSplit将文件分为64MB数据记录读入 读入一个文本行数据记合并相同key的键值对，减少partitioner时候的数据通信开是在本地执行的一个Reducer，满足一定的条件才能够执行Partitioner&Partitioner&，用来决定一个给定(key,value)对传给哪个节

传输到每一个Reducer节点上新版本的编程接口是文件输出格式 个号（partitionid） Default;writeslinesin"key\tvalue"WritesbinaryfilessuitableforreadingsubsequentMapReduceDisregardsitsHadoopStreaming介 运行一个MapReduce运行一个MapReduceStreamingcattest.log|wcfs-三、运行/bin/hadoopjarcontrib/streaming/hadoop-streaming--mappercat-reducer'wc-- /data/test.log-outputHadoopMRhadoops MapReduce案例实 Hadoop1.0的局限-Hadoop1.0的局限-扩展可用

map-reducejob非常多的时候，会造成很大的内存开销，潜在来说，也增加了JobTrackerfail的风险，这也是业界普遍总结出老Hadoop的Map-Reduce只能支持4000节点主机的上限。存在单点故障,一旦故障，批处理模低效的资源管把资源强制划分为maptaskslot和reducetaskslot,有maptask或者只有reducetask的时候，会造成资源的浪费Hadoop2.0新特性:YARN

YARNHadoop2.0启动 处理来自 Hadoop2.0新特性:YARN-1.0资源调概概念:SlotHadoop1.0采用了静态资源设置策略，即每个节点实现配Hadoop1.0将slot分为Mapslot和Reduceslot两种，不允许共没引入有效的资源机制，采用了基于jvm的资源机Hadoop2.0新特性:YARN的资源概概念:Container,实现资源动态管理Hadoop2.0新特性:YARN的资源可