2017年大数据晚直播课地址-3月24日mapreduce

MapReduce的体系①MapReduce的基本概采用Mpde架构实现的程序能够在由大量的普通配置的计算机构成的集群中实现并行化操作。Maece系统在运行过程中只关心数Mpde架构可以使那些没有进行并行计算和分布式计算的开发能充分利用分布式系统的丰富资源进行并行式、分布式的开发。MapReduce框架由一个单独的masterJobTracker和集群节点上的slaveTaskTracker共同组成master负责调度一个作业中的所有任务，把这些任务分布在不同的slave上masterslave节点上这些任务的执行情况，并重新执行失败的任务slave仅负责执行由master②MapReduce是什MapReduce是一种编程模型，一种云计算的计算模型MapReduce主要用来解决什么问Mece致力于解决大规模数据处理的问题。基于分治法的思想，点上处理时每个节点先就近本地的数据来进行MpMp（cmi（shffle和sort）后再分发到ece节点。MapReduce的思MapReduce编程模式的主要思想是将自动分割的要执行问题拆解成Map()和Reduce（化简）的方式。它的两项操作是Map和Reduce在数据分割后通过Map函数的程序将数据成不同的区块，分配给计算机群处理，达到分布式运算的效果。再通过Reduce函数的9、Hadoop的数据管Hadoop的数据管理主要包括Hadoop的分布式文件HDFS、分布式数据库HBase和数据仓库工具Hive的数据管理它们都有自己完整的数据定义和体系结构，以及实现数据从宏观到微观的管理方法HDFS的数据管通过3个重要的角色来进行字节点NameNode数据节点和客户端Clientmede是分布式文件系统中的管理者，它主要负责管理文件系统名空间、集群配置信息和块的等。NmNe节点将文件系统的Mtdta在内存中，Metadata的信息主要包括文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode中的信息等。DataNode是文它将文件块在本地文件系统中，保存了所有的Block的Metadata，同时周期性地将所有存在的Block给NameNodeClinet就是文件系统文件的应用程序HBase的数据管HBase是一个分布式的、面向列的开源数据库。HBaseApache的的数据库。HBase是BigTable的开源实现3)Hive的数据管Hive作为一个数据管它的数据管理按照使用层次方面可以从元数据、数据和查询计划3个方面来介绍①元数Hive数据仓库将元数据在关系数据库中，如MySQL、Derby。Hive中的元数据包括表的名字、表的列和分区及其属性、表的属性、表的数据所 Hive的数据在HDFS中，大部分查询是通过MapReduce来完成的，但是带有*的查询是不会MapReduce任务的。②数据在Hive中没有专门的数据格式，也不需要为数据建立索户可以自由地在Hive中组织表表之前创建表时通知Hive在数Hive就可以解析数据了③查询计查询计划是通过解释器、编译器、优化器完成QL查询语句从词法在HS中，并在Mpce调用执行。HADOOP_HEAPSIZEtasktrackerJVMmapreduce um2 um)，分配给每个子jvm的 namenodenamenode比如，配备8核处理器时，并计划在各个处理器上分别跑2个进程，可将mapred.tasktracker.map.tasks.um和mapred.tasktracker.reduce.tasks.um分别设为7，每个子JVM的内存量mapred.child.java.opts提提高至400M。Bbnamenodemapio.sort.mbmap内容被spillmapreduce100mapreducer的数据 httpreducer数，此设置针对tasktracker,而非map5用于把map输出并行到reducershuffle ducer的缓冲区大小，如果map输出dfs.hosts记录即将作为datanode加入集群的机器列表mapred.hoststasktrackdfs.hosts.exclude待移除机器列表mapred.hosts.excludeJVM置为-1时，表示。JobConf的setNumTasksToExecutePerJvm()方法也可以设置。 erval，回收站中保留的时间，以分