第四章 Hadoop基础操作

第四章Hadoop基础操作1HDFS基础操作目录学习查看Hadoop集群2运行单个MapReduce任务3管理多个MapReduce任务4查看Hadoop集群信息存储系统信息在WEB浏览器的地址栏输入“http://master:50070/”查看Hadoop集群信息存储系统信息hdfsdfsadmin-report[-live][-dead][-decommissioning]

在集群服务器的终端，输入相关的查询命令“hdfsdfsadmin-report”就可以获得。hdfsdfsadmin-report命令的基本格式如下。各个子选项的用法说明如下。-report：输出文件系统的基本信息及相关数据统计。-report-live：输出文件系统中在线节点的基本信息及相关数据统计。-report-dead：输出文件系统中失效节点的基本信息及相关数据统计。-report-decommissioning：输出文件系统中停用节点的基本信息及相关数据统计。通过命令查询集群信息：查看Hadoop集群信息数据节点信息查看Hadoop集群信息计算资源信息在浏览器的地址栏输入“http://master:8088/cluster/nodes”1HDFS基础操作目录学习查看Hadoop集群2运行单个MapReduce任务3管理多个MapReduce任务4Hadoop命令—HDFS常用shell命令1.查看集群数据节点：#hdfsdfsadmin-reportHadoop命令—HDFS常用shell命令2.查看hadoop相关信息#hadoopHadoop命令—HDFS常用shell命令3.查看hdfs相关信息#hdfsHadoop命令—HDFS常用shell命令4.查看hdfs或hadoop子命令的帮助信息，如ls子命令#hdfsdfs/hdfsdfs-helpls/hadoopfs-helplsHadoop命令—HDFS常用shell命令5.查看指定目录下内容

命令：hadoopfs/hdfsdfs-ls[-h][-R][<path>...]path指定目录路径 -h人性化显示文件size -R递归查看指定目录及其子目录#hadoopfs-ls[-h][-R][<path>...]Hadoop命令—HDFS常用shell命令6.创建规划目录

命令:hadoopfs/hdfsdfs-mkdir[-p]<path>...

path为待创建的目录 -p选项的行为与Unixmkdir-p非常相似，它会沿着路径创建父目录。#

hadoopfs-mkdir[-p]<path>...Hadoop命令—HDFS常用shell命令7.上传文件到指定目录下（1）

命令:hadoopfs/hdfsdfs-put[-f][-p]<localsrc>...<dst>-get下载指定文件：从hdfs端下载到本地-put上传指定文件：将本地文件上传到hdfs端 -f覆盖目标文件（已存在下）

-p保留访问和修改时间，所有权和权限。 localsrc本地文件系统（客户端所在机器） dst目标文件系统（HDFS）#

hadoopfs-put[-f][-p]<localsrc>...<dst>-getHadoop命令—HDFS常用shell命令7.上传文件到指定目录下（2）命令：hadoopfs/hdfsdfs-moveFromLocal<localsrc>...<dst>和-put功能意义，只不过上传结束，源数据会被删除#

hadoopfs-moveFromLocal<localsrc>...<dst>Hadoop命令—HDFS常用shell命令8.查看HDFS文件内容（1）

命令：hadoopfs/hdfsdfs-cat<src>...读取指定文件全部内容，显示在标准输出控制台。注意：对于大文件内容读取，慎重。#

hadoopfs-cat<src>...查看HDFS文件内容（2）命令：hadoopfs-head<file>查看文件前1KB的内容。#

hadoopfs-head<file>Hadoop命令—HDFS常用shell命令8.查看HDFS文件内容（3）命令：hadoopfs/hdfsdfs-tail[-f]<file>查看文件最后1KB的内容-f选择可以动态显示文件中追加的内容#

hadoopfs-tail[-f]<file>Hadoop命令—HDFS常用shell命令9.下载HDFS文件（1）命令：hadoopfs/hdfsdfs-get[-f][-p]<src>...<localdst>下载文件到本地文件系统指定目录，localdst必须是目录-f覆盖目标文件（已存在下）-p保留访问和修改时间，所有权和权限。#

hadoopfs-get[-f][-p]<src>...<localdst>Hadoop命令—HDFS常用shell命令9.合并下载HDFS文件（2）命令：hadoopfs/hdfsdfs-getmerge[-nl][-skip-empty-file]<src><localdst>下载多个文件合并到本地文件系统的一个文件中。-nl选项表示在每个文件末尾添加换行符#

hadoopfs-getmerge[-nl][-skip-empty-file]<src><localdst>Hadoop命令—HDFS常用shell命令10.拷贝HDFS文件命令：hadoopfs/hdfsdfs-cp[-f]<src>...<dst>（是从hdfs的一端拷贝到hdfs的另一端）-f覆盖目标文件（已存在下）#

hadoopfs-cp[-f]<src>...<dst>Hadoop命令—HDFS常用shell命令11.追加数据到HDFS文件中命令：hadoopfs/hdfsdfs-appendToFile<localsrc>...<dst>将所有给定本地文件的内容追加到给定dst文件。dst如果文件不存在，将创建该文件。如果<localSrc>为-，则输入为从标准输入中读取。#

hadoopfs-appendToFile<localsrc>...<dst>Hadoop命令—HDFS常用shell命令13.查找文件findHadoop命令—HDFS常用shell命令14.查看HDFS磁盘空间命令：hadoopfs/hdfsdfs-df[-h][<path>...]显示文件系统的容量，可用空间和已用空间Hadoop命令—HDFS常用shell命令15.查看HDFS文件使用的空间量命令：hadoopfs/hdfsdfs-du[-s][-h]<path>...-s：表示显示指定路径文件长度的汇总摘要，而不是单个文件的摘要。-h：选项将以“人类可读”的方式格式化文件大小.Hadoop命令—HDFS常用shell命令16.HDFS数据移动操作命令：hadoopfs/hdfsdfs-mv<src>...<dst>移动文件到指定文件夹下可以使用该命令移动数据，重命名文件的名称.1HDFS基础操作目录学习查看Hadoop集群2运行单个MapReduce任务3管理多个MapReduce任务4运行单个MapReduce任务

示例程序包hadoop-mapreduce-examples-2.7.6.jar运行单个Mapreduce任务模块名称内容multifilewc统计多个文件中单词的数量。pi应用quasi-MonteCarlo算法来估算圆周率π的值。randomtextwriter在每个数据节点随机生成1个10GB的文本文件。wordcount对输入文件中的单词进行频数统计。wordmean计算输入文件中单词的平均长度。wordmedian计算输入文件中单词长度的中位数。wordstandarddeviation计算输入文件中单词长度的标准差。示例程序包hadoop-mapreduce-examples-2.7.6.jar运行单个Mapreduce任务hadoopjar用法：执行Jar文件运行单个MapReduce任务

实例：hadoopjarhadoop-mapreduce-examples-2.7.6.jarpi10100(计算圆周率的值）1HDFS基础操作目录学习查看Hadoop集群2运行单个MapReduce任务3管理多个MapReduce任务4管理多个Mapreduce任务查询MapReduce任务在浏览器输入：“http://master:8088”管理多个Mapreduce任务查询MapReduce任务提交一个任务后：它的状态值为“RUNN