Hadoop学习文档

1、hadoop学习文档(1)/common/docs/r0.19.2/cn/(2)以下内容转自百度文库：hadoop基本操作命令在这篇文章中，我们默认认为hadoop环境已经由运维人员配置好挺直可以用法。 假设hadoop的安装名目hadoop_home为/home/admin/hadoop。 启动与关闭 启动hadoop 1. 进入hadoop_home名目。 2. 执行sh bin/start-all.sh 关闭hadoop 1. 进入hadoop_home名目。 2. 执行sh bin/stop-all.sh 文件操作 hadoop用法的是hd

2、fs，能够实现的功能和我们用法的磁盘系统类似。并且支持通配符，如*。 查看文件列表 查看hs中/user/admin/aaron名目下的文件。 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs - /user/admin/aaron 这样，我们就找到了hdfs中/user/admin/aaron名目下的文件了。 我们也可以列出hdfs中/user/admin/aaron名目下的全部文件（包括子名目下的文件）。 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs -lsr /user/admin/aaron 创建文件名目 查看hd

3、fs中/user/admin/aaron名目下再新建一个叫做newdir的新名目。 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs - /user/admin/aaron/newdir 删除文件 删除hdfs中/user/admin/aaron名目下一个名叫nedelete的文件 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs - /user/admin/aaron/needdelete 删除hdfs中/user/admin/aaron名目以及该名目下的全部文件 1. 进入hadoop_home名目。 2. 执行sh bi

4、n/hadoop fs -rmr /user/admin/aaron 上传文件 上传一个本机/home/admin/newfile的文件到hdfs中/user/admin/aaron名目下 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs put /home/admin/newfile /user/admin/aaron/ 下载文件 下载hdfs中/user/admin/aaron名目下的newfile文件到本机/home/admin/newfile中 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs get /user/ad

5、min/aaron/newfile /home/admin/newfile 查看文件 我们可以挺直在hdfs中挺直查看文件，功能与类是类似 查看hdfs中/user/admin/aaron名目下的newfile文件 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop fs cat /home/admin/newfile maprece job操作 提交mapreduce job 原则上说，hadoop全部的mapreduce job都是一个jar包。 运行一个/home/admin/hadoop/job.jar的mapreduce job 1. 进入hadoop_ho

6、me名目。 2. 执行sh bin/hadoop jar /home/admin/hadoop/job.jar jobmainclass jobargs 杀死某个正在运行的job 假设job_id为：job_201005310937_0053 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop job - job_201005310937_0053 更多hadoop的 上面介绍的这些hadoop的操作指令是我们最常用的。假如你希翼了解更多，可以根据如下的方式猎取指令的解释信息。 1. 进入hadoop_home名目。 2. 执行sh bin/hadoop 我们可以看到

7、更多指令的解释信息： usage: hadoop -config confdir command where command is one of: namenode -format format the dfs system secondarynamenode run the dfs secondary namenode namenode run the dfs namenode datanode run a dfs datanode dfsadmin run a dfs admin client run a dfs filesystem checking utility fs run a g

8、eneric filesystem user client balaer run a cluster balancing utility jobacker run the mapreduce job tracker node pipes run a pipes job tasktracker run a mapreduce task tracker node job manipulate mapreduce jobs queue get information regarding jobqueues version print the version jar jar run a jar file dist srcurl desturl copy file or directories recursively archive -archivename name src * dest create a hadoop archive daemonlog get/ the