hadoop常用指令

HDFS 常用文件操作命令前言HDFS命令基本格式：hadoop fs -cmd ls 命令hadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件put 命令hadoop fs -put hdfs file的父目录一定要存在，否则命令不会执行hadoop fs -put .hdfs dir 一定要存在，否则命令不会执行hadoop fs -put - 从键盘读取输入到hdfs file中，按Ctrl+D结束输入，hdfs file不能存在，否则命令不会执行moveFromLocal 命令hadoop fs -moveFromLocal . 与put相类似，命令执行后源文件 local src 被删除，也可以从从键盘读取输入到hdfs file中copyFromLocal 命令hadoop fs -copyFromLocal . 与put相类似，也可以从从键盘读取输入到hdfs file中get 命令hadoop fs -get local file不能和 hdfs file名字不能相同，否则会提示文件已存在，没有重名的文件会复制到本地hadoop fs -get . 拷贝多个文件或目录到本地时，本地要为文件夹路径 注意：如果用户不是root， local 路径要为用户文件夹下的路径，否则会出现权限问题，moveToLocal 命令当前版本中还未实现此命令copyToLocal 命令hadoop fs -copyToLocal . 与get相类似rm 命令hadoop fs -rm .hadoop fs -rm -r .每次可以删除多个文件或目录mkdir 命令hadoop fs -mkdir 只能一级一级的建目录，父目录不存在的话使用这个命令会报错hadoop fs -mkdir -p 所创建的目录如果父目录不存在就创建该父目录getmerge 命令hadoop fs -getmerge 将hdfs指定目录下所有文件排序后合并到local指定的文件中，文件不存在时会自动创建，文件存在时会覆盖里面的内容hadoop fs -getmerge -nl 加上nl后，合并到local file中的hdfs文件之间会空出一行cp 命令hadoop fs -cp 目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件还存在hadoop fs -cp . 目标文件夹要存在，否则命令不能执行mv 命令hadoop fs -mv 目标文件不能存在，否则命令不能执行，相当于给文件重命名并保存，源文件不存在hadoop fs -mv . 源路径有多个时，目标路径必须为目录，且必须存在。 注意：跨文件系统的移动（local到hdfs或者反过来）都是不允许的count 命令hadoop fs -count 统计hdfs对应路径下的目录个数，文件个数，文件总计大小 显示为目录个数，文件个数，文件总计大小，输入路径du 命令hadoop fs -du 显示hdfs对应路径下每个文件夹和文件的大小hadoop fs -du -s 显示hdfs对应路径下所有文件和的大小hadoop fs -du - h 显示hdfs对应路径下每个文件夹和文件的大小,文件的大小用方便阅读的形式表示，例如用64M代替67108864text 命令hadoop fs -text 将文本文件或某些格式的非文本文件通过文本格式输出setrep 命令hadoop fs -setrep -R 3 改变一个文件在hdfs中的副本个数，上述命令中数字3为所设置的副本个数，-R选项可以对一个人目录下的所有目录+文件递归执行改变副本个数的操作stat 命令hdoop fs -stat format 返回对应路径的状态信息format可选参数有：%b（文件大小），%o（Block大小），%n（文件名），%r（副本个数），%y（最后一次修改日期和时间）可以这样书写hadoop fs -stat %b%o%n ，不过不建议，这样每个字符输出的结果不是太容易分清楚tail 命令hadoop fs -tail 在标准输出中显示文件末尾的1KB数据archive 命令hadoop archive -archiveName name.har -p * 命令中参数name：压缩文件名，自己任意取； ：压缩文件所在的父目录； ：要压缩的文件名； ：压缩文件存放路径*示例：hadoop archive -archiveName hadoop.har -p /user 1.txt 2.txt /des 示例中将hdfs中/user目录下的文件1.txt，2.txt压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下，如果1.txt，2.txt不写就是将/user目录下所有的目录和文件压缩成一个名叫hadoop.har的文件存放在hdfs中/des目录下显示har的内容可以用如下命令：hadoop fs -ls /des/hadoop.jar显示har压缩的是那些文件可以用如下命令hadoop fs -ls -R har:/des/hadoop.har注意：har文件不能进行二次压缩。如果想给.har加文件，只能找到原来的文件，重新创建一个。har文件中原来文件的数据并没有变化，har文件真正的作用是减少NameNode和DataNode过多的空间浪费。balancer 命令hdfs balancer如果管理员发现某些DataNode保存数据过多，某些DataNode保存数据相对较少，可以使用上述命令手动启动内部的均衡过程dfsadmin 命令hdfs dfsadmin -help管理员可以通过dfsadmin管理HDFS，用法可以通过上述命令查看hdfs dfsadmin -report显示文件系统的基本数据hdfs dfsadmin -safemode enter：进入安全模式；leave：离开安全模式；get：获知是否开启安全模式； wait：等待离开安全模式distcp 命令用来在两个HDFS之间拷贝数据1. 文件操作(1) 列出HDFS下的文件/usr/local/hadoop$bin/hadoop dfs -ls(2) 列出HDFS文件下名为in的文档中的文件/usr/local/hadoop$bin/hadoop dfs -ls in(3) 上传文件将hadoop目录下的test1文件上传到HDFS上并重命名为test：/usr/local/hadoop$bin/hadoop dfs -put test1 test(4) 文件被复制到本地系统中将HDFS中的in文件复制到本地系统并命名为getin：/usr/local/hadoop$bin/hadoop dfs -get in getin(5) 删除文档删除HDFS下名为out的文档：/usr/local/hadoop$bin/hadoop dfs -rmr out(6) 查看文件查看HDFS下in文件中的内容：/usr/local/hadoop$bin/hadoop dfs -cat in/*(7) 建立目录/usr/local/hadoop$bin/hadoop dfs -mkdir /user/hadoop/examples（目录/目录名）只能一级一级的建目录。(8) 复制文件/usr/local/hadoop$bin/hadoop dfs -copyFromLocal 源路径 路径(9)通过Hadoop命令把两个文件的内容合并起来hdfs dfs -getmerge 位于hdfs中的原文件（里面有多个文件） 合并后的文件名例如：hdfs dfs -getmerge hdfs:/Master:9000/data/SogouResult.txt CombinedResult 注：合并后的文件位于当前目录，不在hdfs中，是本地文件2. 管理与更新(1) 执行基本信息查看HDFS的基本统计信息：/usr/local/hadoop$bin/hadoop dfsadmin -report(2) 退出安全模式NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。系统显示Name node in safe mode，说明系统正处于安全模式，这时只需要等待十几秒即可，也可通过下面的命令退出安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode leave(3) 进入安全模式在必要情况下，可以通过以下命令把HDFS置于安全模式：/usr/local/hadoop$bin/hadoop dfsadmin -safemode enter(4)节点添加添加一个新的DataNode节点，先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），修改$HADOOP_HOME/conf/master文件，加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件，加入新节点名，再建立新加节点无密码的SSH连接，运行启动命令为：/usr/local/h