安装及运行维护汇总小问题

1、windows安装hadoop博客分类：· hadoophadoop是什么就不多说了，看这里hadoop推荐部署环境是在linux，但是我们想要在windows体验一下还是可以的，followme我的环境：windowsxp，hadoop安装包(0.20.1)，cygwin打开cygwinJava代码1. explorer.把hadoop的包放到这个目录下然后输入命令Java代码1. tarzxfhadoop-0.20.1.tar.gz解压完成后进入hadoop-0.20.1的配置目录，打开core-site.xml，加入以下内容。这里是定义namenode运行地址和端口Xml代码1

2、. <property>2. <name></name>3. <value>hdfs:/localhost:9000</value>4. </property>打开hdfs-site.xml，加入以下内容Java代码1. <property>2. <name>dfs.replication</name>3. <value>1</value>4. </property>这里把复制因子设置为1是因为我们在windows上做伪分布，只能启动一个datanod

3、e接下来可以定义namenode数据目录，和datanode数据目录。当然这个不是必须的，默认是在/tmp目录下面Xml代码1. <property>2. <name></name>3. <value>c:/filesystem/name</value>4. </property>5. <property>6. <name></name>7. <value>c:/filesystem/data</value>8. </property>最后修改hado

4、op-env.sh，把下面注释的这行打开，并设置为你的jdk路径。如果你的java在ProgramFiles下，则整个jdk路径加引号Java代码exportJAVA_HOME=你的jdk路径ok，在cygwin下进入bin目录,首先需要格式化namenodeJava代码1. ./hadoopnamenode-format然后启动namenodeJava代码1. ./hadoopnamenode再打开一个datanode，同样在bin目录下Java代码1. ./hadoopdatanode不出意外，你会看到namenodedatanode我们可以试一下上传文件Java代码1. ./hadoop

5、fs-putd:/download/vmware6.03.rar/tt/vm.rarlist一下Java代码1. ./hadoopfs-lsr/tt结果：Java代码1. -rw-r-r-1Administratorsupergroup207939702010-01-1815:52/tt/vm.rar有兴趣的筒子可以去c:/filesystem/data/current看看哈：）A.当我执行./hadoopnamenode-format时为啥会出现下面的错误提示，我的hadoop-env.sh中JAVA_HOME配置为：exportJAVA_HOME=/cygdrive/d/Java/jdk1

6、.6.0_10。出现的问题是：/cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line2:$'r':commandnotfound./cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line52:$'r':commandnotfound/bin/java:cannotexecute:NOsuchfileordirectory0_10请指教解决了：在conf/目录下执行“dos2unixhadoop-env.sh”就OK了。Lulu_pcB.hadoop错误INFO ipc.Client:

7、Retrying connect to server: localhost/ .  2012-05-14 16:23:13|  分类： hadoop|字号 订阅hadoop安装完成后，必须要用haddop namenode format格式化后，才能使用，如果重启机器在启动hadoop后，用hadoop fs -ls命令老是报 10/09/25 18:35:29 INFO ipc.Client: Retrying connect to server: localhost/:9000. Already

8、 tried 0 time(s).的错误，用jps命令，也看不不到namenode的进程， 必须再用命令hadoop namenode format格式化后，才能再使用    原因是：hadoop默认配置是把一些tmp文件放在/tmp目录下，重启系统后，tmp目录下的东西被清除，所以报错    解决方法：在conf/core-site.xml （0.19.2版本的为conf/hadoop-site.xml）中增加以下内容   <property>   <name>hado

9、op.tmp.dir</name>   <value>/var/log/hadoop/tmp</value>  <description>A base for other temporary directories</description>  </property>  重启hadoop后，格式化namenode即可 C.错误1. .could only be replicated to 0 nodes,instead of 1这个错误主要的解决方法是:1.把 t

10、mp文件全部删除。3.重新格式化namenode :(bin/hadoop namenode -format)也许你不知道hadoop 的tmp文件在哪里，默认情况下应该才 cygwin根目录下的tmp文件夹内：如下图所示：把它们都删掉。就OK了。 (cd /tmp  ,   rm -rf *)参考博客：错误2：name node is in safe mode直接输入命令： bin/hadoop dfsadmin -safemode leave 离开安全模式-华丽分割-记录配置过程到此结束，如有错误，烦请指出，不胜感激。D.hadoop集群启动start-all.sh的时

11、候，slave总是无法启动datanode，并会报错： could only be replicated to 0 nodes, instead of 1 就是有节点的标识可能重复（个人认为这个错误的原因）。也可能有其他原因，一下解决方法请依次尝试，我是解决了。解决方法：1. 删除所有节点dfs.data.dir和dfs.tmp.dir目录（默认为tmp/dfs/data和tmp/dfs/tmp）下的数据文件；然后重新hadoop namenode -format 格式化节点；然后启动。2. 如果是端口访问的问题，你应该确保所用的端口都打开，比如hdfs:/machine1:9000/、500

12、30、50070之类的。执行#iptables -I INPUT -p tcp dport 9000 -j ACCEPT 命令。3. 如果还有报错：hdfs.DFSClient: Exception in createBlockOutputStream .ConnectException: Connection refused；应该是datanode上的端口不能访问，到datanode上修改iptables：#iptables -I INPUT -s machine1 -p tcp -j ACCEPT4. 还有可能是防火墙的限制集群间的互相通信。尝试关闭防火墙。/etc/init.d/ipta

13、bles stop5. 最后还有可能磁盘空间不够了，请查看 df -al6. 我在解决这个问题的时候还有人说：先后启动namenode、datanode可以解决这个问题（本人尝试发现没用，大家可以试试）$hadoop-daemon.sh start namenode ； $hadoop-daemon.sh start datanodeE.(1)如果datanode连接不上namenode，导致datanode无法启动。ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to . fai

14、led on local exception: .NoRouteToHostException: No route to host(2)报错 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.EOFException  无法向datanode写数据块，即表明无法向datanode正常连接解决方法：关闭防火墙：如果是Linux系统复制代码代码如下:service iptables stop 禁用selinux:编辑 /etc/

15、selinux/config文件，设置“SELINUX=disabled”如果是在windows平台，则需要将由cygwin安装的sshd程序加入被windows防火墙允许通过的程序。 F.安全模式导致的错误org.apache.hadoop.dfs.SafeModeException: Cannot delete ., Name node is in safe mode在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有

16、效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。复制代码代码如下:hadoop dfsadmin -safemode leave G.hadoop-root-datanode-master.log 中有如下错误：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。原因

17、:每次namenode format会重新创建一个namenodeId,而dfs.data.dir参数配置的目录中包含的是上次format创建的id,和.dir参数配置的目录中的id不一致。namenode format清空了namenode下的数据,但是没有清空datanode下的数据,导致启动时失败,所要做的就是每次fotmat前,清空dfs.data.dir参数配置的目录.格式化hdfs的命令复制代码代码如下:hadoop namenode -format  关闭安全模式H.代码总是不能成功运行,?产生如下错误：java.io.FileNotFound

18、Exception: FileE:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005020105_0001/attempt_201005020105_0001_m_000002_0/work/tmpdoes not exist.at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFi

19、leSystem.java:245)at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)at org.apache.hadoop.mapred.Child.main(Child.java:155)在?Cygwin?下必须设置mapreduce任务的中间暂存目录mapred.child.tmp，否则会出错的?在mapred-site.xml中：?添加:?<property>?<name>mapred.child.tmp</name><value>/home/

20、hadoop-0.20.1/temp</value></property>?注：尽量不要使用系统的/tmp，可能因某种原因会丢失文件，然后对namenode进行格式化$ hadoop namenode -format如果报错无法格式化，存在不可删除的文件，可能是因为hadoop.tmp.dir的目录中对应的目录中的文件没删除干净。即删除hadoop/tmp/dfs目录中 data和tmp或者name中的current目录的数据文件如果文件不可删除，报错设备忙或者资源忙错误，则是被相关的进程所占用，通过ps查看，杀掉相关的进程id。（如果是windows环境部署hadoop，则java进程需要被任务管理器杀死）。删除相关的占用进程，即可删除hadoop/tmp/dfs中的残存数据文件，然后重新对namenode格式化。然后执行相关的命令运行hadoop$ start-all.sh$ hadoop dfsadmin -report 查看当前hadoop的配置情况，包括datanode情况$ hadoop jar jar文件 任务 Input目录 output目录进行相关的hadoop任务二、hadoop集群启动start-all.sh的时候，slave总是无法启动datanode，并会报错： could only be replicated