hadoop环境搭建单节点篇

1、Hadoop环境搭建单节点篇Hadoop环境搭建单节点篇文章分类:Java编程自漫聊1.0发布以来，研究Hadoop也有一段时间了，目前环境已基本搭建好，规模为15台的小型集群，昨晚测试时是用wordcount统计一个1.2G的log文件，总耗时2分16秒，虽然测试文件不大，但其性能的优越性已经体现出来了。闲话不多说了，进正题。注：本文的环境搭建是针对双系统和linux系统的，而非win下的虚拟机！流程：装机阶段：安装ubuntu，jdk和hadoop创建一个名为hadoop的用户和用户组配置阶段：配置环境变量创建sshkey配置hadoop运行测试阶段：格式化namenode启动hadoop

2、跑wordcount准备：ubuntu10.10hadoop0.21.0安装ubuntu10.10wubi的傻瓜式安装应该不用我多说了吧，在win下用虚拟光驱载入，然后执行另外补充下，安装时最好断开网络连接（我们是直接拔的网线），因为ubuntu安装过程中需要更新一些语言包之类的东西，那些东西与我们要做的事没什么关系，下载时间又长，所以建议不更新。2、安装jdk1.6.0_23有多种方法，此处只介绍一种1、在usr下面新建一个文件夹Java,然后将jdk复制过来（也可直接mv过来）sudomkdir/usr/Javasudocpjdk的路径/usr/Java2 、进入到Java目录下，改变文件

3、权限为可执行cd/usr/Javasudochmodu+xjdk1.6.0_23.bin3、执行安装sudo./jdk1.6.0_23.bin（现象为Unpacking加一连串解压信息）3、安装hadoop0.21.01、将hadoop0.21.0.tar.gz复制到usr下面的local文件夹内mv)sudocphadoop的路径/usr/local2、进入到local目录下，解压hadoop0.21.0.tar.gzcd/usr/localsudotar-xzfhadoop0.21.0.tar.gz3、为了方便管理，将解压后的文件夹名改为hadoopsudomvhadoop0.21.0ha

4、doop4、创建一个名为hadoop的用户和用户组1、创建一个名为hadoop的用户组2、创建一个名为hadoop的用户，归到hadoop用户组下sudoadduser-ingrouphadoophadoop（注1：前一个hadoop为用户组名，后面的是用户名，之所以名字一样是为了方便统一管理注2：执行后会有一些信息需要填写，可以不填，都敲回车，用系统默认的即可，大概5个吧）3 、用gedit打开etc下的sudoers文件sudogedit/etc/sudoers4 、在rootALL=(ALL)ALL下面添加如下一行，然后保存关闭gedithadoopALL=(ALL)ALL(注1：网上有

5、文档上是说先切换到root用户，然后修改sudoers的权限，再打开添加hadoopALL=(ALL)ALL，然后再将权限改回为只读，这样就要特别注意一定要将权限改回为只读，不然“sudo”命令就无法使用了，很悲剧的说注2：添加hadoopALL=(ALL)ALL的意义在于能让hadoop用户使用“sudo命令)配置阶段：1、配置环境变量1、用gedit打开etc下的profile文件sudogedit/etc/profile2、在文件最后加入如下几行exportCLASSPATH=.:/usr/Java/jdk1.6.0_23/lib:/usr/Java/jdk1.6.0_23/jre/li

6、b:$CLASSPATHexportPATH=.:/usr/Java/jdk1.6.0_23/bin:/usr/Java/jdk1.6.0_23/jre/bin:/usr/local/hadoop/bin:$PATH（注1：以上所有jre项都不是必需的，可以不要注2：在win中环境变量的值是以“;”号隔开的，而这里是“:”注3：等号后面有个“.”别丢了，它表示当前目录）3、保存后关闭gedit，并重启机器sudoreboot（注：网上也有说用source命令使环境变量立即生效的，但是本人在实际操作时出了几次问题，所以建议重启机器最保险）4、重启后用hadoop用户登录，验证配置是否成功java

7、-version（此语句执行后如显示了jdk版本的话说明配置成功，如果没有则需检查profile中路径是否正确）（注：最好是用hadoop用户登录，因为以下步骤都是以此为前提的）2、创建ssh-key1、确保网络通畅，然后装载ssh服务sudoapt-getinstallopenssh-server（注：如果此语句执行失败且结果为“包被占用”的话，那么应该是ubuntu的“更新管理器”正在后台更新，你可以选择等待或者关闭更新，更新管理器在“系统”菜单中，具体位置忘了）2 、创建 ssh-key ，为 rsa（网上文档中也有dsa的）ssh-keygen-trsa-P（注1：此语句网上文档为ss

8、h-keygen-trsa-P""，效果一样注2：此语句执行后会要你填写key的保存位置，直接照着系统给出的那个默认位置填，也就是括号里的那个路径，如果全都照此文档操作的话那么括号中路径应该为"/home/hadoop/.ssh/id_rsa"）3、将此ssh-key添加到信任列表中，并启用此ssh-keycat/home/hadoop/.ssh/id_rsa.pub>>/home/hadoop/.ssh/authorized_keyssudo/etc/init.d/sshreload3、配置hadoop1、进入到hadoop

9、目录下，配置conf目录下的hadoop-env.sh中的JAVA_HOMEcd/usr/local/hadoopsudogeditconf/hadoop-env.sh（打开后在文档的上部莫行有“#exportJAVA_HOME=.”字样的地方，去掉“#”，然后在等号后面填写你的jdk路径，完全按此文档来的话应改为"exportJAVA_HOME=/usr/Java/jdk1.6.0_23"）2、配置conf目录下的core-site.xmlsudogeditconf/core-site.xml（打开后标签<configuration>&

10、lt;/configuration>中是空的，所以在空的地方加入如下配置）Xml代码<property><name></name><value>hdfs:/localhost:9000</value></property><property><name>dfs.replication</name>&am

11、p;lt;value>1</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property>3、配置conf目录下的mapred-site.xmlsudogeditconf/mapred-site.xml（打开后标签<c

12、onfiguration></configuration>中也是空的，添加如下配置）Xml代码<property><name>mapred.job.tracker</name><value>localhost:9001</value></property>运行测试阶段运行必需滴)1 、 格式化 namenode ( 首次1、保证此时在hadoop目录下，如不在请先进入hadoop目cd/

13、usr/local/hadoop2格式化namenodehadoopnamenode-format2、启动hadoop1、修改hadoop文件夹的权限，保证hadoop用户能正常访问其中的文件sudochown-hRhadoop/usr/local/hadoop2、启动hadoopbin/start-all.shjps（此语句执行后会列出已启动的东西NameNode,JobTracker,SecondaryNameNode.如果NameNode没有成功启动的话就要先执行"bin/stop-all.sh"停掉所有东西，然后重新格式化namenode，再启动）3、跑wordcountsudogedit/tmp/test.txt（打开后随便输入一些内容，如"muhahanidayedayeda"，然后保存退出）2 、将准备的测试文件上传到dfs文件系统中的firstTest目录下hadoopdfs-copyFromLocal/tmp/test.txtfirstTest（注：如dfs中不包含firstTest目录的话就会自动创建一个，关于查看dfs文件系统中已有目录的指令为"hadoopdfs-ls"）3 、执行wordcounthadoopjarhadoop-mapred-example0.21.0.jarwordcoun