hadoop入门教程

1、ubuntu 下安装配置 hadoop 1.0.4第一次搞hadoop ,折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，我的环境操作系统：wmv虚拟机中的ubuntu12.04hadoop 版本：hadoop-1.0.4（听说是稳定版就下了）eclipse 版本：eclipse-jee-indigo-SR2-win321 .先安装好jdk ,然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是2 .安装ssh这个也不用说了2 . 把 hadoop-1.0.4.tar.gz 拖到虚拟机中， 解压，比如/home/wys/Documents/hadoop-1.0.4/（有的还单独建了

2、个用户，为了舍去不必要的麻烦我都是用root用户来操作的）3 .修改 hadoop-1.0.4/conf 下面的 core-site.xml 文件，如下：<configuration><property><name></name><value>hdfs:/28:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/wy

3、s/Documents/tmp</value></property></configuration>28这个是虚拟机中ubuntu 的ip,听说用localhost , 都不行，我没试过，直接写上ip地址了tmp是预先创建的一个目录4 .修改 hadoop-env.sh把export JAVA_HOME=xxxxxx 这行的#号去掉，写上jdk的目录路径5 .修改 hdfs-site.xml 如下：<configuration><property><name>dfs.replic

4、ation</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>说明：为了以后用 eclipse开发出现各种问题，就把权限关了!6 .修改 mapred-site.xml<configuration><property><name>mapred.j

5、ob.tracker</name><value>28:9001</value></property></configuration>这里我也用了本机ip7 .启动 hadoop为了方便启动，我就把 hadoop配置到了环境变量（配置完记得重启）：export HADOOP_HOME=/home/wys/Documents/hadoop-1.0.4export JAVA_HOME=/home/wys/Documents/jdk1.6.0_24export JRE_HOME=$JAVA_HOME/jreexpor

6、t PATH=$PATH:$HADOOP_HOME/bin把这个复制到/etc/profile 文件中HADOOP_HOME JAVA_HOME根据实际情况而定!重启之后格式化分布式文件系统：hadoop namenode -format接着启动hadoopstart-all.sh成功后会看到一下信息：startingnamenode,loggingto/home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-namenode-ubuntu.outlocalhost:startingdatanode,loggingto/home/w

7、ys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-datanode-ubuntu.outlocalhost:startingsecondarynamenode,loggingto/home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-secondarynamenode-ubuntu.outstartingjobtracker,loggingto/home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-jobtrac

8、ker-ubuntu.outlocalhost:startingtasktracker,loggingto/home/wys/Documents/hadoop-1.0.4/libexec/./logs/hadoop-root-tasktracker-ub untu.out现在就可以在浏览器中输入地址:28:50030 28:50070均可以查看到一些信息假如这个28:50070地址无法访问是因为hadoop.tmp.dir 这个没 指定文件夹至此hadoop 已安装配置完成!Ecl

9、ipse 连接hadoop 开发程序入门前面一遍博文介绍了如何安装配置hadoop地址：这里就来介绍一下用eclipse如何连接hadoop开发由于我用的是虚拟机中的系统来做测试，多少有点不正确，还请谅解！1 .首先 要下载eclipse hadoop 插件我用的是hadoop 1.0.4 的版本，这里有个已经做好了 的版本下载地址：hadoop-eclipse-plugin-1.0.4.jar下载下来直接把jar文件放到eclipse/plugins/ 文件夹中，然后重启eclipse2 .之后会到看到如下图：然后设置下右边的hadoop 根目录没有的话说明插件没安装成功！3 .切换到 Ma

10、p/Reduce 视图：国匚V0 Repo5itory Exploring国百与总Deboglij Database Development舞DebugJJavaJ Java Brewsing? Java EE (dehuH)Java Type HierarchyJavaScri ptdJPA .； Map/ReducePlanning企 Plug-in Development下面有个黄色的大象：Tasks 而 Javadoc Map/Reduce Lccations 滑Master node=|-i''Hndqqp 匕七力ion,”Edit Hadoop tccd-tior.

11、兴 Delete4 .右击新建一个 hadoop 地址GeneralAdvanred parannetersLocation name： hadccp旦£name:少工DPS MasterJ U=2 M/R Master hostHost! 115Z1&BJA®12BPort; 9(KX)SOCKS proxyEnable £DCKS prosyHe st; hos：Port 1030把红框的都填下:Location name :这个随便写个Map/Reduce host port:这 2 个是要根据 conf/mapred-site.xml这个来定的DF

12、S Master port : 这个是对应你 conf/core-site.xml这个文件中 这个属性的值右边的Advanced parameters 就不用改了!完成后再看工程视图： _t Project Explorer 青 =. DFS LMation&lM hadoopt> & (1)一步一步展开 DFS Locations当出现ConnectException 异常时，只要检查下你写的地址跟端口是否跟hadoop 配置文件中一样即可！5 .连接成功之后类似这个样子:Project Explorer% | g,一口M DFS Loc

13、dtions* * hadoop* &- B home J & wys (1)j ” Docunnerfti (1) & tmp (1)J r±> m apred L_'- system (1)J o btra c ke r. i nfo (4,0 b_, rli6 .新建一个 MapReduce Project把 hadoop-1.0.4srcexamplesorgapachehadoopexamplesWordCount.java制到你的工程7 .在eclipse里，创建远程目录命名为 wordCount ,建完之后刷新就可以看到了1 Doc

14、 umenu (LJ三 Imp fit.l i. Download from 0F$.t Cre ate new d ire-ctaryL.cop" Upload files to DFS Upload directory to DFS.4沫 RefreshX8.然后从本地上传一个word.txt文件jDocuments (1)* & tmp (2):邑 rrapred WQrrlC nurrt CfTlStword.txt 内容:java c+ python cjava c+ javascripthelloworld hadoopDownload from DF5-Crea

15、te new dir&rtory».Upload files to DFS.Unload directory to DFMRefreshDeletemapreduce java hadoop hbase当出现 node.SafeModeException:异常，这时就要才巴 hadoop 安全模式关闭,命令：hadoop dfsadmin-safemode leave9.上传之后run as WordCount.java 记得带上参数，用空格隔开Mame: Wo rd Count Mai ft (s)= Ar

16、gumentsProgram arguments；Environin enth d9000/h o me/wy s/Oocu men 乜 /t m pj'wo r d Coe nt/vo r d.bdh dfsi /192.16&,115.1S: 9000/h Do ru ments ,/t m p/word Count/oLrt这个时候会出现Exception in thread "main" java.io.IOException: Failed to setpermissions of path: tmphadoop-wysmapredstagingw

17、ys1479426331.stagingto 0700 异常，是因为没有权限，网上说替换 hadoop-core-xx.jar 包中的org.apache.hadoop.fs.FileUtil.class 文件，除此之外我还没找到其他的方法了!文件地址：FileUtil10.替换之后刷新工程，再次执行WordCount.java 文件当控制台打印下面这些说明已经执行成功!13/E1, 13/01/1013/01/10 13/&1/19 ii/Bi/ia 13/01/10 13/ul；10 B/ei/ifl L3/Z1"9 1 vei/lft 13/61/10 J 3/

18、3; /10 13/G1/10 13/e1/10 13/01/1913/01/W 13/01/lfl 13/01/1013/01/W 13/01/10四切用工 99;32;42 99:32:42 99:32:42 99:32:42 39:32:4289 日 2:42 t>y!32:42 09:32:42 0i9:J2:42 09:32:42 09:32:42 09:32:42 09:3:42 39:31:42 孙 3"42 99:32:42 09:32:4? 09:32:42 99:32:42 明；32:42 09:32：v2IN1-0 INFO INfO INFO INFO

19、INFO INFO INK) INFO INPO INFO INFO TNFO INFO JNFQ INFO INFO INFO INTO 7NFO INFO INFOgpred. JobCJient: iidpred. JobCli&ntz vuprcd.JabClient: wpr lubCllent： tuprcd. JobClicnt: mapred. DobCli&nt nd口red. JobClient: liapr-Rd. JsbCli&nti iidpr ed. Julient; napr«d. JcbCli&nt: iwpr etl.

20、 JobCHent: napr«d. JabClient: iMpretl. QbCll&nTr napred. JobClient; ns pre d. JpbCli&nt: mapred. JabCHent; ndpred-JsbClient: maprpJ.InhClipnr: rnjpr e d 门。bC 1 i e nt: mprpd InbClt&nt: napred. ?ab<lient; tuprfid. JsbClient:bytes Wnitten=SlFileSyslemCjunteriFILE_B¥Tt5_READ93HDFsZ6YTEs2RfAD-176FILE_BYTES_biRITTEN-E2S2&H3FS_BYTESJ<RTTTFN=81Flie Irput rar(hdt CcsurtersBytes 阔''dp-deduce Fi dnework-lad output nate"ialized 口/1:口*=1.23flap Input r