hadoop实验报告

1、基于hadoop的大规模文本处理技术实验专业班级： 软件1102学生姓名： 张国宇学 号：setup hadoop on ubuntu 11.04 64-bit提示：前面的putty软件安装省略；直接进入jdk的安装。1. install sun jdk由于sun jdk在ubuntu的软件中心中无法找到，我们必须使用外部的ppa打开终端并且运行以下命令：sudo add-apt-repository ppa:ferramroberto/javasudo apt-get updatesudo apt-get install sun-java6-binsudo apt-get install s

2、un-java6-jdkadd java_home variable:先输入粘贴下面文字：sudo vi /etc/environment再将下面的文字输入进去：按i键添加，esc键退出，x保存退出；如下图：export java_home=/usr/lib/jvm/java-6-sun-1.6.0.26test the success of installation in terminal在终端测试安装是否成功,：sudo . /etc/environmentjava - version2. check ssh settingssh localhost如果出现“ connection ref

3、used ”，你最好重新安装 ssh （如下命令可以安装） ：sudo apt-get install openssh-server openssh-client如果你没有通行证 ssh 到主机，执行下面的命令：ssh-keygen -t dsa -p -f /.ssh/id_dsacat /.ssh/id_dsa.pub /.ssh/authorized_keys3. setup hadoop安装 apache2sudo apt-get install apache2下载hadoop：1.0.4解压hadoop所下载的文件包：tar xvfz hadoop-1.0.4.tar.gz下载最近的

4、一个稳定版本，解压。编辑/ hadoop-env.sh 定义 java_home“use/library/java-6-sun-1.6.0.26 ”作为 hadoop 的根目录：sudo vi conf/hadoop-env.sh将以下内容加到文件最后：# the java implementation to use. required.export java_home=/usr/lib/jvm/java-6-sun-1.6.0.26pseudo-distributed operation （single-node cluster）:将下面中间部分插入： （得到如图： ）cat conf/co

5、re-site.xml:cat conf/hdfs-site.xml:dfs.replication1cat conf/mapred-site.xml:localhost:9001switch to hadoop root directory and format a new distributed filesystem:bin/hadoop namenode - format注意：这一步一定不能掉，否则后面会出错！you ll get info like“ storagedirectory/tmp/hadoop- ubuntu/dfs/name has been successfully f

6、ormatted. ” remember this path is the hdfs home directory of namenode. (你会得 到提示：你已经成功格式化。 ) start and stop hadoop daemons (启动和终止进程。 ) : bin/start-all.sh (start the hadoop) bin/stop-all.sh (stop the hadoop)web interfaces for the namenode and the jobtracker: namenode -提示：如果前面没有格式化成功，这个网址会出现就不去的现象！ ！ ！

7、如果进 不去就先结束进程，重新格式化然后再开始进程。 jobtracker -4. deploy an example map-reduce job创 建 路 径 /home/ubuntu/mapreduce/wordcount/ ， 并 在 该 目 录 下 放 置 文 本 文 件 worldcount.txt 。然后将这些文件复制到 hdfsb录： bin/hadoop dfs -copyfromlocal /home/ubuntu/mapreduce/wordcount /tmp/hadoop-ubuntu/dfs/name/wordcountbin/hadoop dfs -ls /tmp

8、/hadoop-ubuntu/dfs/name/wordcount run the job: bin/hadoop jar hadoop*examples*.jar wordcount /tmp/hadoop-ubuntu/dfs/name/wordcount /tmp/hadoop-ubuntu/dfs/name/wordcount-outputif the output info looks no problem, copy the output file from hdfsto local directory:bin/hadoop dfs -getmerge/tmp/hadoop-ubuntu/dfs/name/wordcount-output/home/ubuntu/mapreduce/wordcount/now you can open the output file in your local directory to view theresults.实验总结：1、 在实验过程中，发现对li