安装hadoop以及运行wordcount

1、成绩 虚拟化与云计算实验报告学 院 计算机学院专 业 软件工程 学 号 3112006229 姓 名 陈志勇指导教师 姜文超 日 期 2015年 12月 Ubuntu14.04安装配置Hadoop2.7.1与 wordcount实例运行第一阶段：安装Ubuntu系统1、 打开VMware Workstation，创建新的虚拟机。点击下一步2、 选择下载好的Ubuntu镜像文件，点击下一步进行安装3、 安装好Ubuntu系统后显示如下界面第二阶段：安装配置JDK环境1、 把下载好的jdk文件放到桌面文件夹中2、 在usr目录中新建一个java文件夹3、 把jdk复制到java文件夹中执行结果如下

2、图： 4、 授权安装jdk文件，执行如下命令5、 执行开始安装命令：sudo u+x /usr/java/jdk-6u45-linux-x64.bin，执行结果如下：执行结果会在Home文件夹中多出一个jdk安装目录把该文件夹复制到usr/jdk目录中6、 设置jdk环境变量，要注意此时需要把权限切换成根权限才能执行命令（1）设置系统启动加载索引，弹出环境设置编辑窗口（2）在此窗口中追加如下信息PATH='/usr/java/jdk1.6.0_45/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr

3、/games'export JAVA_HOME=/usr/java/jdk1.6.0_45export JRE_HOME=/usr/java/jdk1.6.0_45/jreexport CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib（3）设置系统的环境变量，输入一下环境变量的设置信息#Set Java Environmentexport JAVA_HOME=/usr/java/jdk1.6.0_45export JRE_HOME=/usr/java/jdk1.6.0_45/jreexport CLASSPATH=.:$JAV

4、A_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH完成后运行java version 显示jdk版本信息，查看是否安装成功上图显示java version 为1.6.045，则说明JDK安装成功第三阶段：配置运行环境1、根据官网的安装教程，需要安装ssh和rsync安装过程中出现如下问题： 经查资料这是因为,openssh-server是依赖于openssh-clien的,那ubuntu不是自带了openssh-client吗?原因是自带的openssh-clien与所要安装的ope

5、nssh-server所依赖的版本不同,这里所依赖的版本是1:6.6p1-2ubuntu1E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。所以要安装对应版本的openssh-client,来覆盖掉ubuntu自带的执行以下命令：sudo apt-get install openssh-client=1:6.6p1-2ubuntu1，按照提示执行下一步命令，执行结果如下，可以看到openssh-client被降级成功再次执行sudo apt-get install ssh命令，执行结果如下，可以正常执行下去再执行sudo apt-get install rsy

6、nc命令：可以看到rsync已是最新版本的信息2、 创建Hadoop用户组3、创建hadoop用户，添加fullname为hadoop014、 给hadoop用户添加权限，执行以下命令，按enter后进入编辑sudoers页面，添加hadoop权限，如下图所示5、 建立ssh无密码登录本机下面采用rsa方式创建ssh-key，如图所示执行完成后在ssh目录下生成两个文件：id_rsa和id_rsa.pub6、 进入ssh目录，将id_rsa.pub追加到authorized_keys授权文件中，完成后就可以 无密码登陆本机了：7、 登陆localhost，验证是否能够实现登陆:可以看出登陆成功

7、8、 退出登陆第四阶段：安装Hadoop1、把下载好的Hadoop复制到虚拟机中2、完成后执行以下命令把hadoop移动到user目录下：sudo mv /home/chen/Desktop/hadoop /user/hadoop，执行完后可以在usr目录下看到hadoop文件夹3、 将hadoop文件夹的属主用户设为hadoop：4、 打开hadoop/etc/hadoop/hadoop_env.sh文件进行配置配置JAVA_HOME:5、 打开core-site.xml文件，添加以下配置信息：6、 打开mapred-site.xml文件，添加以下配置信息：7、 打开hdfs-site.xm

8、l文件，添加以下配置信息：8、 打开master文件，输入localhost（单机环境只需要localhost）9、 打开slaves文件，单机只需要添加localhost:第五阶段：运行hadoop1、 初次运行hadoop需要执行格式化操作，命令如下：（注：如果是自定义用户操作，不能执行此步骤，因此需要切换到root权限执行），执行结果如下图，显示datalog1和datalog2已成功创建：2、 启动sbin/start-all.sh，执行结果如下:3、 检测hadoop是否成功启动：第六阶段：执行workout程序1、 在、usr/hadoop目录下创建文件夹“file”2、 创建两个

9、文本：file1.txt和file2.txt, 使file1.txt内容为"Hello World"，file2.txt内容为"Hello Hadoop"。3、 在HDFS文件夹创建输入文件夹，hdfs路径如下：4、在input创建f1、f2并写内容命令如下：cat input/f1 Hello world2cat input/f2 Hello hadoop25、.在hdfs创建/porrylee/input目录，命令如下：bin/hadoop fs  -mkdir /porryleebin/hadoop fs  -mkdir /porrylee/input6、 将f1、f2文件copy到hdfs /porrylee/input目录7、 查看hdfs上是否有f1、f2文件：bin/hadoop fs -ls /porrylee/input/上图可以看到我们找到了两个文件8、 执行wordcount程序命令如下：bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples