实验一hadoop的安装与使用

1、电子信息学院实验报告书课程名：云计算技术题目：实验一、Hadoop的安装与使用实验类别【设计】班级：bx1002学号：31姓 名：杨汉标评语:实验内容：优秀良好合格不合格报告格式：优秀良好合格不合格实验态度：优秀良好合格不合格实验结果：优秀良好合格不合格课题纪律：优秀良好合格不合格【实验环境】计算机、Java、Hadoop【实验目的】.理解云计算的基本理论知识；.理解Hadoop的基本概念.掌握如何在 Linux上安装Hadoop;【实验要求】下载 Hadoop 和 JDK;安装SSH对Linux进行相应配置。【基础知识】H- HadoopGoogle MapReduce勺一个Java实现。M

2、apReduce一种简化的分布式编程模式，让 程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样，MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集 群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程 序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得 资源。4 程序员的开发步骤：定义Mapper,处理输入的 Key-Value 对，定义Reducer,可选，对中间结果进行规约，输出最终结果定义 InputFormat 和 OutputFormat，可选，InputF

3、ormat 将每行为 Java 类供 Mapper 函数使用，不定义时默认为String 。定义main函数，在里面定义一个 Job并运行它+ Hadoop的工作过程一个集群中只有一个 NameNode可以有多个 DataNodes; namenode承担数据的位置存储信息，并将存储位置信息告诉client端；得到位置信息后，client端开始写数据；写数据的时候是将数据分块，并存储为多份（一般为3份）,放在不同的datanode节点；client先将数据写到第一个节点，在第一个节点接收数据的同时，又将它所接收的数据推送到第二个，第二个推送到第三个节点，如果有多个节点，依次类推；从图中可以知道

4、 NameNode不参与数据块的IO的。H4DOOPblSTtilBUTEbFILE5Y5TEM(HOFS)WRITING tsATA IN HtlFS CLUSTERohe yM Mblocks tZE 日热能靖 dmcw m blfrtkj;(山山a1 . 64 orI +。产忖|吗 j jptncthiFig? /iBLOCK AND KStUCATIONAh pleosEo) divkd the datapr 121MB blocksb) capy 祖工:h telfldk bi three ptacj禺 gd Client alnoyj. khw(rhc fitw tWnsEPLIE

5、TIOM FAGOft： &uLh blck i stfired ift rnulfipte 双冏融(whI 3)心K N儿妣加悦MAMENOOE ASSIgtfdS MTAN8ES比*5口出 1. 04ttfMl34 2. M附例) $LeTs work on rhe tint blech春 AfnEtEh tforrhney mwar丐hregmal corMr. Ndrtnode please helpmt iiEd 12BMA bhtkwith Epkgl*a时 1CLBEWT STARTS 皿EW DATAyjj go budutr. ,Addresj of three fa忖I h

6、avie cl5 /.ssh/authorized_keys验证SSK否安装成功输入ssh localhost 。如果显示本机登录成功就表明安装成功。4关闭防火墙$sudo ufw disable注意：这步非常重要，如果不关闭，会出现找不到datanode的问题4安装运行Hadoop (以版本为例)(1)下载Hadoop：在页面上下载 Hadoop。(2)安装配置Hadoop单节点配置：安装单节点的Hadoop无需配置，在这种方式下，Hadoo啾认作为一个单独的Java进程。 伪分布配置：伪分布的Hadoo年只有一个节点的集群。在这个集群中，计算机既是master也是slave ,即使 nam

7、enode也是 datanode ,既是 jobtracker 也是 tasktracker 。配置的过程如下：1、进入conf文件夹修改下面的文件。中加入下面内容: export JAVA_HOME = （JAV侬装目录）文件内容修改为下面内容： /home/zhongping/tmp 文件内容修改为下面内容：（replication 默认为3,如果不修改，datanode少于三台就会报错）1文件内容修改为下面内容：localhost:9001/property/configuration2、格式化Hadoop文件系统，在命令行输入命令： bin/hadoop namenode -forma

8、t3、启动Hadoop,在命令行输入命令：bin/4、验证Hadoo或否安装成功，在浏览器中输入下面网址，如果正常打开说明安装成功。 (mapreduce 的web页面)(hdfs的web页面)4运行实例先在本地磁盘建立两个输入文件file01 和file02$echo Hello World Bye World file01$echo Hello Hadoop Goodbye Hadoop file02在hdfs 中建立一个 input 目录：$hadoop fs -mkdir input将file01 和 file02 拷贝到 hdfs 中：$hadoop fs -copyFromLoca

9、l /home/zhongping/fileO* input(4)执行 wordcount:$hadoop jar wordcount input output(5)完成之后，查看结果$hadoop fs -cat output/part-r-00000工 环境变量的配置export JAVA_HOME = /home/chuanqing/profile/ CLASSPATH =”.:$JAVA_HOME/lib:$CLASSPATH”export PATH = $JAVA_HOME/:PATH”export HADOOP_INSTALL=/home/chuanqing/profile/ PATH=$PATH:$HADOOP_INSTAL