虚拟机下基于CentOS的Hadoop单机伪分布式环境搭建

1、虚拟机VMware环境下基于CentOS的单机伪分布式Hadoop开发环境搭建1.环境及安装软件说明本文所配置的运行环境是在Windows 7操作系统上，通过安装VMware虚拟机，在虚拟机上安装Linux操作系统Cent OS，在CentOS上安装Java环境和Hadoop开发组件的方式实现单机伪分布式Hadoop开发环境。Hadoop开发时所使用的软件及工具如下所示：.exe。（2）VMware Tool：（3）Linux操作系统：CentOS-5.6-i386-bin-DVD.iso（4）Java开发组件（JDK）：（5）Hadoop开发组件：Hadoop-64-.gz2.安装VMwar

2、e虚拟机双击VMware软件，进行安装，根据自己的情况选择安装目录。注意：在选择安装目录时该目录的文件夹必须是已经存在的，可以新建一个文件夹用于安装VMware。本文的安装路径为D:VMware。安装过程如下图1-12所示： 图1 图2 图3 图4 图5 图6 图7 图8 图9 图10 图11 图123.安装Linux操作系统CentOS安装过程如图13-21所示。 图13 图14 图15 图16 图17 图18 图20 图21图21在安装完成虚拟机之后，会发现虚拟机全屏显示、无法实现物理机和虚拟机之间的复制文件等导致操作不方便的问题。对此，本文将介绍安装VMware Tools的方式解决该问

3、题。（1）进入虚拟机界面，打开CentOs，点击“VM”，点击安装“Install VMware Tools”，如图22所示。图22（2）待虚拟机下载VMware Tool后出现如下图23所示界面。图23（3）解压文件VMwareTools-文件夹中，输入命令./vmware-install.pl。如图24所示。图24（4）待安装完成后，重启CentOS，即完成VMware Tools的安装过程。4.安装和配置JDK（1）首先获取root权限，再切换到/usr目录，并创建java文件夹。如下图25所示：图25（2）将复制到目录/usr/java中。如图26所示。图26然后对该文件进行解压缩，如

4、图27所示：图27（3）修改配置文件，如图28所示。图28在配置文件的末尾添加如图29所示的配置信息。图29然后按esc键退出插入模式，输入“：wq！”，即保存退出。最后，再执行一下使该修改有效。如图30所示。图30（4）验证JDK环境是否安装成功。如图31所示。图31如果出现图19所示的结果说明JDK环境配置正确。5.配置SSH该命令主要是为了实现在机器之间访问时免密码登录。配置基本步骤如下。1.生成密钥对，执行如下命令，如图32所示。图322.然后一直按<Enter>键，就会按照默认的选项将生成的密钥对保存在.ssh/id_rsa文件中，如图33所示。图333.进入.ssh目录

5、（.ssh目录在/root目录下），执行如下命令，如图34所示。图344.执行如下命令，如图35所示。图35如果出现如图35所示的结果，说明实现SSH连接并且不需要输入密码。6.配置Hadoop环境1.将Hadoop-64-.tar.gz复制到目录/usr下，如图36所示。图362.解压hadoop-64-.tar.gz，如图37所示。图373.修改Hadoop-64-的目录名称，如图38所示。图384.在/usr/hadoop中创建tmp文件夹，如图39所示。图395.配置Hadoop环境（1）将Hadoop的安装路径添加到/etc/profile中，修改/etc/profile文件，并使其

6、有效。如图40-41所示。图40图41配置完成后，在重启/etc/profile，使之有效。如图42所示。图42（2）随后要开始配置hadoop中各个节点的路径。1）切换到Hadoop安装路径找到hadoop下的etc/hadoop/hadoop-env.sh文件夹，使用vi或文本编辑器打开，添加如下语句，如图43所示。图432）配置core-site.xml的文档，如图44所示。图443）配置hdfs-site.xml的文档，如图45所示。图454）配置mapred-site.xml的文档，如图46所示。图465）Hadoop的运行·格式化HDFS文件系统在初次安装和使用Hadoo

7、p之前，需要格式化分布式系统HDFS。使用如下命令，如图47所示。图47·启动Hadoop环境切换到目录sbin下，启动Hadoop守护进程，命令如下图48所示。图48·停止Hadoop守护进程在sbin目录下，停止Hadoop守护进程的命令如下图49所示。图496）验证Hadoop是否安装成功。在启动Hadoop守护进程后，输入如下图50所示命令。图50如果出现这6个节点，说明Hadoop安装配置成功。7）常见问题及解决方案在安装Hadoop之后，我遇到的一个问题是SecondaryNameNode节点无法启动，在网上查阅了许多资料之后，找到了解决方案，要将hadoop安

8、装目录下/etc/hadoop/hadoop-env.sh中添加语句HADOOP-HEAPSIZE=2000，在运行发现SecondaryNameNode节点可以正常启动了。如下图51所示。图517.运行示例程序（1）首先找到Hadoop-的自带示例程序，其路径如下图52-53所示。图52图53（2）在HDFS中创建数据目录，进行文件上传等操作。1）先在HDFS中创建数据目录，如图54-55所示。图54图55其中/data/wordcount目录用来存放Hadoop自带的WordCount例子的数据文件，运行这个MapReduce任务的结果输出到/output/wordcount目录中。2）新

9、建文件inputWord和inputWord2，输入如下命令：vi /usr/inputWord和vi /usr/inputWord2,并输入如下图56-57所示的内容。图56图57可以通过输入命令cat /usr/inputWord 查看其内容，如下图58所示。图583）将本地文件/usr/inputWord和/usr/inputWord2这两个文件都上传到HDFS中，执行命令如下图59-60所示。图59图60从图中可以看出inputWord成功上传到HDFS中。通过命令：hadoop fs -text /data/wordcount/inputWord可以查看上传文件的内容，如图61-62

10、所示。图61图624）运行Hadoop自带程序WordCount。执行命令如下图63所示。图63其控制台输出程序的运行信息，如图64-68所示。图64图65图66图67图685）执行如下命令，查看运行结果，如图69所示。图696）登录到Hadoop Web作业状态查看界面，运行状态如图70-78所示。图70图71图72图73图74图75图76图77图788.常见问题及解决方案（1）VMware Tools安装在安装完成虚拟机之后，会发现虚拟机全屏显示、无法实现物理机和虚拟机之间的复制文件等导致操作不方便的问题。对此，本文将介绍安装VMware Tools的方式解决该问题。（2）解决CentOS

11、中的中文乱码问题1）在终端输入命令：yum install fonts-chinese这时系统自动会下载24M的 font-chinese包，根据提示按“y”进行下载。2）下载完成后，再输入命令yum install fonts-ISO8859-2-75dpi进行下载安装3）编辑系统配置文件：vi /etc/sysconfig/i18n 将原文件中的内容修改为：LANG="zh_CN.GB18030" LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN" SUPPORTED="zh_CN.UTF-8:zh_CN:zh:en_US.UTF-8:en_US:en" SYSFONT="lat0-sun16" 4）在命令行输入以下两条语句： cd /usr/share/fonts/ fc-cache -fv5）重启系统， shutdown -r now。中文乱码问题解决。（3）解决Seconda