cent OS 下hadoop完全分布式安装

1、安装Cent OS 61、首先，要有一张CentOS 6.4的安装介质，使用介质启动电脑出现如下界面界面说明：Install or upgrade an existing system 安装或升级现有的系统install system with basic video driver 安装过程中采用基本的显卡驱动Rescue installed system 进入系统修复模式Boot from local drive 退出安装从硬盘启动Memory test 内存检测注：用联想E49安装时选择第一项安装时会出现屏幕显示异常的问题，后改用第二项安装时就没有出现问题2、介质直接“skip”就可以了3

2、、出现引导界面，点击“next”4、选中“English（English）”否则会有部分乱码问题5、键盘布局选择“U.S.English”6、选择“Basic Storage Devies点击Next7、询问是否忽略所有数据，新电脑安装系统选择Yes,discard any data8、Hostname填写格式“英文名.姓”9、网络设置安装图示顺序点击就可以了这里可以不设置 在安装完毕后可以通过Linux命令进行设置10、时区可以在地图上点击，选择“shanghai”并取消System clock uses UTC前面的对勾11、设置root的密码（重要必须牢记密码）12、硬盘分区，一定要按照

3、图示点选如果想安装双系统这里不能这么选，请查找资料进行选择13、调整分区，必须要有/home这个分区，如果没有这个分区，安装部分软件会出现不能安装的问题14、询问是否格式化分区15、将更改写入到硬盘16、引导程序安装位置17、最重要的一步，也是本教程最关机的一步，也是其他教程没有提及的一步，按图示顺序点击18、取消以下内容的所有选项根据自己的需要进行选择 这些都是系统提供的一些工具 可以选择安装这些工具ApplicationsBase SystemServers并对Desktops进行如下设置即取消如下选项：Desktop Debugging and Performance ToolsDesk

4、top PlatformRemote Desktop ClientsInput Methods中仅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消19、选中Languages，并选中右侧的Chinese Support然后点击红色区域20、调整完成后如下图所示21、至此，一个最精简的桌面环境就设置完成了，22、安装完成，重启23、重启之后，的License Information24、Create UserUsername：填写您的英文名（不带.姓）Full Name：填写您的英文名.姓（首字母大写）25、Date and Time 选中 “Synchroniz

5、e data and time over the network”Finsh之后系统将重启26、第一次登录，登录前不要做任何更改，这个很重要！登录之后紧接着退出第二次登录，选择语言，在红色区域选择下拉小三角，选other，选中“汉语（中国）”27、登录之后，请一定按照如下顺序点击！至此，CentOS安装完成，如有其他问题，请随时与我联系！新建运行hadoop 专属用户名 hduser 1 切换到root 权限 su 提示输入root密码 输入密码 回车进入2 新建 hduser 用户 adduser -m hduser3为 hduser 用户 设置密码 passwd hduser 两次输入密码

6、即可这里使用四台主机进行搭建，分别为NameNode 192.168.0.156DataNode1 192.168.0.157DataNode1 192.168.0.158DataNode1 192.168.0.159以下设置均在root权限下进行设置将所有的主机进行组网1 修改所有的主机文件 /etc/hosts 添加主机名称和对应的IP，形式如下所示127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4:1 localhost localhost.localdomain localhost6

7、localhost6.localdomain6192.168.0.156NameNode192.168.0.157DataNode1192.168.0.158 DataNode2192.168.0.159 DataNode32修改/etc/sysconfig/network-script/ifcgf-eth0 文件，定义网卡的IP DNS 工作组 IP地址类型（动态 或者静态）广播地址等信息注意 当一台主机有多张网卡时 /etc/sysconfig/netrok-script/ 文件中包含多个 ifcgf- 文件，修改接入网络的那张网卡的对应文件，文件内容的正确与否直接关系到时否能正确组网文件

8、内容包括DEVICE=eth0 #网卡名称BOOTPROTO=static #静态/动态IPIPADDR=192.168.0.156 #网卡的IP地址NETMASK=255.255.255.0 #子网掩码GATEWAY=192.168.0.1 #默认网关TYPE=Ethernet3 关闭防火墙（如果对防火墙有很好的认识可以对防火墙规则进行配置，在满足Hadoop需要的同时增强系统的安全性，这里只介绍完全关闭防火墙） /sbin/iptables-IINPUT-ptcp-dport80-jACCEPT/sbin/iptables-IINPUT-ptcp-dport22-jACCEPT/etc/r

9、c.d/init.d/iptablessave重启计算机后，防火墙默认已经开放了80和22两个端口。临时性的完全关闭防火墙，可以不重启机器：/etc/init.d/iptablestop #本次关闭防火墙，重启后恢复防火墙/etc/init.d/iptablerestart # 重启防火墙永久性关闭防火墙：chkconfig-level35iptablesoff# 注意中间的是两个英式小短线；重启可以通过命令 /etc/init.d/iptables status查看防火墙状态如果提示 fire is not run 表示防火墙已经完全关闭经过上面步骤后，计算机组网已经完成，我们可以通过 pi

10、ng IP地址/主机名 如 ping 192.168.0.159 或者ping DataNode3 的方式来验证网络是否联通安装JDK 注意： 各主机JDK安装版本和安装位置必须相同 JDK可以去Oracl 官网进行下载，可以根据自己电脑安装的是 Linux系统来选择是 64位还是 32 位 JDK for Linux这里以jdk-7u45-linux-x64.gz为例 下载JDK 存放在 /home/hduser/ 目录下JDK安装在/usr/java录下（需要新建文件mkdir /usr/java1进入/usr/java文件 cd /usr/java2解压软件包 jdk-7u45-linu

11、x-x64.gz gunzip /home/hduser/jdk-7u45-linux-x64.gz3解压后会在 /usr/java/ 目录下生成 jdk1.7.0_45 文件夹4配置Java系统环境变量 ，在root权限下打开 /etc/profile 文件 vim /etc/profile5在文件的末尾添加上如下内容export JAVA_HOME=/usr/java/jdk1.7.0_45export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$P

12、ATHexport JRE_HOME=$JAVA_HOME/jre6由于Linux系统默认安装openJDK 所以这里要修改默认JDK为我们安装的JDK在hduser账户下输入下列命令sudo update-alternatives - -install /usr/bin/java java /user/java/jdk1.7.0_45/bin/java 300sudo update-alternatives - -install /usr/bin/javac javac /user/java/jdk1.7.0_45/bin/javac 300(注意 红色部分是设置的JAVA_HOME的文件路

13、径，也就是Java的安装路径)Sudo update-alternatives - -config java会出现Linux中所有可用的JDK 我们选择自己安装的JDK 安回车键即可7 查看Linux是否是我们安装的JDK 输入命令Java -version 如果出现如下图所示即为安装成功配置SSH免密码登录NameNode 节点需要随时访问DataNode节点，这就需要在访问时不需要输入密码。(如果每次访问DataNode节点都需要人工输入密码是很麻烦的事情)在每个节点中完成下列操作1 切换到hduser 用户下2 查看/home/hduser/目录下是否有 .ssh 文件夹。可以通过命令l

14、s - al 查看，如果没有的话 使用 mkdir /home/hduser/.ssh 新建一个文件夹3 进入.ssh 文件夹 cd /home/hduser/.ssh4 输入命令 ssh-keygen -t rsa,这样会在.ssh文件中生成 私钥 id_rsa , 和公钥 id_rsa.pub 文件，如图所示5将生成的公钥 id_rsa.pub 复制到 authorezied_keys 文件中 cat /home/hduser/.ssh/id_rsa.pub/home/hduser/.ssh/authorized_keys6上述步骤完成后可以免密码登录本地节点，我们可以通过命令 ssh l

15、ocalhost 来验证在NameNode 节点完成下列命令1 将NameNode节点的公钥 id_rsa.pub 分发给所有的DataNode节点 我们可以通过网络复制命令scp 很方便的完成这个操作scp 命令格式 如下 scp 本地文件 目标节点用户名 目标节点IP : 文件存储路径这里采用具体命令如下 scp /home/hduser/.ssh/id_rsa.pubhduser192.168.0.157:/home/hduser/.ssh/rsapub_from_namenode也可以写成scp /home/hduser/.ssh/id_rsa.pubhduserDataNode1:/home/hduser/.ssh/rsapub_from_namenode按照此命令将NameNode节点的公钥分发给所有的DataNode在所有的DataNode节点中完成下列命令2将NameNode节点的公钥添加到所有DataNode节点的authorized_keys文件中 cat /home/hduser/.ssh/rsapub_from_namenode /home/hduser/.ssh/authorized_keys这样我们的免密码登录就配置好了，我们可以再NameNode上通过命令ssh 192.168.0.157 看看是否不需要输入密码就可以登录Data