cent-OS-下hadoop完全分布式安装-hadoop2.6.1版-亲测自己总结

一、安装CentOS6

1、首先，要有一张CentOS6.4的安装介质，使用介质启动电脑出现如下界面界面说明：Installorupgradeanexistingsystem安装或升级现有的系统

installsystemwithbasicvideodriver安装过程中采用基本的显卡驱动

Rescueinstalledsystem进入系统修复模式Bootfromlocaldrive

退出安装从硬盘启动Memorytest

内存检测注：用联想E49安装时选择第一项安装时会出现屏幕显示异常的问题，后改用第二项安装时就没有出现问题2、介质直接“skip”就可以了3、出现引导界面，点击“next”4、选中“English（English）”否则会有部分乱码问题5、键盘布局选择“U.S.English”6、选择“BasicStorageDevies"点击"Next"7、询问是否忽略所有数据，新电脑安装系统选择"Yes,discardanydata"8、Hostname填写格式“英文名.姓”9、网络设置安装图示顺序点击就可以了这里可以不设置在安装完毕后可以通过Linux命令进行设置10、时区可以在地图上点击，选择“shanghai”并取消SystemclockusesUTC前面的对勾11、设置root的密码（重要必须牢记密码）12、硬盘分区，一定要按照图示点选如果想安装双系统这里不能这么选，请查找资料进行选择13、调整分区，必须要有/home这个分区，如果没有这个分区，安装部分软件会出现不能安装的问题14、询问是否格式化分区15、将更改写入到硬盘16、引导程序安装位置17、最重要的一步，也是本教程最关机的一步，也是其他教程没有提及的一步，按图示顺序点击18、取消以下内容的所有选项根据自己的需要进行选择这些都是系统提供的一些工具可以选择安装这些工具ApplicationsBaseSystemServers并对Desktops进行如下设置即取消如下选项：DesktopDebuggingandPerformanceToolsDesktopPlatformRemoteDesktopClientsInputMethods中仅保留ibus-pinyin-1.3.8-1.el6.x86_64,其他的全部取消19、选中Languages，并选中右侧的ChineseSupport然后点击红色区域20、调整完成后如下图所示21、至此，一个最精简的桌面环境就设置完成了，22、安装完成，重启23、重启之后，的LicenseInformation24、CreateUserUsername：填写您的英文名（不带.姓）FullName：填写您的英文名.姓（首字母大写）25、"DateandTime"选中“Synchronizedataandtimeoverthenetwork”Finsh之后系统将重启26、第一次登录，登录前不要做任何更改，这个很重要！！！登录之后紧接着退出第二次登录，选择语言，在红色区域选择下拉小三角，选other，选中“汉语（中国）”27、登录之后，请一定按照如下顺序点击！至此，CentOS安装完成，如有其他问题，请随时与我联系！！二、安装hadoop1.新建运行hadoop专属用户名cast503，修改主节点为master，从节点名称为slave*这里使用三台主机进行搭建，分别为Master0Slave11Slave22以下设置均在root权限下进行设置2.将所有的主机进行组网1修改所有的主机文件/etc/hosts添加主机名称和对应的IP，形式如下所示localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6.localdomain60 Master1 Slave2 Slave22修改/etc/sysconfig/network-script/ifcgf-eth0文件，定义网卡的IPDNS工作组IP地址类型（动态或者静态）广播地址等信息注意当一台主机有多张网卡时/etc/sysconfig/netrok-script/文件中包含多个ifcgf-文件，修改接入网络的那张网卡的对应文件，文件内容的正确与否直接关系到时否能正确组网文件内容包括DEVICE=eth0#网卡名称

BOOTPROTO=static#静态/动态IP

IPADDR=0#网卡的IP地址

NETMASK=#子网掩码

GATEWAY=#默认网关

TYPE=Ethernet3关闭防火墙（如果对防火墙有很好的认识可以对防火墙规则进行配置，在满足Hadoop需要的同时增强系统的安全性，这里只介绍完全关闭防火墙）关闭所有机器上的防火墙，不然会导致datanode起不来临时关闭：serviceiptablesstop永久关闭：chkconfigiptablesoff经过上面步骤后，计算机组网已经完成，我们可以通过pingIP地址/主机名如ping1或者pingslave1的方式来验证网络是否联通3.安装JDK注意：各主机JDK安装版本和安装位置必须相同JDK可以去Oracl官网进行下载，可以根据自己电脑安装的是Linux系统来选择是64位还是32位JDKforLinux这里以jdk-7u45-linux-x64.gz为例下载JDK存放在/home/cast503/目录下JDK安装在/usr/java录下（需要新建文件mkdir/usr/java1进入/usr/java文件cd/usr/java2解压软件包jdk-7u45-linux-x64.gzgunzip/home/cast503/jdk-7u45-linux-x64.gz3解压后会在/usr/java/目录下生成jdk1.8.0_60文件夹4配置Java系统环境变量，在root权限下打开/etc/profile文件vim/etc/profile5在文件的末尾添加上如下内容(包含hadoop环境变量)exportJAVA_HOME=/usr/java/jdk1.8.0_60exportHADOOP_HOME=/home/cast503/hadoop-2.6.1exportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH:$HADOOP_HOME/sbinexportJRE_HOME=$JAVA_HOME/jre6由于Linux系统默认安装openJDK所以这里要修改默认JDK为我们安装的JDK在cast503账户下输入下列命令sudoupdate-alternatives--install/usr/bin/javajava/user/java/jdk1.7.0_45/bin/java300sudoupdate-alternatives--install/usr/bin/javacjavac/user/java/jdk1.7.0_45/bin/javac300(注意红色部分是设置的JAVA_HOME的文件路径，也就是Java的安装路径)Sudoupdate-alternatives--configjava会出现Linux中所有可用的JDK我们选择自己安装的JDK安回车键即可7查看Linux是否是我们安装的JDK输入命令Java-version如果出现如下图所示即为安装成功4配置SSH免密码登录如果出现agentadmittedfailuretosignusingthekey解决方式为使用ssh-add指令将私钥加进来ssh-add/home/cast503/.ssh/id_rsa.ssh目录的权限为700chmod700/home/cast503/.sshauthorized_keys文件的权限为600chmod600/home/cast503/.ssh/authorized_keys5.配置hadoop4.1.1配置hadoop-env.sh#cd/usr/lib/hadoop#vimetc/hadoop/hadoop-env.sh(注意，此处不是系统的etc目录)将JAVA_HOME修改为刚才配置的位置4.1.2配置core-site.xml#vimetc/hadoop/core-site.xml添加以下内容：<configuration><property><name>fs.defaultFS</name><value>hdfs://h1m1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/lib/hadoop/tmp</value></property><property><name>io.file.buffer.size</name><value>4096</value></property></configuration>4.1.3配置hdfs-site.xml#vimetc/hadoop/hdfs-site.xml添加以下内容：<configuration><property><name>dfs.replication</name><value>2</value></property><property><name>.dir</name><value>file:///usr/lib/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///usr/lib/hadoop/dfs/data</value></property><property><name>services</name><value>h1</value></property><property><name>node.secondary.http-address</name><value>h1m1:50090</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property></configuration>4.1.4配置mapred-site.xml#cpmapred-site.xml.templatemapred-site.xml#vimetc/hadoop/mapred-site.xml添加以下内容：<configuration><property><name></name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobtracker.http.address</name><value>h1m1:50030</value></property><property><name>mapreduce.jobhistory.address</name><value>h1m1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>h1m1:19888</value></property><property><name>mapred.job.tracker</name><value>http://h1m1:9001</value></property></configuration>4.1.5配置yarn-site.xml#vimetc/hadoop/yarn-site.xml添加以下内容：<configuration><!--SitespecificYARNconfigurationproperties--><property><name>yarn.resourcemanager.hostname</name><value>h1m1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>h1m1:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>h1m1:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>h1m1:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>h1m1:8033</value>