hadoop1安装全套顺序

Hadoop1安装全套手顺安装：安装需求硬件要求：内存：至少6G硬盘空间：100G剩余软件需求：虚拟机：vmware 该款软件虚拟化程度较高，建议使用本软件Linux镜像：CentOS-6.5-x86_64-bin-DVD1远程连接软件：xshell4Hadoop:hadoop-1.0.4.tar.gzJavajdk:jdk-6u32-linux-x64安装 我们搭建的hadoop为1主3从，即1个namenode3个datanode 1：安装namenode： 此过程跟一般Linux虚拟机的安装基本无异 Linux安装详细图解 填写虚拟机名称：指定虚拟机安装路径即使没有80G空间也行这里选中你下载好的镜像文件这里选中你下载好的镜像文件这里是选择网卡：为了简单起见，我们用NAT这里是选择网卡：为了简单起见，我们用NAT模式，NAT模式对应于主机VMnet8这块网卡进入安装界面，选择第一个安装选项，安装或更新现有系统Installorupgradeanexistingsystem安装或升级现有的系统installsystemwithbasicvideodriver安装过程中采用基本的显卡驱动Rescueinstalledsystem进入系统修复模式Bootfromlocaldrive退出安装从硬盘启动Memorytest内存检测2，硬件检测：跳过---skip选择下一步选择skip跳过下一步安装中安装中至此，虚拟机一台虚拟机安装成功按照同样的方法安装slave1,slave2,slave3。（不熟悉的童鞋可以按照此法多安装几次，熟悉的可以直接克隆）克隆虚拟机 这样即可，不过这样克隆出来是很方便，但是网络配置哪块就很蛋疼了，克隆出来的必须重新生成mac地址；重新生成mac地址这样就将mac地址更新啦。如果安装成功的话就ok啦。

网络配置 安装好虚拟机还只是第一步，接下来是网络的配置：我们使用的是固定ip,首先确定自己本机的vmnet8的ip.这属于windows的相关设置，不详细表述；打开网络共享中心更改适配器设置将自己的4台虚拟机与该网卡的ip配置在同一网段：比如我的4台机器的ip为：与本地vmnet8的网卡在同于网段；配置网络方法一：在虚拟机联网的地方右键单击编辑连接;添加后输入ip，掩码和网关即可方法二： 打开虚拟机终端：切换到root用户：su-root修改文件：（每台机器上面都需要配置，而且配置的内容根据机子的不同而配置）删除原有内容使用wq保存退出修改文件：使用wq保存退出修改文件：使用wq保存退出使用wq保存退出注意：都是在root用户下修改的这些文件上述两种方法改完后执行命令servicenetworkrestart配置完成后ping一下：ping的外面的机子相互之间再ping通试一下。全部okJavajdk安装 删除系统中默认的jdkrpm-qa|grepjava获取安装的所有的java，此时会得到一大串的java相关的安装的文件rpm-e--nodepsxxxxxx为获取得到的相关文件（注意：一条一套删除）删除完成后再执行rpm-qa|grepjava命令，查看是否还有残留；然后exit安装jdk 切换到普通用户目录下:在普通用户目录中新建文件夹java，将下载好的jdk-6u32-linux-x64.bin放进来。在终端中进入该目录，并运行jdk-6u32-linux-x64.bin执行完成后，jdk就装好了，然后再修改配置文件切换到root用户su–root然后修改配置文件/etc/profile在文件最末尾加上：然后source/etc/profile刷新回到普通用户：执行命令source/etc/profile然后输入java-version查看是否成功：成功！

查看最大文件数限制执行命令ulimit–n查看最大文件数（默认为1024）切换到root用户：su-root输入vi/etc/security/limits.conf在文件最后添加：*-nproc65535*-nofile65535输入wq!保存退出配置好以上环境后，如果该机器作为开发客户端使用基本就完成了，如果作为服务端使用，建议关闭掉图形界面，配置/etc/inittab配置ssh无密码登录配置好4台机器的/etc/hosts文件后，在普通用户下，切记进入用户目录的.ssh目录生成无密码密钥对：

然后回车会出现如图所示的界面：将公钥写入公钥库，为了不修改配置文件，使用centOS默认的库名authorized_keys:设置公钥权限chmod600authorized_keys然后切换到root重新启动sshServicesshdrestart切换到普通用户使用ssh命令登录验证：成功！O(∩_∩)O如果不成功,在root用户下编辑找到此处，将其前面的#去掉切换到普通用户，使用scp命令将.ssh文件下的所有文件发送给其他从机scp~/.ssh/*master@slave1:~/.ssh发送完成后，可以ssh命令登录试试ssh主机名首次登录可能需要输入yes/no登录成功一次后则以后登录不需要密码，如上图安装hadoop现在到正文了，开始安装后hadoop了将hadoop-1.0.4.tar.gz放入普通用户目录下解压该文件tar-zxvfhadoop-1.0.4.tar.gz并将文件重命名为hadoopmvhadoop-1.0.4hadoop\ 我本机的主机名为master接着就是修改环境变量了，跟javajdk的修改方法一致，可以参考jdk环境变量的配置方法修改配置文件 我们需要修改的主要有3个xml文件。一个指定jdk环境变量的文件，一个master.一个slaves普通用户下进入hadoop目录下的conf目录修改hadoop-env.sh文件exportJAVA_HOME=/usr/java/jdk1.6.0_32(去掉前面的#，xxx是jdk的安装路径)修改core-sit.xml文件<property> <name></name> <value>hdfs://master:9000</value> </property> 注：NN为masterDN为slave1~3（根据自己情况配置）修改配置文件hdfs-site.xml <property> <name>dfs.replication</name>复制份数 <value>2</value> </property> <property> <name>.dir</name>NN数据存储位置 <value>/home/user/hadoop/namenode/</value> </property> <property> <name>dfs.data.dir</name>DN数据存储位置 <value>/home/user/hadoop/data/</value> </property> <property> <name>hadoop.tmp.dir</name>临时文件存储位置，例如进程文件 <value>/home/user/hadoop/tmp/</value> </property>修改配置文件vimapred-site.xml <property> <name>mapred.job.tracker</name>为jobtracker的主机名和端口 <value>master:9001</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name>最大map任务数 <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name>最大reduce任务数 <value>2</value> </property>修改masters文件Vimmasters修改slaves文件Vimslaves创建数据目录在用户目录下创建data和tmp文件夹（不要建name文件夹）mkdir~/hadoop/data/mkdir~/hadoop/tmp/设置权限755chmod755~/hadoop/data/chmod755~/hadoop/tmp/然后使用scp命令将hadoop文件夹拷贝给其他的机器scp–r~/hadoop/master@slave1:~/scp–r~/hadoop/master@slave2:~/scp–r~/hadoop/master@slave3:~/当出现一大串复制文件的信息时就表示成功拷贝了，如果没有出现，那就是你命令写错了

检查是否成功整体配置完成后，输入命令：hadoopnamenode–format将环境格式化，如果配置都正确，则不会报错。格式化完毕后使用命令：start-all.sh启动hadoop：使用jps命令在master上查看出现一个namenode1个