hadoop2.6编译安装-新

1、1 编译Hadoop2.6 64bit1.1 运行环境说明1.1.1硬软件环境l 主机操作系统：Windows 64 bit，双核4线程，主频3.3G，8G内存l 虚拟软件：VirtualBoxl 虚拟机操作系统：CentOS 6.6 64位，单核，1G内存l JDK：1.7.0_55 64位l Hadoop：Release 2.6.0 source1.1.2集群网络环境集群只包含一个节点，设置IP地址为191.168.1.31。1.2 环境搭建1.2.1JDK安装和Java环境变量配置1. 下载JDK1.7 64bit安装包打开JDK1.7 64bit安装包下载链接为：打开界面之后，先选中

2、Accept License Agreement ，然后下载 jdk-7u55-linux-x64.tar.gz，如下图所示：2. 赋予hadoop用户/usr/lib/java目录可读写权限，使用命令如下：sudo chmod -R 777 /usr/lib/java3. 把下载的安装包，使用ssh工具上传到/usr/lib/java 目录下，使用如下命令进行解压tar -zxvf jdk-7u55-linux-x64.tar.gz解压后目录如下图所示：4. 使用root用户配置 /etc/profile，该设置对所有用户均生效vi /etc/profileexport JAVA_HOME=

3、/usr/lib/java/jdk1.7.0_55export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar5. 重新登录并验证logoutjava -version1.2.2安装并设置maven1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载地址如下2. 使用ssh工具把maven包上传到/home/hadoop/Downloads目录3. 解压缩apache-maven-3.0.5-bin.tar.g

4、z包tar -zxvf apache-maven-3.0.5-bin.tar.gz4. 把apache-maven-3.0.5目录移到/usr/local目录下sudo mv apache-maven-3.0.5 /usr/local5. 在/etc/profile配置文件中加入如下设置export PATH=$JAVA_HOME/bin:/usr/local/apache-maven-3.0.5/bin:$PATH6. 编辑/etc/profile文件并验证配置是否成功:source /etc/profilemvn -version1.2.3以root用户使用yum安装svnyum inst

5、all svn1.2.4以root用户使用yum安装autoconf automake libtool cmakeyum install autoconf automake libtool cmake1.2.5以root用户使用yum安装ncurses-develyum install ncurses-devel1.2.6以root用户使用yum安装openssl-develyum install openssl-devel1.2.7以root用户使用yum安装gcc*yum install gcc*1.2.8安装并设置protobuf注：该程序包需要在gcc安装完毕后才能安装，否则提示无法找

6、到gcc编译器。1. 下载protobuf安装包下载链接为： 2. 使用ssh工具把protobuf-2.5.0.tar.gz包上传到/home/hadoop/Downloads目录3. 解压安装包tar -zxvf protobuf-2.5.0.tar.gz4. 把protobuf-2.5.0目录转移到/usr/local目录下 sudo mv protobuf-2.5.0 /usr/local5. 进行目录运行命令 进入目录以root用户运行如下命令：./configuremakemake checkmake install6. 验证是否安装成功运行成功之后，通过如下方式来验证是否安装成功

7、protoc1.3 编译Hadoop1.3.1下载Hadoop源代码 Release2.6.0下载相应版本hadoop-src1.3.2编译Hadoop源代码:) 由于hadoop2.6.0在pom.xml有点问题，会造成编译中出错，可先参考5.5修复该问题。在Hadoop源代码的根目录执行如下命令：mvn package -Pdist,native -DskipTests Dtar(注意：这行命令需要手工输入，如果复制执行会报异常！)耗费的时间较长，总共花费了32分钟，在编译过程需要联网，从网络中下载所需要的资料。1.3.3验证编译是否成功到 hadoop-dist/target/hadoop-2.6.0/lib/native 目录中查看libhadoop.so.1.0.0属性：file ./libhado