云计算开发平台安装配置手册(Linux单机伪集群分册)

1、产品ID密级FocusHadoop中产品版本页数1.0.015云计算开发平台安装配置手册Linux单机伪集群分册零年九月目录 TOC o 1-5 h z HYPERLINK l bookmark10 o Current Document 综述 4 HYPERLINK l bookmark12 o Current Document 依据 4 HYPERLINK l bookmark14 o Current Document 目的 4 HYPERLINK l bookmark16 o Current Document 范围 4 HYPERLINK l bookmark18 o Current Do

2、cument 术语 4 HYPERLINK l bookmark20 o Current Document 安装环境 5_ HYPERLINK l bookmark22 o Current Document 安装准备 6_ HYPERLINK l bookmark30 o Current Document 4.安装 JDK7 HYPERLINK l bookmark36 o Current Document 5.安装 hadoop 7_安装hbase服务13安装xdat 服务 1_9修改 xdata 的配置文件 19安装solr月艮务28安装LZO压缩模块 29标准安装 29测试LZO压缩解压

3、32如果安装后的lib包有问题不能用执行以下步骤补救 33修订记录日期修订版本描述编撰人2011-09-200.0.1Linux单机伪集群分册刘学2011-10-130.0.2增加安装hbase内容邹跃2011-10-180.0.3调整文档部分结构。xdata-xdata概念转变刘学2011-10-190.0.4增加LZO压缩模块安装刘学2011-10-200.0.5修改xdata安装文档目录结构刘学2011-12-090.0.6修改其中错误的地方罗亮2011-12-090.0.7增加solr单机模式安装邹跃2011-12-290.1.0重构文档罗亮2012-1-40.1.1增加第24步创建符

4、号链接康华星综述1.1.依据本文档依赖于Apache组织hadoop开源项目的相关资料与文档以及各种网 络收集的经过整理的资料。12 目的本文档将指导IT工程人员在单台Linux服务器上安装配置单节点的伪集群 服务。1.3. 范围本文档将指导如何获取安装文件构建安装目录、安装JDK、安装hadoop服务、配置云计算实验平台服务平台、HDFS测试、MapReduce测试等。14 术语HadoopCygwinEclipesXdata定义在云计算技术基础上的数据应用解决方案产品，适应各种未知 数据模型，具备很好的数据应用模式的延展性。LZOLZO是一个美妙与Hadoop的使用的压缩方案，因为它的速度

5、非常 快，支持splittable(可分块)。Gzip很快，但不能利用 Hadoop的 自然地图的优势分裂，因为这是不可能的，开始一个随机文件中的 偏移量开始解压缩 GZIP流的。LZO的块格式能够在解压缩文件的 某些特定的偏移执行解压在新的LZO块边界开始。LZO除了支持解压，这个类( pression.lzo.LzoIndexer)提供了一个进程中的索引器以及Map-Reduce风格索引器，它将读取一组LZO文件，将输出的LZO块边界偏移量与 Hadoop文件块边 界自然融合。这使得大量的LZO文件分割成多个映射器和并行处理。压缩，因为它是从磁盘读取的数据较少，最大限度地减少所需 的IOP

6、S数。和lzo减压是如此之快，CPU保持领先磁盘中读取的， 所以不必解压缩，因为它的读取磁盘数据，也没有性能的影响。Gzip某种压缩格式，速度快，但是不支持压缩分块。安装环境硬件环境CPU:无特殊要求内存：无特殊要求 硬盘:无特殊要求软件环境操作系统: Linux 浏览器:目前只支持 IE6.0 和 IE7.0安装准备步骤1获取安装包安装文件安装包目录如下， 如果缺省的安装包下面缺少对应的内容需要通过他人沟通获取目录结构说明././bi n./hadoop/config/lib/log/setup./ hadoop-rc1.tar ema_mysql.sqljdk-6u10-li nu x-i

7、586.b injdk-6u10-li nux-x64.bi n mysql-5.0.67-li nux-i686.tar.gz /mysql./bi n./mysqlaccess mysqld_safemy.c onf/hadoop./conf/tomcat./conf/webapps./emahadoop可执行文件执行目录启动脚本（里面 RUN_USER配置hadoop）配置目录（缺省配置在里面）软件包目录日志目录安装用临时文件夹，包括安装需要的软件包最新的hadoop平台安装包mysql数据库脚本Jdk1.6 x32位版本Jdk1.6 x64位版本Mysql数据库软件包mysql数据库替

8、换文件hadoop缺省配置目录setup中解压的tar.gz文件要放在这里放了 hadoop服务缺省的4个配置文件WEB服务器软件目录配置目录只需要修改 server.xml界面应用程序发布在这里基础界面框架实验平台代码检查安装包目录是否完整。步骤2拷贝安装包安装文件到安装目录将上述目录中所有内容文件拷贝到机器的/xdata目录注：如未说使用何种用户进行的操作默认为root用户步骤3创建安装所需要的用户与用户组以root用户登录服务器，在命令行下输入：#groupadd xdata#useradd -g xdata xdata#passwd xdata/输入新的用户名密码Changing pa

9、ssword for user xdata.New UNIX password:BAD PASSWORD: it is based on a dictio nary wordRetype new UNIX password: passwd: all authe nticati on toke ns updated successfully.安装JDK步骤4解压jdk软件包#chmod 755 /xdata/setup/*.*#cd /xdata/setup#. /jdk-6u10-li nux-i586.b in步骤5建立jdk的符号链接#ln -s /xdata/setup/jdk1.6.0

10、_10 /xdata/jdk如果服务器上已经安装有JDK直接做符号链接#ln -s /*/jdk* /xdata/jdk安装 hadoop步骤6 解压hadoop安装包#cd /xdata/setup#gunzip authorized_keys配置authorized_keys文件权限$chmod 600 authorized_keys验证$ ssh localhost 使用xdata用户执行步骤10改变系统工作目录权限给xdata#chgrp -R xdata /xdata#chow n -R xdata /xdata步骤 11 配置 $HADOOP_HOME/conf/hadoop-en

11、v .sh切换到 Hadoop的安装路径找到 hadoop/conf/hadoop-env.sh文件，使用 vi或离线方法 打开将#vi /xdata/hadoop/c on f/hadoop-e nv.sh# export JAVA_HOME=/usr/lib/j2sdk1.5-sun 改为export JAVA_HOME=/usr/java/jdk1.6.0_16/ /usr/java/jdk1.6.0_16 表示 jdk 存放的路径，若是其他路径，要做相应修改步骤 12 配置$ HADOOP_HOME/conf/core-site.xml切换到Hadoop的安装路径找到 conf/cor

12、e-site.xml文件，使用vi或离线方法打开将#vi /xdata/hadoop/co nf/core-site.xml/ 粗体部分根据自身情况修改fs.default .n ame/name hdfs:master:51600 hadoop.tmp.dir/name /xdata/hadoop/tmp hdfs:/master:51600 :表示 hdfs 连接的路径/xdata/hadoop/tmp:表示存放的位置注：如果没 有配置hadoop.tmp.dir参数，此时系统默认的临时目录为： /tmp/hadoop-hadoop.而这个目录在每次重启后都会被干掉，必须重新执行forma

13、t才行，否则会出错。步骤 13 配置$HADOOP_HOME/conf/ hdfs-site.xml切换到Hadoop的安装路径找到 conf/hdfs-site.xml文件，使用vi或离线方法打开将#vi /xdata/hadoop/c on f/hdfs-site.xmldfs.replicati on1dfs .n ame.dir/name/xdata/hadoop/namedfs.data.dir/name/xdata/hadoop/datadfs.http.address/name31:50070dfs.replication是配置复制副本数目，不同的文件副本的分区会放在不同的dat

14、a node机器上dfs.data.dir是data node机器上data数据存放的位置，没有则放到core-site.xml的tmp目录中.dir是 namenode机器上 name数据粗放的位置，没有则放至Ucore-site.xml的tmp目录中dfs.http.address提供 web页面显示的地址和端口默认是50070, ip是name node的ip步骤 14 配置$HADOOP_HOME/conf/mapred-site.xml找到$HADOOP_HOME/conf/mapred-site.xml 文件，使用离线方法打开将mapred.job.tracker localhos