hypertable集群部署

1、fedora下hypertable集群配置目 录0 集群网络环境介绍11 ssh无密码验证配置11.1 安装和启动ssh协议21.2 配置master无密码登录所有slave21.3 配置每个slave无密码登录master32 jdk安装和java环境变量配置32.1 ubuntu 8.10下安装 jdk 1.632.2 java环境变量配置33 hadoop集群配置44 hadoop集群启动65 hypertable的配置安装6 capistrano 安装 7 hypertable 集群启动0 集群网络环境介绍集群包含三个节点：1个master，2个slave，节点之间局域网连接，可以相互

2、ping通。节点ip地址分布如下：master:11slave1:4slave2:3三台节点上均是fedora系统,在每个机器下配置/etc/hosts在后面加入11 master3 slave14 slave2保存退出1 ssh无密码验证配置hadoop需要使用ssh协议，master将使用ssh协议启动master和slave进程.1.1 安装和启动ssh协议所有机器上安装ssh协议并启动服务，在所有机器上执行以下命令:$ yum install ssh 安装

3、ssh协议$ yum install rsync命令执行完毕，各台机器之间可以通过密码验证相互登陆。1.2 配置master无密码登录所有slave（删除.ssh文件夹（不是删除ssh命令的命令）的命令rm rf .ssh ）(0)原理master作为客户端，要实现无密码公钥认证，连接到服务端slave上时，需要在master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到slave上。当master通过ssh连接slave时，slave就会生成一个随机数并用master的公钥对随机数进行加密，并发送给master。master收到加密数之后再用私钥进行解密，并将解密数回传给slav

4、e，slave确认解密数无误之后就允许master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端master公钥复制到slave上。(1)所有机器上生成密码对所有节点（master and slave）上执行以下命令:rootcast:$ ssh-keygen -t rsa generating public/private rsa key pair.enter file in which to save the key (/root/.ssh/id_rsa): 默认路径enter passphrase (empty for no passphrase):

5、回车，空密码enter same passphrase again: your identification has been saved in /root/.ssh/id_rsa.your public key has been saved in /root/.ssh/id_rsa.pub.这将在/root/.ssh/目录下生成一个私钥id_rsa和一个公钥id_rsa.pub。所有节点上执行以下命令:rootcast:$ chmod 755 .ssh 给予目录权限，这不是必须的进入.ssh目录rootcast:$ cd .ssh在master节点上做如下配置rootcast:/.ssh$

6、cp id_rsa.pub authorized_keys master的公钥rootcast:/.ssh$ chmod 644 authorized_keys使用ssh协议将master的公钥信息authorized_keys复制到所有slave的.ssh目录下(.ssh下最初没有authorized_keys，如果有，则需要复制追加，后面会讲到如何追加)。rootcast:$ scp authorized_keys 3:/root/.ssh rootcast:$ scp authorized_keys 4:/root/.ssh 这样配置过后，ma

7、ster可以无密码登录所有slave，可以通过命令“ssh 4”来验证。1.3 配置每个slave无密码登录master(0)原理master连接slave时master是客户端，需要将master上的公钥复制到slave上，那么，如果slave主动连接master，slave是客户端，此时需要将slave上的公钥信息追加到master中的authorized_keys之中。(此时，由于master中已经存在authorized_keys文件，所以这里是追加)。如果进一步需要slave之间实现公钥无密码验证，则同样需要相互之间追加公钥信息(1)将各个slave上的id_r

8、sa.pub追加到master的authorized_keys在所有slave上依次执行如下命令:rootcast:/.ssh$ scp id_rsa.pub 11:/root/.ssh/3.id_rsa.pubrootcast:/.ssh$ scp id_rsa.pub 11:/root/.ssh/4.id_rsa.pub这将slave上之前产生的公钥id_rsa.pub复制到master上的.ssh目录中，并重命名为slave ip地址.id_rsa.pub，这是为了区分从各个slave上传过来的公钥。

9、复制完毕，在master上执行以下命令，将每个slave的公钥信息追加:rootcast:/.ssh$ cat 3.id_rsa.pub authorized_keysrootcast:/.ssh$ cat 4.id_rsa.pub authorized_keys这样，master和slave之间便可以相互ssh上并不需要密码.注意：整个过程中只涉及到创建密钥，复制公钥，添加公钥内容，没有更改配置文件，实际上配置文件/etc/ssh/sshd_config中开启了公钥验证 rsaauthentication yespubkeyauthenticati

10、on yes(2)ssh配置完毕至此，master能无密码验证登陆每个slave。每个slave也能无密码验证ssh登陆到master。2 jdk安装和java环境变量配置2.1 fedora下安装 jdk 1.6下载jdk安装包jdk-6u22-linux-i586-rpm.bin,复制到目录/opt/java下，在命令行进入该目录执行命令chmod 777 jdk-6u22-linux-i586-rpm.bin ./jdk-6u22-linux-i586-rpm.bin 命令运行完毕，将在当前目录下面生成一个对应的jdk1.6.0_22安装完毕。2.2 java环境变量配置命令行中执行命令

11、”vi /etc/profile”,并加入以下内容，配置环境变量(注意/etc/profile这个文件很重要，后面hadoop的配置还会用到)。export java_home=/opt/java/jdk1.6.0_22 export path=$java_home/bin:$pathexport classpaht=.:$java_home/lib/dt.jar:$java_home/lib/tools.jar保存并退出，执行以下命令使配置生效source /etc/profile配置完毕，在命令行中使用命令”java -version”可以判断是否成功。3 hadoop集群配置在maste

12、r上执行:下载hadoop-0.20.2+320.tar.gz，将其解压到/opt目录下，使用如下命令:tar zxvf hadoop-0.20.2+320.tar.gzmv hadoop-0.20.2+320 hadoop(1)把hadoop 的安装路径添加到/etc/profile中(设置相应的home路径)修改/etc/profile 文件(配置java环境变量的文件)，将以下语句添加到末尾，并使其有效(source /etc/profile)：# set hadoop pathexport hadoop_home=/opt/hadoopexport path=$hadoop_home/

13、bin:$path(2)配置hadoop (a)配置hadoop-env.sh 进入hadoop/conf目录下$ vi hadoop-env.sh末尾加入以下语句export java_home=/usr/java/jdk1.6.0_22export hadoop_home=/opt/hadoopexport hadoop_conf_dire=/opt/hadoop/conf/hadoop保存退出 执行source hadoop-env.sh把/opt/hadoop/src/core目录下的core-default.xml复制到/opt/hadoop/conf下并且改名为core-site.

14、xml 覆盖掉原有的core-site.xml把/opt/hadoop/src/hdfs目录下的hdfs-default.xml复制到/opt/hadoop/conf下并且改名为hdfs-site.xml 覆盖掉原有的hdfs-site.xml把/opt/hadoop/src/mapred目录下的mapred-default.xml复制到/opt/hadoop/conf下并且改名为mapred-site.xml 覆盖掉原有的mapred-site.xml(b)配置core-site.xmlhadoop.tmp.dir /opt/hadoop-$ a base for othe

15、r temporary hdfs:/master:9000 (c)配置hdfs-site.xml dfs.replication 1 (replication 是数据副本数量，默认为3，slave 少于3台就会报错) (d)配置mapred-site.xml mapred.job.trackermaster:9001 (e)配置masters(*/hadoop/conf/)文件,加入master的ip地址master(f)配置slaves文件, 加入所有slave的ip地址slave1slave2 将master上配置好的hadoop所在文

16、件夹hadoop复制到slave的 /opt/目录下（实际上masters,slavers文件时不必要的，复制了也没问题）。在slave上执行：把hadoop 的安装路径添加到/etc/profile中修改/etc/profile 文件(配置java环境变量的文件)，将以下语句添加到末尾，并使其有效(source /etc/profile)：export hadoop_home=/opt/hadoopexport path=$hadoop_home/bin:$path至此，配置完毕4 hadoop集群启动ip地址分布:master: 11slave1: 192.168.1

17、.93slave2: 4只master执行：格式化hadoop，rootcast:/opt/hadoop$ bin/hadoop namenode format在三台机器上执行命令service iptables stop 来关闭防火墙启动hadoop，rootcast:/opt/hadoop$ bin/start-all.sh可以通过以下启动日志看出，首先启动master,然后启动slave1,slave2,然后启动secondarymaster。再启动jobtracker,然后启动tasktracker1,最后启动tasktracker2。启动hadoop成功后，在m

18、aster中的tmp文件夹中生成了dfs文件夹，在slave中的tmp文件夹中均生成了dfs文件夹和mapred文件夹。master上用java自带的小工具jps查看进程root/cast:/$ jps8383 jobtracker8733 jps8312 secondarymaster8174 master每个slave上查看进程root/cast:/$ jps7636 slave7962 jps7749 tasktracker在master上查看集群状态rootcast:/opt/hadoop$ bin/hadoop dfsadmin reportconfigured capacity:

19、39266099200 (36.57 gb)present capacity: 30477340672 (28.38 gb)dfs remaining: 30477279232 (28.38 gb)dfs used: 61440 (60 kb)dfs used%: 0%under replicated blocks: 0blocks with corrupt replicas: 0missing blocks: 0-slaves available: 2 (2 total, 0 dead) 存在两个slave，都是可用的，说明hadoop启动成功，配置成功name: 16:

20、50010 slave2decommission status : normalconfigured capacity: 19633049600 (18.28 gb)dfs used: 24576 (24 kb)non dfs used: 4394250240 (4.09 gb)dfs remaining:14.19 gb)dfs used%: 0%dfs remaining%: 77.62%last contact: thu mar 11 22:43:22 cst 2010name: 99:50010 slave1decommission sta

21、tus : normalconfigured capacity: 19633049600 (18.28 gb)dfs used: 36864 (36 kb)non dfs used: 4394508288 (4.09 gb)dfs remaining:14.19 gb)dfs used%: 0%dfs remaining%: 77.62%last contact: thu mar 11 22:43:22 cst 2010hadoop 的web 方式查看：http:/ master ip地址:50070查看工作方式:2:50030/5

22、hypertable的配置安装具体步骤查看文档hypertable源码编译安装6 capistrano的配置安装1. 在master上运行 gem updategem install capistrano运行成功后 cap versioncapistrano v2.5.192. 进入/opt/hypertable//conf目录下cp capfile.cluster capfile 修改capfile文件把文件前面的内容修改为set :source_machine, masterset :install_dir, /opt/hypertableset :hypertable_version,