CDH 580 on CentOS65离线安装

1、CDH 5.8.0 on CentOS6.5离线安装编写：陶崇寅关于CDH和ClouderaManagerCDH (Cloudera's Distribution, includingApache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。Cloudera Manager（本文以下简称为CM）则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。环境准备服务器环境：L

2、inux物理机服务器配置：内存：128G,CPU:40Core操作系统：CentOS 6.5 x64 Cloudera Manager：5.8.0CDH: 5.8.0前期环境准备操作：打通SSH配置Hosts关闭SELINUX关闭防火墙NTP（可选）jdk安装MySql安装IP对应的主机名01 master 02 slave03 slave2对应的CM角色CM的主节点：masterCM的子节点：master,slave1,slave2下载安装包CM的安装包下载地址：对应的文件是：cloudera-manager-el

3、6-cm5.8.0_x86_64.tar.gz本地源的安装包由于是离线安装，需要配置本地源，需要下载相关的包，下载地址是：http:/archive-由于系统是CentOS6.5，所以对应的文件是：CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcelCDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1manifest.jsonjdk的rpm包地址：jdk-8u102-linux-x64.rpmmysql connector包由于我的CM以及其他CDH组件存储元数据等信息使用的是mysql，所以此处需要准备jdbc连接mysql相关的包，如果

4、使用其他的数据库，请准备相对应的包mysql-connector-java-5.1.39.jar由于此次安装mysql我使用的是yum的方式，所以此处未单独下载相关的软件包，另外，建议使用yum或者rpm的方式安装mysql以及jdk，这样jdk以及mysql会安装到默认位置上，由于CM自身机制的问题，如果这两个软件未安装到默认的位置上会导致许多额外的配置以及很多不期而遇的问题关闭SELINUX以及防火墙防火墙会引起hadoop相关组件通讯的各种异常，需关闭防火墙。用root用户权限登录进行操作： 1 关闭防火墙： service iptables stop验证：servi

5、ce iptables statusservice iptables stop （临时关闭）  chkconfig iptables off （重启后生效）  2 关闭selinux:查看SELinux状态：1、/usr/sbin/sestatus -v      #如果SELinux status参数为enabled即为开启状态SELinux status:                 enabled2、getenforce    

6、;             #也可以用这个命令检查关闭SELinux：1、临时关闭（不用重启机器）：setenforce 0                  #设置SELinux 成为permissive模式                              #setenforce 1 设

7、置SELinux 成为enforcing模式2、修改配置文件需要重启机器：修改/etc/selinux/config 文件将SELINUX=enforcing改为SELINUX=disabled重启机器即可修改/etc/hostsvi /etc/hosts保存退出SSH无密码登陆1：ssh-keygen -t rsa连续3个回车，不必输入，生成密钥2：ssh-copy-id -i /root/.ssh/id_rsa.pub rootmaster把本机的公钥追到master的 .ssh/authorized_keys 里3:在每台机器上都对其他机器重复执行第2步，直到所有机器都能相互免密码登陆安

8、装NTP服务器由于非必须此处我未安装，感兴趣或者需要的同学就去问下度娘吧rpm安装jdkrpm -ivh jdk-8u102-linux-x64.rpm配java环境变量java -version来检测jdk是否安装成功yum安装mysql建议将mysql安装到CM的主服务器上安装之前检查下机器是否已经安装mysql：rpm -qa|grep mysql效果如下：包含图上所示4个包就正确了，Mysql包不能多装，否则会在安装oozie hive等会出现链接拒绝问题如果多了使用下面的命令卸载：rpm -e xxxxxxxx如果少了使用下面的命令安装，少那个就安装哪个：yum install -y

9、 mysql-develyum install -y mysql-serveryum install -y mysql-libsyum install -y mysql创建mysql数据库1） . -hive 数据库create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;2） . -集群监控数据库create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;3） . -hue 数据库create database hue DEFAULT CHARSE

10、T utf8 COLLATE utf8_general_ci;4） . -oozie 数据库create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;为新创建的库赋权限如果对mysql数据库权限要求比较高的话可以手动单独处理如果要求不是很高，直接使用以下命令即可：grant all privileges on *.* to 'root''%' identified by 'XXXX' with grant option;flush privileges;语句中的“XXXX

11、”是root用户的登录密码安装CM将cloudera-manager-el6-cm5.8.0_x86_64.tar.gz上传到CM的主节点的/opt/目录下并解压缩，解压后会生成cloudera以及cm-5.8.0两个文件夹。由于cloudera自身机制的问题，如果解压后的位置不在/opt/下会导致许多额外的配置以及很多不期而遇的问题为每个节点都要创建用户useradd -system -home=/opt/cm-5.8.0/run/cloudera-scm-server -no-create-home -shell=/bin/false -comment "Cloudera SCM

12、 User" cloudera-scm在 CM的主节点上修改sudoers文件vim /etc/sudoers在rootALL=(ALL)ALL后面增加cloudera-scm ALL=(ALL) NOPASSWD: ALL此处的配置是为了部分避免后面页面配置过程中发生配置无法下发到agent端的问题而进行的配置在CM的主节点上部署mysql connector包将mysql-connector-java-5.1.39-bin.jar放到/opt/cm-5.8.0/share/cmf/lib/下修改agent配置文件vim /opt/cm-5.8.0/etc/cloudera-scm

13、-agent/config.ini将server_host配置项由localhost改成master（CM的主节点）保存退出将cm-5.8.0 scp到其让机器opt文件夹下scp r cm-5.8.0 slave1:/opt/scp r cm-5.8.0 slave2:/opt/初始化CM数据库/opt/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot -scm-host localhost scm scm scmCM的主节点配置本地源将已下载完毕的 CDH-5.8.0-1

14、.cdh5.8.0.p0.42-el6.parcel，CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1，manifest.json并将他们放到 /opt/cloudera/parcel-repo下，并把CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1重命名为CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.shaCM主节点启动server/opt/cm-5.8.0/etc/init.d/cloudera-scm-server start查看日志tail -f /opt/cm-5.8.0/log/c

15、loudera-scm-server/cloudera-scm-server.logCM子节点创建agent所需的文件夹mkdir -p /opt/cm-5.8.0/runCM子节点启动agent/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent start页面配置登录地址：01（CM主节点）:7180默认用户名密码：admin/admin登录界面签了免责条款，继续免费版本即可以满足基本需求，如果有特别需求或者土豪可以选择其他，点击继续CM可以管理的CDH组件的列表，点击继续主机配置如果agent进程正常启动，此处就可以发现当前已经管理

16、的主机，全选后，点击继续此处选择使用Parcel，由于我们已经构建了本地源，所以有CDH-5.8.0-1.cdh5.8.0.p0.42这个选项，如果此处未出现这个选项，说明你本地源搭建有问题，其他Parcel暂时可以不选，后续可以再处理，选中后点击继续点击继续后出现此界面，显示已下载100%说明本地源构建成功，不需要再额外下载了此处CM会自动将本地源的相关信息在各个agent上分配，解压以及激活，此处需要等待一些时间，时间根据服务器性能而异，我的物理机大约需要几分钟，虚拟机的话大约需要十几或者几十分钟，耐心等待，全部完毕后，点击继续CM自动为各个服务器进行体检体检结果出来了，中间这两个警告可以

17、忽略，CM会自动帮我们摆平的，如果有其他的问题，根据问题提示给予解决，点击完成集群配置各种不同的Hadoop搭配，鱼丸和粗面都有，根据个人需求自己选择，也支持自定义，本人选择了核心hadoop，点击继续此处为各个CDH组件分配服务器，根据需求分配即可，我的经验是绝大部分可以默认，zookeeper以及hdfs的secondarynamenode需要改一下即可，点击继续测试CDH组件与元数据存放的RDBMS的连通性填完相关的信息后，点击测试链接，测试通过后，点击继续此处是安装的CDH组件的配置信息，如果没有特定的配置或者特殊的要求，可以先都用默认值，后续再界面中可以修改，配置完毕后，点击继续集群

18、各个组件初始化，耐心等待，初始化完毕后，点击完成即大功告成CM卸载由于CM没有提供官方的卸载工具，加上CM的结构复杂，文件存放分散，所以CM的卸载是件风险很高的事情，很有可能卸载不干净而导致二次安装出现各种奇怪的问题，所以不推荐进行卸载。此处的卸载方法仅供参考。下面所有的操作除了停止agent以及server进程外其余在所有的服务器上全部执行关闭集群中的所有服务 这个可以通过clouder manger 主页关闭集群卸载rootmaster # /usr/share/cmf/uninstall-cloudera-manager.sh 在某些版本中没有这个脚本，可以忽略，继续下面的操作在所有的C

19、M的agent上执行/opt/cm-5.8.0/etc/init.d/cloudera-scm-agent stop在CM的主节点上执行/opt/cm-5.8.0/etc/init.d/cloudera-scm-server stop一下都是所有要卸载的集群均要执行清除工作：rootmaster # rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera* /etc/cloudera* 卸载安装包rootslave1 # rpm

20、 -qa | grep clouderarootslave1 # for f in rpm -qa | grep cloudera ; do rpm -e $f ; done （如果有保存，在执行一遍）清除安装文件 rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie /var/lib/pgsql /var/lib/sqoop2 /data/dfs/ /data/impala/ /data/yarn/ /dfs/ /impala/ /yarn/ /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/ma