Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式使用说明

-/Cloudera大数据平台环境搭建（CDH5.13.1版）版本v1.0作者郭维忠发布日期2018-03-10-/目录Cloudera大数据平台环境搭建1（CDH5.13.1版）11.基础环境41.1.软件环境41.2.配置规划41.3.所需要的软件资源41.4.修改机器名（所有节点）51.5.设置防火墙（所有节点）61.6.配置免密码登录SSH61.7.关闭SELINUX（所有节点）81.8.修改Linux内核参数（所有节点）81.9.其他安装与配置（所有节点）101.10.配置NTP服务101.11.安装oracleJDK1.8（所有节点）121.12.Mysql安装（主节点）132.安装CM152.1.传包，解包152.2.创建数据库152.3.创建用户162.4.制作本地YUM源162.5.拷贝jar包172.6.修改cloudera-scm-agent配置172.7.启动CMServer和Agent182.8.访问CM183.安装CDH183.1.登录后界面183.2.选择CM版本193.3.指定主机203.4.选择CDH版本213.4.1.出现“主机运行状态不良”错误223.5.检查主机正确性233.6.选择安装的服务233.7.角色分配243.8.数据库设置243.8.1.测试连接报错：253.9.群集设置26-/3.10. 开始安装 283.11. 安装完成 293.11.1. 警告信息： 294. 常见错误 314.1. 初始化数据库错误： 314.2. 未能连接到HostMonitor 32-/基础环境1.1. 软件环境本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下：谢谢阅读NO.软件名称版本1.操作系统Centos7.464位2.JDKjdk-8u151-linux-x643.ClouderManager5.13.14.CDH5.13.15.数据库Mysql5.76.JDBCmysql-connector-java-5.1.43.jar1.2. 配置规划本次安装共5台服务器，服务器配置及用途如下：NO.机器名称内网IP配置用途1.node168688C/32Gb/1TB主，CM，MysqlDB2.node169698C/32Gb/1TB从3.node170708C/32Gb/1TB从4.node171718C/32Gb/1TB从5.node172728C/32Gb/1TB从1.3. 所需要的软件资源1) JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：/technetwork/java/javase/downloads/jdk8-downloads-精品文档放心下载2133151.html2) CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz谢谢阅读下载地址：/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz谢谢阅读-/3) CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；谢谢阅读CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；感谢阅读manifest.json下载地址：/cdh5/parcels/5.13.1/manifest.json/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel谢谢阅读4) JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar谢谢阅读下载地址：/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar谢谢阅读1.4. 修改机器名（所有节点）修改机器名称#hostnamectlset-hostnamexxx //设置机器名感谢阅读#hostname//查看本机名这种方式，在Centos7中可以永久性改变主机名称。精品文档放心下载每个节点机器，都要配置hosts#vi/etc/hosts内容都改为： localhost//建议保留此行精品文档放心下载68node16869node16970node17071node17172node172-/1.5. 设置防火墙（所有节点）注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。精品文档放心下载防火墙常用命令：#firewall-cmd --state（查询防火墙状态）精品文档放心下载#systemctlstopfirewalld.service （关闭防火墙）感谢阅读#systemctlstartfirewalld.service （开启防火墙）谢谢阅读#systemctldisablefirewalld.service （禁止firewall开机启动）感谢阅读设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）：谢谢阅读//集群机器间可以相互访问firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='68'portprotocol='tcp'port='0-65535'accept"谢谢阅读firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='69'portprotocol='tcp'port='0-65535'accept"感谢阅读firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='70'portprotocol='tcp'port='0-65535'accept"精品文档放心下载firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='71'portprotocol='tcp'port='0-65535'accept"精品文档放心下载firewall-cmd--permanent--add-rich-rule="rulefamily='ipv4'sourceaddress='72'portprotocol='tcp'port='0-65535'accept"精品文档放心下载//设置可以访问的端口firewall-cmd--permanent--add-port=0-65535/tcp谢谢阅读firewall-cmd--reload注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来精品文档放心下载方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。谢谢阅读1.6. 配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问感谢阅读题）在主节点上执行：#cd~//进入到根目录#ssh-keygen-trsa一路回车，生成无密码的密钥对。-/把公钥拷贝至node169服务器上：#scp/root/.ssh/id_rsa.pubroot@node169:~ //输入node169机器上root用户密谢谢阅读码拷备成功登录到node169服务器上：然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏感谢阅读文件夹.ssh下，如果没有可以新建）：#catid_rsa.pub>>~/.ssh/authorized_keys精品文档放心下载如果提示下面信息，则需要创建./ssh目录：-bash:/root/.ssh/authorized_keys:Nosuchfileordirectory精品文档放心下载//创建/.ssh目录,再追加公钥内容#mkdir~/.ssh#catid_rsa.pub>>~/.ssh/authorized_keys感谢阅读并设置authorized_keys的访问权限：谢谢阅读#chmod600~/.ssh/authorized_keys精品文档放心下载测试：在node168点上执行sshnode169，正常情况下，不需要密码就能直接登陆进去了。精品文档放心下载在node168节点出现下面表示成功登录node169节点：精品文档放心下载-/以同样的方式将公钥拷贝至其他节点服务器上。1.7. 关闭SELINUX（所有节点）关闭linuxSELINUX安全内核#setenforce0 （临时生效）修改/etc/selinux/config下的SELINUX=disabled（重启后永久生效）精品文档放心下载#vi/etc/selinux/config内容增加：SELINUX=disabled重启后生效：#reboot查看SELINUX是否关闭：#sestatus（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）感谢阅读1.8. 修改Linux内核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux内核参数。谢谢阅读设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为10：精品文档放心下载//查看swappiness#cat/proc/sys/vm/swappiness精品文档放心下载//永久性修改，执行下面两条命令#sysctl-wvm.swappiness=10#echovm.swappiness=10>>/etc/sysctl.conf精品文档放心下载关闭透明大页面：CentOS6版本开始引入了TransparentHugePages(THP)，从CentOS7版本开始，该特性默认就谢谢阅读-/会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可谢谢阅读能会导致性能出现下降。首先查看透明大页是否启用，[always]never表示已启用，always[never]表示已禁用：感谢阅读#cat/sys/kernel/mm/transparent_hugepage/defrag感谢阅读[always]madvisenever#cat/sys/kernel/mm/transparent_hugepage/enabled精品文档放心下载[always]madvisenever以上状态就说明是启用的。临时关闭（重启机器会变回默认开启状态）：#echonever>/sys/kernel/mm/transparent_hugepage/defrag#echonever>/sys/kernel/mm/transparent_hugepage/enabled精品文档放心下载永久关闭：//编辑/etc/rc.d/rc.local#vi/etc/rc.d/rc.local//在文件后添加下面内容:iftest-f/sys/kernel/mm/transparent_hugepage/enabled;then谢谢阅读echonever>/sys/kernel/mm/transparent_hugepage/enabled感谢阅读fiiftest-f/sys/kernel/mm/transparent_hugepage/defrag;then精品文档放心下载echonever>/sys/kernel/mm/transparent_hugepage/defrag谢谢阅读fi保存退出，然后赋予rc.local文件执行权限：谢谢阅读#chmod+x/etc/rc.d/rc.local谢谢阅读重启系统，以后再检查THP状态，显示状态被禁用了。精品文档放心下载修改文件句柄数：修改系统文件句柄数限制：//查看文件句柄数，显示1024，显然太小#ulimit-n-/1024//修改限制#vi/etc/security/limits.conf谢谢阅读//在文件后加入下面内容：*softnofile100000*hardnofile100000修改后需要重启机器。1.9. 其他安装与配置（所有节点）为避免安装过程中出现异常问题，安装相关依赖包：#yum -y installpsmiscMySQL-pythonatbcbind-libsbind-utilscups-clientcups-libscyrus-sasl-gssapicyrus-sasl-plainedfusefuse-libs精品文档放心下载httpdhttpd-toolskeyutils-libs-develkrb5-devellibcom_err-devellibselinux-devellibsepol-devellibverto-develmailcapnoarchmailxmod_ssl感谢阅读openssl-develpcre-develpostgresql-libspython-psycopg2redhat-lsb-coreredhat-lsb-submod-security x86_64spaxtimezlib-devel感谢阅读#yuminstall-ypython-lxml#yuminstallkrb5-develcyrus-sasl-gssapicyrus-sasl-develibxml2-devellibxslt-develmysqlmysql-developenldap-develpython-develpython-精品文档放心下载simplejsonsqlite-devel#chmod+x/etc/rc.d/rc.local精品文档放心下载#yum-yinstallrpcbind#systemctlstartrpcbind#echo"systemctlstartrpcbind">>/etc/rc.d/rc.local谢谢阅读1.10.配置NTP服务集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。具体建设过程如下：谢谢阅读所有节点安装相关组件：yuminstallntpntpdate-y精品文档放心下载NTP服务端（主节点）：1) 查找时间同步服务器 ：打开网址，内容如下：-/编辑/etc/ntp.conf：#vi/etc/ntp.conf//在文件中输入上面网页内容：server0.谢谢阅读server1.感谢阅读server2.谢谢阅读server3.感谢阅读启动ntp服务：systemctlstartntpd配置开机启动：systemctlenablentpd.service精品文档放心下载注意：如果ntpd开机启动失效，有可能是因为安装了chronyd并且是开机自启状态，所以导致ntpd开感谢阅读机自启失败。查看chronyd设置状态systemctlstatuschronyd显示如下：以面表明，chronyd显示为开机启动状态。将chronyd设为禁用状态：#systemctldisablechronyd.service谢谢阅读-/此时，NTP的服务开机自启动完成！检查是否设置成功：ntpq-p//更新时间#timedatectlNTP客户端（所有从节点）：远程客户端时间同步测试datentpdate6868是NTP服务端IP，显示如下信息，测试成功：谢谢阅读客户端设置计划任务，每30分钟同步时间#crontab-e//加入内容：0-59/30****/usr/sbin/ntpdate68&&/sbin/hwclock-w精品文档放心下载设置定时任务开机启动//设置开机启动#systemctlenablecrond.service精品文档放心下载//查看状态#systemctlstatuscrond1.11.安装oracleJDK1.8（所有节点）谢谢阅读下载rpm安装包jdk-8u151-linux-x64.rpm感谢阅读CentOS系统一般自带OpenJdk，需要卸载掉自带的OpenJdk，使用感谢阅读#rpm-qa|grepjava查询java相关的包，使用-/#rpm-e–nodeps+ 包名强制卸载掉，下面安装oralceJDKrpm-ivhjdk-8u151-linux-x64.rpm谢谢阅读配置JAVA_HOME环境变量：修改/etc/profile文件配置环境变量， 执行命令：感谢阅读#vi/etc/profile在profile文件最后，输入下面内容，保存并退出。感谢阅读exportJAVA_HOME=/usr/java/jdk1.8.0_151精品文档放心下载exportPATH=$PATH:$JAVA_HOME/bin感谢阅读执行下面命令，让配置生效#source/etc/profile //使修改立即生效精品文档放心下载#echo$PATH //查看PATH值#echo$JAVA_HOME //查看JAVA_HOME值谢谢阅读在Centos7中修改/etc/profile文件配置环境变量，机器启动后有时不生效，可以修改/etc/bashrc感谢阅读文件配置环境变量：vi/etc/bashrc//在文件最后加入：exportJAVA_HOME=/usr/java/jdk1.8.0_151感谢阅读exportPATH=$PATH:$JAVA_HOME/bin谢谢阅读//使修改立即生效#source/etc/bashrc//查看JAVA_HOME值#echo$JAVA_HOME1.12.Mysql安装（主节点）到官网/downloads/file/?id=469456选择对应安装包：精品文档放心下载下载安装包#wget//archives/mysql-5.7/mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar谢谢阅读解压安装包#tar-xvfmysql-5.7.18-1.el7.x86_64.rpm-bundle.tar精品文档放心下载//解压后文件列表：mysql-community-embedded-devel-5.7.18-1.el7.x86_64.rpm谢谢阅读-/mysql-community-devel-5.7.18-1.el7.x86_64.rpm谢谢阅读mysql-community-client-5.7.18-1.el7.x86_64.rpm谢谢阅读mysql-community-common-5.7.18-1.el7.x86_64.rpm感谢阅读mysql-community-embedded-5.7.18-1.el7.x86_64.rpm感谢阅读mysql-community-embedded-compat-5.7.18-1.el7.x86_64.rpm感谢阅读mysql-community-libs-5.7.18-1.el7.x86_64.rpm谢谢阅读mysql-community-server-minimal-5.7.18-1.el7.x86_64.rpm感谢阅读mysql-community-test-5.7.18-1.el7.x86_64.rpm精品文档放心下载mysql-community-minimal-debuginfo-5.7.18-1.el7.x86_64.rpm谢谢阅读mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm感谢阅读按次序安装common–>libs–>client–>server的顺序安装：精品文档放心下载#rpm-ivhmysql-community-common-5.7.18-1.el7.x86_64.rpm感谢阅读#rpm-ivhmysql-community-libs-5.7.18-1.el7.x86_64.rpm精品文档放心下载#rpm-ivhmysql-community-client-5.7.18-1.el7.x86_64.rpm感谢阅读#rpm-ivhmysql-community-server-5.7.18-1.el7.x86_64.rpm感谢阅读#rpm-ivhmysql-community-devel-5.7.18-1.el7.x86_64.rpm感谢阅读//安装下面包，否则Hue安装报连接错误#rpm-ivh mysql-community-libs-compat-5.7.18-1.el7.x86_64.rpm谢谢阅读启动数据库#systemctlstartmysqld查看状态：#systemctlstatusmysqld修改MySQL初始密码1、先修改配置文件/etc/f令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：感谢阅读skip-grant-tables2、重启MySQL#servicemysqldrestart3、免密码登录MySQL。#mysql4、mysql客户端执行如下命令，修改root密码精品文档放心下载mysql> usemysql;mysql>UPDATEuserSETauthentication_string=password('your-password')WHEREhost='localhost'ANDuser='root';感谢阅读mysql>selecthost,user,authentication_string,password_expiredfromuser;感谢阅读mysql>updateusersetpassword_expired='N'wherepassword_expired='Y'//密码不过期mysql>updateusersethost='%'whereuser='root'andhost='localhost';//远程可访问精品文档放心下载-/mysql>flushprivileges;//刷新精品文档放心下载mysql>exit;//退出5、修改配置文件/etc/f删除此前新增那一行skip-grant-tables，并重启MySQL(这一步非常重要，不执行可能导致严重的安全问题)感谢阅读#servicemysqldrestart//重启Mysql精品文档放心下载安装CM2.1. 传包，解包在主节点上下载相关软件包，这里将软件包下载到/data/cdh/目录下。精品文档放心下载#cd/data/cdh下载MysqlJDBC包：#wget/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar精品文档放心下载下载CM：#wget/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz感谢阅读下载CDH：#wget/cdh5/parcels/5.13.1/manifest.json#wget/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1#wget/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel谢谢阅读CM解压到/opt/目录：tar-zxvfcloudera-manager-centos7-cm5.13.1_x86_64.tar.gz-C/opt/谢谢阅读ls/opt/cloudera cm-. 创建数据库在主节点上：#mysql-h-uroot-p //加参数-h指定本机方式，否则可能不允许执行grant感谢阅读Enterpassword: \\输入数据库密码//在MariaDB[(none)]>命令状态输入下面脚本：精品文档放心下载createdatabasehiveDEFAULTCHARSETutf8COLLATEutf8_general_ci;谢谢阅读createdatabaseamonDEFAULTCHARSETutf8COLLATEutf8_general_ci;精品文档放心下载createdatabasehueDEFAULTCHARSETutf8COLLATEutf8_general_ci;感谢阅读-/createdatabasemonitorDEFAULTCHARSETutf8COLLATEutf8_general_ci;谢谢阅读createdatabaseoozieDEFAULTCHARSETutf8COLLATEutf8_general_ci;精品文档放心下载grantallprivilegeson*.*toroot@localhostidentifiedby'root'withgrantoption;精品文档放心下载grantallon*.*toroot@"%"Identifiedby"root";精品文档放心下载flushprivileges;exit;//复制MysqlJDBC包到/opt/cm-5.13.1/share/cmf/lib/目录谢谢阅读#cpmysql-connector-java-5.1.43-bin.jar/opt/cm-5.13.1/share/cmf/lib/精品文档放心下载//初始化CM，执行下面脚本/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.shmysqlcm-hnode168-uroot-proot--scm-hostnode168scmscmscm//如果出现下面错误：精品文档放心下载java.sql.SQLException:Accessdeniedforuser'root'@'localhost'(usingpassword:YES)精品文档放心下载//解决办法：在/etc/hosts文件中，加上localhost.node168感谢阅读主节点/etc/hosts内容：脚本/scm_prepare_database.sh执行成功界面：谢谢阅读2.3. 创建用户在所有节点上执行：#useradd--system--home=/opt/cm-5.13.1/run/cloudera-scm-server --shell=/bin/false--comment"ClouderaSCMUser"cloudera-scm精品文档放心下载2.4. 制作本地YUM源在主节点上：//进入软件包目录#cd/data/cdh//拷贝三个文件到/opt/cloudera/parcel-repo/目录谢谢阅读#cp CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcelCDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1manifest.json/opt/cloudera/parcel-repo/谢谢阅读//进入/opt/cloudera/parcel-repo/目录感谢阅读-/#cd/opt/cloudera/parcel-repo/精品文档放心下载//修改文件名#mvCDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha感谢阅读此时/opt/cloudera/parcel-repo/目录下文件：谢谢阅读2.5. 拷贝jar包在所有节点上：//如果没有/usr/share/java/目录，则创建感谢阅读#cpmysql-connector-java-5.1.43-bin.jar/usr/share/java/mysql-connector-java.jar精品文档放心下载在主节点上：//将mysqlJDBCjar 包拷贝到/opt/cm-5.13.1/share/cmf/lib/目录谢谢阅读#cpmysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib/感谢阅读2.6. 修改cloudera-scm-agent配置精品文档放心下载在主节点上，修改/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini文件：谢谢阅读//将config.iniserver_host=localhost内容改为server_host=68精品文档放心下载#sed-i"s/server_host=localhost/server_host=68/"/opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini精品文档放心下载在主节点上：//将cm-5.13.1打包，并复制到其他节点#cd/opt#tarczfcm-5.13.1.tar.gz cm-5.13.1/精品文档放心下载//复制到其他节点#scpcm-5.13.1.tar.gznode169:/opt/精品文档放心下载#scpcm-5.13.1.tar.gznode170:/opt/感谢阅读#scpcm-5.13.1.tar.gznode171:/opt/感谢阅读#scpcm-5.13.1.tar.gznode172:/opt/感谢阅读在所有从节点上解压：//将cm-5.13.1包解压#cdopt#tar-xzvfcm-5.13.1.tar.gz-///解压后删除#rm-rfcm-5.13.1.tar.gz2.7. 启动CMServer和Agent在主节点上，启动cloudera-scm-server：谢谢阅读#/opt/cm-5.13.1/etc/init.d/cloudera-scm-serverstart谢谢阅读启动过程较慢，可通过/opt/cm-5.13.1/log/cloudera-scm-server日志，查看启动过程。谢谢阅读在所有节点上，启动cloudera-scm-agent：感谢阅读#/opt/cm-5.13.1/etc/init.d/cloudera-scm-agentstart感谢阅读2.8. 访问CM地址：http://主节点IP:7180用户名、密码：admin安装CDH3.1. 登录后界面接受协议：-/3.2. 选择CM版本本文档选择ClouderaExpress免费版。谢谢阅读-/3.3. 指定主机在搜索主机名和IP地址框输入node[169-172]，这里输入的内容支持正则表达式。输入后点【搜精品文档放心下载索】按钮，出现机器列表：选择“当前管理的主机“选择项卡，点【继续】。-/3.4. 选择CDH版本这里需要选择制作本地源时的版本，如果选择别的版本的就会去官网下载，那样安装速度会很谢谢阅读慢。点【继续】按钮，进入安装界面。-/3.4.1. 出现“主机运行状态不良”错误遇到节点“主机运行状态不良”的提示，解决办法是删除故障节点Agent服务cm_guid文件：精品文档放心下载#rm-rf/opt/cm-5.13.1/lib/cloudera-scm-agent/cm_guid感谢阅读重新启动故障节点Agent服务：#/opt/cm-5.13.1/etc/init.d/cloudera-scm-agentrestart精品文档放心下载重启故障节点Agent服务后，故障消失：注：出现故障原因是，因为我之前在故障节点启动过cloudera-scm-agent服务。感谢阅读-/3.5. 检查主机正确性确保全部验证通过。3.6. 选择安装的服务本文选择的是安装所有服务。-/3.7. 角色分