![Cloudera大数据平台环境搭建CDH傻瓜式说明书_第1页](http://file3.renrendoc.com/fileroot_temp3/2022-1/19/94cb59a2-5151-44e9-8459-cfba013928bc/94cb59a2-5151-44e9-8459-cfba013928bc1.gif)
![Cloudera大数据平台环境搭建CDH傻瓜式说明书_第2页](http://file3.renrendoc.com/fileroot_temp3/2022-1/19/94cb59a2-5151-44e9-8459-cfba013928bc/94cb59a2-5151-44e9-8459-cfba013928bc2.gif)
![Cloudera大数据平台环境搭建CDH傻瓜式说明书_第3页](http://file3.renrendoc.com/fileroot_temp3/2022-1/19/94cb59a2-5151-44e9-8459-cfba013928bc/94cb59a2-5151-44e9-8459-cfba013928bc3.gif)
![Cloudera大数据平台环境搭建CDH傻瓜式说明书_第4页](http://file3.renrendoc.com/fileroot_temp3/2022-1/19/94cb59a2-5151-44e9-8459-cfba013928bc/94cb59a2-5151-44e9-8459-cfba013928bc4.gif)
![Cloudera大数据平台环境搭建CDH傻瓜式说明书_第5页](http://file3.renrendoc.com/fileroot_temp3/2022-1/19/94cb59a2-5151-44e9-8459-cfba013928bc/94cb59a2-5151-44e9-8459-cfba013928bc5.gif)
下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、Cloudera大数据平台环境搭建(CDH5.13.1 版)版本v1.0作者郭维忠发布日期2018-03-10目录Cloudera 大数据平台环境搭建 1. 基础环境1.1. 软件环境1.2. 配置规划1.3. 所需要的软件资源1.4. 修改机器名(所有节点)1.5. 设置防火墙(所有节点) 1.6. 配置免密码登录SSH1.7. 关闭SELINUX(所有节点)1.8. 修改 Linux内核参数(所有节点) 1.9. 其他安装与配置(所有节点)1.10. 配置NTP月艮务1.11. 安装 oracle JDK1.8 (所有节点) 112. Mysql安装(主节点) 2安装CM2.1. 传包,解
2、包2.2. 创建数据库2.3. 创建用户2.4. 制作本地 YUM源2.5. 拷贝jar包2.6. 多改 cloudera-scm-agent酉己置2.7. 启动 CM Server和Agent2.8. 访问 CM3.安装CDH3.1. 登录后界面 3.2. 选择CM版本3.3. 指定干机3.4. 诜择CDH版本出现主机运行状态不良”错误3.5. 榆杳丰机正确性36.选择安装的服务3.7. 角色分配3.8. 数据库设置测试连接报错:3.9. 群集t置3.10.开始安装311.安装室成警告信息:4.常见错误4±初始化数据库错误:4.2. 未能连接到 Host Monitor 基础环境
3、软件环境本文将介绍Centos7.4离线安装CDH和Cloudera Manager过程,软件版本如下:NO.软件名称版本操作系统Centos7.4 64 位JDKjdk-8u151-linux-x64Clouder Manager5.13.1CDH5.13.1数据库Mysql 5.7JDBCmysql-connector-java-.jar配置规划本次安装共5台服务器,服务器配置及用途如下:NO.机器名称内网IP配置用途node1688C/32Gb/1TB主,CM MysqlDBnode16998C/32Gb/1TB从node170708C/32Gb/1TB从node171718C/32Gb
4、/1TB从node172728C/32Gb/1TB从所需要的软件资源1) JDKM 境:51jdk-8u151-linux-x64.rpm下载地址:2) CM 包:CM 版本:5.13.1下载地址:3) CDH 包CDH版本:5.13.1,.sha1 ;manifest.json下载地址:4) JDBCS接 jar 包:jar 包版本:5.1.43,mysql-connector-java-5.1.43.jar下载地址:修改机器名(所有节点)J)修改机器名称# hostnamectl set-hostname xxx /设置机器名#hostname / 查看本机名这种方式,在Centos7中可
5、以永久性改变主机名称。2)每个节点机器,都要配置hosts# vi /etc/hosts内容都改为:1/建议保留此行设置防火墙(所有节点)注:为了简便,可以先关闭防所有节点火墙,安装完成后,再按照下面步骤设置。防火墙常用命令:# firewall-cmd -state(查询防火墙状态)#systemctl stop firewalld.service(关闭防火墙)#systemctl start firewalld.service(开启防火墙)#systemctl disable firewalld.service(禁止 firewall开机启动)设置防火墙策略,在所有节点执行下面脚本(执行前
6、要启动防火墙):集群机器间可以相互访问/设置可以访问的端口firewall-cmd -permanent -add-port=0-65535/tcpfirewall-cmd -reload注意:需要在所有的节点上执行,因为涉及到的端口太多了,临时开放所有端口是为 了安装起来方便,安装完毕后可以根据需要设置防火墙策略,保证集群安全。配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆(主节点访问从节点需要无密码互通,否则后 面会出现问题)在主节点上执行:# cd /进入到根目录# ssh-keygen -t rsa一路回车,生成无密码的密钥对。把公钥拷贝至node169服务器上?:# sc
7、p /root/.ssh/id_rsa.pub rootnode169:/ 输入 node169 机器上 root 用户密码拷备成功登录到node169 服务器上:然后在node169服务器上,把公钥的内容追加到authorized_keys 文件末尾(这个文 件也在隐藏文件夹.ssh下,如果没有可以新建):# cat id_rsa.pub >> /.ssh/authorized_keys如果提示下面信息,则需要创建./ssh目录:# bash: /root/.ssh/authorized_keys: No such file or directory创建/.ssh目录,再追加公钥
8、内容# mkdir /.ssh# cat id_rsa.pub >> /.ssh/authorized_keys并设置authorized_keys的访问权限:# chmod 600 /.ssh/authorized_keys测试:在node168点上执行ssh node169,正常情况下,不需要密码就能直接登陆进去在node168节点出现下面表示成功登录 node169节点:以同样的方式将 公钥拷贝至其他节点服务器上。关闭SELINUX(所有节点)关闭linux SELINUXe全内核# setenforce 0(临时生效)修改/etc/selinux/con巾g下的SELINU
9、X=disabled (重启后永久生效)# vi /etc/selinux/config内容增加:SELINUX=disabled重启后生效:# reboot查看SELINUX是否关闭:#sestatus(在Centos7中遇到SELINUXC法关闭的问题,重新启动机器恢复正常)修改Linux内核参数(所有节点)为避免安装过程中出现的异常问题,首先调整Linux内核参数。1)设置swappiness ,控制换出运行时内存的相对权重,Cloudera建议将swappiness 设置为 10 :/ 查看 swappiness# cat /proc/sys/vm/swappiness/永久性修改,执
10、行下面两条命令# sysctl -w vm.swappiness=10# echo vm.swappiness = 10 >> /etc/sysctl.conf2)关闭透明大页面:自CentOS6版本开始引入了 Transparent Huge Pages(THP)从CentOS7版本开始,该特 性默认就会启用。尽管THP的本意是为提升内存的性能,不过某些数据库厂商还是建议直 接关闭THP,否则可能会导致性能出现下降。首先查看透明大页是否启用,always never表示已启用,always neve门表示已禁用:# cat /sys/kernel/mm/transparent_h
11、ugepage/defragalways madvise never# cat /sys/kernel/mm/transparent_hugepage/enabledalways madvise never以上状态就说明是启用的。临时关闭(重启机器会变回默认开启状态):# echo never > /sys/kernel/mm/transparent_hugepage/defrag# echo never > /sys/kernel/mm/transparent_hugepage/enabled内久关闭:/ 编辑/etc/rc.d/rc.local# vi /etc/rc.d/rc
12、.local/在文件后添加下面内容:if test -f/sys/kernel/mm/transparent_hugepage/enabled; thenecho never > /sys/kernel/mm/transparent_hugepage/enabled fiif test -f/sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi保存退出,然后赋予rc.local文件执行权限:#chmod +x /etc/rc
13、.d/rc.local重启系统,以后再检查THP状态,显示状态被禁用了。3)修改文件句柄数:修改系统文件句柄数限制:查看文件句柄数,显示1024,显然太小# ulimit -n1024/修改限制#vi /etc/security/limits.conf/在文件后加入下面内容:* soft nofile 100000* hard nofile 100000修改后需要重启机器。其他安装与配置(所有节点)为避免安装过程中出现异常问题,安装相关依赖包:# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client
14、cups-libs cyrus-sasl-gssapi cyrus-sasl-plain edfuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devellibverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-coreredhat-lsb-submod-securit
15、y x86_64 spax time zlib-devel#yum install -y python-lxml#yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel# chmod +x /etc/rc.d/rc.local# yum -y install rpcbind# systemctl start rpcbind# ec
16、ho "systemctl start rpcbind" >> /etc/rc.d/rc.local配置NTP服务集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。具体建设过程如下:所有节点安装相关组件:# yum?install?ntp?ntpdate?-yNTP服务端(主节点):1)查找时间同步服务器:打开网址,内容如下:2)编辑 /etc/ntp.conf :# vi /etc/ntp.conf/在文件中输入上面网页内容:3)启动ntp服务:# systemctl start ?ntpd4)配置开机启动:# systemctl?enable?
17、ntpd.service ?注意:如果ntpd开机启动失效,有可能是因为安装了 chronyd?并且是开机自启状态,所以导致 ntpd开机自启失败。#查看? chronyd 设置状态# systemctl status chronyd显示如下:以面表明,chronyd显本为开机启动状态。将chronyd设为禁用状态:# systemctl disable chronyd.service此时,NTP的服务开机自启动完成!5)检查是否设置成功:# ntpq?-p/更新时间#timedatectl?NTP客户端(所有从节点):6)远程客户端时间同步测试# date# ntpdate是NTP服务端IP
18、,显示如下信息,测试成功:7)客户端设置计划任务,每30分钟同步时间#crontab -e加入内容:8)设置定时任务开机启动/设置开机启动# systemctl enable crond.service/查看状态# systemctl status crond安装oracle JDK1.8 (所有节点)下载 rpm 安装包 jdk-8u151-linux-x64.rpmCentOS系统一般自带 OpenJdk,需要卸载掉自带的 OpenJdk,使用# rpm -qa | grep java查询java相关的包,使用# rpm -e - nodeps + 包名强制卸载掉,下面安装oralce J
19、DK# rpm -ivh jdk-8u151-linux-x64.rpm配置JAVA_HOM可境变量:修改/etc/pro巾le文件配置环境变量,执行命令:# vi /etc/profile在profile文件最后,输入下面内容,保存并退出。export PATH=$PATH:$JAVA_HOME/bin执行下面命令,让配置生效# source /etc/profile/使修改立即生效# echo $PATH / 查看 PATH 值# echo $JAVA_HOME / 查看 JAVA_HOME 值在Centos7中修改/etc/pro刊e文件配置环境变量,机器启动后有时不生效,可以修改 /e
20、tc/ bashrc文件配置环境变量:# vi /etc / bashrc/在文件最后加入:export PATH=$PATH:$JAVA_HOME/bin/使修改立即生效# source /etc/bashrc/ 查看 JAVA_HOME 值# echo $JAVA_HOMEMysql安装(主节点)到官网选择对应安装包:1) 下载安装包2)解压安装包#/解压后文件列表:3)按次序安装按 common >libs- >client - >server 的顺序安装:#/安装下面包,否则 Hue安装报连接错误# rpm -ivh4)启动数据库# systemctl start m
21、ysqld查看状态:# systemctl status mysqld5)修改MySQL初始密码1 /etc/f - MySQLmysqldskip-grant-tables2、重启 MySQL#service mysqld restart3、免密码登录 MySQL#mysql4、mysql客户端执行如下命令,修改 root密码mysql> use mysql;mysql> UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost'
22、; AND user='root'mysql> select host,user, authentication_string, password_expired from user;mysql> update user set password_expired='N' where password_expired='Y' /密码不过期mysql> update user set host='%' where user='root' and host='localhost' /远程
23、可访问mysql> flush privileges; / 刷新mysql> exit;/ 退出5、修改配置文件/etc/f删除此前新增那一行 skip-grant-tables ,并重启MySQL这一步非常重要,不执行可能导致严重的安全问题)#service mysqld restart / 重启 Mysql安装CM 传包,解包在主节点上下载相关软件包,这里将软件包下载到/data/ cdh/目录下#cd /data/cdh下载 Mysql JDBCfe:#wget下载CM:#wget下载CDH:#wget# wget .sha1#wget将CM解压到/opt/目录:# tar
24、-zxvf -C /opt/# ls /opt/cloudera cm-5.13.1创建数据库在主节点上:# mysql -uroot -p /加参数-指定本机方式,否则可能不允许执行grantEnter password:输入数据库密码/在MariaDB (none)> 命令状态输入下面脚本:create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database h
25、ue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to rootlocalhost identified by 'root' with grant option;grant all on *.* to root
26、"%" Identified by "root"flush privileges;exit;/ 复制 Mysql JDBC 包到/opt/cm-5.13.1/share/cmf/lib/目录#cp /opt/cm-5.13.1/share/cmf/lib/初始化CM执行下面脚本/如果出现下面错误:/解决办法:在/etc/hosts文件中,加上1主节点/etc/hosts内容:脚本/scm_prepare_database.sh 执行成功界面:创建用户在所有节点上执行:# useradd -system -home=/opt/cm-5.13.1/run/c
27、loudera-scm-server -shell=/bin/false -comment "Cloudera SCM User' cloudera-scm制作本地YUM源 在主节点上:进入软件包目录#cd /data/cdh/ 拷贝三个文件至1J /opt/cloudera/parcel-repo/ 目录#/ 进A/opt/cloudera/parcel-repo/目 录#cd /opt/cloudera/parcel-repo/修改文件名#止匕时 /opt/cloudera/parcel-repo/ 目 录下文件:拷贝jar包在所有节点上:/如果没有/usr/share/
28、java/ 目录,则创建# cp /usr/share/java/mysql-connector-java.jar在主节点上:/ 将 mysql JDBC jar 包拷贝到 /opt/cm-5.13.1/share/cmf/lib/目录#cp /opt/cm-5.13.1/share/cmf/lib/修改 cloudera-scm-agent 酉己置在主节点上,修改 /opt/cm-5.13.1/etc/cloudera-scm-agent/config.ini 文件:/ 将 config.ini server_host=localhost内容改为 s# 5.13.1/etc/cloudera
29、-scm-agent/config.ini在主节点上:/将cm-5.13.1打包,并复制到其他节点#cd /opt#tar czf cm-5.13.1.tar.gz cm-5.13.1/复制到其他节点#scp cm-5.13.1.tar.gz node169:/opt/#scp cm-5.13.1.tar.gz node170:/opt/#scp cm-5.13.1.tar.gz node171:/opt/#scp cm-5.13.1.tar.gz node172:/opt/在所有从节点上解压:/将cm-5.13.1 包解压#cd opt#tar -xzvf cm-5.13.1.tar.gz/
30、解压后删除# rm -rf cm-5.13.1.tar.gz启动 CM Server和 Agent在主节点上,启动 cloudera-scm-server:# /opt/cm-5.13.1/etc/init.d/cloudera-scm-server start启动过程较慢,可通过/opt/cm-5.13.1/log/cloudera-scm-server日志,查看启动过程。在所有节点上,启动 cloudera-scm-agent:# /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent start访问CM用户名、密码:admin安装CDH登录后界面接受协议
31、:选才? CM版本本文档选择Cloudera Express费版。指定主机在搜索主机名和IP地址框输入node169-172,这里输入的内容支持正则表达式。输入 后点【搜索】按钮,出现机器列表:选择“当前管理的主机”选择项卡,点【继续】。选才? CDH版本这里需要选择制作本地源时的版本,如果选择别的版本的就会去官网下载,那样安装速 度会很慢。点【继续】按钮,进入安装界面。出现“主机运行状态不良”错误遇到节点”主机运行状态不良”的提示,解决办法是删除故障节点Agent服务cm_guid文件:#rcloudera-scm-agent/cm_guid重新启动故障节点 Agent服务:重启故障节点Ag
32、ent服务后,故障消失:注:出现故障原因是,因为我之前在故障节点启动过cloudera-scm-agent服务检查主机正确性确保全部验证通过。选择安装的服务本文选择的是安装所有服务。角色分配这里应该根据实际需求和服务器的硬件参数自己选择数据库设置指定的数据库名称,要与2.2节创建的数据库(hive,monitor,oozie,hue)保持一致,并 输入对应的数据库用户名和密码,为了简便这里用的是root账号名和密码。全部输入完,之后【测试连接】:测试连接报错:测试连接, Hue 测试报错: Unable to verify database connection:原因是缺少 Mysql mysql-community-libs-co
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024-2030年中国方便面自动售货机行业市场发展趋势与前景展望战略分析报告
- 2024-2030年中国文具盒行业发展分析及前景趋势与投资风险研究报告
- 2024-2030年中国数字业务支持系统行业盈利动态及投资前景预测报告
- 差速器课程设计文档
- 2023年房地产信息化投资申请报告
- 课程设计什么是课程设计
- 多动症音乐治疗课程设计
- 儿童玻璃瓶绘画课程设计
- 儿童激光雕刻课程设计
- 儿童汉服妆造课程设计
- 基于项目式学习的初中数学“综合与实践”教学研究
- 设计采购施工EPC总承包合同(2024版)
- 2024湖南邵阳大圳灌区管理局和所属事业单位招聘历年(高频重点提升专题训练)共500题附带答案详解
- 超聚变FCIA考试附有答案
- 出生缺陷(遗传代谢病)救助回执单
- 2024年重庆水投原水资源管理限公司社会招聘【重点基础提升】模拟试题(共500题)附带答案详解
- T-WSJD 51-2024 医疗机构消毒供应中心用水卫生要求
- 《矿产资源“三率”指标要求 第15部分:地热、矿泉水》(报批稿)
- 医院食堂服务方案设计
- 近视激光手术的护理
- 2023年度建筑施工行业安全生产事故统计分析
评论
0/150
提交评论