CDH547安装部署手册

1、CDH5.4.7安装部署手册、文档编号：版 本 号：V1.0编 写：审 核：修订记录版本号修订日期章节号修订内容修订人批准人目录1 软件介绍51.1 关于CDH和Cloudera Manager52 环境准备52.1 集群规划52.2 环境部署72.2.1 MySQL下载72.2.2 JDK下载72.2.3 CDH下载72.2.4 JDK的安装 (所有节点)82.2.5 关闭防火墙（所有节点）92.2.6 SSH无密码登陆 （所有节点）102.2.7 安装NTP时间同步服务（所有节点）112.2.8 安装MySQL143 Cloudera Manager安装173.1 Clouder

2、a Manager安装173.1.1 master配置183.1.2 agent配置193.2 安装Cloudera Manager所需的rpm包203.2.1 安装rpm文件203.2.2 本地源配置213.3 启动Cloudera Manager223.3.1 开启Cloudera Manager 5 Server端223.3.2 重启Cloudera Manager 5 Server端233.3.3 启动Agent234 安装CDH235 CM卸载276 杂记：Namenode和Secondarynamenode的关系【转】271 软件介绍1.1 关于CDH和Cloudera Manag

3、erCM: Cloudera Manager （Cloudera公司专有的Hadoop集群管控平台） 。CDH: Cloudera Distributed Hadoop（Cloudera公司重新打包发布的Hadoop版本） 。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错

4、性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。2 环境准备2.1 集群规划IP地址主机名角色1c1n1NN/ RM/ HMaster/ZKFC/JobHistoryServer1

5、2c1n2NN/ RM/ HMaster/ZKFC 3c1d1DN/ NM/ HRegionServer 4c1d2DN/ NM/ HRegionServer 5c1d3DN/ NM/ HRegionServer 6c1d4DN/ NM/ HRegionServer 7c1d5DN/ NM/ HRegionServer 8c1d6DN/ NM/ HRegionServer 9c1d7DN/ NM/ HRegionServe

6、r 0c1d8DN/ NM/ HRegionServer/ JN/ ZK1c1d9DN/ NM/ HRegionServer/ JN/ ZK2c1d10DN/ NM/ HRegionServer/ JN/ ZK 服务器配置：软硬件配置：账号密码1Namenode、HmasterResourceManager1-22台主机型号 Dell PowerEdge R720rootbig1data物理机硬件配置(CPU/MEM)10C/64G物理机硬件配置(DISK)1T 硬盘 x1550G 硬

7、盘 x2操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.42Datanode、NodeManager、HRegionServer3-97台主机型号 Dell PowerEdge R620rootbig1data物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)1T 硬盘 x4操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.43Zookeeper0-23台主机型号 Dell Power

8、Edge R620rootbig1data物理机硬件配置(CPU/MEM)10C/32G物理机硬件配置(DISK)1T 硬盘 x4操作系统及版本号RED HAT ENTERPRISE LINUX SERVER RELEASE 6.42.2 环境部署2.2.1 MySQL下载（1）MySQL-client-5.6.25-1.el6.x86_64.rpm （2）MySQL-server-5.6.25-1.el6.x86_64.rpm （3）mysql-connector-java-5.1.36.zip /中使用2.2.2 JDK下载（1）jdk-7u71-linux-x64.tar.

9、gz2.2.3 CDH下载（1）cloudera-manager-el6-cm5.3.4_x86_64.tar.gzhttp:/archive-（2）rpm包 （3）parcel文件http:/archive-以上存放目录：/opt/CDH2.2.4 JDK的安装 (所有节点)安装好的Centos系统有时会自动安装OpenJdk，用命令java -version查看1、删除CentOS自带的JDK 查看当前JDK rpm包 #rpm -qa | grep jdkjava-1.7.0-openjdk-5-.el6.x86_64java-1.6.0-openjdk-de

10、vel--3.0.el6.x86_64java-1.7.0-openjdk-devel-5-.el6.x86_64java-1.6.0-openjdk--3.0.el6.x86_64 删除自带JDK rpm -e -nodeps java-1.7.0-openjdk-5-.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk-devel--3.0.el6.x86_64rpm -e -nodeps java-1.7.0

11、-openjdk-devel-5-.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk--3.0.el6.x86_64 检查是否删除干净#rpm -qa | grep jdk2、安装目录/opt/jdk1.7.0_713、 安装JDK首先将jdk-7u71-linux-x64.tar.gz解压tar -xzvf jdk-7u71-linux-x64.tar.gz -C /opt/4 、设置环境变量#vi /etc/profileexport JAVA_HOME=/opt/jdk1.7.0_71expo

12、rt PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=$JAVA_HOME/libexport CLASSPATH=$CLASSPATH:$JAVA_HOME/jre/lib5、使配置生效#source /etc/profile6、检查JDK安装java -version2.2.5 关闭防火墙（所有节点）防火墙会引起hadoop相关组件通讯的各种异常，需关闭防火墙。用root用户权限登录进行操作。1 、关闭防火墙#service iptables stop验证：service iptables status#service iptables stop （临时

13、关闭） #chkconfig iptables off （重启后生效）2、 关闭selinuxselinux是一种强制访问控制的实现vi /etc/selinux/configSELINUX=disabled3、验证使用getenforce命令查看是否关闭#getenforceDisabled4、绑定IP与主机名（所有节点）修改/etc/hosts在每台机器的/etc/hosts中配置集群中各节点的IP和IP对应的机器名，具体内容如下：执行命令修改主机名修改/etc/sysconfig/network文件：将各个节点的hostname，修改为对应的主机名，便于区分。重启网络，使修改生效#ser

14、vice network restart2.2.6 SSH无密码登陆 （所有节点）配置ssh互信的核心思想如下： 首先，在要配置互信的机器上，生成各自的经过认证的key文件； 其次，将所有的key文件汇总到一个总的认证文件中； 将这个包含了所有互信机器认证key的认证文件，分发到各个机器中去； 验证互信。 1、生成秘钥对#ssh-keygen -t rsa连续3个回车即可，不必输入2、分别改变/.ssh目录和authorized_keys文件的权限（非root用户务必做，保证只有用户自己有写权限，否则免密码登录无效，root用户不做）#chmod 700 /.ssh#chmod 60

15、0 /.ssh/authorized_keys （备注：root用户省略此步骤）3、每个节点主机都重复以上步骤，并将各自的/.ssh/id_rsa.pub文件的公钥拷贝至其他主机。hadoop2:scp /root/.ssh/id_rsa.pub hadoop1:root/.ssh/id_rsa.pub2hadoop3:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub3hadoop4:scp /root/.ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub4hadoop5:scp /root/.

16、ssh/id_rsa.pub hadoop1:/root/.ssh/id_rsa.pub54、创建公钥认证文件authorized_keys并将生成的/.ssh目录下的id_rsa.pub文件 的内容输出至该文件。 在hadoop1中执行： cat /root/.ssh/id_rsa.pub* >> /root/.ssh/authorized_keys 5、将生成authorized_keys文件拷贝到其他主机上的/root/.ssh/目录中。hadoop2hadoop6将自己的公钥复制给对方主机scp /root/.ssh/authorized_keys hadoop2:/roo

17、t/.ssh/scp /root/.ssh/authorized_keys hadoop6:/root/.ssh/scp /root/.ssh/authorized_keys hadoop2-5:/root/.ssh6、测试ssh互信在各个节点上运行以下命令，若不需要输入密码就显示系统当前日期，就说明SSH互信已经配置成功了。在c1n1节点上输入以下命令：ssh c1n2 datessh c1d1 datessh c1d2 datessh c1d3 datessh c1d4 date2.2.7 安装NTP时间同步服务（所有节点）集群中所有主机必须保持时间同步，如果时间相差较大（一般大于6秒）会

18、引起各种问题。 具体思路如下。master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。所有datanode节点以master节点为基础同步时间。NTP可以使用yum直接安装# yum install -y  ntp每台机器安装ntp与ntpdate，并执行以下命令：#service ntpd start启动NTP时间同步服务#chkconfig ntpd on配置开机启动#chkconfig -list ntpd 查看开机启动设置是否成功 #检查是否ntp开启，命令结果，2-5是启用 与主控机同步，先配置主控机的时间与实际时间符合，然后

19、搭建时间服务器并进行同步，步骤如下： 配置NTP主机端 NTP服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出。#vim /etc/ntp.conf 加入以下内容：restrict mask nomodify notrap # 允许内网其他机器同步时间server # 外部时间服务器不可用时，以本地时间作为时间服务fudge stratum 10 #service ntpd restart#ntpstat #查看验证出现以下状态代表启动成功：s

20、ynchronised to NTP server () at stratum 2time correct to within 74 mspolling server every 128 s 配置NTP客户端#vim /etc/ntp.conf 注释带server字眼行部分内容 添加 server 主机名或ip 如：server 0 <-该IP是NTP主机端的IP#ntpdate -u 0 #手动同步主机端，免得本地时间与主机端相差太大导致无法同步。误差不大时，可不做。#service ntpd restart#ntpstat #查看验证如

21、果出现异常请等待几分钟，一般等待5-10分钟才能同步。时间同步不生效解决方法：(1)解决方法：1. # service ntpd stop2. # /usr/sbin/ntpdate ntp.api.bz报错为：ntpdate3779: the NTP socket is in use, exiting。(2) 报错为：ntpdate3779: the NTP socket is in use, exiting。ps aux | grep ntpd 查看手动杀进程后：手动同步2.2.8 安装MySQLMySQL安装包准备1、 安装包下载（1）MySQL-client-5.6.25-1.el6.

22、x86_64.rpm （2）MySQL-server-5.6.25-1.el6.x86_64.rpm （3）mysql-connector-java-5.1.36.zip /中使用存放目录：/opt/rootlocalhost local#cd mysqlrootlocalhost mysql#chown -R mysql .rootlocalhost mysql#chgrp -R mysql 2、 检查本地mySQL安装版本查看是否已有安装旧版mysql,如果出现 mysql-libs-5.1.71-1.el6_5.x86_64冲突, 先删除#rpm -qa |grep -i

23、mysql3、 清理旧版本MySQL执行以下命令：#rpm -qa|grep -i mysql #yum remove mysql mysql-server mysql-libs compat-mysql51* #yum -y remove mysql-libs-5.1.71* #rm -rf /var/lib/mysql #rm -rf /etc/f 4、 开始安装mysql因MySQL安装包存放目录放在/opt/下，因此进入opt执行安装命令#rpm -ivh MySQL-server-5.6.25-1.el6.x86_64.rpm#rpm -ivh MySQL-client-5.6.25

24、-1.el6.x86_64.rpm5、 启动数据库#chkconfig mysql on /*将数据库设置为开机启动*/#service mysql start /*启动数据库*/#service mysql status /*查看数据库启动状态*/#cat /root/.mysql_secret /*查看初始密码*/6、 设置密码#cat /root/.mysql_secret /*查看初始密码*#mysql -uroot -p /*登录数据库*/第一次登录密码为初始密码：拷贝初始密码登录设置密码：set password for '用户名localhost'=passwor

25、d('newpassword');set password for 'root''localhost'=password('root');7、 创建数据库进入mysql命令行mysql -uroot -p，创建以下数据库：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; -hive数据库create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; -集群监控数据库create

26、database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; -hue数据库create database Oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; -？8、 为新创建的数据库授权设置root授权访问以上所有的数据库grant all privileges on *.* to amon'%' identified by 'root' with grant option;flush privileges;3 Cloudera Manager安装3.

27、1 Cloudera Manager安装=/*installer.bin安装为在线安装、故本次安装未使用installer.bin安装！进入cloudera-manager-installer.bin的下载目录#chmod u+x cloudera-manager-installer.bin（给下载的bin文件权限）执行 ./cloudera-manager-installer.bin（大约十分钟左右）*/=CM 安装包下载：下载地址：http:/archive- 根据自己的系统选择相应的版本，本次安装选用的是cloudera-manager-el6-cm5.4.5_x86_64.tar.gz

28、下载完成后只上传到主节点即可。 然后解压到/opt目录下，不能解压到其它地方。解压后生成两个文件夹分别为：cloudera和cm-5.4.5 因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找,Cloudera Manager可以从如下网址获得：这里选择Cloudera Manager 最新版5.4.5chmod u+x cloudera-manager-installer.bin./ cloudera-manager-installer.bin3.1.1 master配置1、 解压安装rootmaster opt# tar -zxvf cloudera-manag

29、er-el6-cm5.4.5_x86_64.tar.gz -C /opt 2、 添加cloudera-scm用户：(所有节点)新增节点时也需添加用户rootmaster opt# useradd -system -home=/opt/cm-5.4.5/run/cloudera-scm-server/ -no-create-home -shell=/bin/false -comment "Cloudera SCM User" cloudera-scm 3、 添加mysql connector包 (方法一) 因为我们用的是Mysql数据库，所以我们需要下载Mysql的JDBC驱

30、动，在数据库安装的时候我们已从官网上下载的版本是：mysql-connector-java-5.1.36-bin.jar放到如下位置：/opt/cm-5.4.5/share/cmf/lib/opt/cloudera/parcels/CDH-5.4.5-1.cdh5.4.5.p0.7/lib/hive/lib/ /opt/cloudera/parcels/CDH-5.4.5-1.cdh5.4.5.p0.7/lib/hive/lib/(如果使用hive,这一步也要做）目录下rootmaster opt# cp /opt/CDH/mysql-c*/mysql-connector-java-5.1.3

31、6-bin.jar /opt/cm-5.4.5/share/cmf/lib/ 不然无法初始化(方法二)驱动下载地址： 1.36.html，把驱动包放在/usr/share/java目录下，如果目录/usr/share/java不存在，则创建它，并且将驱动包重新命名。$  mkdir -p /usr/share/java/$  cp mysql-connector-java-1.36.jar /usr/share/java/mysql-connector-java.jar4、 初始化CM5的数据库初始化数据库，-proot要修改为你设置的密码： rootmaster opt#

32、 /opt/cm-5.4.5/share/cmf/schema/scm_prepare_database.sh mysql cm （cm指数据库名）-hlocalhost -uroot -proot -scm-host localhost scm scm scm3.1.2 agent配置1、 Agent配置（所有节点）增加子节点时，只需要将Server端的cm-5.4.5包复制到子节点/opt/路径下（1）修改主节点主机名 现在主节点修改/opt/cm-5.4.5/etc/cloudera-scm-agent/config.ini下面的serer_host为主节点的主机名。 rootmaste

33、r lib# vi /opt/cm-5.4.5/etc/cloudera-scm-agent/config.ini server_host=master （2）子节点部署agent先复制/opt/cm-5.4.5到hadoop1hadoop5节点上， scp -r /opt/cm-5.4.5 hadoop1:/opt/ scp -r /opt/cm-5.4.5 hadoop5:/opt/ 等待拷贝成功3.2 安装Cloudera Manager所需的rpm包下载网址为:这个包比较多，不下载安装JDK以及Oracle：3.2.1 安装rpm文件将下载的rpm包放入文件夹rpm（文件夹名随意）#c

34、d  ./rpm（进入rpm目录）yum -nogpgcheck localinstall *.rpm (安装rpm包)=yum -nogpgcheck localinstall cloudera-manager-agent-5.4.5-1.cm545.p0.5.el6.x86_64.rpm yum -nogpgcheck localinstall cloudera-manager-server-5.4.5-1.cm545.p0.5.el6.x86_64.rpmyum -nogpgcheck localinstall cloudera-manager-agent-5.4.5

35、-1.cm545.p0.5.el6.x86_64.rpm（注：agent安装需要联网）3.2.2 本地源配置Parcel的可以从如下网址获得，下载.parcel文件和manifest.json文件：wget 先下载到本地http:/archive- 这里需要下载两样东西，首先是与自己系统版本相对应的parcel包，然后是manifest.json文件。下载完成后将这两个文件放到master节 点的/opt/cloudera/parcel-repo下（目录在安装Cloudera Manager 5时已经生成），注意目录一个字都不能错.#cp /opt/CDH/CDH* /opt/cloudera

36、/parcel-repo #cp /opt/CDH/ma* /opt/cloudera/parcel-repo接下来打开manifest.json文件，里面是json格式的配置，我们需要的就是与我们系统版本相对应的hash码，因为我们用的是Centos6.5，所以找到如下位置：将上面找到的hash码保存在CDH-5.4.5-1.cdh5.4.5.p0.7-el6.parcel.sha中：保存完毕3.3 启动Cloudera Manager 3.3.1 开启Cloudera Manager 5 Server端rootmaster opt# /opt/cm-5.4.5/etc/init.d/clo

37、udera-scm-server start 注意： server首次启动不要立即关闭或重启，因为首次启动会自动创建相关表以及数据， 如果因为特殊原因中途退出，请先删除所有表以及数据之后再次启动，否则将会出现启动不成功的情况。3.3.2 重启Cloudera Manager 5 Server端/opt/cm-5.4.5/etc/init.d/cloudera-scm-server restart 3.3.3 启动Agent在所有节点上启动Agent：（注意必须以管理员权限启动） rootmaster lib# /opt/cm-5.4.5/etc/init.d/cloudera-scm-agen

38、t restart rootmaster lib# /opt/cm-5.4.5/etc/init.d/cloudera-scm-agent stop 浏览器启动Cloudera Manager 5 控制台（默认端口号是7180），启动成功就会看到登陆页面 22:7180 密码账号默认为admin/admin4 安装CDH打开21:7180，登陆控制台，默认账户和密码都是admin，安装时选择免费版，之后由于cm5对中文的支持很强大，按照提示安装即可，如果系统配置有什么问题在安装过程中会有提示，根据提示给系统安装组件就可以了。各个Agent节点正常启动

39、后，可以在当前管理的主机列表中看到对应的节点。选择要安装的节点，点继续。接下来，出现以下包名，说明本地Parcel包配置无误，直接点继续就可以了。点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。接下来是服务器检查，可能会遇到以下问题：这里可能会遇到如下问题：（1）Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可

40、能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：解决办法：执行下面即可echo 0 > /proc/sys/vm/swappiness已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.5 (Final)”且发行版为“2.6.32-431.el6.x86_64”的 Kernel 已将 enabled 设置为“always madvise never”，并将 defrag 设置为“always madvise never”。请运行“echo never > /sys/kernel/mm/red

41、hat_transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如 /etc/rc.local，这样当系统重启时就会予以设置。或者，升级到 RHEL 6.5 或更新版本，它们不存在此错误。将会影响到以下主机：解决办法：执行下面即可echo never > /sys/kernel/mm/redhat_transparent_hugepage/defragJAVA_HOME=/usr/java/jdk1.6.0_31 java version "1.6.0_31" Java(TM) SE Runtime Envir

42、onment (build 1.6.0_31-b04) Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)先用which java查看用的是哪个JAVA，结果显示为 /usr/bin/java不是自己安装的java。环境变量未生效。与其他节点java版本不一致。解决方法为：上图说明并不是用的刚安装的JAVA版本，那么把JAVA路径放到PATH删除 /usr/java文件夹:执行一下命令：sudo update-alternatives -install /usr/bin/java java /usr/local/java

43、/jdk1.7.0_71/bin/java 300总结：第一个：设置为0#echo 0>/proc/sys/vm/swappiness第二个：关闭透明大页面#echo never>/sys/kernel/mm/redhat_transparent_hugepage/defrag/*在.bashrc中添加echo never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho 0 > /proc/sys/vm/swappinesssource .bashrc*/第三个：java版本不一致解决方法：# vi

44、0;  /usr/lib64/cmf/service/common/cloudera-config.sh 增加自定义java路径：export JAVA_HOME=/opt/java1.7_71重启CDH后 现象消失，接下来是选择安装服务。5 CM卸载6 杂记：Namenode和Secondarynamenode的关系【转】NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsimage）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsima

45、ge）中，并使用一个空的 edits文件开始正常操作。因为NameNode只有在启动阶段才合并fsimage和edits，所以一段时间后日志文件可能会变得非常庞大，特别是对大型的集群。日志文件太大的另一个副作用是下一次NameNode启动会花很长时间。 Secondary NameNode定期合并fsimage和edits日志，将edits日志文件大小控制在一个限度下。因为内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和NameNode运行在不同的机器上。Secondary NameNode通过bin/start-df

46、s.sh在conf/masters中指定的节点上启动。Secondary NameNode的检查点进程启动，是由两个配置参数控制的：* fs.checkpoint.period，指定连续两次检查点的最大时间间隔， 默认值是1小时。* fs.checkpoint.size定义了edits日志文件的最大值，一旦超过这个值会导致强制执行检查点（即使没到检查点的最大时间间隔）。默认值是64MB。 Secondary NameNode保存最新检查点的目录与NameNode的目录结构相同。所以NameNode可以在需要的时候读取Secondary NameNode上的检查点镜像。 如果

47、NameNode上除了最新的检查点以外，所有的其他的历史镜像和edits文件都丢失了， NameNode可以引入这个最新的检查点。以下操作可以实现这个功能：* 在配置参数.dir指定的位置建立一个空文件夹；* 把检查点目录的位置赋值给配置参数fs.checkpoint.dir；* 启动NameNode，并加上-importCheckpoint。 NameNode会从fs.checkpoint.dir目录读取检查点，并把它保存在.dir目录下。如果.dir目录下有合法的镜像文件，NameNode会启动失败。 NameNode会检查fs.c

48、heckpoint.dir目录下镜像文件的一致性，但是不会去改动它。 SecondaryNameNode工作流程：SecondaryNameNode节点通知NameNode节点生成新的日志文件，以后的日志都写到新的日志文件中。SecondaryNameNode节点用http get从NameNode节点获得fsimage文件及旧的日志文件。SecondaryNameNode节点将fsimage文件加载到内存中，并执行日志文件中的操作，然后生成新的fsimage文件。SecondaryNameNode节点将新的fsimage文件用http post传回NameNode节点上。NameN

49、ode节点可以将旧的fsimage文件及旧的日志文件，换为新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，写入此次checkpoint的时间。这样NameNode节点中的fsimage文件保存了最新的checkpoint的元数据信息，日志文件也重新开始，不会变的很大了。python -c 'import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn()'/查看主机和IP遇到问题:1. 报告JAVA_HOME未指定错误。因为我的JAVA_HOME路径，并不是c

50、loudera默认路径，好像在/etc/profile指定，它也找不到. 修改/etc/default/cloudera-scm-agent如下：    export CMF_AGENT_JAVA_HOME=/usr/custom_java+ date+ dateWed Sep 2 13:54:31 CST 2015+ umask 027+ BASE_JAVA_OPTS='-server -XX:+UseConcMarkSweepGC -XX:-CMSConcurrentMTEnabled -XX:+UseParNewGC'+ MGMT_JAVA_OPTS='