Cloudera大数据平台迁移方案

1、Cloudera大数据平台迁移方案cloudera TOC o 1-5 h z HYPERLINK l bookmark2 o Current Document 前言4 HYPERLINK l bookmark4 o Current Document 大数据处理平台迁移方案 4 HYPERLINK l bookmark6 o Current Document 方案一：原地升级 4 HYPERLINK l bookmark8 o Current Document 方案二：拷贝迁移5 HYPERLINK l bookmark10 o Current Document 方案优缺点比较5 HYPERL

2、INK l bookmark12 o Current Document 迁移准备5 HYPERLINK l bookmark14 o Current Document 卸载 IDH6停止作业并阻止 HDFS写入 6 HYPERLINK l bookmark16 o Current Document 备份Hive元数据7 HYPERLINK l bookmark18 o Current Document 记录IDH运行时一些关键的目录结构 7 HYPERLINK l bookmark22 o Current Document 停止集群所有服务8集群停止后的关键目录结构 9记录并保存一些关键的目录

3、内容9 HYPERLINK l bookmark36 o Current Document 同步标记点 10 HYPERLINK l bookmark34 o Current Document 卸载 Intel Hadoop 发行版 11 HYPERLINK l bookmark41 o Current Document 安装 Cloudera Enterprise12为Hive元数据安装 MySQL12安装 Cloudera Manager Server15 HYPERLINK l bookmark43 o Current Document 启动 Cloudera Manager 并安装CD

4、H19 HYPERLINK l bookmark45 o Current Document *给集群节点分配角色 27 HYPERLINK l bookmark47 o Current Document *配置组件属性并启动集群 28部署客户端配置31进入Cloudera的管理界面并启动升级 32扩展工作40Cloudera Manager Database HA and Metastore HA40HDFS HA40Sqoop 240多 HBase 的方案 41.前言此手册是基于以下假设的：. 您是做的(Intel Manager 加 IDH 2.5.1 )至U ( Cloudera Man

5、ager 力口 CDH 5.2.1 )的 迁移.您已经安装并配置好了 IDH 2.5.1. IDH 2.5.1的集群按照您期望的运行，例如：运行作业会得到您预期的结果. CDH和IDH的服务角色尽可能一致，例如 HBase的RegionServer 在IDH节点x上运 行，则CDH中此RegionServer 也应在节点 x上运行. Cloudera Manager运行的节点应该是以前 IDH Manager 运行的节点.您应该知道怎么样安装和配置IDH 2.5.1和CDH 5.2.1集群。换句话说，您必须熟悉如何使用各自的发行版安装集群.在 IDH 2.5.1 中 HA drbd 被启用.

6、升级的操作在CentOS/RedHat/SUSE 11 SP2上都做过验证.用户了解自己的平台配置，数据以及应用.对新平台的开发也已经有所了解.应用程序在新平台的测试环境中已经能够运行.大数据处理平台迁移方案本次平台迁移的方案有两种可选方案：原地升级和拷贝升级方案一：原地升级该方案主要思想是将原IDH集群直接迁移到Cloudera集群并迁移应用。在升级的过程中用 特定的工具将集群上得 HDFS上的数据和HBASE上的数据分别从 HDFS1.X和HFile V1转换为 HDFS2.X 和 HFileV3 。优点：原有IDH集群中的数据不需要重新加工和导入；升级时间短。缺点：原有IDH集群中的组件

7、例如 Hadoop、Hive、HBase等对应CDH集群的版本变化较 大(Hadoop1.0.3 升级至U Hadoop2.5 版本；Hive0.11 升级至U Hive0.13 版本；HBase0.94 升级 到HBase0.98版本)，涉及的技术细节较多，停机时间较长，在平台迁移期间，Hadoop集群无法对外提供服务。方案二：拷贝迁移该方案的主要思想是用额外资源组建一套新的CDH集群，在CDH集群上重新加载数据并迁移上层应用。等基于 CDH集群上的所有工作就绪后，逐步切换到CDH上，然后再将剩余的IDH集群节点升级到CDH集群上。优点：业务停机时间短，风险可控缺点：在迁移期间，需要将已有系

8、统的数据导入到新集群中，视集群的规模而定，导入的时 间会比较长，后期还需要两边同时导入。方案优缺点比较实施风险业务中断是否需要额外硬 件数据重新导入原地升级低较长（数小时）/、需要额外备份小rm理拷贝迁移低较短需要后鬲余的存 储生建MJ 3A综上，经过对上述两种种方案各自优缺点的分析，推荐在数据量小于集群总容量1/2 ,或者有富余集群的情况下采用拆分拷贝升级方案；对于数据量大于总容量1/2的集群又没有额外节点存储资源的，可以使用原地升级方案。本篇内容会介绍拷贝迁移的方案。.迁移准备迁移之前的准备工作要确保数据平台当时的运行状况是良好的，可以通过以下几个方面判断：.运行相关的应用，能得到正常的结

9、果；.组件服务运行良好，没有任何非故意的节点服务失败现象；. 通过sudo -u hdfs hadoop fsck /或者HDFS的Web界面检查文件是否有损坏现象Under-replicated blocks （那些复制份数小于配置要求的块数量）Mis-replicated blocks （缺少的块复制数量，如果有两个块 A和B,复制份数小于实际配置，A缺少两个复制，B缺少一个复制，则最后缺少的块复制份数是3）Corrupt blocks （损坏的块数量，应该是 0）. 停止所有作业3.1.卸载 IDH3.1.1,停止作业并阻止HDFS写入步骤说明操作备注1,停止集群中两个HBase集群服务

10、HBase内部有些事件会触发HDFS的写入操作。故而要先停止HBase集群。2.登录主NameNode 节点，进入safemodesudo -u hdfs hadoop dfsadmin -safemode enter3,将所有edits修 改保存到fsimage 中sudo -u hdfs hadoop dfsadmin -saveNamespace可以观察执行前后 NameNode 主 目录发生的变化，如图1和图2 所示；IDH将NameNode 的主目 录配置在/hadoop/drbd/hadoop_image下保存 fsimage 之前，$.dir/current 目录的内容:Qi*c

11、xt&i p-172 -1S- 247 cur r en+ # 11total 1944一w. 1 hdfs hdfs*rw*r*-r* 1 hdfs hdfs-rw-r-r-. 1 hdfs hdfs104858。MW82ei4-e9-is2014*0182014-69-181A1 2014-09-1s14:2914:2214:2214:22edits fsirrage fstime VERSIONLr，xtPip-172-J1-1S-247 curren4zJ #保存 fsimage 之后，$.dir/current 目录的内容:rootfrip-17Z-31-15-Z47 current

12、# 11total 20-rw-r-r-s 1 hdfs-rw-r-i 1 hdfs-rw- r- r - - metastore.sql;3.记录 HDFS、MapReduce、HBase、 Hive 的角色部署信息在安装CDH后，组 件角色部署要尽量一 致3.1.3. 记录IDH运行时一些关键的目录结构Hadoop NameNode主目录结构，previous.checkpoint有可能不存在:rroot#i|ji7Z-3i-fl-55 hodoc|i_ ivagel# 11 total 13rfrwAr-Mr-i.,f hdfs lidfi 496 ?014-B9-19p-172-31-

13、fl-55- Mdgp_in.e#(JrMTLr -KP- *T J hd fa drwxr2 hd fs-ra-r,-r-+ 1 hdfsW-Fs 翻 14-的-tg kd千宇 443% 2Q14-09 19kidft 0MTQ cu.-re- - m14:5Q i nuie.Lock 14:37Hadoop Datanode 的主目录结构h上油坤 it-r- pr r M*1-v-y 声,*R ” -faM*+ ”/，l ” T * w *! I*1 in TC-：1 ZFIfgHC- ir -t. in 窜”W4阴?“：蒲d整”，必才V4 45- 19 ：WId 机 W MilF Um

14、ITX3 ：CC r：TXl，餐i? /前IrcTtl*.y-17 Z-2 L-*-：SF c3ic F .3 k. = arir jnr-.JH -.|f(|B HiMEF =?HHS|；-3& ；UX1E坦3r4 国事明MFF!?TJggE，眸心E 国”/*?eh.j-1?24.4： Elk Ji _.i iFMrb&，it .A HIl 小*匕 ；%加工l“ i-ijxz ac MTzueca亡】总富算：融“ y眦.“ 皿3 rz.x&m 值i融w历n i”一 -n-&ie 辿 zgq+T dl*U*S ILM，H aW 一,ELi -WMG1 i；=二3M二二JL F Ji. f .3

15、L 4d l mr ：L . !J ,4 F-U B ,4 4. B akuj1, -.l. d，l =E q* i m -I 5 4 bfa muS11 1EL4 fcL-c tL4 EL匚工MZiILM XT门 33cHs1M7J LM.IU卡lliH.*.- .tel v TZS-TBS-EC 7H“AI ； * 四也“3 遍一 MK11( YHKB1E 陨 Hld“4回川用印M-Ll q -注口二* JEMU -NUCXHfl IWia?aJ希中航,部jii加器* 皿 A4 JlU 44金#J I=.3Hf.f1d3KlE I.LEl.-ar-9心gHDFS上HBase的存放结构3.1

16、.4.停止集群所有服务LLiM-mi做 WhEir具 NM HEILGb5ssvpwaTQura-HcxarwhHF&-hrirwPJI |EU?MTT曾 rr，f Mir *1即广；* Wf N 竹 5:zrasnfcafiw4jxIntel Mjnafltr for Apache Hadoop* softwareFtirnarai“加二帽二匚H94igrjd3&pNH LMrtG九 IkFri *、n3 rZnrtp SafiIn Mlp1- ITS-U-t-SS data* 10 fi -li /TihiMFound 7 iltciH川门翼i* - hbaM hba。2flr54-9-1

17、9 1 id-rih-i-ir- J hbatc hfaai 2914-09-19 1：99 /ihtwshbst,andrrt-zm- hbxc hbas0 2QQ4-勃-工勺 14:29 /thtz*“七七蛙上raotfip-172-31-#-55 dutol* Iradc口 fs -Is /hbi3t/. tiip- ihbaw Mmm8 2H4-H-L9 14:52 /HMaft/tMfl3t5MrHBiaeS257gbbF7K31FF777El国* a s.ijHrt-. ihe m 93.1.5.集群停止后的关键目录结构6岷14:0115：乃3 in_use.loclr屿滑3eur

18、ren1/15:05 tditl15;。5 fsiiMBc1S:GS fshimcA5 VERSIOM14阕115：婚Hadoop Namenode 主目录：in_use.lock 文件被删除了Crootip-1?2-31 -0-S5 huiioop.imaflrjf ll tctol 12drwur-Kr-M. 2 卜肝彗 hdfs dr*nr-itr-M. 2 fidfs hdFs 4096 2414-09-19 r , 1 tidfs Wfs Z#14-OT-19drurtr-Kf-x, 2 M向KCtWip-172-n-S511totcl m-rw-r-r-.1*idfsMfi4zei

19、4*OT-19-rw-r-r-.1tidfs血凸5H9费14-耨T9_，一”.1hdfMF工aN14-的T9-r*_r，-r-.1tidfthdfs1电 1root？ip172-31-0-55 Ntdoopim4e9 ll totcl Cdrurtr-Kf-x. 2 hdfs MF筝 40% N4-09-19 diWKF-xr-xh 2 hdfs 愉向 40% 214 09-19 drwxr-xr-x. 2 tidfi WB 49% 2ei4-09-19 IHadoop Datanode 主目录：in_use.lock 文件也被删除了Qt 4* tuJuiiJ. ?5 -4 F .Lii,.

20、*I也小裾二带;IK bh限小仲blc-武:工修71*0*匚前， hlbflJSJK4：LdWW呜珅状4912*1呼* -师所产新|登“鼻遣17倡 alKWf L3iT4；lrH.v JMH.M-3 j_ aj如心!Jtug、，中中译p：叫町；=田，ri.* za?s L：Z424K 3T4g 1M邮 sn Mut H9431 yg 工 g+S4也/h*” we* j/i、v-m楣 *fi IWJI I lilk.aMk LLir网MLl MULK 意匕” ：由的412” b-lk E-*jimS-ltT-ldltaHh产:W WA.fi图83.1.6.记录并保存一些关键的目录内容记录用各目录

21、的用户和组名称，最好能保存用户、组及其对应的用户、组名步骤说明操作备注1.记录NameNode 存放 fsmage 的目录/hadoop/drbd/hadoop_image/ 以及/hadoop/hadoop_image_localfsimage 存放在 其中的current目 录下，NameNode 的主 目录应该是运行 起来含有 in_use.lock 文件 的目录2.记录 secondary namenode 存储儿数据的 目录/hadoop/namesecondary/3.记录各datanode 存储 数据的目录（current目 录的上层目录）/mnt/disk1/hadoop/da

22、ta/mnt/disk2/hadoop/data务必把所有数据目录都记录正确；这些数据目录同样也是含有 in_use.lock 文件 的目录；可以将hdfs- site.xml中的配置 读出4.检查原来IDH配置的所 有元数据存储目录内容是 否一致5.在i NameNode 节点 中备份fsimage 内容cd /root/CDH_backup tar czf hadoop_image.tar.gz /hadoop/drbd/hadoop_image确保之前已经执 行过saveNamespace 操作6.登录SecondaryNameNode , 备份并删除secondary namenode

23、 的目录mkdir -p /root/IDH_backupcd /root/IDH_backup tar czfsecondaryNamenode.tar.gz /hadoop/namesecondary rm -r /hadoop/namesecondary同步标记点在这步之前的所有操作都是可逆的，任何一步操作的失败对集群的正常状态都没什么影响, 集群可以按照一般方式启动或工作。103.1.8.卸载Intel Hadoop 发行版卸载集群只会删除相应的程序包，配置文件以及日志等，不会对集群的应用数据产生任何 修改，比如HDFS的数据，HBase表的数据。（如何保存配置文件？是让用户记录修改的

24、配置项 还是将IDH的配置文件拷贝出来，供之后分析比对用？）卸载本身是不可逆的过程，一旦发起卸载动作，只有将卸载动作执行完，要必须也是一定 能成功卸载的！如果卸载完成之后，想回退到 IDH的版本，我们提供了保留集群数据的安装过程，包括 有数据时候的HA搭建。（相应的文档是否存在？）步骤说明操作1.以root用户登 录 Intel Manager 节点，并找到原始 的安装包文件2.停止 IntelManagerservice intel-manager stop3.执行卸载脚本sh uninstall.sh all , 或者 sh uninstall.sh sh uninstall.sh sh

25、uninstall.sh 也可以执行并行删除 过程，但务必将intel manager 节点放在最 后删除4.卸载时为每个节 点输入安装时用的 用户名，并按回车 j a -1 r2 -31 -15 ifall !HexEEurtE 山_clm_nodE!.Iui-efwie of ipa 12-3145-248; |15.重复步骤4,直 至全部卸载完毕确认所有节点都已经卸载6.清除所有节点中的 JAVA_HOME 变量（在.bashrc清除所启节点中root用户的JAVA_HOME环境变量：清空.bashrc文件，并拷贝至全集11中）群所有节点7.重新登录曾经安装过IntelManager 的

26、节点以清除环境变量中对Java的引用8.清除MySQL的数据文件mysql数据文件是存 放在drbd中的，就 可以忽略此步骤9.删除节点中其余Hadoop 相关目录/usr/include/hadoop /var/run/hadoop, /var/run/hbase, /etc/hadoop, /etc/hive, /etc/hbase10.清除CDH依赖包（没有安装过CDH ,跳过此步骤）/etc/alternatives/hadoop-*, hbase-*, hive-*由于安装CDH带来 的影响，在生产环境 中/、需要执行 /usr/lib64/cmf /mnt/diskN/yarn /

27、mnt/diskN/impala /usr/lib/hue /var/lib/impala zypper rm-yoracle-j2sdk1.711.卸载 MySQL相关包查看安装的mysql相关的包(zypper se mysql ),并做清理 zypper rm-y mysql-clientmysel-java-connectorlibmysqlclient15Cloudera 5.2.1 最好 安装MySQL 5.5以上 的包，所以为避免版 本冲突，需要卸载老 版本的mysql相关包9.卸载所有节点的jdk （可选）Cloudera Enterprise会自行安装JDK3.2.安装 Cl

28、oudera Enterprise为Hive元数据安装MySQL步骤说明121.选择一个节点安装 MySQL数据库，（建议 安装在独立的节点上）； 若要实现MySQL的局可 用性，可以参照MySQL 高可用配置文档rpm -ivh Mysql-server-5.5.41- 1.sles11.x86_64.rpm Mysql- client-5.5.41-1.sles11.x86_64.rpmchkconfig mysql on service mysql start在 SUSE11 SP2 中建议选择 MySQL 5.5 的 版本，Cloudera Navigator 对止匕 有特殊需求2.运

29、行mysql_secure_installation ,配置root用户访问数 据库的密码，禁止远程机 器以root用户登录，禁止 匿名登录/usr/bin/mysql_secure_insta11ati on.创建root访问数据库的密码.禁止远程机器以root用户登录.禁止以匿名方式登录数据库$ sudo/usr/bin/mysql_secure_insta11ation.Enter current password for root(enter for none):OK, successfully used password, moving on.Set root password? Y

30、/n yNew password: 123456Re-enter new password:Remove anonymous users?Y/n Y.Disallow root login remotely?Y/n N.Remove test database andaccess to it Y/n Y.13Reload privilege tables now? Y/n Y All done!3.创建metastore 数据库mysql -u root - password= -e create database metastore default character set utf8;4.

31、创建 ClouderaEnterprise Hive 访问MySQL metastore 库的用户名和密码mysql -u root - password= -e CREATE USER hive% IDENTIFIED BY 123456;GRANT ALL PRIVILEGES ON metastore. * TO hive%;FLUSH PRIVILEGES;5.创建其它组件用的数据 库，包括：Cloudera Manager server , Activity Monitor , Reports Manager , Hive Metastore Server , Sentry Serv

32、er ,Cloudera Navigator Audit Server , Cloudera Navigator Metadata Server6.将备份的mysqldump文件拷贝到安装了MySQL的节点上scp metastore.sqlroot:7.将mysqldump 文件中 的虚拟主机名替换成 NameNode 的实际主机 名如：seds/ /g metastore.sql8.将mysqldump 文件导入metastore 数据库mysql -u root - password=hive metastore.sql安装 Cloudera Manager Server步骤说明操作1.

33、下载安装 包CDH Parcel: http:archive- /cdh5/parcels /5.2.1/Cloudera Manager: http:archive-/cm5/redhat/6/x86_64/cm/5.2.1/RPMS/x86_64/2.配置本地 软件库（可 以在一个非 集群节点或 者选为 Cloudera Manager 的 节点）安装apache httpd服务，并启动服务拷贝 pacel包和json 文件至 /var/www/html/cdh5_2_1_el6;拷贝 cloudera manager RPM 包 至/var/www/html/cm5_2_1_el6,并执

34、行 createrepo .下载的parcel包后可 能在通过web访问时 list不出来，可以将 parcel包和对应的 json文件拷贝一遍3.在要作为ClouderaManager 的节点上配置yumCM-5_2_1name=Cloudera ManagerRepositorybaseurl=http:/cm5 _2_1_el6enabled=115gpgcheck=04.关闭所有 主机的 iptables , 并禁用 SELinuxservice iptables stopchkconfig iptables offsetenforce 0#edit /etc/sysconfig/se

35、linuxSELINUX=disabled5.为所后主 机配置正确 的DNS配直并检查/etc/hosts 文件6.在ClouderaManager 节点上安装JDKzypper install oracle-j2sdk1.77.在选择作 为 Cloudera Manager 的 节点上安装 软件zypper install oracle-j2sdk1.7 zypper install -y cloudera- manager-daemons cloudera- manager-server8.（若选择 使用外部数 据库）安装 配置外部数 据库因为在此之前已经安装 MySQL ,这步 可以忽略

36、。9.（仅适合 非迁移安 装）安装 MySQL数据 库yum install-y mysql-server11.（仅适合 非迁移安 装）运行$ sudo/usr/bin/mysql_secure_installation .16mysql- secureinstallation 程序Enter current password for root (enter for none):OK, successfully used password, moving on.Set root password? Y/n yNew password:Re-enter new password:Remove a

37、nonymous users? Y/n Y.Disallow root login remotely? Y/nN.Remove test database and accessto it Y/n Y.Reload privilege tables now? Y/n Y All done!12.（仅适合 非迁移安 装）创建 Hive Metastore 数据库mysql -u root -password= -e create databaseDEFAULT CHARACTER SET utf8 ;数据库名PJ以是metastore13.（仅适合 非迁移安 装）创建访 问 Hive Metast

38、ore 库的用户并 授权mysql -u root -password= -e CREATE USER % IDENTIFIED BY; GRANT ALL PRIVILEGES ON . * TO % IDENTIFIED BY ; GRANT ALL PRIVILEGES ON . *用户名可以是Hiveuser ,密码是 password17TO localhostIDENTIFIED BY ;FLUSH PRIVILEGES;14.（仅适合 非迁移安 装）创建Cloudera Manager 数据库mysql -u root -password= -e create databaseD

39、EFAULT CHARACTER SET utf8 ;数据库名pJ以是cloudera_manager15.（仅适合 非迁移安 装）创建访问 Cloudera Manager 库的用户并授 权mysql -u root -password= -e CREATE USER% IDENTIFIED BY ; GRANT ALL PRIVILEGES ON . * TO % IDENTIFIEDBY ; FLUSH PRIVILEGES;用户名可以是manager ,密码是 password16.在所后需 要访问MySQL数据 库的客户端 上安装Mysql- Connectorjavacp mysq

40、l-connector-java-5.1.34.jar /usr/share/java/ln -s mysql-connector-java-5.1.34.jar mysql-connector-java.jar1817.为ClouderaManager 配置外部数据库/usr/share/cmf/schema/scm_prepare_database.sh -h-h 可以不指定，默认是 localhostDB_TYPE 可以是 mysql, oracleDATABASE 即为之前为 ClouderaManager配置的数据库USERNAME/PASSWORD 即为可以访问这个数据库的用户启动

41、 Cloudera Manager 并安装 CDH步骤说明操作1.启动 ClouderaManagerservice cloudera-scm-server start2.登录 ClouderaManager以 admin/admin 用户登录管理界面3.开始执行CDH的安 装向导安装过程如后续截图19登录 Cloudera Manager选择相应的版本并继续:图10搜索并添加机器:20era e己rw 3elTA 1小 JTlU1W r J UMH Ji * -Til.出h寸!1H乂5国 j11tLi mu nr .二j*icrr -. =00 Hrii.T，：ne |-ni4rn II京

42、|T图11选择机器并继续:r b xphiiic IOO0SFV manage r为CDH辟枭豆做挎土土卬.CRt力广.gjmHHirt + T足3里 ：X - 司hik *廿塞Nh二乙厂上害：_s .1 rliTL-n，-3生E8处山81改】二HM.r虹1?M 1 I上上比FiWW+方T1mrEi岬六用如1 #Fi：3c-Lri JhITt I|r -ITi-a -fl- fi.1- -Ehwu iT-： r，*n：V7力*共量3Ji-ilSJiE!士皿 d .*“士伊M忆甯 帆*J上剧曲V受雕，3/BlRj 力71：* I * Idn -. WJWHUI轲m* pH1-i . jtEHIJ

43、t/Ll、 . -s-f.加 .*LJ.*.Ln 匚-I： J，=_!1.A，Hhf.si.dif e lla ?FTJ i * 1 仲IZ .- ( fT” “ = qLLH-ai再3/-： n图14删除不想用的库:22修.诵-flCM : 5 fteM-M Nirtr 注日声 J VriTS .；* 1 5.VBFMF-工-J +f/JE图15添加自己的库工戈暇j I-青 ，。4；：%,40海-11-L*1.TH 叫7.3一广：!里卡士 K=_i|-KJLG二:下MN. 51 但小二小- H-titm已 pmk- J （ T:F!T .4博1界4，/都比制的rMh*则fi4附I7E/河声一

44、看叶方*F工，7：*rj=沌一久日一跟 lirrj.r ini）134f7r: i 】港 W JU 一一帖T*UfFLB!EW . .1 11斤y wt I：-h 孙M 风土=：a. , T*.l 耻 SU $mii bt/ 4tm m Hrtlw f *1 WMdJ小 U.l bitiI I l14靠3 r.图16Parcel库添加成功，在“选择 CDH的版本项”就会出现自己配置的CDH Parcel ;并添力口 Cloudera Manager 库，输入之前配置的 Cloudera Manager 库地址：23。53.修明*11.m,一居/依*工,白苗，1： 丁51G,，便秆二. ji *

45、 am许尸m“ i . N LW-IE.M但可配电用:去.TP Arpp寸-1，J _占不!死以nE fI：-，仃 4l4lr lliMKMlwl.D!HI：l.lHFm iijgp.cjuh.t -1二沪M，r图19下载并分发Parcel包:群集安装王也金女坨走餐归期/Mig* F h?t图20主机正确性检查和组件版本审查:25时策安芸噌玄土布!鞘!1匚/峭kTW汇.Je/村肯工人I/ 任女主乜百六Nt& ,气,m_.j 迎1m04.口比市上去2才基.5J 拒 F，tEKsUJ * ifln / f “ st手 ：1：.3-j m Li-r i n J ji*=zi )*u，&J叩 H i*

46、s,J*阳上J *，隔1甲什十57 .L|-0. 僧：wwi*N-r*、*4 J * 汗* * 1# 1 7谛. Whan皿 iHK樽 J*h 一2吊产史乜Xi .*. i 州二, Y Jfc - tf.fl w-r.,弋,&：氏鼻木_*1&_1 条Lt.1*，Ait, 3-TULVRKfl Ji市 UI nipt qr CwniCM* KtTTJl 4弓 TFhrtli T , h -V-.ir* A 4*t i - * ；噌工，.&回m h.j ft产口r irr *y i行 ” 彳口口，/ 萨a t；vt4 全m*, *3F E* fa 47军/*以用；：口.17*.42中14* IMK

47、5Ff9照书一9，Jh - ；!?, fl t- H- *若图213 g 5CCHfi1U.1l-1 J ；7、r -ii4 diiKi I* 5fM.XWITHGDH 三整mru rKjfccmiiCJDCdnfi.l.Z C1C ：l：7芯 IHt：MK九k，U4正工H。i !LW J .|kl A杷跖c,sesi -1输w1cT5-上$3EHHEV 1 -| hii& |rtri；w- % G B-5 =i r i| p -TTi - p-iHl-hl.”1l+M&1 11 b . |7.th -1=31 !l%iWit公示3 1 u-ji a -方HurilEkWDM b .?. cd

48、E-I.Z C1 c i-5 J.F? EBHHW mill：.dH，N - -+! 1 l!-*h j-：l )：Q.UE45口、UeiET 的1dl5agFar7_ E_ZD cd v：. I.Z, 3C1 ci-5 J.p 2HH心i-h1： Uf 1.-t!1 rs*R * kJll*2 Irrs.iQ-dfcl.i2-aL1 u J b . xJ 2HHE图22选择包含有HBase的服务组合，尽量选择和 IDH 一样的集合:26，标KFS YifiJ Muu工- 2-K1XJ.-. Cjljj T*.j 耻人口*包TH-力山看11 21 i. 丫“ N Zj： M*T lT；W；bl

49、 /4|K|NEH I IHW , 11all4 i：m R 11 91#付寸 Ui?。碰干 产啦-：可 叫而 jkr.nrRjk.占lFS呻霁惊ll：l；i 丫小；H * hliji HTir- ?；蚪2小向修春ll；l Yrf N .F Mmh imiEh!I inrfh-|R1 , VI bN 每聊3RM加向inr5- y*h .imxLvigklii RlbHi 3|jnnpH ilwhi. imf4vi -rbR*:nEnfi*r产卜七口_：甘也工-咕匚力EiF 耳3篙斗 工、？:4.心一1 H. rftc-r ： AMT 工喈，f rZM的kM r,FllflllT nil- TJ

50、 中 和，二：K二 1 Ja Ilk ； ；|-.F EHI 4百.图233.2.4.*给集群节点分配角色在自定义角色分配页面：确保您在idh中得角色分配以同样的方式分配给cdh ,例如：如果节点在 idh中是datanode ,它在cdh中也应该是 datanode ,注意cdh会又一些idh中没有的角色， 这种情况下您可以按照您的想法随意分配。您将会从 mapreduce V1 切换到yarn ,因此，所有以前是 idh tasktracker 的节点应该 成 为 cdh 的 nodemanager , idh 的 jobtracker 节点应 该成为 cdh 的 resourcemana

51、ger 节点。至关重要的是， idh 中的 namenode 节点也应是 cdh 中namenode 节点同样重要的是： idh 中得 secondary namenode节点也应是 cdh 中的 secondarynamenode 节点。对于 hdfs ,只分配 datanode , namenode ,和 secondary namenode的角色，其他的 hdfs角色您必须确保没有分配给其他节点HBase、Hive的角色分配:27sr RE方:依*为安力士&*外加产a-r密：-W.:他叫*廿in-0制电才生aYWFKk Ti5,*也mW;兑+Mv，+ 4 M：_占U3a K中$Q包 g

52、盘日r/匕噌m工厂工.*=h皿，hm g* . y -. r泅3 issriH-A.-33 幅3ML SueIH1巴mEm1*4 IK力1Ti S- O |= 5?1 ti.F 十口工IF十才k -r 3- C |5t &n -rB HCf-5IT H产 r+71：rl.喑UrrTM、工 ” r g ll- Ifli F MF 1 1 务起n Hpis,5- W,43IV 1； JL：LUi -一*TI I-tA?U、却皿Wq m i制界F.心 , ；i* H%.q XhB * 93时i aw州火牖匕。办用网士六旷7 F-1 4网 EHIfl HwU3 * hrBr、I 诉理ik ida)rTRk.图24t-1Alr.fh Vfl-iwr -r:tmg| l |-#f hv ri!* M ，Wt*iJJI 1*|1中 .23F, W 7Rli&)L(IITvHIk翩ir-ilH-ilh1 H:qi iriiinlraniIkxrmr