大数据平台部署方案

1、大数据平台部署方案完整版白鸽学胆目录 TOC o 1-5 h z HYPERLINK l bookmark4 o Current Document 1.环境配置6 HYPERLINK l bookmark6 o Current Document 主机地址6 HYPERLINK l bookmark8 o Current Document 查看服务器硬件环境信息 6 HYPERLINK l bookmark31 o Current Document 查看操作系统版本和内核 6 HYPERLINK l bookmark39 o Current Document 关闭防火墙和SELinex7 HYP

2、ERLINK l bookmark41 o Current Document 所有主机时间同步7 HYPERLINK l bookmark43 o Current Document 安装JDK8 HYPERLINK l bookmark45 o Current Document Maven 安装8 HYPERLINK l bookmark61 o Current Document 配置主机名10 HYPERLINK l bookmark63 o Current Document 配置 hosts 映射 10 HYPERLINK l bookmark65 o Current Document 新

3、建hadoop用户10 HYPERLINK l bookmark69 o Current Document 配置SSH免密码登录11 HYPERLINK l bookmark94 o Current Document 安装 Zookeeper12 HYPERLINK l bookmark101 o Current Document 修改配置文件12 HYPERLINK l bookmark107 o Current Document 设置 myid14 HYPERLINK l bookmark109 o Current Document 启动 Zookeeper集群14 HYPERLINK l

4、 bookmark111 o Current Document 基本命令15 HYPERLINK l bookmark115 o Current Document 安装 Hadoop 15 HYPERLINK l bookmark117 o Current Document NameNode(NN) HA 实现方式15 HYPERLINK l bookmark119 o Current Document ResourceManager(RM) HA实现方式 16 HYPERLINK l bookmark121 o Current Document Hadoop安装包下载16 HYPERLINK

5、 l bookmark131 o Current Document 修改配置文件18 HYPERLINK l bookmark133 o Current Document 配置 Hadoop 主目录 18 HYPERLINK l bookmark137 o Current Document 修改 hadoo-env.sh18 HYPERLINK l bookmark145 o Current Document 修改 core-site.xml191鸽学岷 TOC o 1-5 h z HYPERLINK l bookmark149 o Current Document 修改hdfs-site.x

6、ml20 HYPERLINK l bookmark175 o Current Document 修改mapred-site.xml 23 HYPERLINK l bookmark179 o Current Document 修改yarn-site.xml24 HYPERLINK l bookmark191 o Current Document 修改slaves27 HYPERLINK l bookmark193 o Current Document 将配置好的hadoop安装包分发到其它节点 27添加 hadoop 临时文件目录 28启动 Zookeeper集群28启动 journalnode

7、28格式化HDFS28在Master1上格式化 ZK29启动 HDFS29 HYPERLINK l bookmark219 o Current Document 启动 YARN30 HYPERLINK l bookmark227 o Current Document 通过 web 页面查看集群是否已经正常启动 30安装 HBase 32下载HBase安装包 32HBase 安装34解压缩安装包34修改hbase-env.sh35修改hbase-site.xml35修改regionservers36添力口backup-masters36拷贝hbase至U其他节点 36启动 HBase37安装 H

8、ive38安装 MySQL.38修改 hive 配置文件 39Hive HWI安装及配置 40Mahout 安装40下载 Mahout 源码 40Mahout0.12.0 编译41Mahout0.12.0 安装部署413鸽学岷 TOC o 1-5 h z Mahout 验证41Mahout0.12.0 实例测试42安装 Spark （Yarn-Cluster 模式） 42安装 Scala42编译 Spark43下载Spark源码包： 43安装 maven: 44Spark 编译44Spark 安装45解压缩安装包45修改配置文件 45集群运行模式47Sqoop 安装48下载安装48修改配置文件

9、48启动 Sqoop48测试 Sqoop49安装 Kafka51Kafka安装配置51Kafka监控安装52安装 Storm 53上传所需文件53编译安装ZMQ （所有Storm的安装节点） 53编译安装JZMQ:（所有Storm的安装节点）53编译安装 Python （所有 Storm 的安装节点） 54修改配置文件 54启动Storm各个后台进程 55Tachyon 编译部署 55m鸽学岷 TOC o 1-5 h z 支持多种部署方式 55编译 Tachyon56下载并上传源代码 57编译代码58集群模式部署 Tachyon58集群环境58基于 Zookeeper 的 Fault Tole

10、rant Tachyon Cluster 实现59Tachyon环境变量 63Tachyon通用配置 63TachyonMaster 配置64TachyonWorker 配置64用户配置65在 Spark 中使用 Tachyon66在 MapReduce 中使用Tachyon66Hue 安装66下载编译源码包66Hue环境配置68HDFS 配置68Yarn 配置70Hive 配置71HBase 配置71Zookeeper 配置 72自舞吧1.环境配置主机地址主机地址用户名密码4rootcloud4c5rootcloud4c6rootcloud4c7rootcloud4c8rootcloud4c

11、查看服务器硬件环境信息查看CPU型号:cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq crcxtSPaiterl prncJCBt yproc/cptiinfo I qrep mm | cut -f2 -d: I uniq- -c4 Intel (R) Xeoni(R)CPU 三5-262。v2 & 2fcl(hGHzprod，查看物理CPU颗数：cat /proc/cpuinfo | grep physical | uniq-ct0QiLaMdilt!i 1 protj* /pfac/cpuinfo | grqp 1 physical i

12、di : 0 1 address si zes1id1号551 physical id1 Jiddl s 为：1 phyBial id1 addrs2s- zes roocOWJislfti 1 proc*bi tsbitsbfbitsphys i ca1, iphys i 匚承 1 k 时叫i 3 . phys i cal,4S48phy*i仁* I uniqbits virtualbits virtual bits virtualbits virtual四颗一核的CPU查看CPU运行模式:getconf LONG_BIT rootlaiSterl proci* 64 一 get conf

13、LOtIG OTT查看CPU是否支持64位:cat /proc/cpuinfo | grep flags | grep lm | wc-l口t郭心t看/L prc#/proc/cpuiinfI grp b I grtp ! lm B 1| wt -14_|roQit2l*diLerl prwe# |结果大于0,说明支持64bit计算.lm指long mode,支持lm则是64bit查看操作系统版本和内核查看操作系统版本:cat /etc/issue 或者lsb_release -aEcrnrT -.r oh iin i.ii 口口EhW口口491 *3# IslDL-rei ease -LIB

14、 V|-11 On:的HOT:UK九62寸；小白眄Cfl.o.drtf* ：$r1if!C.1iHstrlbirtnr IDi Csrsidh Linux versi or 2,6.32-4 Jl. el 6.xBt_64 roct*m pr6eT*_1-关闭防火墙和SELinex.关闭防火墙：service iptables stop （临时关闭）chkconfig iptables off （重启后生效）.关闭SELINUX SELinux功能是一种强制存取控制的实现，能够进一步的增强Linux系统的安全性，但是开启此项功能会给初学者带来很多的不便，大多都关闭此项功能setenforce

15、0 （临时生效）修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）/oothddujpOlbarvitt! ipiablstoproat（&had zjpOl 一y chkconf da i ptablcs affoor$hadoopoivim /eTC/seiinux/confi3所有主机时间同步.查看目前主机时间：dateroathadoop01 dateThu oct 29 14:42:10 CST 2015 rootShadoopOl # |. 修改时间：date -s 00:00:00.时间同步（主机），将4的本地时钟作为时间供给

16、源，这样，即便它失去网络连接，它也可 以继续为网络提供服务yum install ntp vi /etc/ntp.conf server fudge stratum 10.重新启动服务service ntpd stop service ntpd start.其他机器同步，等待大概五分钟，再到其他机上同步该机器时间（先确保时区一样，否则同步以后时间也是有时区差的）ntpdate 4. date查看时间是否同步完成白鸽学吧安装JDK.查看Linux自带的JDK是否已安装：java version.获得如下信息，表明有自带JDK需要卸载rrooteiocAlhmljava -wrsionai-a v

17、ersion * 1 . 7_O_ 5apmiCH iRunriiRifr FnviroiefTr frhel 1, 3, el6-K|i_feJ Lii%-hlopenjixserver 加 Cbwild 24,*5-bOP 1 耳电d mode).查看jdk的信息：rpm -qa|grep javafrcwt91*1 bestrpir q|grep javat zdat a - aa-lCML 5q-l- el 6. n oar chjava-1.7.0-openjdk-1. 7.0. dS-7. d. 3.丸 f1, xSG.Hjava-l:6.tJ:dpenjdk-l.G 0 0-1.

18、CS1.13.0.卸载自带的jdk：rpm -e -nodeps java-1.7.0-openjdk-5-.el6.x86_64rpm -e -nodeps java-1.6.0-openjdk-3.0.el6.x86_64Troocai acai hostel * rpn -4 -nodaps fava-1, t. o-np4nldk-i,7.o,i5-j,4. i, i. elfi. xsqjM rootQlocalhast -J# rpm -g -nadteps java-1. 6- 0-openidlk-l* ba Q- o-l. &bB i. 13. 0. 16. Ma66J.解压

19、安装新的 Oracle JDK 将 jdk-7u79-linux-x64.tar.gz 放在/usr/local 目录下，解压tar -zxvf jdk-7u79-linux-x64.tar.gz.配置环境变量vi /etc/profileexport JAVA_HOME=/usr/local/jdk1.7.0_79export PATH=$PATH:$JAVA_HOME/bin:export CLASS_PATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar.查看JDQ否配置成功source /etc/profilejava versi

20、onroocilo cal host soft * source /etc, profileroctOlocal host toft J * java versionjavi version 7rQ 795E Runt ine Envlr winent Cbu i Id:Ar a nor spot (t)serve* vw (build . 7-bO3 , nimd 2 央.卸载自己安装的JDK方法rpm -e -nodeps jdk-1.7.0_67 (jdk-1.7.0_67 为自己安装的 JDK版本)Maven安装去maven官网下载 maven的安装包，并上传。#律匕 REI(h 川

21、INiMM斗酗mtowl 小手一育1 |m 4HHM i B9M-tflMB 4 1 WpfaM1* 0 |C-bM| h r,R WtowlWrE dD BVHlSv*Mk* I - 空 . r ,pa *tv t Hi e nyy b Irjifr |arl 1 i.% rm-1可,Mni-JMw Win w111THl rnd n n W1M afdfr IM 4Q_T Uufirtf:, jw a. _Pro121M R华14a等事号tut ”* nKErmmia k jii n# Ibwe 11Ali得ibcs1 . inKSM ta usid h H*r tiunm xvi z-b

22、a Imi2. 解压缩maven的安装包tar -zxvf apache-maven-3.3.9-bin.tar.gzvi .工| -JK.I -a ny r, nu*qgy pi-j 上口 *,上 pMUKgnwi -孑-。L Spar kRrast erl -J 二 iAt ap占小总n JdU 石；n： F不 Jz .；i-,1 -1，广-口 ., -.1 a ,hapache-naven-S. J* 9,*11 to navefi-embedder-3. 1!9.arWMhi-MVcrii-143B9+jrapache-iiveri-l. 3. 9.11 plejcus-ijrils1

23、3. 22. jarapache-HAvw-j. 3：. 9；11O navw-Mr-J. J. jar4由N-iHiMenT.九1郭 3.9-1时apache-ven-1.J.9/11b comBona-liffcgl-3.4.:ar ip. 3_g/11 bypl在3至- 1 m把广陶11 ATI电力-L21. jarijpaehe-wven-3, 3.9/llb 1 ewua -copanerrc - nnoT：i oos-l H &. J ar apac he-waven- J, 3,19-/ H b/pl esvs -sec-d i spate h(er -1, 3, jar 邛au

24、h-Mvtn-3.1ft/11 b午1 xui-c11la 3* 号/1 1 b/Baven-reposilnary-ret adata-3, 3.9 - j ar ai!rK Ih n-MPi - . -!. * i i! I I . ； J. i函apiflifr-njveii-l. 3. A. lih navei- -pliiqln-apli-1,3.4.j/rr &pehe-M.vfi. i-5/116 Zg. Avefi-,，. q.1 lib/cdi -dpii-lvOi jar apae he - iia ven -1. 3. 11 伯 1 jsr2 5O-ap1 -1_ Q_

25、jar apach-itavein-J J. y/Hb , *v, 1 nject-1. jarjpache-Mven-1. 3.-/lib arg., ecl ipse, sisu. inject-O. 3 2. jar 而ache-Baven-l. S-S/llb/Maven-Hode 1 -bu 11der -3.1.9. jar3. 配置maven环境变量vim .bash_profileexport MAVEN_HOME=/home/hadoop/apache-maven-3.3.9export PATH=$PATH:$MAVEN_HOME/bin15 mi 心 -J J R 向J

26、i Fl ” |r Jbash-prcf1le* Get tM 11事55 aW fynctfonisi f -f -has hr c ; them . *?.ibashrcf1* Lise* ?ptdf1c envIrDmerrt jnd starrop pp&granisPArH-tpATH- jHOME/blnexport PATHexport frlQMTicmtg/5prkE/idkl, ?0.79export PATH= 5 PATH ： 11 AVA_HOM bin：.txport cuASS.iPATn-,dz. jXJAVHWEJfe/llb/TMlii Jjirex per

27、 c mavi njh(w e-.,b hce/parkR apach e - uven -3. 3. 9BN por t： PJHTlH-SPjkTH :/fai 口4. 测试maven是否配置成功5p，i懿Matter-EoarkRflwas c er 1| J. J en Inoae :： TWT?J -ver fiicniBB LrJJICWl i JY 3 ioM 53C74 泮3口k$；2 M $ -1L-L1TOO ： U：4 4 口日：00) prkR apache-fcaven-l- 1. 19-Jhvi .trs1on:1 丁口*串 vh4qi ： ortclt Cor p

28、ar k1 on3 a hong： hirme Spark/jclki, 7. O-7 ireLhtr&ult#h_jSb pi Mt or ri 此中己+可：uTF-aOS nape; Ji nuK, versiori; -2.6. 32-31, el, bSSJ+p arch; d国 f ami ly; uniw,p SpAr It 3M把 Crl - J白鸽学吧配置主机名在4执行如下命令vi /etc/sysconfig/network NETWORKING=yesHOSTNAME=Master1执行如下命令查看主机名是否修改成功 service network restarthostn

29、ame在5执行如下命令vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=Master2在6执行如下命令vi /etc/sysconfig/network NETWORKING=yesHOSTNAME=Slave1在7执行如下命令vi /etc/sysconfig/network NETWORKING=yesHOSTNAME=Slave2在8执行如下命令vi /etc/sysconfig/network NETWORKING=yesHOSTNAME=Slave3配置hosts映射在所有节点添加如下配置：vi /etc/hostsMaster1Ma

30、ster2Slave1Slave2Slave3新建hadoop用户为所有节点新建一个hadoop用户10白鸽学吧FrootfiNi？t*rl * addusar hadocpRr MtSlas ter 1 # passwd hadoopRChangtng password for user hadoopR.Kw password rBAO password： it bd&nd! on 事 ditIwtary wotdRfiype password:pssswd: all authntiicatiiDn! talcns updated successfiijilly配置SSHfe密码登录配置主机

31、之间hadoop用户的SSH免密码登录1.在所有节点执行如下命令以生成秘钥:ssh-keygen -t rsa巾.故时越m1 ”h kprQ?n t rjriGenerating publ i c. privaic 与浦 key pa1rEM f 1 li# 4将忖卜1位 b sive I -ey C hoSS/kMlMin .ash. 10irestd direcrory .r-xre !h?deep. s5n,iflter pasphras-e (emory 中k ne pj5snhra!5e)iEe 弓 m岸专 pasTprra5e Hciqtc:i /hcwt/hadacp. . 55

32、Jh/i d.rsa. puba11 ：acb冈： 而胃”*i、个IflerTitucarien 向导与 been saved in ho*? han s：avd 1r b - - J_1_, 一 4in电 k4y tirirp-lrrr lei-b! -fei&Fiiai f Q：65 d：ft u 开 37Ttie Iceys r-andomart luge Is: + - UA M4S-Q-Cl-r进入.ssh/目录，并复制id_rsa.pub文件生成一个新的文件authorized_keys曰4 丰d - ssh/hadacwasiel ,5手M$ 11total S-rw 1 had

33、oop hadoop 1研5 oct9 id_rsa-rw-r-r- 1 haeoep 帕Qgp 396 oct 29 15； 1l_5露叫&片3:1口冲第=七甘.sshjS tp idLrsa. pub aiuthoriizd_keys【Mdoop伽M写式9liJ$ 11total 12rw-r-r- 1hadoophadpW9&Oct2g16:5-13uchar1zrtjc&ysrw- 1nau峰帕。gp175qcx29iO&a-rw-r一一一一 1haDotinu cornicting tywfwi)? ysarmng: Permanently mdded maEterl p172_ 2

34、6. 4O 74 (RSA) tc the- 11st of known IhDsts.hdgp料W1W1 -J logouttoriiectlor to Master! closed,.帕i吧.hS 5+h H心l比72Ttie aurbenTldry of R&sr ihasrerz 口73 , 4CL75 cant be esrablished.-SA kev t-ingerprirrt 11 62 山才3七G 二MfE二：十4 二的二型17九1耻.Are 心 surj you wanx io coasier2 .ssh 5 |idgp&5】也时出1 ,3ill亏&h 1旧velThe

35、authpnt icity nf hat s 1 avl (17?. 76dG, fc ran1* t b? establTish*d- Ha key firipgierprint is 62:baz 54 :6/ :e9:67 :f4:65: Sei 77Ifi: c9ii06:Oc*47:at. Ar. you sure yoij w&nt to continue connectinq (yes/no) yes karnri ng : Permanent ly added slave! B172 r 26.4U . 76p (RSA to rhe list of known ho-sts.

36、 LhadoDpSlavel -& exit logffijr Connection to Siavel closed.hadoopsiavel t ssh11 |tudoopeslavez .ssh$ ssh siav2be ssiabTished.ihe auihentli匚 1i：v of hose -slauiEN (172.26,40, 77) cantR.S4 key f i rlgerpr1 ftlt is 62 iba : 54 ： 7 ：电9： 67 ： f d ： 6 5 i: 3e l 77 18; t9: 0 zOe 147 i af.Ar* you sur you d

37、int to centinu connactirK (vw/nc)? ysiEarning: Permanently added !slHve2,172. 26. 4u-. 7 / (R SA to the list of kna 出 n basts. hadaopaslav#2岂idt10 9Mt Connection to Slave? closed.hadM|p*51ave2 ,ssh J11白秀吧slaved-he airtheEici ty 方 ho sr slaved fl :2.26.4 . canTt be establ Ished.rsa key fingerprint 1s

38、 la：04：M：83：lf:e4:a5：03：Ql：8T:lf：21:a2：a4:a:bd.you 3uc you 蚪arn to ccnclrue connect 1ng (yes nej? yeswarning: zErmaneTly jdeed rslaves,35 CftSA) to the I- 5t of known hosts. hadooposliveJ -B exitq5chaConnectito siavei closed.hadocposlacj .sshs.将其它节点的秘钥拷贝到 Masterl节点ssh-copy-id -i Masterlr.idoopfiM.ir

39、er； .smh :口卜 copy 1(j 1 nrrtriThe- authentlici ty of host asterl (1 72, 26, 40,1 cant bw est-abl 1 sh,R5A key finger print Is 5O：b3 ：66： Sc ： 5d ：3f ；le:lS： 5b： S3:81: f4: Oc :f4: i60: ef.Are you bure： you 叫ant. to uonLinu忸 uonn*uiJrig (yt& riQ)!?warning： permanently added iiasterl.172,Z6.4Q,74w (rs

40、a) lq the li&i of known hosis. ha如口械121* password:sow try logging Imo rhe wachlnei with ,!ssh asTerls,p and check In:.ssh/authori zert_keysco aK0 5UR w穹 hauen,i; Added &耳工浸 k&ys you weren,T； expecting.hadoopPMaster? . 55hf.将 Masterl 最终生成的密码拷贝到 Master2、Slavel、Slave2、Slave3r3dHjpfroETkl E-Sh ：1 曰m njr

41、k*1千 SIP JSUHd 口|rt.，小*军nthenr jstOr: nd。 c*- t ：0 E nniirpFFm Is-必-8-耐叶4十犷.居f 户mF errwinif*用IFIJ J.bWb yMan-rrng: Piraurwt 1/ 由 atH-iil173. J%. l rl (KA) to llw lijt d tanm hata.ha-Twr ji r t7 1 . juuim-fi:dtaCFier 11mishjf 50?-： 55! +11.二丁11飙_电卢 &!*kKSC营 5-4-二一j二 M UJI* EL 门：；.”j) Crt- E br mhlREa

42、 M,门吧SrprPE 1% fl； IM 国；斯壮三 e rd;时 Qt d：；Tje 曰r TT E rm-injp r.-n-*Tiinn :y nn - w.HE /IAdflM0一 :也用.叩 44)5 IM 1 TH f lr Mil*.bci9Qpvlflh-l puMnrdLUM IM-V JL HI k U.J44a I E. Gihll ICE .*力iiriODfT1事EhOT I产： liK-hjdMp-1. (411什吧&T -oil 5142 ri72.2 * K) a x be wi-ihifiied油电. XrqcjF * E1 ； U.i- 产s 肌 4 3.

43、bE ywij ljf yw 气E tn E：ijn-1ni* rnrrir，tr? LtMj? nn : yw-j- nq:i lyJr*7 lT-l, T4 dOu T7 (BEiJ ku rk 1 i n e* hnwn iIwhbb iMLhSMflr.FwiHikri i1 M . 0 3匕，tr-j 上呼 in.几Myt ktk /& G Jkfga4*wrndji5-RjiMQS*JisTc*-! iijhIX !iWe r*;oop sab jmeHkI2-l-t3r hD*e；hiirfw：0 ”重/Z ju/htFyTkw 时 F，r % Im 储 C ifl-1 ivb

44、up t h rm刎 Mptu fc-vy flngsrpr-iTt +, 3-二 M&S :O3 :： 1 :(- 3f r31:iIQ UrSd.ATM aWJ BUr *IE t COTTE 1HUM Edmn IPHHQ v 炉*Ldq: pwihp .hMdnmJQ-2，.氏比 (ua) id Hw 11 H / htuA*4h1 Ivtl L ast Tnqi n7 Tthw Oct 29 16; 5S; 38 I hadoopds 1 a* elexitlogout Connection to Slavel clased- U T；.：.,M rr -J il .1. r? La

45、st 1 n： Thu ocrifi： |-F.ji-, a e_ -，i;二gw c-onnecrlcMi cd Elave2 c. losed. hsdaapasterl -wS ash %】*3 Lat login; Thu Oct 29 16;56;45- IhadoapdslaeS -J|$ 和jMt Tofout Cjnniectiorn to Slaved closed. (hddu0pAit&rl - 1 |2015 fm usrer?015 fr slavel2015 froa siavA?2015 frw slaved12.安装 Zookeeper因为zookeeper有这

46、样一个特性：集群中只要有过半的机器是正常工作的，那么整个集群对外就是可 用的，所以本次选择在 Master1、Master2、Slave1、Slave2、Slave3上安装 Zookeeper在Master1上解压安装Zookeepertar -zxvf zookeeper-3.4.8.tar.gz修改配置文件修改配置文件zoo.cfgcd /home/hadoopR/zookeeper-3.4.8/confcp zoo_sample.cfg zoo.cfgvim zoo.cfgdataDir=/home/hadoopR/tmp/zookeeperdataLogDir=/home/hadoop

47、R/tmp/zookeeper/datalogclientPort=2181initLimit=10syncLimit=5tickTime=2000autopurge.snapRetainCount=10autopurge.purgeInterval=1server.1=Master1:2888:3888server.2=Master2:2888:3888server.3=Slave1:2888:3888server.4=Slave2:2888:3888server.5=Slave3:2888:38887q cd ?ODL#p*r* * 3.4. a/ronf / cnrrFJl 11 tot

48、 a 12-t ,-1 H-t - - 1 tuilu邺比535 (!口 6 LL:J6 cent (jur At 1 ui.-rw-rw-r- 1 hictoapR Fwdoo口艮 7161 Feb 。111ag4j. prnpprfifs-rv.-rw-r- 1 hacoopR liadoapR 92? F产h fi 11:46 zon 1 e. cfgIhadoDpfWisterl cant J 5 cp M_saTpf e. etg zod. erghjdoopftOaEcrl confjl vln zoo.cfgautopurqt. purgeiriperyili Tfie numb

49、er 口+ hii 11 ；匚nf eac.N ticktlckTi iw-2000背 The number of licks tlhat 兀he imticialsynchroni zan phase can tmk交*initLfaiTtLO事 The rmnibar of ticks tlhat can pass lb*tw*ensending a request and getting an at knowled gene nt syncLlm1t*scha directory where tine &npshot ts sioredv赛 do not use /trip For st

50、ar age, /t np here is justI 口工必hcxichndoo1 example sakes.da.TALDq：Dlr- hooc hadoo(： R. r Tp/ zookEepe r d atal oqCl 14flTROT t=21UsyrcL iirrit=5tickir iline-2(KJDau jop ur gu. 5M 口 色也 i a t rcoifii-10autopurq- purgelnterviil-1server.as t er1二之音白白二主&电台server,2-Faster2-2B983888server.3-S1 avel；288：388

51、Sserver,白=s1 aue2 ：2S.8B：BB88rver5sSllayeJ:2aSB: 36 88server.X用来配置ZooKeeper集群中的各节点，并建议 X的值和myid保持一致。端口 2181用于监听客户端的连接，端口 2888用于Leader监听Follower的连接，而3888则用 于 Leader 选举。dataDir用来指定快照文件存放目录，便于快速恢复；dataLogDir用来指定事务日志文件存放目录。如果只指定了 dataDir,而没指定dataLogDir,则事务日志文件也存放于 dataDir指定的目录。为 了达到性能最大化，一般建议把dataDir和da

52、taLogDir分到不同的磁盘上， 这样就可以充分利用磁盘顺序写的特性。默认，autopurge的两个参数是被注释的。autopurge.purgeInterval ”指定自动清理快照文件和事务日志文件的时间，单位为小时，默认为0表示不自动清理，这个时候可以使用脚本zkCleanup.sh13手动清理。不清理的结果是占用的磁盘空间越来越大。autopurge.snapRetainCount”用于指定保留快照文件和事务日志文件的个数，默认为3。ticktickTime 默认为 2000, 2-20 倍的 minSessionTimeout 与 maxSessionTimeout 注：tickTi

53、me 心跳 基本时间单位毫秒，ZK基本上所有的时间都是这个时间的整数倍。修改 /bin/zkEnv.sh设置环境变量 ZOO_LOG_DIR为zookeeper的日志存放目录，如：export ZOO_LOG_DIR=/home/hadoopR/tmp/zookeeper/datalog 可将这一行放在 ZOOKEEPER_PREFIX后。再修改下 ZOO_LOG4J_PROP以让日志不是输出到zookeeper.out,而是写入到日志文件，将：ZOO_LOG4J_PROP=INFO,CONSOL E改成：ZOO_LOG4J_PROP=INFO,ROLLINGFILE修改 conf/perti

54、es10g4j.appender.ROLLINGFILE.MaxFileSize=100MB10g4j.appender.ROLLINGFILE.MaxBackupIndex=10设置每个日志文件大小为 100M ,滚动10个。将 Master1 上配置好的 Zookeeper 安装文件拷贝到 Master2、Slave! Slave2、Slave3 上scp -r/home/hadoopR/zookeeper-3.4.8 Master2:/home/hadoopR/scp -r /home/hadoopR/zookeeper-3.4.8 Slave1:/home/hadoopR/scp -r

55、 /home/hadoopR/zookeeper-3.4.8 Slave2:/home/hadoopR/scp -r /home/hadoopR/zookeeper-3.4.8 Slave3:/home/hadoopR/设置myid在 Master1、Master2、Slave! Slave2、Slave3上建立相应的 dataDir 目录，并写入 myid 文件主机myid文件内容Master11Master22Slave13Slave24Slave35启动Zookeeper集群启动Zookeeper集群IJ Cd TOOktCppr4.5IhadDCipRiJFastTookeepier-

56、3T4rtil n- rkSFrver . slh startZcaKeeper J MX en.db I by d ef au 11ustng c&nf Iylt： 172.2C 40.74：ZlL(CNNECTED3 11 /jook 唧 *Zt： IF?, ZB.4Q, 7r4 ：口内内CTR口3 4 1 占 /7OOlcceperq liot aZk： 172.26. 40. 74：21Bl(C0IMNErTCDj 53.安装 HadoopNameNode(NN) H庶现方式方案一：将NN维护的元数据彳存一份到 NFS上，当NN故障，可以通过另一台 NNe读取NFS目录中的元数据 备份

57、进行恢复工作，需要手动进行操作，并不是真正意义上的HA方案。万案一：准备一台备用NN节点，通过定期下载NN的元数据和日志文件来备份，当NN故障时，可以通过这台15白鸽学胆进行恢复，由于主备节点元数据和日志并不是实时同步，所以会丢失一些数据。 方案二：前两种方案都不是很理想，社区提供一种更好的方案，基于 志方案。QJM的基本原理是 NNI (Active)把日志写本地和 回成功时才写入日志，这个日志叫做editlog ,而元数据存在 上读取editlog到本地。在这手动切换的基础上又开发了基于 自动切换机制，Active和Standby节点各有ZKFC进程监控QJM (Qurom Journal

58、 Manager )的共享日 2N+1 (奇数)台JournalNode上，当数据操作返 fsimage 文件中，NN (Standby)定期从 JournalNode Zookeeper 的 ZKFCZookeeperFailover Controller) NN监控状况，定期发送心跳，当 Active节点故障时Standby会自动切换为 ActiveNode ,我们这次就用的此方案，如下图所示。ResourceManager(RM) HA 实现方式RM将状态信息存储在 Zookeeper中，当Active故障，Standby切换为 Active后，从ZK读取相应的作 业信息，重新构建作业的

59、内存信息，然后开始接受NodeManager心跳，并接受客户端提交作业的请求等。Hadoop安装包下载在安装Hadoop之前首先去 Apache官网下载Hadoop安装包，如图所示： HYPERLINK /dist/ /dist/惺 MMS-ID-JB D3 V R&ID ML BJIA IfrM MlII hht|-W nt i| 通加?A覆t 理随阶H4-in Ntoii 2 A-ID-A U. UJIB-JD-a M. IIJIB IO JB MlV nb n 注AHA/以心舞隰忸J- J J J-J J J-一SirhhfljpjfTflqrg. iJ；1mb-修 1a * IITIB

60、-JD-S M- II mlii16白鸽学吧archive. fLpnche，orgTlea 翥1 cn raanj ihii hiEFSsL wcha vv 口二 d fcfbarv n|.ia uu1.Fw WFSW TrJrBJc-mvilli f 1 卜工 imra-和修噂T MH响 - XiMO-# IlM - ffllFLO-S !lr - Bll-Lfr* iLrti - ffilHHrh IM4 朗金哈制I Ii 3) p JJliHH-iE- LfiZT - aIHFil-皿力|0l|g| Aff*云* 亶 1，ilkui1 QMifSLt. . A Sa-va 庖，m无 t