云计算-Hadoop单机及集群配置

1、实验报告实验名称Hadoop单机及集群配置指导教师实验类型上机实验学时2实验时间一、实验目的和要求实验要求：学会Hadoop单机版及集群的安装配置实验目的：1) 了解Hadoop的安装及运行环境；)掌握Hadoop的工作原理；) 在此基础上为Hadoop数据分析奠定基础二、实验环境在虚拟机上运行ubuntu系统，hadoop1.2。1三、实验原理及内容.安装 Ubuntu.hadoop用户组创建 hadoop用户组:sudo addgroup hadooppublicubijntu:$ sudo addgroup hadoop sudo password for public:Adding g

2、roup L hadoop * (GIO 1061) *iDone.创建 hadoop用户：sudo adduser ingroup hadoop hadooppublicgubuntu sudo addujRr - ingroup hadoop hadoop Adding use-r L hadoop*Adding rew user 1hadoop1 (1001) wtth goup hadoop1Creating home directory 1/home/hadoop1 .Copying files from /etc/skel1 Eftter new UNIX password:Ret

3、ype new UNIX password:passed: password updated successfullyChanging the user tnformation for hadoopEnter the new value, or press ENTER for the defaultFull Nne :Room Number :Work Phone :Home Phone 口:Other ;15 the Information correct? Y/n y(3)为hadoop用户添加权限：sudo gedit /etc/sudoers,在打开的文件中添加一句 hadoop AL

4、L= (ALL: ALL) ALL,其中 hadoop和 ALL之间的空格使用 TAB键.ft User privilege specification root ALL=(ALL;ALL) ALL hadoop ALL=(ALL：ALL) ALL(4)使用hadoop用户登录系统重新打开Ubuntu,发现登陆界面多了一个hadoop用户，用hadoop用户登录系统。3、SSH配置Ubuntu14.04已默认安装ssh的客户端，只需要安装服务器端即可，但在实际操作 时，发现由于是刚安装的Ubuntu系统，该系统没有更新，还没有安装ssh,因此先使用 系统更新命令 sudo apt get up

5、date 更新系统。hadoopgubuntu:5 sudo aptget update安装 ssh: sudo apt get install openssh-serverhadoopubjntu:sudo apt get install openssh*server启动 ssh： sudo /etc/init.d/ssh start查看服务是否正确启动：ps e | grep sshhadoopubuntu:$ sudo /etc/tntt.d/ssh start hadoopubijntii:$ ps -e | grep ssh1168 ?sshd(4)设置免密码登录，生成私钥和公钥：s

6、shkeygen -t rsa Phadoopgubkintu:ssh-keygen -t rsa -P ,nGenerating publie/private rsa key pair *Enter file in which to save the key (/hone/hadoop/,ssh/id_rsa);(5)将公钥追加到authorized_keys (authorized_keys用于保存所有允许以当前用户身份 登录至U ssh客户端用户的公钥内容)中：cat/.ssh/id_rsa pub /.ssh/authorized_keyshadoopubuntu:-$ cat -/.

7、ssh/td_rsa,pub -/*ssh/authorized_keys1(6)现在即可免密码登录：ssh localhosthadoopubuntu:$ ssh localhostWelcome to Ubuntu 14*04.1 LT (GNU/Linux 3.13.fl-32-generic xS6_64)* Documentation: HYPERLINK / /46。packages can be updated.294 updates security updates.退出：exithadoopubuntu;$ exit logoutConnection toclosed,had

8、oopubuntu:*$ |4、JAVA环境配置(1)创建 jvm 文件夹：sudo mkdir /usr/lib/jvm(2)将下好的jdk文件解压，并将解压后的文件夹重命名为java-7-sun，: sudo tar xzvf jdk-7u45 linux i586.tar 。 gzC /usr/lib/jvm/(由于安装的 Ubuntu 系统为64位的，学长提供的jdk7u79为32位的，安装之后无法使用，所以重新下载了一个jdk, 由于7u79版本官网下载速度太慢，因此下载了一个 7u45版本的jdk )重命名：sudo mv jdk1。7.0_45/ java 7sun/(3)配置环

9、境变量：sudo gedit /。bashrc在最后添加如下四行：export JAVA_HOME=/usr/lib/jvm/java-7-sunexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH- $ JAVA_HOMJE/lib:$JRE_HOME/libexport PATH=$JAVA_HOME/bin: $ PATH(4)启用配置：source /.bashrc(5)酉己置默认 JDK sudo update alternatives -install /usr/lib/jvm/javajava/usr/lib/jvm/java 7-Sun/

10、bin/java 300 sudo update-alternatives -install /usr/lib/jvm/javac javac /usr/lib/jvm/java 7-sun/bin/javac 300hidocpfubuntu:/mr/lib/jhmo update-alttriMtivn -tmtill /utr/lu/vn/jnijavi /uir/ltb/jVR/javi fl5un/btn/java Meupdate-alternatives: using fusr/Ub/jwn/Java 8-sun/bLn/javd to provide /usr/llb/jvm/

11、jflva ijava)自尊:椁式hadooppubuntu:/usr/tib/j,um$ sudo update alternatives -install /usr/ltb/jvm/javac javac /usr/lib/jvn/java 8-sun/ bln/Javac M附updti-alterndtlve: using /uir / lib/jvn/java - S - &un/bLn/jdvdi to provide /uir/ltb/ jtffl/j wac C javac) Ln 自动膜式 hadcopsubuntu:/ur/Vib/jvH |(6)测试是否已完成：java

12、-versionhadoop0ubunru：-$versionjdvd version .7P*白_45”Dftvs CTM) SE Runtime Envi ronn*nt (hui1 ri 1.7.-hi 8)dV6 HotSpot(TM)Server VM (buildmixed mode)hcidoopubun-t u r |(sudo update alternatives -config java可查看当前各种 JDK的版本和配置)hftdooptubuntu; / u sr/li b d wS sudo upditt-alter natives -ccnftgVSStH jwfl

13、 (擅供曲rjitbjlviMjim)中只有一个集选 ： /usr/Ut/Jvr/ UvS sun/btn/Java 无重配音。hddoopubuntuT/usr|5、安装 hadoop(1)将 hadoop1。2.1 解压至/usr/local下，并将其重命名为 hadoop： sudo tar xzvfhadoop-1.2.1.tar o gz C/usr/local重命名：sudo mv hadoop 1.2.1/ hadoop/(2)授权(读写权限)：sudo chmod 777 hadoop/(3)编辑 hadoop-env.sh 文件：sudo gedit /usr/local/h

14、adoop/conf/hadoop env.sh , 增加如下三行：export JAVA_HOME=/usr/lib/jvm/java-7 sunexport HADOOP_HOME=/usr/local/hadoopexport PATH= $ PATH /usr/local/hadoop/bin如下图所示：hadoop-cnuh x ft reEot。nodes .w 1 henpenc-ntAt ton to , nequtrerJ.D sxpor t JAVA_HDMt = /U1/llbyJ2sdkl. S-iun Kpnrt JAVA_HiMt- 7 sunrKport i AT

15、 I i .：与，GT” ic 1 /litidoop/b tnv EMt r UgVA CLASSPATH elements QptlondL . ff export HdOOP? H =(4)执行命令：source hadoop-env.sh(5)输入hadoop,出现如下图所示，说明hadoop命令已经可以使用:hadoopubuntH；/usr ocal/hdoap/e. nr$ source bddwp - env. &h hadoop$ubuntu: /Lisr/local/hidcop/e&nf5 hAdcopU占agd； hddoop L corfconfdir J COWHA

16、NDwhereis oneranenode - formatfornat the DFS filesystensecarderynanenodrun thr dfs secondary njncnod产rannodprun the &FS n目e/nodeda tarioderun a PFS datanudedfsadnlnrun a dfs ndnin clientmradminrun a M*p-Redtice adntn cLtentfsckrun a DFS ftiesystem checking utilityf srun a generic filesystem user cli

17、entbdldntrrun a cLubtvr bdldrcLng uL11Ltycivdpply the ofTHne f导Img* viewer to 曰n r5Inagefetctdtfetch a dleggtion tokn from the Nn)Nodjobtrdckerrun the MapReduce job Tracker nodeptpr*irun n Pt明雪1obtssktrackerrun a MapReduce t寻与k Trocker nod号hlstoryser verrun joh history servers ds a standalone ddemon

18、6、测试 wordcount(1) 创建 input 文件夹：sudo mkdir /usr/local/hadoop/input将 hadoop 文件夹下的 READM Ext 文件拷贝至 input 中：sudo cp README.txtinput(3)执行：hadoop jar hadoop - examples-1.2。1。jar wordcount input output1与Ofai 3日INFOma p red * -JobcTiLen t imapiir e d uc -e 10OKLi/Obz-40&：JO：42INFOmapred Jebclten口匕 c&fnpXte

19、: Job_lndlGlL里3。77工&_。工1 5/匕弓“AINFC1r =dl. bCltrn t zCQUfiter 车：2 &】5/曰aa；3s：。工INFCtrnapr&d / obcXlent:Ftie output Farnait counT&rsLS/OS/24O： 38 ：-4ZINFOmapred 国 JobCTl_en t:Bytes WT1 tten=i32c15/O5/Ze-s 3B ：42INFOmapred,JobGlXen:File input Fornar counters1 5/O!i/243&：3S142INFOmapped.JobCLtent:Ry七色与

20、 Resids L3ee15/05/2406：J8：42INFOmapred,JobclientsFtleSy&tencounters1 5 /0”/406： Jfi ：4ZINFOmapred . ziolbiCTt fnt:F IL E _B T F S_IR E AD a 23401S/O5/24日6:i42INFOmapred . JobCT-xen 11F lLE_BYrES_WRITTEH=3L956561S/DS/246(5： 36 ：42INFOimpred + DcibCTt en t:Hap-Reduce Fr aReworkINFOmapred.JobcllentjRed

21、uce Input groire output: records=1311 5/日0GI 3S l3ZINFOmapr&d . JobcTTenXiNap Input record s=3115/OS/Z4C5O： 38 ；4ZINFOmapred.Jobcltent:Reduce shuTTle bytes=15/05/243BINFOm*pred + JobCltent:PhyslcaL Pienory =15/05/24。吕士 30 42INFOmpredl . JobcTlent:CPU ttmie spent nisj-e15/05/2406：38:42INFOEoprud . Jo

22、bCllcnt;Virtual EUEory fbytes napshot-01 5/0 5/246451： 18 ：4ZINFOmdpred , JobCltent:SPLIT RAW BYTESl15/05/2-4OGI 3B KZINFOmapred . OobcTI-en 11Map outzputz records= 1 791S/C5S/40C： JU 上INFOmapred.Jobcttent:Copibtne Input records = 17515/05/2406：58INFOn-spred . Jobclient;Reduce input records-iai4。查看结

23、果：cat output/*hadoopubuntu: / us r/locril /hdoop$ c d t output/ 1 (ECCN) 1 (TSU)1 TOC o 1-5 h z Csee15DOO2 * C . 1. ,11 http: / /wwwwas sender , or g/-1Adntnt Stratton 1 Apnchr 1 BEFORE 1 BIS 1 Bureau u Conneret t工 TOC o 1-5 h z Commod i.ty1CoiTtrol 1 Core 1 Department1NC1Except on1Export 2. For 1 I

24、 Foundation工Guvr nncfn t1Hadoop 1 lladoop t 1 ,Industry1七七1说明单机版的hadoop已经配置成功。7、伪分布式配置(1)在 hadoop文件夹下创建文件夹：tmp, hdfs,hdfs/nam0 hdfs/data (2)修改 data的权限：sudo chmod 755 hdfs/data(3)修改 conf/中 core-s让e.xml 文件p j mrprlt GMiMJ my f hi*iI ver ft= 1 .。明 70- ? jblm 1.-工 t xlusfclhu七七 I y pc1 ,b PTOP=i厂七第A ria

25、nte hindQcip. tmpr门匚圜-lije ，#1 口喧 TL/hwd3=u，*LpF/i 3G - */proper * *a /icon f igu r t ion (4)修改 conf/中 hdfs-s计e。xml 文件hdfibRi tyIvslmt c ypp* 工1，w hre,T-,cori fVmjr*ic Lorn .L f 中* I Put t ef te property 也丫也/，同。1 l 外 thl file ac。n * * g L 1_ q kr c H rprbp-r ty - nEcrAQr，.r&i*r，*1 /nm - lue. 1 - /1

26、14岁M，中 $& t* p #a -o p r t y ,* vh由护3-sJFs- . n -de * D i.r 工 /4-vflI*/ysr，l.QHalfh#400p/、4，/v电1”寸-r upofty Tpr cipwr TV*-ced f r d mt.4111dtiT * /fTi.atne? ，y # l/1 oca I /hadonp / hdF、tn * / va l.ut- -: * pr-o-fxr r fcy :-/con 11Qiur ia 11on (5)修改 mapred site0 xml 文件e 雄 urudi-瞳里.WEI m* Tml vc*r 0

27、4。两-3 . Q,m J y i 才拓 l - /七yl.Xec更 TYQ十=！2/区一11rl ihr#fFt 中打 r 环t i 凸状,置.i , ? t I Put sitetrie property over r ld I n rht f i lr a * - *y tdi，f t ut -a t (也门 p rop*r ty -PHjspr #!d * Job a t racker /non- C J%Aa-i |_ I4i-rr-Ad ml nlVraionRUNlMlN3JL3wMon J Ml 7/ I T 7 Pmr ij h.yIdun鞋Hlr; ZC 1 OOUOZ王C

28、T-MO1: OFFcluster nummary c a thQ cr I e& C Lot aiLhost En ”trackeriitmiitiizlocaltiost/127.0,0*1:508 : Xsk Tracker Status口 1 口尸“Enn: 1,2.1 r rl503152Compiled； Mon Jul 22 15：23：OE* FLIT 2013 by mattrKiimiiiiy tasksTtfc5k Attjnmptx|窘口i til用PmgimT，| ErrorlI Trlk Xiri-Iipl qg-|rS loc-g Lhost r. -rlocip

29、loc .S比rted:Vnrsilciri：C4mpllvd!：U pq r.tlS 匹工I Er u f-a klue jwn g 21：35 ：Q POT NO 151N IL rloiszMon N“ 22 15-:23：0 PD1 2013 Dy EiiETTrwro at0 m 3pr身q。注 In progircsp.Br*fli”上七一e m口二duut.sfr SurnmehryUb unru Softwn-re -Center9 Ihl4 4f4l 1 MriKk*NK)亡QRif1 口 urucfl 4Ca ipaicirtxDPS U4 Hon DFS Ue。9Six*

30、 l 23 E。/ 乖后石,万中 MB工也与日GQ2nCL KB5 36 GRia.2i w自Q -71.13 %1Fl(10) wordcount 检测:在 dfs 中创建 input 目录：hadoop dfs mkdir input将 READM Etxt 拷贝至 input 中：hadoop dfs copyFromLocal README.txt input运行 wordcount:hadoop jar hadoopexamples 10 2。1。jar wordcount input output-hadoop(O)uibuntui /u ir/1 ocdL/hdoophjadao

31、pubun1：u /locol/hadlocjipShariloopdfs- iqkdK r inputhdo0pubyritU ： /usr/ 1L0C AX/hdoopShdlo0pdrs- copy Fr0nLOCbL RECiME - twttnpu thadcopubu ntu: /ur / lac dl/hdlOapShadlocpjarhdaop - ex apples -1*2*1 fe j arord 匚立untinput outputisyud/oz 15/u“O2 H 5/06/O2 15/0002 15/O&ZO2 is/ube; H 5/06/O2 15/OG/OZ

32、lOO2 i s/ub/es 15/06/02 15/00/0221i SW： Si INFO 21;5B：51 INFO 2156151 HARN 21 i 58 = 54 i NI=DI 21：EH：” INFO 21:592S INFO ZL：S9：45 INFD t 541 ZNFO21：5：S7 INFO 21：5；57 INFO 21: 59 S S7 INFO Zl： 59 ； 飞卜口 21：S:S7 INFOInput. F11 eldputFo rfliat ： Total 4hpUt path s1 量节 prCe,: ytll. iMstt veCodeLcader -

33、Lded thehadoop llbrarntepredJobCltent ： 1fslpr ed . Jbcx li&rit t napr ed _ 3obiCLlLen1t ： napr ed Jobd tent: Ezor ed-JobClient ： riapr edl . JobCl lent t napred . JobCl le-nt ： napr edl. Jobcl tent: rtapred - JabClle,nt:CIhq artcr reserving slots ns)-0Srvaipjpy naw reduceFiap Iflj日* reduce 1 Q&%J a

34、lb complete; job_zei 5eao2ZiBT_eeeiCouHiters ： Z9Jpt Counter sLaunehedl red nee taisks= 1SLOT 5_MlLLl 5_HAlPi5=35 ieOTotal t ine spent by 通QI reduceswe15/O6/0S 21:55157 q after reservingI 5/H”O2 15/002 15/06/02 is/oo/ez 15/口”修之 15/0&221：5：5721:5 57 21i 59157 21:5?S57 2 1 ： 59 ： 5721：5：57INFO napr ed. 3ohCLl_ent i slots (