大数据试验报告

1、Guizhou University of Finance and Economics课程实验报告专业年级14级软件工程课程名称大数据技术原理与应用指导教帅李均涛学生姓名吴勇学号20142205042026实验日期2017.05.04_实验地点笃行楼B栋301实验成绩教务处制2017年03月09日实验1.实验楼环境介绍，常用Shell命令及快捷键，Linux使用小技巧。内容2.Linux中创建、删除用户，及用户组等操作。Linux中的文件权限设谿。3. Linux的文件组织目录结构，相对路径和绝对路径，对文件的移动、复制、 重命名、编辑等操作。1. Liunx输入输出命令实验项目名称实验目的及

2、要求Liunx基本操作.了解Liunx操作系统发展历史。学习Liunx操作系统基本概念及操作。学习Liunx操作系统用户及文件权限管理Linux目录结构及文件基本操作。实验步骤2.ihtjrAfllaid :-r/ $ tMCh ftleEbtyanloM:/ $ cd Cade&hLjrn* Cod/ $ pud/hwie/shtyanlou/CodeshiytnlauCod*/ S |9：42：39如仙；59J53：439：43：叫=示工JUU-3.学会在命令行中获取帮助。jEfll-iEl* 齿I|BiWijb W手册分页显示二手册分页显示二只只NAH(l)NMEz

3、n 在坎在坎 考手考手Ji的株口的株口蔻述蔻述5 (-C迪 趾,】3*【=四】I-*驻】f-L心5一 .一.一一一_ 丁展t-l-I -r9rd-* -vl勺 z-P分空程庠-r担;Jij -7-E二-3IJ K :. J5 4【com lit里】,rMil -K HI bS Ult -11-11 Lzrsm【心】词匿ar J. *! rdL. 帕也-MhnkaMtlM) (-o-justflc*tiflo，孕/出1 -tNn whatis选地.也.MU -I -C iLftJ瑚】EfM皿LIr 邮】p分页我序分页我序L r-r勤勤rd -71-E!&B卜卜p ssmi i-tIXim

4、iJ 11 5JSLIH -C kl g顷页w-c -C Ml r-dJ。】页&1| 牌jinui.l p.Si*PWC1)IItin. 1 (pr.：i h for Mlpwq to4.输出图形字符。XfliE mLQi夜用 3 喑*工|有蓄辿 附期HJsysvbanner升级了日个段件色、新安装了1个软件包.要卸莪0个软件悒.有151个软件包未被升常要下轼们5淖&的牧件包博压精后龛消转掉73,7 kB的筋外空间.荻取:1 http:/mtrrors.aliyuncs.ccn/utuntu/ trustyuniverse sysvtanner丹时64 1.0 ,15 6,59

5、9 B下栽6.595 B .耗时应秘CO &0正在逸中未庖择的轼件包钊找说mwr“(正在该取数据摩.系统当前共安装有Z7579个文件和目或.)JF准 fi藉包./sysvbanner_1.0L15_aftdG.deb 正在桐庖sytvbanMr (1.6土)正在屈闵用于nan - db (. - lubuntu 1)的触发器.正在设担 即如baM河1*0.15) .shiy-anlou: -/$ 8抓wuyonq*a a酋# 甘漱 弁# *# #*。#sn*#林尊w *#ssMgliauTS5.查看用户。* *A Ai0：eeii4mm；*】ie：95:50：iBnrin

6、al ttk| wyonB2617-05-M 09:57 Bcm likes217-B5-M 09:57 (:1-O)shtjranloii:-/ $ whowIwhL归归Mou Dts/Oshl“nlg：-/ $ whohlyahlo-LJ口口shtyanlou:-/ $ I直州9 miEJ MM；yi心TOifci6.创建新用户。shiyanlcu:-/ $ sudo ddduser wuyang10:09:21正在海加用户-wuycng.正在德加籁蛆wuyongH正在添加麻用户wuyongri(1000)到螭侦 yon 矿 钢建圭自 /honefMyong 正在从/etc/skel-复制

7、文件.，.输入斯的 UNIX 滂妈:市航渣入新的 UNIX 昭码：pMSwd : 口成功更新雷码正在改安M叩 wig 律用户信息请 WJ入新值.或直援他回车供以使用歇认值全名；房间号码，工作电话J：家庭电话【：真它 :这些信息是否正福？ Y/n Ysilly an Lou:*/ $ Is /hone &hiyanlcu wuyong10:16:53s+iiyanlcu:*/ $ su -1 lilet 没有用户wUlei,h的密码项10:11:12shiysnlcu:-*/ $ su -1 wu/ang密码:wu yonflf9ed98cblfflS10:1133a|ifinB 9Mi

8、i格KMD林鲁伯1 tflhm)7.删除用户。ihlyftfilau:*/ $udp CltluSer ItMi -rtraawe-hciH10:17:45/uir/ibln/dilmtr:用户lUet-不祥在.wuyong - -rmDve-hme10:19:11i!L在删象用户uyon”，警缶:蛆值有其他成员了.芫成ihlyanlou:*/ $ |IG:19:518.查看文件权限。xms演胃正i ftffiivi胃殖D帏霍滴i用ViirbD maMMIL. ,句也WiL节临血thiyanlou$ sudo deluser正 土寻找要备份残州琮的文件. 止在删除文件.，shiyanlou:*

9、/总用8 drwxrwxr-drwxrwxr-rw-rw-r-rw-rw-r*-rwrwr-rw-rw-r-rw-rw-r*-rw-rw-F-rw-rw-r-rw-rw-r-rirf-rw-r-rw-rw-r-rw-rwr-rw-rw-r-rw-rw-r-shiyanlou-$ Is -1shiyanlGushiyanloushianloushiyanloushiyanloushiyanIoushiyanLoushlanloiushtyanloushiyanLoushtanUushiyanIoushiyanloushtanlushiyanlowshtyanloushiyanloushtyanl

10、oushiyanloushiyanloiishtyanloijshtyanlDUshlywnlQUishiyanloijshiyanloushiyanUushtyanlowshiyanloLishtyanloushiyanlou4096Uijij201609:4209:5209:S239： ： 52Q9:5209:52B9； ；5209:5209:5299： ： S209:5299；se99： ：CodeDesktopfilelovelove lovelovelovelove lovelove lovelove10:20:4510_linux.txtl_linux.txt2=Hnijx+txt

11、linuxtxtlinux-txtltnux.txtlinux.txt.67_ltnu+txt8_ltiwx* txt 9linuK.txtw.txtyong.txt10:21:16&hiyjinliaiu:/ $group | sor t|1B: 17:13皿 没有那个文件成目录!cat/etc/group月月月月月月月月月月月月月月月8 8 855555855555 5 5 5 5 5555 5 5 5555559.用ls A/Al/dl/AsSh查看文件。10.变更文件所有者。11.修改文件权限。Trmln*l牌端-hlyvilDuPfC4iil9Dcbl91!5: -/fiUi

12、i-r/ion/g.rinaiiMiIffCD尊*芯I蛔娜峰糊If鞠等冷助1娜shiyanlou :*/ $ touch testme2： ：iashiyanlou:/ $ mkdtr nydir11:&2:27)shiyamlQu:*/ $ rnkdir -p father/son/grancIsoiT!11:02:47shtyanlou:*/ $ cd father/son/g rahdsonshtyanlou:grandson./ $ ped zsh: command not fouindl: ped11:04:&5shiyanlou:grandson/ $ shiyam

13、lou!: grandson/ $ pwdl/ home/shiyanlou/fathe/son/grand 号 on shiyanlou:g rdndson/ $ |11:04:1514.文件的复制、删除、移动、重命名。12.目录路径。InflI晚端ihhrinojQni4 Ep I爵中-匡在读取软忤包列表，完成 shiyainlou：/ $ sudo apt-get install tree 正在读取牧件包列表完成 正在分所故件包的依赖关系树正在域取，状态信息一.完成tree 已经是最新的版本升级了 0个软件包.斯安装了 G个软件包要卸载 0个软件包.有 1S1khtyanlou$ cd

14、-not found: E, S pednot found: ped$ pwdlittp:/Hirrorsnaliyuncsneonhttp:/mtrrors.aliuncsPconhttp:/ntrrors.aliyuncs.conhttpt/ntrrors.altyuncs.eonhttp:/nirrorsTaliyunc5rconhttpi/Znirrors aliyuncs neontruty/ijniverse Sources trusty/multiverseSources trusty/nain Pid64 Packagestruisty/restrtcted and64 Pac

15、kagestrusty/wniverse Packages truty/nultverseand64ie：58：ja个软件包未械升13.z&h; connnd shiyanlcu:*/zstii connand shtyanlou:/hoHefshtynlOushiyanlou:$ cd - shiyanlou5pwd /hoMe/shtyanloushlyanlou:-7 $ |16:58:5010:59:1918:59:29IB:59:3316:59:51rii： ：ee： ：23i新建空白文件。1*1M4iL *|Jlliy MH如MJiyi-w/ S H text11:08:3

16、6111无法访IHtwt：没有那个文件st目块hlyaAlmj：-/ $ wu4txtII：B8H54zshcomand not fcNjnidwu-txtshlyanl&u:-/ $ cat -n passed11:0912acat; pnsswd:没有那个文件世目录KhtyiHlci):-/ $ cp /ct/p4wd11:11：46|CP */cet/pa55Mdu后缺少了要整作曲耳标女皓Try up -help for More triforrtation,sklyaqlmj：/ $cp /ct/psHd ,ll:12:GS|cp：无ilil /cet/passkic 设后那个

17、交件戢.甘审$mwteit RfUe(11:12:14lKymlmj：-/ Sr -f testil】：l4：8. Jar hadoop - 2 u G u B/ sha re / hadooip/napred uce/ces / hadoop - maprediiEe - cl tent - jobcltent-2.6-S-scnirces - jar h adcop - 2,6, B/ ri /wc-r/ssf hdicip = cl ttnt - corwipn * 2,6. fl * sou rcs .jarhadoopsha re / hadcop/Fiapr#d uce/souce

18、s / hadoop - mapreduce-client -hs- 2,6,9-test - SGHirce&- jarhadap-2.E.B/LICENSE . txthidcop z. B/ READMEBt;K thadoop-2i6.S/bin/hadoopZ.E,B/btn/hdfs.cHdhihddp-B/btri /t -crr史utirhadoop-2.6.9/bin/container-executorhddoop-Z,6：6/bin/hadoop.endh2 $，日 /b In /hadoop - 2.6.9/bin/hdfs.hadoop - L 6 ； B/b

19、ln/nap redh4dp-2,6,/bln/h*dti5fhaidoop 2.6.9/btn/dh adoop -2.6. B/bin Map red - endMdgp.西网JBlnjyxnhadoop2.6.6/include/h adoop -2,6.0/tntl ude / T enplateFac toryub hh -26.0/lncl ude/Str IngUti Ls.hhhadoop-2.S/include/hdfs.hhadoop-2.6.B/include/Pipes.hhhdo&p-2.fi.0/Include/SerlalutiIs-hhh adpe 12

20、8a4S45:$ sudo叫Ih sdoop - 2. ./UKr /1 a l/tiddph adDopie 12fla48a4Se:sudo chmd 7T? /r /1 oc al/hadooph用日B4；8占_实验项目名称实验目的及要求实验内容实验步骤4.测试验证.5.6.LUf U3I r LUkaiJIldiUlJUp； P1U WUI I L I? Ul ULI LUIludoofi河酬a仙4%A$皿MH，港htbdsh:source J.bahre:Nosuchfile or directoryh利唧。eU8汹朗供：+$source V-ihrcbash:export： ：*f

21、,:notavalid identifierbash;/ho.ie/hadoOp/,bishrc： ： line睫；syntax error near unexpected token STARTbsh:/hofie/hadoop/.bashrc: line 58:esadMAOOOPSThahcp&l潮硼洞如*$vin /hone/hadoDp/.lnshrch对卿福嫩位h利唧眦搦舛朗版irtfl/hoRt/hadoop/.ba&hrc浦bop胸制5e;*$s&urce -/lashrcbash:export:*:notavalid identifierbash:/h

22、ofle/hadoop/.bashre:line 58:syntax error near unexpected tokenLSTARIM加/hie/hadODp/.bashrci line眺蠢cfHAMOP START1hMocp|d286丽制克 Thadocpel294a48d45e$hddoni偷124丽位:云I相关配置文件修改：修改core-site.xml:格式化HDFS文件系统.Hadoop集群启动.12.启动hadoop.13.编译Hadoop2.X 64位.shiyanlou6c422836e38f install-pack$ source /etc/profileshiyan

23、lou8c422836e38f install-pack$ java -version java version 1.5.0gi (GNU libgcj) version 4.4.7 20120313 (Red Hat 4.4.7-11)Copyright (C) 2007 Free Software Foundation, Inc.14.使用yum安装sun.15.部署Hadooop2.X.与Hadoop1.X类似。hadoopXfce终端通过本次实验，让我对Hadoop有所了解，但是在实验过程中出现许多问题。 例如，不知道该如何下载java jdk,甚至如何创建文件夹目录下的文件，以 及H

24、adoop的环境配谿原理以及编译原理和方法。这些都是实验中出现的问 题，但是通过自己查询，问同学，部分问题已经得到解决，但是还存在一部 分就只能通过课后自学进行解决！通过上述的学习， 让我对Hadoop的基 本操作有了基础的掌握， 包括Hadoop介绍及1.X伪分布式安装，adoop2.X 64位编译,Hadoop2.X 64位环境搭建等。8.测试验证.ff00:0 ip6-mcastprefixff02：:1 ip6-allnodesff02:2 ip6-all route rs33assets-cdn * github- com115.159,216.235gems

25、.ruby-china.o rgIO.252,136,123git-13github comLabf ile .ossaliyuncsacom10 “143.34+200mirro rs allyun cam10r143-34,200m i r ro rs,151r101,IS,162regist ry npmj s. o rg09repel maveno rg69repo2Bmaven * a- rg192.30.255,113wwwBgithub土com10.252,136,123www - s

26、hiyanlou .co-mi192.168,40.65e2f6a9b704b485e2f6a9b704b弓号寻句弓997不千1 L_haHccn_shi/anlou5e2fa9b704bshiyanlou5e2f6a9b7D4bshianlou5e2f6a9b704bshiyanl ou(a5e 2f6 a9b704bshi/anlou5e2f6a9b704bshiyanlcu5e2f6a 9b 7 94b binbuild,xml C+ CHANGES,txtconf cant ribinstall-pack$hadoop-1.1.2$hadoop-1.L.2$hado

27、op-1.1,2$hadoop-1.L.2hadoop-1.1,2$cd /app/hadaop-1.1.2 nikdirmkdir nikdir mkdir Istmp hafshafs/nariehafs/datahadoop-client -1.1.2.j ar hadoop-core-1,1,2.j arhadoop-examples -1.1.2.ja rhadoop-miniclusterU . 1r2, jarhadcop-test -1.1.2.j ar hadoop-tools-1.1r2,ja rhadoop-ant -1.1.2.ja r hafsivyivy.xmlli

28、blibexecLlCENSE.txtNOTICE.txtREADME.txtsbinshare src tmp实验环境实验结果与分析9.设置Host映射文件.10.下载并解压hadoop安装包11.在Hadoop-1.1.2目录下创建子目录教师评语注：可根据实际情况加页教务处制2017年03月09日Guizhou University of Finance and Economics课程实验报告专业年级14级软件工程课程名称大数据技术原理与应用指导教帅李均涛学生姓名吴勇学号20142205042026实验日期2017.06.01_实验地点笃行楼B栋301实验成绩实验项目 名称HDF潴MapR

29、educe实验目的及要求1. HDFSM理及操作。2. MapReduc源理及操作。实验内容1. HDFSM理及操作。环境说明，HDF静理，HDF跳构，HDFS卖操作，HDFST操作，测试例子2. MapReduc源理及操作。环境说明，Map Reduce理，Map过程，Reduce过程，测试例子实验步骤1.HDFS原理及操作。1.1环境说明。虚拟机操作系统：CentOS6.6 64位，单核，1G内存JDK 1.7.0_55 64位Hadoop： HDFSM理。HDFS( Hadoop Distributed File System)是一个分布式文件系统，是谷歌的GFS山寨版

30、本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高 吞吐量的海量数据存储解决方案。1.3 HDF/构。HDF理Master和Slave的结构，分为NameNodeSecondary NameNod和DataNode三种角色。1.4 HDF就操作。客户端通过调用FileSystem对象的open()方法来打开布望读取的文 件。1.5 HDFSf操作。客户端通过调用DistributedFileSystem的create()方法创建新文 件。1.6测试例子1。1.创建代码目录bin$ cdhdoop-1sbxyanl-OLJ7S5dfc8Te03

31、bshiyanl-oi-J7S5dfc8feO3bshiyanl-oi-J7S5dfc8feO3bshiyanl-oi-J7S5dfc8feO3bshiyanT-oui7B5d f c 8f e03b sh iy anTou785d f c 8f e03b binbu iXd,xmlC+CHANGESBtMtccn fcant ribhadoop-ant -1,1.2.jar hadoop-cT ientjarhdoop-1hadoop-hadopp-hadopp-hadopp-hadoop- hd f sinpLit2.建立例子文件上传到HDFSmy inputmy c input：r2.

32、j 5ir.1,2 , j arra rivyHxml libI i,bexIBCLICENSE.txt logsmy c LassNOTICE.txtREADME t Kt|shi/anlou7S5dfcBfe93b input$ hadoop fs -ricdir /clas94Ishi/anlou785dfcSte93b inputJ hadoap fs -Is /:ound 2 itetts irwxr-xrxshiyanlousupergroup0 2017*06-01 02:54 /app1 rwtrxf*x- shiyanlou supergroup0 2017-0601 02:

33、57 /classJ耳hL/miLQU即SSdftB十eC3h input$ 3.配谿本地环境4.编写代码5.编译代码shiyanlcu735dfc3fe03b myclass)$ javac -classpathr/hadoop-core-L1,2.jar FileS/stemCat Java(shiyanlcu785dfc8f03b$ 11total 8*rw*rwr-* 1 shiyanlou shiyanlou 122S Jun 1 03:01 FileSystemCat.class-rw-rw-r- 1 shiyanlou shiyanlou 62& Jun 1 03:0G

34、FileSystemCat.java6.使用编译代码读取HDF&C件/ iyanlou3b393ddi554el corf4 hadoop VileSystenCat /clss/quangle.txt On the ton of theCrumpttty Tree The Quanglc tangle sat,But his race you could not seetOn account of his Beaver Hat. shiyanl0ubM93aO4554wl con切2. MapReduce原理及操作。2.1环境说明。虚拟机操作系统：CentOS6.6 64位，单核，1

35、G内存JDK 1.7.0_55 64位Hadoop MapReduce理。Map和Reduce当你向MapReduce框架提交一个计算作业时，它会 首先把计算作业拆分成若干个Map任务，然后分配到不同的节点上 去执行，每一个Map任务处理输入数据中的一部分，当Map任务完 成后，它会生成一些中间文件，这些中间文件将会作为Reduce任务 的输入数据。Reduce任务的主要目标就是把前面若干个Map的输出 汇总到一起并输出。2.3 Map过程。每个输入分片会让一个mapff务来处理，默认情况下，以HDFS勺一 个块的大小（默认为64M为一个分片，当然我们也可以设谿块的大 小。m

36、ap输出的结果会暂且放在一个环形内存缓冲区中（该缓冲区的大小默认为100M由io.sort.mb届性控制），当该缓冲区快要溢出 时（默认为缓冲区大小的80%由io.sort.spill.percent届性控制），会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这 个文件。2.4 Reduce过程。Reduce会接收到不同mapff务传来的数据，并且每个map专来的数 据都是有序的。如果reduce端接受的数据量相当小，则直接存储在 内存中（缓冲区大小由mapred.job.shuffle.input.buffer.percent届性控制，表示用作此用途的堆空间的白分比），如果数据量超

37、过了 该缓7中区大/、的一定比例（由mapred.job.shuffle.merge.percent决定），则对数据合并后溢写到磁盘中2.5测试例子。1.编写代码。shiyanloub9b774d5aab6 n)yclass$ Is HinTemperture.javaMinTempe ratureReduce rHjavaHinTemperatu reMappe r.j avatsriyanioyw)393aO4el MycUisjJ jar cvt ,/MinTerrperature.jar .padded manifestadding: Fi 1 esystemcat.classon.

38、12?8) (out* 664)(deflatd 4玖)adding:Kdfs2LocalFi1,class(in = 1356) (out= 771)(deflated 43%) adding：Loca)File2Hdf$tl.c1ass(in = 566) (out= 376)(deflated 35%) adding:LocalFllewdfs,class(in = 1455) (out- 04O)(deflated 4潺adding:MinTeirperature.class(in = 1417) (out亡798；(deflated 43%) adding: MinTeperaCur#*apper+c 1 ass (in = 1876) (out- 803)(defUted ad