实验2-熟悉常用的HDFS操作-题目

1、实验2熟悉常用的HDFS操作实验2熟悉常用的HDFS操作云计算课程机房上机实验报告题目熟悉常用的HDFS操作姓名日期实验环境：实验内容与完成情况：出现的问题：解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：1实验目的1. 理解HDFS在Hadoop体系结构中的角色；2. 熟练使用HDFS操作常用的Shell命令；3. 熟悉HDFS操作常用的Java API。2实验平台操作系统：Lin uxHadoop版本：2.6.0或以上版本JDK版本：1.6或以上版本Java IDE: Eclipse3实验内容和要求1.编程实现以下指定功能，并利用 Hadoop提供的Shell命令完成相同任务：（

2、1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；开启服务：wttnffubuntu:/usr/locl/hdoop/sbln$ ./startyll:shThis script is DeprecatedInstead use start-dfs-sh and start-yarn.shStarting namenodes on localhostlocaLhost: starting nahenodet logging to /usr/local/hadoop/log/hadoop-wen-nam nod«-u

3、buntu.outShell命令:f/hadoop fs -test echo $?-e text.txtwenubuntu: /usr/local/hadoop/bi.n$ hadoop ;未栈到命令wenubuntu:/usr/local/hadoop/btn$ wenubuntu:/usr/local/hadoop/bln$ wenQubuntu:/usr/local/hadoop/btn Hi., girlsHifgtrls wrnfiulbuntu: /usr/lo cal/hadoop/bin $ txtwenubuntu:/usr/local/hadoop/bin Hi., gi

4、rlswenubufttu:/usr/local/had44p/btn$hadoop fs -appendToFile local * txt text *txt./hadoop fs -appendToFtle local»txt text<txt ./hadoop fs -appendToFtle local * txt text.txt ./hadoop fs -cat text txt./hadoop fs -copyFronLo匚al 亠f local»txt text./hadoop fs -cat texttxtubuntu:/usr/lDcal/had

5、oop/bin wen(3 ubuntu:/usr/local/hadoop/btn$ Q口 Console 黒X -xcterminated> HdfsApi java Appticadon/usr/lib/Jvm/java-7-open； tag4:WARN No app年“dws couId b? found fcr logger (org. tog4:WAfthi Please inKuhze the Iog4| 5ystem property.tag4jiWARWhi(pi/1Ao1.2/faq.Kcmnoconfig fa/user/tinyt

6、eKl.tJtt 不存在./usr/lo<1/hadoop/textAx(已上祷至 /userAlnyftexc.txt(2) 从HDFS中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对 下载的文件重命名；Shell命令:wenubuntu:/usr/lacol/hadoap/btn$ export PATH=$PATH:/usr/Locat/hadoop/bin wenubuntu:/usr/locaL/hddoop/bin$ if S(hadoop f$ -test *e /ur/local/hadoop/tex t.txt)；a then $(hadoop fs -co

7、pyToLo匚al text»txt ./text»txt);a else $hadoop fs -copyToLccal text * txt */text2.txt);wenubunu:/U£r/locaL/hadoap/btn$ |" Console 溝terminated，HdfsApi_D2 Java Ap plica tion /usr/li b/jvm/java- 7<3 penj d k ；og4|：WARN No app«nder$ could befourul for k>gger forg.jpMhe.hMio

8、opxcnf.Cc :i0g4|：WAflN Fle$e initial the lo4j 涉弭車m properly.j llog4j-WARN Set ht t p：/ogg*ng- ap jc he.ar 書卩 1.心佔 q.htEWnoronfig for morf/jsr/hcJl/hdoop/c»xi.txc 已存在.占圻命名为:/u sx/towi/ha deop Jt(. Jtt,Q(3) 将HDFS中指定文件的内容输出到终端中;wenubuntu:/usr/local/hadoop/btn$ hadoop fs *cat text.txt Hi,girlswengu

9、buntui: /usr/local/hadoop/bin$实验2熟悉常用的HDFS操作 Console £3terminated> HdfsApi_03 Jave Application /sr/lib/jvm/java-7'Openjdk'amd64/bin/java (2016-12-15 TT7：i lag4;WARN Nc appendcould b总 Found for logger opch$-hadcap.eonf.conflguration.dtprn).log4j:WAF?N Please initialize the bg4j system

10、 property,log4j:WARN See http7//log4j/1.2/faq.html#noconfig for more info.i 奥取文件:/u serA knyAex t ixtHLboys悽取芫成|(4) 显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;Shell命令wenubuntu:/usr/local/hadoop/bin$ hadoop fs -cat text * txt Htgtrls wenubuntu:/usr/local/hadoop/btn$ hadoop fs -Is -h text.txt *

11、rw-r-r-1 wen upergroup9 2016-12-15 18:38 text.txtwenubuntu:/usr/local/hdoop/btn$(5) 给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建 时间、路径等信息，如果该文件是目录，则递归输出该目录下所有文件相关信 息；Shell命令：wenubuntu:/ usr/local/hadoop/t)tn$ hadoap fs -Is -R -h /user/ttny-rw-r-r-*3 wen SupergroupE 2016-12-15 18:51 /user/tiny/text * txtwenub

12、untu;/usr/Local/hadoop/btn$JAVA代码:实验2熟悉常用的HDFS操作 Console £3殛箕警匾龍|倉遲J丨齊曰*巧* 口亡<terminated> HdfsApi_O5 Java Application /usr/|ib/jvm/j3va-7-openjdk-amd64/bin/java (201&-12*15 下午7： log4:WARN No appender5 could be found for logger (o ng. apache, had op. conf. Configuration, dep recat ion)

13、. log4：WARN Please initialize the Iog4j system properly.log4j:WARN See /log4j/1.2/faq.html#noconfig for more Info.燧归膿取目昴下斯有文件时信S： /user/tiny跻徒：hd fc:/1cca I ho 戏:90Q0/user/t I ny/t exC-1 xt权限:rw-r-r-夫小:B时IE: 2016-12-15 18:5130诵咼完薩(6) 提供一个 HDFS内的文件的路径，对该文件进行创建和删除操作。如果文件所 在目录不存

14、在，则自动创建目录；Shell命令:wen3ubuntu; / usr/Iocal/hadoop/bin$ tf $(hddoop fs *te&t -d dirl/dirZ);> then $hddocp fs -touchz di.rl/dir2/filename);> else $(hadoop fs -mkdtr -p dtri/dtr； && hdfs dfs -touchz dtri/dir2/filename);wenubuntu: iisr/local/hadDop/bin$ hadoop fs * rm dir 1/dir 2/filena

15、me16/12/15 19:11:24 INFO fs*TrashPolicyDefault: Nmerwd亡 trash configuration: Del etton interval = 0 ntnutes, Emptier Interval = 0 nlnutes.Deleted di rl/dlr2/ftlenanewenfiubuntu:/usr/local/hadooo/blnSJAVA结果:Console田It 呛妙伊IL囲terminated > HdfsAptjOfi Java Application) /usr/lib/jvm/j«va-7-Qperii

16、dkdmdM/bj 0g4):MARN hipcoukl b? found for logger (org.4pch.h#doop-CQrifXanfigiifd(iorog4j, WARN Please Jr it u liz e th ? k>g4f system properly.og4：WARNht(p：/logglng.3pA/log4f 1.2/Mq. Mml*noconfij； for more lfc.文件夾:/uierrtinymput创越交枠：t jser/t iny/in pwt /text .tx(7) 提供一个 HDFS的目录的路径，对该目录进行创

17、建和删除操作。创建目录时, 如果目录文件所在目录不存在则自动创建相应目录；删除目录时，由用户指定 当该目录不为空时是否还删除该目录；Shell命令：wenubuntu:/usr/local/hadoop/btnS hadoop fs -mkdtr -p dtrl/dtr2 wenubuntu:/usr/local/hadoop/btn$ hadoop fs -rndtr dtrl/dtr2 wenubuntu：/usr/locd'l/hddQQp/bln$ hadoop fs -rm -r dtrl/dtr2 ri*i： Ldirl/dtr21: No such file or dir

18、ectory 惮戸 naiihiintnr /us r/local/hadoop/bin $JAVA结果:实验2熟悉常用的HDFS操作 console S3叵X篱図硬 出旦乃口cterminated? HdfsApi O? Java Application /usr/lib/jvm/java-7-cp亡njdk-amci64/bin/ja¥a (2016-12-15 T午： log4：WARN Nc appended could be Found fcr logger arg.apache.hadoop.canr匚onflgu阳tlonVEprecauanL log4:WARN Pl

19、ease initialize thw Iog4j system property.log4j:WARN See http:/bgging.apache.arg/1cg4j/1r2/faq.htiTil#ncconligfcr mere info.目录不为空r不删徐:/user/tiny/i叩ut(8) 向HDFS中指定的文件追加内容，由用户指定内容追加到原有文件的开头或结 尾；hddoop fs -ppendToFtle LoCdl- txt text.txt hadoep fs -get text.txtcat text * txt >> local*txthadoop fs

20、-copyFronLocaL -f text,txt text.txt more local*txtShell命令：wenQubuntu:/usr/lacal/hadoop/btn$ wenQubuirtu:/usr/local/hadoop/binS get: ' text * txf : File exists wenubuntu:/sr/local/hadoop/binj wengubuntu:/usr/lacal/hadoop/btn$ wenQubuntu:/usr/local/hadoop/bin$ Hi,girlsHt,boys wengubuntu:/usr/lacaL

21、/hadoop/btn$JAVA代码:二 coruole 詔X %"terminated* HdrsApi_08 Java Application /usr/lib舟 vm/j 旳d-ToxQjdk电 mdi og4:WARN No appenders could be found (or logger (org apache.hadoDp<conf onligui og4WAR：N Please initialue the Iag4j system properly.WARN See hup：//1og4g 1.2/faq.hrnoconflg

22、 for more info, fifi 内莽刘文样未尾fuser" imy/input/iteMt txt(9) 删除HDFS中指定的文件;Shell命令：enubuntui/usr/local/hadoop/bin$ hadoop fs -rm text+txt16/12/15 19:34:55 INFO fs.TrashPaltcyDefault： Nanenode trash configuration： Del etion inteWBl = 0 ninutes, Emptier interval = 0 minutes *Deleted text.txtWEnQubunt

23、u:/ u£/lotal/haMDOp/bi_n$ |JAVA结果:实验2熟悉常用的HDFS操作<tecmlnated> HdfsApi_09 java Application)/usj/lib/jvm/java-7-openjdmd6/bir(10)删除HDFS中指定的目录，由用户指定目录中如果存在文件时是否删除目录;Shell命令：JAVA代码:|og-3j：WARN wo jppendi>rs could be found for logger (o.apjcbe. hjdocp.conf.Confijjuration. g4j： WARN Please in

24、UkilLre the loE：| lyitem pro per fy.5鴉 http: "kt E创ng- apMchg- or蛊川0甘4|/1. Nfaq 一 hl mltfrwrcmftg for rngr?文祥?： /usef/tlnyAext.tKtConsole E3<terminated> HdhApi_1。日甘日 Application/usr/lib/jvm/java-7-openjdk-amd64/bin/java (2016-12-15 下午了:* lcg4'WAftN No ap penders could be found for log

25、ger (c rg.ap ache, ha do op. co nt Co nfLiratkon. deprecation).log4):WARN Please Initialize the Iog4j system p阳perR.log4):WARN See http:/k)/logJ/1.2/faq.html#ncconfig for more info.目录已删瞎：/userrt lny/d irl /dir2(11)在HDFS中，将文件从源路径移动到目的路径。Shell命令：JAVA结果:J Consoleterminated* HdFsApi i t

26、Java Application /usr/lib/jvm/java*7-openjdk-amd64/b11 0g4：WAfi；N No appenders <outd fou nd fo r ilogger (org. j p At h e. hdoc p co n f. C onf igu ign og4|.：WARN Pjeae inH 旧|昶 the 4og4| system properlyog4j：WARN Sw http-/loggjng. apAt.or1 2/faq htmJ*n«anfig for more mfo. 寻女件 hdfs； Wuset A my A exi < t xt 移功到 h dfs； Wu wr/< my/in(n«2.编程实现一个类"MyFSDatal nputStream ”，该类继承"org.apache.hadoop.fs.FSData In put Stream”，要求如下：实现按行读取 HDFS中指定文件的方法"readLine()"，如果读到 文件末尾，则返回