云计算虚拟化hadoop试验报告材料

1、文档四 川 大 学 计 算 机 学 院、软 件 学 院实验报告学号 : ： 专业： 班级： 9 第 15 周课程 名称云计算与分布式系统实验课时6实验 项目在最终部署的 Hadoop上运行 WordCount 程序实验时间2015 年 6 月 11 日星期四实验 目的1. 首先通过 Linux 系统和 KVM虚拟机的安装达成对 Linux 系统与虚拟机相关知识的了解和熟悉；2. 通过 Linux 下 JAVA-ADT的安装以及 Hadoop的相关配置了解 Hadoop的基础知识及基础的应用 方法；3. 通过多台主机的虚拟化以及 Hadoop的联合部署，在该平台上运行 WordCount程序，体

2、验基本 的云计算的雏形应用并加深对云计算相关知识的了解。实验 环境硬件环境： PC机软件环境： Ubuntu 镜像， Linux 镜像以及 KVM虚拟机程序包文档实验背景实验2.1. 在云计算及其相关应用日益火爆的今天，我们通过课堂上老师讲述的云计算相关的基本知识， 已经对于利用 Hadoop的配置实现一个较为简单的云计算环境有了一定的认识，因此，在本课 程的期末设计中，我们采用 Linux 下的 Hadoop 搭建来运行一些简单的程序比如 Wordcount 来 达成对云计算的实现的基本知识的学习效果；本实验中使用的是 MapReduce的编程模型， 采用“分而治之”的基本思想， 把对大规模

3、数据集 的操作，分发给一个主节点管理下的各个分节点共同完成， 然后通过整合各个节点的中间结果， 得到最终结果。简单地说， MapReduce就是 任务的分解与结果的汇总 ；法、序、步骤和方法）3.4.在 Hadoop 中，用于执行 MapReduce任务的机器角色有两个：一个是 JobTracker ；另一个是 TaskTracker ，JobTracker 是用于调度工作的， TaskTracker 是用于执行工作的。一个 Hadoop 集群中只有一台 JobTracker ；但是值得注意的一点是若要使用本实验中的 MapReduce来处理数据集（或任务） ，其必须具备 如下特点： 待处理的

4、数据集可以分解成许多小的数据集， 而且每一个小数据集都可以完全并行 地进行处理。Linux 及 KVM虚拟机安装1. 首先我们找到比较常用的 Linux 适用版本镜像文件，这里我们使用的是图形化做得非常好的 Ubuntu 14.04 ，然后使用 UltraISO 做出一个启动盘并在电脑上做出一个双系统，分区大小我 们参照网络上的建议将主分区目录设置为 20G，成功做出一个 Linux 系统（这里我忘了截图了）文档装机的过程和下面的虚拟机装机是一样的。2. 然后我们在完成 Linux 下的基础软件安装的情况下进行程序的 KVM虚拟机安装，首先使用如下 指令： $ egrep -o (vmx|sv

5、m) /proc/cpuinfo检查 Linux 是否支持安装 KVM，结果显示是可以安装的，于是我们这里使用指令： $ apt-get install qemu-kvml ibvirt-binvirt-managerbridge-utils 安装 KVM虚拟机，安装过程是自动完成的，如下图所示：文档3. 经验证我们发现 KVM是安装成功并且正常运行的， 安装成功的验证指令为： # lsmod | grep kvm，文档到这里 KVM的安装就基本完成了。images 目录，在4. 然后我们需要在 KVM上创建一个虚拟机，具体操作步骤如下：在根下创建 images 下创建 iso 和 test

6、目录。文档文档5. 之后我们使用指令： virt-install -name ubuntutest -hvm -ram 1024 -vcpus 1 -disk path=/images/test/disk.img,size=10 -network network:default -accelerate -vnc -vncport=5911 -cdrom /images/iso/ubuntu-15.04-server-amd64.isod 创建虚拟机，至此我们基本完成了前期的基础性工作，操作流程图如下所示：虚拟机装机界面：硏什q CJ J垃训0因心豪4扎口円讯吗占知41 d_dj M 口也血 习

7、3川2| g pMaiui 呦卜Fijufiqfi ipbui utJ ft Z 耶心舟jNM 鼻 M0冏屮山0与 jmMui& 肺皿 mvt BLnfiw 神例 x AMingn2 - JInmAiHG|*99G!burJdrpiflqni isuinqunqfi Aj 丄wna即斛绑3|叶抑IJWl3勺2町种旳 *!*?w5IVUiWfl ertavapjjfra nbeunKVdUJOiaM戸 RUI &常文档6. 虚拟机创建完成之后还可以使用 # virsh list all 指令验证虚拟机是否存在，以及 # virsh start VMNAME 指令启动虚拟机三、 SSH的创建及使用

8、首先创建 Hadoop用户组，使用指令： $ sudo addgroup hadoop , 然后创建一个 Hadoop用户，使 用如下指令： $ sudo adduser -ingroup hadoop hadoop , 并且为用户添加权限，使用如下指令： $ sudo gedit /etc/sudoers, 操作截图如下所示：文档接上）实验容算法、程序、步骤和方法）1.口jHULjlfiOj/ = nlWLlfiJ. “讥r5 耳)P即讥心触11的讪 口用JN汽PUldpL T科珈“ t|聞召9恤陋啊*1 (jWd廿尊 63sjMP5/3ai/ up36 opns -5- Jum-se-w-

9、ipnii*-lk&|6u劭髦*MI 型晋評诙翼:v*6ri|7*4 严 1 鼻#Hn甲PI - V*r| - Ms UH *亦吋尊H fliMbAj-mitM 提針 祚馬科“缶酣诗利*孔 靱4、汕imh 月殉n#qN - p95rn - K i iu934j/ jeirs/ie S鼻 yINWM-0n gi1 t(irtC?13X&).3”叮1-叙|耳研托“町 rtl fiuilMWWl! 出 t/iL UJH45i x 1W 444 ChiEH! 44 UA a-dx ”、p 4umpffl B 邸 Zf5 5曰ifji*dfli 叭 圧、 QJA.I41J* ! Hl KD Xi Bl

10、M kp*jiSdih i*u I utM. t區j|p 2ori 祜耳voqlA口 is-fhbjwMd#1申1*0 町科*1.證利 tMisiwni - im 匚戸叽帕,呻 *9 HP* 4呻冈 MM Durm刖耳 pMib i4ll|VW - ：4uxqew- if nii国马g|4u专 、n-日心匚! J5 JJOpinE ft J1.jN 廿J Ml| UD沖 JOj.uU 列j S售rgu It fWOdMOl，讯mp. nql mi. pilipj 旳3R1 晞牡sM tJKpr*t讨田匸韦艮mwtiw龙一去Q4 1誌口卩叭/1 U/串6wi f frs UI护卜勺g曰口冶弹丿汽

11、Hlld叶T科PL t| 嗣口fr 鼻号輪M d-ViSW |t.a.*3 fttwr*EAdweuAjlfdKMW 廿idd 血s细軒耳导贬3/甘c iEsaw-宜i&m* - n质书甘fewr8-it&iwoiw. tr t-JIU UJ BidVjlP-區11*沖H/p U lUhltCD IE3D1 lflU|gpV Jp|UDJ科：*!?*iNlljtntl 4dd注n伽*也I: npqs/JsniTiu iq/ie3tVj 呂巾匕 uxqs emVf, =mBd_*jn me A 旷u：* J R翠屮丹亠H：i :t浊站(am上廿丄 匡艸& 刊!I* 恥色 同kH 奶4ipMs6-

12、(ert sjwprw iaqP科mJtM/li/ - qiediinij p#lies pqim:* WTWVfl-CH-qiTia i(frlEZUlPS&)i：j40|mi/i/ upafii ofm* t:um|WikbilKU、iLfiP*4:M玺置问辺蛍 :用母KInA=2郭 允gq人暂鬥亠.4曲冲乔诘(IWI) “血QWT审境理 X*MP申Lc/留耳蜜14pF炖 dwpe-ij dnjGwi-丿由咽nppe opRs 5.-；duiq3u- |iijm-Duo0uo*1如门科”状璋*4王 -:阿4州叶n“|A /.ssh/authorized_keys ，程 序截图如下所MBQ!

13、2oql4d JLMmHWSMWfi3da-L3H*ii Issas*.亠3BBS H桧3I_EFWTIl#7l-r-ltt4 覽勺nW ffi -efldM- -IT.-0? J 5r%“s_*lst*一 * T ! grT-w一 jjm 44j-13r4l W.4A1W44K7:4 UBMC HEIt XI Elu rau nN_B_rtlvl A*S_W3 *!*n lknkl!M4T- rf 741 Lsrfw=bJ!ricih2 7i lv_kf菱s 4 f -IP :二严益ss f hone f Fg. LTSEC監 Ia flMro-nlg Jr 誌?r*dlrE *9 n Jh

14、wt.fQ J*lnhy1.-Ipuw, l.y*宙逗?盅二”岸冠岂1袪二* - rr!Kl -,*E t4=郢 CM mFd? HchlJ-mt d-xjrfd 5 K 孟.rldml. niH 产！i *474瓷只丹4|1匕尸客?*i SSM祷aJfc巻一2十-?| 吐乩朝事宣一irul*mlEhlln4-f 盂* yf*chYM27*hdrJhMtr 害ed5h匸3 审$鼠 Im fh4WFVic?1l!lh 二dly 74= h JhfH 总丁 ?二 FrK 壬瓦一穴*(二虫*甘豐瓷“备r-呂蛊zwl ” LJ24审“2nl盘 TLTr2&3M 7Fgiig5HW;HHKMn.*7s

15、f H SAC产 Jygb : 4露兰二盂产誥m &n:gg;lrt.LJ2;ndchlLne!s 讪呂 1门豈|1$1:Th呼吕h4wzH my-?!cn 二雷E51L4bed 買！SA kFlng?-p1Lhl-4:srv!fiEFWT!93H-a.3;4lnJfg4rgKA;*MZ2 产 rlnp0ciu mciIErlp內凸！lnulB 户loMilnttngl ye*亠hr !: LI-B曰 f rs_-Jzii- fsiis- 王*?芝 Ft 苫逼詈 s S3-Cf rt=-sFlM 产居 B ”*rmn2z优 xf A“丄童只宀 EC#MI2rfcr* Lffr i -15 hl

16、HtM” LWM * IMH.C-L4! *4尸7审MIJL.1I*审MJ.l!ft,KI$iAKIM!K4ll文档6. 最后我们使用指令： ssh localhost 来登录 ssh ，完成我们第二部分的前期准备工作，程序截 图如下所示：文档四、 JAVA环境变量配置1. 我们使用指令： sudo apt-get install openjdk-7-jdk 来获取并安装 java 的 jdk ，并使用指 令： java version 来检测 jdk 是否安装成功，程序截图如下所示：文档五、 安装 Hadoop1. 首先从官网下载 Hadoop 的安装包，然后使用指令： sudo tar x

17、zf hadoop-2.4.0.tar.gz 将 hadoop 解压，然后我们在命令窗口中输入指令： sudo mv hadoop-2.4.0 /usr/local/hadoop文档拷贝到 /usr/local/ 下，使用指令： sudo chmod 774 /usr/local/hadoop 获取文件读写权限， 步骤截图如下所示：文档2.然后我们需要对 /.bashrc 文件进行配置，需要知道 JAVA HOME环境变量，使用如下指令 查询： update-alternatives - -config java ，然后利用指令： sudo gedit /.bashrc 打开 文本编辑窗口，并

18、如图所示编辑容，保存后关闭，执行指令： source /.bashrc 使更改生效， 步骤截图如下所示：文档3. 最后我们进行目录为 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 的文件更改， 执行命令： sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 打开文本编辑窗口，如图所示修 改文本容，保存后关闭，步骤截图如下所示：文档六、 WordCount 实例测试1. 首先我们在 /usr/local/hadoop 路径下创建 input 文件夹，使用指令： mkdir input ，然后使 用指令： cp README.txt input 将 README.txt拷贝到 input 文件夹下，步骤截图如下所示：文档2. 最后到现在我们已经基本实现了程序运行的初始化条件， 然后我们输入如下指令： bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.