虚拟机和hadoop安装超详细_第1页
虚拟机和hadoop安装超详细_第2页
虚拟机和hadoop安装超详细_第3页
虚拟机和hadoop安装超详细_第4页
虚拟机和hadoop安装超详细_第5页
已阅读5页,还剩56页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、第1节:环境准备1.1. VirtualBox 的安装VirtualBox 简介VirtualBox号称是免费虚拟机软件中最强的,拥有丰富的特色和出色的性能,在虚拟 机市场占用重要地位。我们选择它的理由是:* 安装程序体积小。相对于同类产品VMWare 的四五百兆的体积,VirtualBox 只有几十兆的安装程序,安装完成后也只有120多兆,太小巧了。* 功能简单实用。配置简单、克隆系统、共享文件、虚拟化等一样不缺* 免费。这是最大的诱惑。安装读者根据自己的电脑情况下载适合自己操作系统的安装程序,作者的系统是 WindowsXP 32位,以下截图是来自 Windows XP 的。Virtual

2、Box的安装非常简单,只需要根据提示一步步选择 “Next ”即可,遇到回答“Yes” 还是“ No”的地方,选择“ Yes”。在安装过程中,会出现暂时的网络中断,不要惊慌, 一会就会恢复。VirtuaIEm: Kost-OnlyNetwork图2-1点击桌面上的 VirtualBox 图标,就可以打开了,如图 2-2所示。图2-2我们现在对虚拟机进行一些优化设置。点击菜单栏中的“管理”菜单项,选择“全局设 定”命令,如图2-3所示。图2-3出现一个弹出对话框d1,在“常规”设置中,可以修改“默认虚拟电脑位置”,设图2-4选择“热键”选项,可以修改什么按键作为热键。如图 2-5所示,当用鼠标选

3、中热键的时候,可以接收键盘输入。作者根据自己的习惯修改为组合键“ Ctrl” + “Alt”。图2-5选择“扩展”选项,点击安装符号,选择一个扩展包进行安装,如图 2-6所示。-nJJJj图2-6至此,虚拟机安装结束。1.2. RedHat 安装I.RedHat 简介RedHat既是一个公司的名称, 也是一款linux产品的名称。RedHat公司生产 RedHat Linux。该公司发布的Linux是基于开源产品的,如果我们下载使用是免费的,如果进行升 级或者接收技术支持,那就需要收费了。RedHat主要应用于服务器领域,在服务器市场占有很大的市场份额。2 .RedHat 安装2.1 新建虚拟

4、机并配置参数2-7所示,点击“下点击工具栏中的“新建”按钮,弹出窗口,设置以下内容,如图步”按钮。图2-7内存大小默认值是 512 ,修改为1024 ,如图2-8所示,点击“下一步”按钮。图2-8内存是安装和运行操作系统使用的。当使用512MB内存安装RedHat时,会自动安装 服务器版本,即只有命令行,没有图形窗口。设置是否创建虚拟硬盘,使用默认值,如图 2-9所示,点击“创建”按钮。2-10所示,点击“下一步”按钮。选择虚拟磁盘类型,我们使用默认值,如图图 2-102-11所示,点击“下一步”按钮。设置是否动态分配磁盘空间,使用默认值,如图图 2-11设置磁盘文件大小和存放位置,使用默认值

5、,如图2-12所示,点击“创建”按钮。弹出对话框关闭,如图 2-13所示。图 2-13点击工具栏的设置,会弹出一个针对本操作系统设置的窗口,如图 2-14所示。图 2-14选择“常规”选项,修改允许双向粘贴和拖放功能,如图 2-15所示。图 2-15,把我们的 RedHat选择“存储”选项,增加光驱, 如图2-16所示,点击“选择磁盘” 操作系统的iso文件选中。图 2-16这样系统启动的时候会从虚拟光驱引导,进行安装,这一步很重要。选择“网络”选项,将网络连接方式修改为“仅主机适配器”,如图 2-17所示。图 2-17点击弹出对话框右下角的“确定”按钮,关闭对话框,如图 2-18所示。Hos

6、t-Only 连接方式,使得宿主机和客户机可以单独构造一个网络,不同于宿主机所在的网络。这样,两个网络完全隔离。新搭建的网络的网段是192.168.56 。2.2 .操作系统的安装点击虚拟机工具栏的“启动”,就会弹出窗口,进入操作系统的安装界面,如图2-19所示。图 2-19用鼠标点击窗口,然后按回车键,就进入了RedHat安装的引导过程。小提示:现在鼠标已经被虚拟机独占。这时键盘和鼠标操作都是针对客户机的,不能针对宿主机操作。如果要退出独占,按组合键“Ctrl”+ “Alt”。该按键在图2-5中已经设置。如图2-20,询问是否检查磁盘,选择“ Skip”,然后按回车键。图 2-20如图2-2

7、1所示,点击“ Next ”按钮。图 2-212-22所示,点击选择安装语言,读者可以根据自己的喜好选择,建议使用英文,如图“Next ” 按钮。图 2-22选择键盘类型,这里使用默认值,如图2-23所示,点击“ Next ”按钮。选择设备类型,这里使用默认值,如图 2-24所示,点击“ Next ”按钮。图 2-24询问是否格式化磁盘空间,选择“ Yes”,如图2-25所示,点击“ Next ”按钮。小提示:这里的格式化操作不会造成我们windows 系统的空间数据丢失,只是对空间 的空间进行格式化处理,大家不要担心。修改主机名称,我们使用"hadoopO : 如图2-26所示,点

8、击"Next "按钮。图 2-26hadoopO ",注意:在以后的章节中,会使用这里设定的主机名,如果读者不使用“ 请在以后的操作时注意修改。选择时区,我们修改为“Asia/Shanghai ”,如图2-27所示,点击"Next "按钮。图 2-27设置root账户的密码,我们使用"wuchao ”作为密码,如图2-28所示,点击"Next "按钮。图 2-28注意:该密码是以后登录linux系统时必须使用的,请读者牢记。这里的密码设置过于简单,是为了学习方便。在正式生产服务器中绝对不能这么设置密码,很容易被黑客

9、攻破,应该设置为数字、大小写字母、特殊符号的组合。警告密码过于简单,不用理会,点击“ Use Anyway ”按钮,如图2-29所示。图 2-29选择安装类型,我们使用默认值,如图 2-30所示,点击“ Next ”按钮。图 2-30出现确认信息,询问这样做会造成磁盘数据丢失。由于是新的虚拟机磁盘,没有数据, ”按钮,如图2-31所示。我们同意,点击“ Write changes to disk图 2-31询问安装的RedHat类型,我们选择"Desktop ; 在最下面的软件定制选项,我们选 择"Customize now : 如图2-32所示,点击"Next

10、"按钮。在软件定制部分,我们选择安装MySQL数据库,如图2-33所示,在我们以后学习Hive时会用到,点击"Next "按钮。图 2-33然后进入操作系统的安装过程,如图2-34 ,会持续很长时间,读者不要随时操作虚拟机,防止安装失败,请耐心等待。图 2-34经过漫长的等待,终于安装完了,如图2-35所示,点击右下角的“ Reboot ”按钮。图 2-353 .系统的初始配置系统重启后进入系统初始配置页面,如图 2-36所示,点击“Forward "按钮。图 2-36这是关于操作系统的使用协议,我们当然同意了,如图2-37 所示,点击“Forward按

11、钮。图 2-372-38所示,点击Foward ”按钮。图 2-38进行软件的自动更新,我们没有联网,没有注册,不能更新,如图点击“Foward询问是否创建一个非管理员用户,如图2-39所示,我们这里不创建,按钮。询问是否修改系统时间,我们不做修改,如图 2-40所示,点击“Foward "按钮。图 2-40提示内存不足,我们不用理会,如图 2-41所示,点击“ OK”按钮。图 2-41正是因为上一步的内存不足,才造成下面的选项全是灰色,如图2-42所示,点击“Finish ”按钮。图 2-42系统加载刚才的配置信息,终于进入登录页面了,如图 2-43所示。按钮。图 2-44图2-4

12、3点击“Other",输入用户名root ,如图2-44所示,点击“ Log in输入密码wuchao ,如图2-45所示,点击“Log in ”按钮。图 2-45用户进行的,一定使用root注意:root用户具有最高权限,操作方便,本书所有操作都是以root实际工作中一般不会直接使用 root用户。读者如果对linux权限不熟悉,- 用户操作,免得出现无谓的错误,自己搞不定。这样,就看到了 RedHat的桌面,如图2-46所示。图 2-46桌面最上面是菜单栏,右上角有个红叉, 这表明网络没有连通。在红叉上点击右键,出现右键菜单,如图 2-47所示。图 2-47点击“Edit Con

13、nections ”,弹出对话框,如图 2-48所示。图 2-48选中连接,点击右侧“ Edit”,出现弹出对话框,如图 2-49所示。Apply ”,然左上角有个复选框,请选中,表示启用自动连接,然后点击右下角的“后依次关闭弹出窗口。会发现桌面右上的红叉消失了,这表明网络已经连通了。在桌面上鼠标右键,选择"Open in terminal : 输入命令ifconfig ,可以查看到网卡地址是01,如图2-50 所示。图 2-50至此,RedHat安装完毕。4 . Hadoop的伪分布安装前准备可以安装PieTTY 0.3.26.exe 进行远程登录进行命令操

14、作(1 )设置静态ip在centos桌面右上角的网络连接图标,右键修改,Ip:00子网掩码: 网关: dns:重启 网卡: service network restart测试:执行ifconfig查看结果(2) 修改主机名<1> 修改当前会话的主机名:hostname XXX<2> 修改配置文件中的主机名:vi /etc/sysconfig/network注意: 需重启机器:shutdown-r now 或 reboot-h now(3) 把 hostname 和 ip 绑

15、定Vi /etc/hosts增力口 00 XXX测试:ping XXX(4) 关闭防火墙Service iptables stop测试:service iptables status注意:如果重启电脑,防火墙有可能自动启动,可以通过 chkconfigTist |grep iptables查看,如果存在 on,可以通过 chkconfig iptables off 停止自动启动1.3.JDK 安装我们使用的版本是 Oracle 的 jdk-6u24-linux-i586.bin 。首先,把jdk移动到/usr/local目录下。进入到/usr/local目录下,通过&q

16、uot;."解压文件, 如图2-55所示。IMiEwrimt 2*刖, hHMi1*l*C4i|httt4h w Um iMhM- 做rwtlKAlhfirK ?n耽即WPWl|rtK4th»t "MM." arwiWmirvit UmUH /4i ma-llw LMN blnVKkJJIt图 2-55解压缩完成后,我们可以查看到新产生的目录jdk1.6.0_24,使用mv命令重命名为jdk ,卜际值上|一ff 匕再,5;* - ' j-工) |o*= A » JL - ih I 一 口1,一 I图 2-56接下来把jdk的命令配置到环

17、境变量中。在linux下,有很多配置环境变量的地方,分为全局环境变量和局部环境变量。linux加载的时候,会先找全局环境变量,如果找不到,就找局部变量。本书中,我们只设置全局 环境变量。使用gedit命令打开文件"/etc/profile : 如图2-57所示。图 2-57在文件最后增加以下内容,读者可以复制粘贴我的内容。export JAVA_HOME=/usr/local/ jdkexport PATH=.:$ PATH$JAVA_HOME/bin保存关闭后,需要在 shell环境下执行命令如下命令。#source /etc/profile我解释一下上面的配置内容:“ expor

18、t ”是关键字,用于设置环境变量。我们设置了两个环境变量,一个是 JAVA_HOME , 一个是PATH。对于环境变量的引用,使用“ $”, 多个环境变量之间的连接,使用“:”。大家在设置环境变量的时候,一定与 windows下的 操作区分开,不要混淆。命令" source ”是为了让文件中的设置立刻生效。现在使用"java -version ”命令,如果看到如图 2-58的输出,那就证明一切顺利。jrwtpinf E第Mt huRvtiJ票(4韩+ij i<wtc<na/中 图 2-66其中,命令"cp id_rsa.pub authorized_k

19、eys ”用于生成授权文件。至此,配置 部分完成了。这里为什么要使用 ssh登录本机哪?因为 hadoop在本机部署时,需要使用ssh访问。注意:文件夹“ .ssh”中的三个文件的权限,是有要求的,“自己之外的任何人对每个文件都没有写权限”。另外,“ .ssh ”文件夹是700权限。如果权限有问题,会造成SSH访问失败。1M| rKTbtlOGflllVIt lQG4lr jlW lWMQflj*r* HfILUi 'l.ft.B WJmLTMi k intue 也加打相一彳 i8iig i « t " W町jw* mai jpccrhii Clc m i 国我u

20、m i'Mrr ee aM)r,口通j/*tfltM/lkiKt lDCAl« |1.4.SSH配置免密码登陆如果我们需要远程管理其他机器的话,一般使用远程桌面或者 telnet。linxu服务器几乎都是命令行,所以只能使用 telnet 了。telnet的缺点是通信不加密,非常不安全,只适 合于内网访问。为解决这个问题,推出了加密的通信协议,即 SSH。SSH的全称是Secure Shell ,使用非对称加密方式,传输内容使用rsa或者dsa加密,可以有效避免网络窃听。hadoop的进程之间通信使用 ssh方式,需要每次都要输入密码。为了实现自动 化操作,我们下面配置 SS

21、H的免密码登录方式。首先到用户主目录下,如图2-64所示。1 ? -I '= prtAa PMBHiMiImt 一 声"""n-MM «- *- - I- GUW.Vimi,fcrH , xlI UI LI _ lii iFIfif-i*,* IILvhT - 1 .4 tutyf T f fl*frc«er«CLRfi¥«"e孙Entair ! lu 峥川畔 to mm - Iwvh/+d fm|iEmerI ar rt« 叩附什1 1Bnt»r IMFw Af*lH :Fm

22、 BdetiT jl |£r ion- Im Kiu>ta |n frw“,师110 ruvw* pMit f *w mwI in /rwt/.t-iiwM7.;2.Kh* Gf 打中f/附* *-H:WTlc;H,7»3-;f*:3.|: t? M MF”/:H睚 F rwwfclFHi*>iU!»l Llwfr 141RS* 3Wtj - -*III I.lL q.E r'W.|FtHtwlMH -W .图 2-65解释下:命令 "ssh-keygen -t rsa”表示使用rsa加密方式生成密钥,回车后,会提示三次输入信息,我们

23、直接回车即可。然后进入密钥文件夹,执行命令,如图2-66所示。IrMttlocdLlhaiit ” cdWi时01*加nh|* U 4gt-l B- 1rHT -。-I <Ht mt ISM Jhufl 3Id fMni-r -r-1 rwc r*i m Jvn 3 1丸)* i*二pm.(i曲Fpvtflocillicit d'hl,p in raLgg utgmiM出3*占1%述 it -itoutl 12值I mt root un Jui 3 kd_ru rw r-r-I rut,岫t M> Jun 3 16>: M id ru j癌-ira-r r- -p 9

24、 rio«t regt 33; Jun 3 IQ-; 39 iiuEhflrjEcdE FDCtfl ik a-ltoit .s-ih |« |I现在开始验证 SSH无密码登录,如图 2-67所示。ku MV u»»rr尸"« M feh irii# rldrFliMani itlrt hiti HriMfliviM thMk FF 3Kw /*- Ei P*1 t« c«ML»vtI,e/fI 9 K* 产.Jaq kUMM!. riMW 'iM-lkfeH'l' !W I tt

25、 IM | Lit * iMai iVlifet i"w"!i|CD9M / "士 WwaN;1M. ” Zac、=MiE <ts4J|dFtniiw Al 吹I I«k|ii0 m I3uni loiki * M !Eli, f* ImIlWT图 2-67执行"ssh localhost ”意味着使用"ssh”通信协议访问主机"localhost ",第一次执行时需要确认;第二次不再确认了。这就是无密码登录。当登录到对方机器后,退出使用命令“exit ”。这两次操作时,注意观察主机名变化。 读者可以执行命令

26、"ssh book。", 验证dns对book。解析是否正确。注意:使用命令 ssh时,一定要观察主机名的变化。很多同学在操作ssh时,由于大量的使用ssh登录退出,忘记自己目前在哪台机器了,执行了大量错误的操作。另外,如果多次执行 ssh,每次都要输入确认信息的话,说明配置失败了。可以删除文件夹“.ssh”,重新配置。也可以重启虚拟机再配置。只要严格按照上面的步骤操作,保证能够成功的。如果还搞不定,给你个绝招” 删除/etc/udev/rules.d/70-persistent-net.rules文件,重启系统”。配置出错,可以查看/var/log/secure日志文件,

27、找原因。至此,恭喜你,开发环境搭建完工。1.5.Hadoop伪分布安装hadoop的安装分为本地模式、伪分布模式、集群模式。本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述。伪分布模式是在一台机器上模拟分布式部署,方便学习和调试。集群模式是在多个机器上配置hadoop ,是真正的“分布式”。本章讲述伪分布模式和集群的安装。1 .解压缩hadoop使用 WinSCP把压缩包hadoop-1.1.2.tar.gz从宿主机复制到linux的/usr/local目录 下,如图3-1 。rootbook0 Desktop# pwd /root/Desktoprootbooke Desktop#

28、 Is(rootbooke Desktop# mvIrootbook0 Desktop# cd(rootbookO local# Is bin gamesetc hadoop-1.0,4. tar «yz rootbook0 local# |hadoop-LO.4,taugz /usr/local /u$r/locatinclude jdk-6i!24-linux-i5B6.idk lib图3-1解压缩文件,并重命名为hadoop ,方便使用。重命名后,hadoop目录的完整路径是“/usr/local/hadoop ”。#tar-xzvf hadoop-1.0.4.tar. gz#

29、mv hadoop-1.0.4 hadoop设置环境变量 HADOOP_HOME ,修改文件“ /etc/profile : 如下图:alias cdha=1 cd /usr/local/hadoop, Iexport JAVA HOME=/usr/local/jdkexport HADOOP HOME=/usr/loca1/hadoopexport PATH=.:$PATH:$JAVA HOHE/bin:$HADOOP HOME/binI .一 ,一一一一一一Plain Text p hb Width: 8 y ln81f Col 1图3-2请读者与jdk设置时配置文件对照。这里我们设置了一

30、个别名cdha ,可以快速转到hadoop 的目录。修改环境变量后,记得执行source命令哦。现在让我们浏览一下 hadoop的目录结构吧| rootbaok0口total niBdrwsr *-k.2rootr»t* i w.1rootrootcf rwxr'Jtr,置 +wrgtrgt rw- rv-r-.1rwtPMdrwxr xr +k.2rootrootdrwxr hwfWtrcatUrw*jtr »,*7rootroota rw- rw- r* - 上1rootrwt- m rwr/.1rootroat-rww.1T”tFQVtrw根.1rootroM

31、 ww.1rootroatt rw-c-.1Tgtroot-rw-rwr-事1rootrootdrvxr-xr .2fWt-rw- ru-r-,1rwtrootdrwxr'Mr-Jc.5rootroatMZjC Mt.2rootro*t*ftf'*=* *1rootroot w rw- r -,.1rootroot rw- rw-r -T1rootrootdrwMixr K.2rootroatiirwxr -xf3r«tdmxrieMtrootdrwxr -kt -x*9rootroot;:uu:匚 八El 二i?M 1 Jun 1198T5 OCt打6ag OctJ

32、un 4Mh Oct 出口 Jun C94Q OCt 41» DCtQU 14Ms? Oct 413 OCt 拈Oct 作?的7 OctJun wm oct 力筹6 JunJua DIM OCl l 由1 Oct 1珈 086 40% 曲6 的&4 «1iU 3 2fil3 3 »U3 2D 12 4 «L: 12 3 2912 4 ei ia , 皿工 3 29123 2BU 3 2412 3 Z912 3 旗123 2B12 4 01:12 3 29124 0LU2 4 41 ;Ubin .-build .MlCHAH6ES,txt«

33、;n, *署坤配置文件fcfltflbMt、np i h4*0pyn,+ 1 , 4, j*r hddoop«tliant-l.O.t.jar hditosp-c ore 1、#, 4 j * h AZpTMI” T. 川“ h剃toop-Wnit lint。J】.*a jar hadoop-te«t-1.*.4.ar hi(toop*tooli-l.B.4.jir ivy ivy.k*L libI *Xkwti 2912 LICENSE.tut1 2(H2 MCTKt.txC2912 README Jxt4 Ok; 123 7012 .Mre4 BL: 12、”3 241

34、3 .rk.ippi图3-3我们关注bin目录和conf目录。2 .修改配置文件hadoop配置文件默认是本地模式,我们修改四个配置文件,这些文件都位于$HADOOP_HOME/conf 目录下。第一个是hadoop 环境变量脚本文件 hadoop-env.sh,修改第9行代码为。exportJAVA_HOME=/usr/local/jdk保存并关闭。这里设置的是 JAVA_HOME ,注意去掉前面的“ #"。第二个是hadoop 核心配置文件core-site.xml ,结果如下configurationproperty<name>hadoop.tmp.dir</

35、name><value>/home/hadoop/tmp</value><description>hadoop的运行临时文件的主目录/description)</property><property><name></name><value>hdfs:book0:9000</value><description>HDFS的访问路径 </description></property></configuration&

36、gt;第三个是hdfs配置文件hdfs-site.xml ,结果如下<configuration><property><name>dfs.replication</name><value>1</value><description>存储副本数</description></property></configuration>第四个是 MapReduce 配置文件 mapred-site.xml ,结果如下<configuration><property>

37、<name>mapred.job.tracker</name><value>book0:9001</value><description>JobTracker的访问路径/description/property/configuration这是安装伪分布模式的最小化配置。目前的任务是把 置项什么含义,这些配置项还在后文会有详细的解释。hadoop跑起来,先不关注各配3.格式化文件系统hdfs是文件系统,所以在第一次使用之前需要进行格式化。执行命令$HADOOP_HOME/bin/hadoop namenode-format。见图 3-4

38、root conf f hadoopMorning: SHADOOP hq* ($epresiE.04;W:U UFO rmenodc.Hmhode: STAATuP 咏;STJIRUJIP M50:STNTW MS6: 5nATW> HSG STMWP «SG1 SrARTVP MSG:St4rtlrwj 讨存yModk hoi! - wg, pfonut) ver kier l.d.4 build - hltpi:/5vn.apache.r/fep©s/atf/h»4w/cc*»on/braftcMVbfnch l,1l)/M/e4 64:54

39、:17IHFO1VM/64 94:>a:lTIMFO1J/M/64IHFOB/M/64 M:54;17INTO1VM/64 &4zS8:17INFO1J/M/64 3I:W:17IKFQ1J/H/04INFO1VM/64 M:se;nIhFO1KF0B/H/44 M;5e:17INFOn/H/44 Mz59:uIhFQMM 18IWOD/M/e4INFOutlLGSet: 2 me nc4ory " 1机”“$ M: capacity-2*22 4194304 entriesutll.O5*t: r«C0«*erxM<41943041 Htgl

40、TlXSMnaBtfMKl*. F,SManesyitMi: f、CWie.rootfWJotftodc r FSftonesy 1 (e*: lupergrktaeM,FMiA"”$rc:此nMerwk; dfs,blockJnUdM乙liHUiegntfiefwic*F$H3«c5”tE; iAcce»TokenEn4bled-f«lse 筝KcyVX4V naas必,M4P4HQ4e; Cdf file occurir gf看 than 10 tiees Coan<>ni>Storage: f lit of IHe 】1。in 0

41、 lc<0ndl.COMOft.Sto: 4t,r妁4 dlfMtory /M*t/hadoop/t4p/dfMf 的 . U4*Noae: SWTDOWN! HSG:J* , 0 SWT1XM M5G: £huUinq doun NMNMe at tmk«/192.16aa. 106»«.Bfl/:r 3二二 工匚二 1口 二:1" : _注意:只在第一次启动的时候格式化,不要每次启动都格式化。理解为我们新买了块移动硬盘,使用之前总要格式化硬盘。如果真的有必要再次格式化,请先把"$HADOOP_HOME/tmp ”目录下的文件

42、全部删除。读者可以自己观察目录" $HADOOP_HOME/tmp ”在格式化前后的变化情况。格式化操作很少有出现失败的情况。如果真出现了,请检查配置是否正确。4 .启动格式化完成后,开始启动 hadoop程序。启动hadoop 的命令脚本都在$HADOOP_HOME/bin/ 下,下面的所有命令都不再带有完整路径名称。这里讲述hadoop 启动的三种方式:第一种,一次性全部启动:rootbook6 conf# start-all.shWarning: $HAD00P HOME is deprecated.starting namenode, logging to /usr/loca

43、l/hadoop/lil localhost: starting datanode, logging to /usr/loca localhost: starting secondarynamenode, logging to . starting jobtracker, logging to /usr/local/hadoop/ localhost: starting tasktracker, logging to /usr/L执行start-all.sh 启动hadoop,观察控制台的输出,见图3-5,可以看到正在启动进程,分别是 namenode 、datanode 、secondary

44、namenode 、jobtracker 、tasktracker ,一 共5个,待执行完毕后,并不意味着这 5个进程成功启动,上面仅仅表示系统正在启动进 程而已。我们使用jdk的命令jps查看进程是否已经正确启动。执行以下 jps ,如果看到了这个进程,见图3-6,说明hadoop真的启动成功了。如果缺少一个或者多个,那就进入到“Hadoop的常见启动错误”章节寻找原因了。rootbook6 conf# jps8027 Jps7651 DataNode7777 Seconda ryNameNode7543 NameNode7970 TaskTracker7864 JobTracke图3-6关

45、闭hadoop 的命令是stop-all.sh 。上面的命令是最简单的, 可以一次性把所有节点都启动、 关闭。除此之外,还有其他命 令,是分别启动的。第二种,分别启动 HDFS和MapReduceroot(abook0 conf# start-dfs.shwarning: SHADOOPHOME is deprecated.starting namenode, logging to /usr/local/h localhost: starting datanode, logging to / localhost: starting secondarynamenode, log rootbook

46、0 conf# jps11598 DataNode11737 SecondaryNameNode11794 Jps11483 NameNoder mntahccLrG 广cnf 】天 图3-7执行命令start-dfs.sh ,是单独启动hdfs,见图3-7。执行完该命令后,通过 jps能够看到NameNode 、DataNode、SecondaryNameNode 三个进程启动了,该命令适合于只执行hdfs存储不使用MapReduce 做计算的场景。关闭的命令就是 stop-dfs.sh 了。rootbookO conf# start-mapred,sh V/arning: SHADOOP

47、HOME is deprecated.starting jobtracker, logging to /usr/lo localhost: starting tasktracker, loggin rootbookO conf# jps12540 Jps12368 JobTracker 12487 TaskTracker rootbookO conf# |图3-8执行命令start-mapred.sh ,可以单独启动 MapReduce 的两个进程。关闭的命令就 是stop-mapred.sh 了。当然,也可以先启动 MapReduce ,再启动HDFS。这说明,HDFS 和MapReduce

48、 的进程之间是互相独立的,没有依赖关系。第三种,分别启动各个进程:rootbook0 bin# jps14821 Jpsrootbook0 bin# hadoop-daemon.sh start namenoderootbook0 bin# hadoop-daemon.sh start datanoderootbook0 bin# hadoop-daemon.sh start secondarynamenoderootbook0 bin# hadoop-daemon.sh start jobtrackerrootbook0 bin# hadoop-daemon.sh start tasktra

49、ckerrootbook0 bin# jps14855 NameNode14946 DataNode15043 SecondaryNameNode15196 TaskTracker15115 JobTracker15303 Jps执行的命令是"hadoop-daemon.sh start 进程名称”,这种启动方式适合于单独增加、删除节点的情况,在安装集群环境的时候会看到。5 .运行简单的MapReduce 计算在$HADOOP_HOME 下有个 jar 包,叫 hadoop-example-1.1.2.jar, 见图 3-9,这里面含有框架提供的很多例子.我们现在学习一下如何运行其中

50、的例子吧.皿共内置的研 $harTibexecsrcLICENSE.txt TestD logstnpNOTICE.txt webap pids README.txtroot(8hadoope hadoop# pwd /u(r/locaVhadoop (root(?hadoop9 hadoop)# Is 1 HinAdOOp-dnt 4 1«buildxwlhadoop-clientC+hddoQX0eTCHANGES.txt confhddoopfiniclcontribhadoop-test * 1dishadoop-tooldocsivv图3-9hadoopjarhadoop-

51、example-1.1.2.jar执行如下命令可以看到图3-10的输出信息,可以看到18个输出信息,都是内置的例子程序.我们选择最后一个“ word count ”来运行 该程序的说明在最后,是统计文件中单词的出现次数的.aaareaiAggregate based nap/reduce program that ctogran oAn Aggregate in the input files.nt: An example job that countreduce program that coi 二r这是南置的各种程 gevifrw counts from a damap/reduce pr

52、ogramounts the/matches of a regex ina join over socjed, equally partitionedob that counts words fpom several files.A map/reduce tile laying blems./ogram to find solutions to£ A map/reduce program that es/inates Pi using monte carU met! :A nap/reduc&i - -J./rogram that writes 19GB of randoie

53、r: A map/reduce:An exampsecondarysort:TTeepZjohat sle/program that writes 1OGB ofdefining a secondary sort toat each map and reduce task.random dathe reducemap/reduceA sudoku sGenerateorfigram that sorts the data written tver, data for the terasort(roothadoopO hadoop #Warning: SRAOOO? HOME is deprecated.An example program must Be given a$ the first argument. 查看jar中考Valid program names are:U

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论