虚拟机和hadoop安装超详细

1、第1节：环境准备1.1. VirtualBox 的安装VirtualBox 简介VirtualBox号称是免费虚拟机软件中最强的，拥有丰富的特色和出色的性能，在虚拟 机市场占用重要地位。我们选择它的理由是：* 安装程序体积小。相对于同类产品VMWare 的四五百兆的体积，VirtualBox 只有几十兆的安装程序，安装完成后也只有120多兆，太小巧了。* 功能简单实用。配置简单、克隆系统、共享文件、虚拟化等一样不缺* 免费。这是最大的诱惑。安装读者根据自己的电脑情况下载适合自己操作系统的安装程序，作者的系统是 WindowsXP 32位，以下截图是来自 Windows XP 的。Virtual

2、Box的安装非常简单，只需要根据提示一步步选择 “Next ”即可，遇到回答“Yes” 还是“ No”的地方，选择“ Yes”。在安装过程中，会出现暂时的网络中断，不要惊慌， 一会就会恢复。VirtuaIEm: Kost-OnlyNetwork图2-1点击桌面上的 VirtualBox 图标，就可以打开了，如图 2-2所示。图2-2我们现在对虚拟机进行一些优化设置。点击菜单栏中的“管理”菜单项，选择“全局设 定”命令，如图2-3所示。图2-3出现一个弹出对话框d1,在“常规”设置中，可以修改“默认虚拟电脑位置”，设图2-4选择“热键”选项，可以修改什么按键作为热键。如图 2-5所示，当用鼠标选

3、中热键的时候，可以接收键盘输入。作者根据自己的习惯修改为组合键“ Ctrl” + “Alt”。图2-5选择“扩展”选项，点击安装符号，选择一个扩展包进行安装，如图 2-6所示。-nJJJj图2-6至此，虚拟机安装结束。1.2. RedHat 安装I.RedHat 简介RedHat既是一个公司的名称， 也是一款linux产品的名称。RedHat公司生产 RedHat Linux。该公司发布的Linux是基于开源产品的，如果我们下载使用是免费的，如果进行升 级或者接收技术支持，那就需要收费了。RedHat主要应用于服务器领域，在服务器市场占有很大的市场份额。2 .RedHat 安装2.1 新建虚拟

4、机并配置参数2-7所示，点击“下点击工具栏中的“新建”按钮，弹出窗口，设置以下内容，如图步”按钮。图2-7内存大小默认值是 512 ,修改为1024 ,如图2-8所示，点击“下一步”按钮。图2-8内存是安装和运行操作系统使用的。当使用512MB内存安装RedHat时，会自动安装 服务器版本，即只有命令行，没有图形窗口。设置是否创建虚拟硬盘，使用默认值，如图 2-9所示，点击“创建”按钮。2-10所示，点击“下一步”按钮。选择虚拟磁盘类型，我们使用默认值，如图图 2-102-11所示，点击“下一步”按钮。设置是否动态分配磁盘空间，使用默认值，如图图 2-11设置磁盘文件大小和存放位置，使用默认值

5、，如图2-12所示，点击“创建”按钮。弹出对话框关闭，如图 2-13所示。图 2-13点击工具栏的设置，会弹出一个针对本操作系统设置的窗口，如图 2-14所示。图 2-14选择“常规”选项，修改允许双向粘贴和拖放功能，如图 2-15所示。图 2-15,把我们的 RedHat选择“存储”选项，增加光驱， 如图2-16所示，点击“选择磁盘” 操作系统的iso文件选中。图 2-16这样系统启动的时候会从虚拟光驱引导，进行安装，这一步很重要。选择“网络”选项，将网络连接方式修改为“仅主机适配器”，如图 2-17所示。图 2-17点击弹出对话框右下角的“确定”按钮，关闭对话框，如图 2-18所示。Hos

6、t-Only 连接方式，使得宿主机和客户机可以单独构造一个网络，不同于宿主机所在的网络。这样，两个网络完全隔离。新搭建的网络的网段是192.168.56 。2.2 .操作系统的安装点击虚拟机工具栏的“启动”，就会弹出窗口，进入操作系统的安装界面，如图2-19所示。图 2-19用鼠标点击窗口，然后按回车键，就进入了RedHat安装的引导过程。小提示：现在鼠标已经被虚拟机独占。这时键盘和鼠标操作都是针对客户机的，不能针对宿主机操作。如果要退出独占，按组合键“Ctrl”+ “Alt”。该按键在图2-5中已经设置。如图2-20，询问是否检查磁盘，选择“ Skip”，然后按回车键。图 2-20如图2-2

7、1所示，点击“ Next ”按钮。图 2-212-22所示，点击选择安装语言，读者可以根据自己的喜好选择，建议使用英文，如图“Next ” 按钮。图 2-22选择键盘类型，这里使用默认值，如图2-23所示，点击“ Next ”按钮。选择设备类型，这里使用默认值，如图 2-24所示，点击“ Next ”按钮。图 2-24询问是否格式化磁盘空间，选择“ Yes”，如图2-25所示，点击“ Next ”按钮。小提示：这里的格式化操作不会造成我们windows 系统的空间数据丢失，只是对空间 的空间进行格式化处理，大家不要担心。修改主机名称，我们使用"hadoopO : 如图2-26所示，点

8、击"Next "按钮。图 2-26hadoopO ",注意：在以后的章节中，会使用这里设定的主机名，如果读者不使用“ 请在以后的操作时注意修改。选择时区，我们修改为“Asia/Shanghai ”,如图2-27所示，点击"Next "按钮。图 2-27设置root账户的密码，我们使用"wuchao ”作为密码，如图2-28所示，点击"Next "按钮。图 2-28注意：该密码是以后登录linux系统时必须使用的，请读者牢记。这里的密码设置过于简单，是为了学习方便。在正式生产服务器中绝对不能这么设置密码，很容易被黑客

9、攻破，应该设置为数字、大小写字母、特殊符号的组合。警告密码过于简单，不用理会，点击“ Use Anyway ”按钮，如图2-29所示。图 2-29选择安装类型，我们使用默认值，如图 2-30所示，点击“ Next ”按钮。图 2-30出现确认信息，询问这样做会造成磁盘数据丢失。由于是新的虚拟机磁盘，没有数据, ”按钮，如图2-31所示。我们同意，点击“ Write changes to disk图 2-31询问安装的RedHat类型，我们选择"Desktop ; 在最下面的软件定制选项，我们选 择"Customize now : 如图2-32所示，点击"Next

10、"按钮。在软件定制部分，我们选择安装MySQL数据库，如图2-33所示，在我们以后学习Hive时会用到，点击"Next "按钮。图 2-33然后进入操作系统的安装过程，如图2-34 ,会持续很长时间，读者不要随时操作虚拟机，防止安装失败，请耐心等待。图 2-34经过漫长的等待，终于安装完了，如图2-35所示，点击右下角的“ Reboot ”按钮。图 2-353 .系统的初始配置系统重启后进入系统初始配置页面，如图 2-36所示，点击“Forward "按钮。图 2-36这是关于操作系统的使用协议，我们当然同意了，如图2-37 所示，点击“Forward按

11、钮。图 2-372-38所示，点击Foward ”按钮。图 2-38进行软件的自动更新，我们没有联网，没有注册，不能更新，如图点击“Foward询问是否创建一个非管理员用户，如图2-39所示，我们这里不创建,按钮。询问是否修改系统时间，我们不做修改，如图 2-40所示，点击“Foward "按钮。图 2-40提示内存不足，我们不用理会，如图 2-41所示，点击“ OK”按钮。图 2-41正是因为上一步的内存不足，才造成下面的选项全是灰色，如图2-42所示，点击“Finish ”按钮。图 2-42系统加载刚才的配置信息，终于进入登录页面了，如图 2-43所示。按钮。图 2-44图2-4

12、3点击“Other"，输入用户名root ,如图2-44所示，点击“ Log in输入密码wuchao ,如图2-45所示，点击“Log in ”按钮。图 2-45用户进行的，一定使用root注意：root用户具有最高权限，操作方便，本书所有操作都是以root实际工作中一般不会直接使用 root用户。读者如果对linux权限不熟悉，- 用户操作，免得出现无谓的错误，自己搞不定。这样，就看到了 RedHat的桌面，如图2-46所示。图 2-46桌面最上面是菜单栏，右上角有个红叉, 这表明网络没有连通。在红叉上点击右键，出现右键菜单，如图 2-47所示。图 2-47点击“Edit Con

13、nections ”，弹出对话框，如图 2-48所示。图 2-48选中连接，点击右侧“ Edit”，出现弹出对话框，如图 2-49所示。Apply ”，然左上角有个复选框，请选中，表示启用自动连接，然后点击右下角的“后依次关闭弹出窗口。会发现桌面右上的红叉消失了，这表明网络已经连通了。在桌面上鼠标右键，选择"Open in terminal : 输入命令ifconfig ,可以查看到网卡地址是01,如图2-50 所示。图 2-50至此，RedHat安装完毕。4 . Hadoop的伪分布安装前准备可以安装PieTTY 0.3.26.exe 进行远程登录进行命令操

14、作(1 )设置静态ip在centos桌面右上角的网络连接图标，右键修改，Ip:00子网掩码： 网关： dns:重启 网卡： service network restart测试：执行ifconfig查看结果(2) 修改主机名<1> 修改当前会话的主机名：hostname XXX<2> 修改配置文件中的主机名：vi /etc/sysconfig/network注意： 需重启机器：shutdown-r now 或 reboot-h now(3) 把 hostname 和 ip 绑

15、定Vi /etc/hosts增力口 00 XXX测试:ping XXX(4) 关闭防火墙Service iptables stop测试：service iptables status注意：如果重启电脑，防火墙有可能自动启动，可以通过 chkconfigTist |grep iptables查看，如果存在 on,可以通过 chkconfig iptables off 停止自动启动1.3.JDK 安装我们使用的版本是 Oracle 的 jdk-6u24-linux-i586.bin 。首先，把jdk移动到/usr/local目录下。进入到/usr/local目录下，通过&q

16、uot;."解压文件， 如图2-55所示。IMiEwrimt 2*刖, hHMi1*l*C4i|httt4h w Um iMhM- 做rwtlKAlhfirK ?n耽即WPWl|rtK4th»t "MM." arwiWmirvit UmUH /4i ma-llw LMN blnVKkJJIt图 2-55解压缩完成后，我们可以查看到新产生的目录jdk1.6.0_24，使用mv命令重命名为jdk ,卜际值上|一ff 匕再，5；* - ' j-工） |o*= A » JL - ih I 一 口1，一 I图 2-56接下来把jdk的命令配置到环

17、境变量中。在linux下，有很多配置环境变量的地方，分为全局环境变量和局部环境变量。linux加载的时候，会先找全局环境变量，如果找不到，就找局部变量。本书中，我们只设置全局 环境变量。使用gedit命令打开文件"/etc/profile : 如图2-57所示。图 2-57在文件最后增加以下内容，读者可以复制粘贴我的内容。export JAVA_HOME=/usr/local/ jdkexport PATH=.:$ PATH$JAVA_HOME/bin保存关闭后，需要在 shell环境下执行命令如下命令。#source /etc/profile我解释一下上面的配置内容：“ expor

18、t ”是关键字，用于设置环境变量。我们设置了两个环境变量，一个是 JAVA_HOME , 一个是PATH。对于环境变量的引用，使用“ $”， 多个环境变量之间的连接，使用“：”。大家在设置环境变量的时候，一定与 windows下的 操作区分开，不要混淆。命令" source ”是为了让文件中的设置立刻生效。现在使用"java -version ”命令，如果看到如图 2-58的输出，那就证明一切顺利。jrwtpinf E第Mt huRvtiJ票(4韩+ij i<wtc<na/中 图 2-66其中，命令"cp id_rsa.pub authorized_k

19、eys ”用于生成授权文件。至此，配置 部分完成了。这里为什么要使用 ssh登录本机哪？因为 hadoop在本机部署时，需要使用ssh访问。注意：文件夹“ .ssh”中的三个文件的权限，是有要求的，“自己之外的任何人对每个文件都没有写权限”。另外，“ .ssh ”文件夹是700权限。如果权限有问题，会造成SSH访问失败。1M| rKTbtlOGflllVIt lQG4lr jlW lWMQflj*r* HfILUi 'l.ft.B WJmLTMi k intue 也加打相一彳 i8iig i « t " W町jw* mai jpccrhii Clc m i 国我u

20、m i'Mrr ee aM)r，口通j/*tfltM/lkiKt lDCAl« |1.4.SSH配置免密码登陆如果我们需要远程管理其他机器的话，一般使用远程桌面或者 telnet。linxu服务器几乎都是命令行，所以只能使用 telnet 了。telnet的缺点是通信不加密，非常不安全，只适 合于内网访问。为解决这个问题，推出了加密的通信协议，即 SSH。SSH的全称是Secure Shell ,使用非对称加密方式，传输内容使用rsa或者dsa加密，可以有效避免网络窃听。hadoop的进程之间通信使用 ssh方式，需要每次都要输入密码。为了实现自动 化操作，我们下面配置 SS

21、H的免密码登录方式。首先到用户主目录下，如图2-64所示。1 ? -I '= prtAa PMBHiMiImt 一 声"""n-MM «- *- - I- GUW.Vimi,fcrH , xlI UI LI _ lii iFIfif-i*，* IILvhT - 1 .4 tutyf T f fl*frc«er«CLRfi¥«"e孙Entair ! lu 峥川畔 to mm - Iwvh/+d fm|iEmerI ar rt« 叩附什1 1Bnt»r IMFw Af*lH ：Fm

22、 BdetiT jl |£r ion- Im Kiu>ta |n frw“，师110 ruvw* pMit f *w mwI in /rwt/.t-iiwM7.；2.Kh* Gf 打中f/附* *-H：WTlc;H，7»3-；f*:3.|： t? M MF”/：H睚 F rwwfclFHi*>iU!»l Llwfr 141RS* 3Wtj - -*III I.lL q.E r'W.|FtHtwlMH -W .图 2-65解释下：命令 "ssh-keygen -t rsa”表示使用rsa加密方式生成密钥，回车后，会提示三次输入信息，我们

23、直接回车即可。然后进入密钥文件夹，执行命令，如图2-66所示。IrMttlocdLlhaiit ” cdWi时01*加nh|* U 4gt-l B- 1rHT -。-I <Ht mt ISM Jhufl 3Id fMni-r -r-1 rwc r*i m Jvn 3 1丸)* i*二pm.(i曲Fpvtflocillicit d'hl，p in raLgg utgmiM出3*占1%述 it -itoutl 12值I mt root un Jui 3 kd_ru rw r-r-I rut，岫t M> Jun 3 16>： M id ru j癌-ira-r r- -p 9

24、 rio«t regt 33； Jun 3 IQ-; 39 iiuEhflrjEcdE FDCtfl ik a-ltoit .s-ih |« |I现在开始验证 SSH无密码登录，如图 2-67所示。ku MV u»»rr尸"« M feh irii# rldrFliMani itlrt hiti HriMfliviM thMk FF 3Kw /*- Ei P*1 t« c«ML»vtI,e/fI 9 K* 产.Jaq kUMM!. riMW 'iM-lkfeH'l' !W I tt

25、 IM | Lit * iMai iVlifet i"w"!i|CD9M / "士 WwaN;1M. ” Zac、=MiE <ts4J|dFtniiw Al 吹I I«k|ii0 m I3uni loiki * M !Eli, f* ImIlWT图 2-67执行"ssh localhost ”意味着使用"ssh”通信协议访问主机"localhost ",第一次执行时需要确认；第二次不再确认了。这就是无密码登录。当登录到对方机器后，退出使用命令“exit ”。这两次操作时，注意观察主机名变化。 读者可以执行命令

26、"ssh book。"， 验证dns对book。解析是否正确。注意：使用命令 ssh时，一定要观察主机名的变化。很多同学在操作ssh时，由于大量的使用ssh登录退出，忘记自己目前在哪台机器了，执行了大量错误的操作。另外，如果多次执行 ssh,每次都要输入确认信息的话，说明配置失败了。可以删除文件夹“.ssh”，重新配置。也可以重启虚拟机再配置。只要严格按照上面的步骤操作，保证能够成功的。如果还搞不定，给你个绝招” 删除/etc/udev/rules.d/70-persistent-net.rules文件，重启系统”。配置出错，可以查看/var/log/secure日志文件，

27、找原因。至此，恭喜你，开发环境搭建完工。1.5.Hadoop伪分布安装hadoop的安装分为本地模式、伪分布模式、集群模式。本地模式是运行在本地，只负责存储，没有计算功能，本书不讲述。伪分布模式是在一台机器上模拟分布式部署，方便学习和调试。集群模式是在多个机器上配置hadoop ,是真正的“分布式”。本章讲述伪分布模式和集群的安装。1 .解压缩hadoop使用 WinSCP把压缩包hadoop-1.1.2.tar.gz从宿主机复制到linux的/usr/local目录 下，如图3-1 。rootbook0 Desktop# pwd /root/Desktoprootbooke Desktop#

28、 Is(rootbooke Desktop# mvIrootbook0 Desktop# cd(rootbookO local# Is bin gamesetc hadoop-1.0,4. tar «yz rootbook0 local# |hadoop-LO.4,taugz /usr/local /u$r/locatinclude jdk-6i!24-linux-i5B6.idk lib图3-1解压缩文件，并重命名为hadoop ,方便使用。重命名后，hadoop目录的完整路径是“/usr/local/hadoop ”。#tar-xzvf hadoop-1.0.4.tar. gz#

29、mv hadoop-1.0.4 hadoop设置环境变量 HADOOP_HOME ,修改文件“ /etc/profile : 如下图：alias cdha=1 cd /usr/local/hadoop, Iexport JAVA HOME=/usr/local/jdkexport HADOOP HOME=/usr/loca1/hadoopexport PATH=.:$PATH:$JAVA HOHE/bin:$HADOOP HOME/binI .一 ，一一一一一一Plain Text p hb Width: 8 y ln81f Col 1图3-2请读者与jdk设置时配置文件对照。这里我们设置了一

30、个别名cdha ,可以快速转到hadoop 的目录。修改环境变量后，记得执行source命令哦。现在让我们浏览一下 hadoop的目录结构吧| rootbaok0口total niBdrwsr *-k.2rootr»t* i w.1rootrootcf rwxr'Jtr，置 +wrgtrgt rw- rv-r-.1rwtPMdrwxr xr +k.2rootrootdrwxr hwfWtrcatUrw*jtr »，*7rootroota rw- rw- r* - 上1rootrwt- m rwr/.1rootroat-rww.1T”tFQVtrw根.1rootroM

31、 ww.1rootroatt rw-c-.1Tgtroot-rw-rwr-事1rootrootdrvxr-xr .2fWt-rw- ru-r-,1rwtrootdrwxr'Mr-Jc.5rootroatMZjC Mt.2rootro*t*ftf'*=* *1rootroot w rw- r -，.1rootroot rw- rw-r -T1rootrootdrwMixr K.2rootroatiirwxr -xf3r«tdmxrieMtrootdrwxr -kt -x*9rootroot；:uu：匚 八El 二i?M 1 Jun 1198T5 OCt打6ag OctJ

32、un 4Mh Oct 出口 Jun C94Q OCt 41» DCtQU 14Ms? Oct 413 OCt 拈Oct 作？的7 OctJun wm oct 力筹6 JunJua DIM OCl l 由1 Oct 1珈 086 40% 曲6 的&4 «1iU 3 2fil3 3 »U3 2D 12 4 «L: 12 3 2912 4 ei ia ， 皿工 3 29123 2BU 3 2412 3 Z912 3 旗123 2B12 4 01:12 3 29124 0LU2 4 41 ；Ubin .-build .MlCHAH6ES,txt«

33、;n, *署坤配置文件fcfltflbMt、np i h4*0pyn，+ 1 , 4, j*r hddoop«tliant-l.O.t.jar hditosp-c ore 1、#, 4 j * h AZpTMI” T. 川“ h剃toop-Wnit lint。J】.*a jar hadoop-te«t-1.*.4.ar hi(toop*tooli-l.B.4.jir ivy ivy.k*L libI *Xkwti 2912 LICENSE.tut1 2(H2 MCTKt.txC2912 README Jxt4 Ok; 123 7012 .Mre4 BL： 12、”3 241

34、3 .rk.ippi图3-3我们关注bin目录和conf目录。2 .修改配置文件hadoop配置文件默认是本地模式，我们修改四个配置文件，这些文件都位于$HADOOP_HOME/conf 目录下。第一个是hadoop 环境变量脚本文件 hadoop-env.sh，修改第9行代码为。exportJAVA_HOME=/usr/local/jdk保存并关闭。这里设置的是 JAVA_HOME ,注意去掉前面的“ #"。第二个是hadoop 核心配置文件core-site.xml ,结果如下configurationproperty<name>hadoop.tmp.dir</

35、name><value>/home/hadoop/tmp</value><description>hadoop的运行临时文件的主目录/description)</property><property><name></name><value>hdfs:book0:9000</value><description>HDFS的访问路径 </description></property></configuration&

36、gt;第三个是hdfs配置文件hdfs-site.xml ,结果如下<configuration><property><name>dfs.replication</name><value>1</value><description>存储副本数</description></property></configuration>第四个是 MapReduce 配置文件 mapred-site.xml ,结果如下<configuration><property>

37、<name>mapred.job.tracker</name><value>book0:9001</value><description>JobTracker的访问路径/description/property/configuration这是安装伪分布模式的最小化配置。目前的任务是把 置项什么含义，这些配置项还在后文会有详细的解释。hadoop跑起来，先不关注各配3.格式化文件系统hdfs是文件系统，所以在第一次使用之前需要进行格式化。执行命令$HADOOP_HOME/bin/hadoop namenode-format。见图 3-4

38、root conf f hadoopMorning： SHADOOP hq* ($epresiE.04;W:U UFO rmenodc.Hmhode: STAATuP 咏;STJIRUJIP M50:STNTW MS6: 5nATW> HSG STMWP «SG1 SrARTVP MSG：St4rtlrwj 讨存yModk hoi! - wg， pfonut) ver kier l.d.4 build - hltpi：/5vn.apache.r/fep©s/atf/h»4w/cc*»on/braftcMVbfnch l,1l)/M/e4 64:54

39、:17IHFO1VM/64 94：>a：lTIMFO1J/M/64IHFOB/M/64 M：54；17INTO1VM/64 &4zS8：17INFO1J/M/64 3I：W:17IKFQ1J/H/04INFO1VM/64 M：se；nIhFO1KF0B/H/44 M;5e：17INFOn/H/44 Mz59：uIhFQMM 18IWOD/M/e4INFOutlLGSet: 2 me nc4ory " 1机”“$ M: capacity-2*22 4194304 entriesutll.O5*t： r«C0«*erxM<41943041 Htgl

40、TlXSMnaBtfMKl*. F,SManesyitMi: f、CWie.rootfWJotftodc r FSftonesy 1 (e*: lupergrktaeM，FMiA"”$rc:此nMerwk； dfs,blockJnUdM乙liHUiegntfiefwic*F$H3«c5”tE； iAcce»TokenEn4bled-f«lse 筝KcyVX4V naas必，M4P4HQ4e； Cdf file occurir gf看 than 10 tiees Coan<>ni>Storage： f lit of IHe 】1。in 0

41、 lc<0ndl.COMOft.Sto: 4t，r妁4 dlfMtory /M*t/hadoop/t4p/dfMf 的 . U4*Noae: SWTDOWN! HSG:J* ， 0 SWT1XM M5G: £huUinq doun NMNMe at tmk«/192.16aa. 106»«.Bfl/:r 3二二 工匚二 1口 二：1" ： _注意：只在第一次启动的时候格式化，不要每次启动都格式化。理解为我们新买了块移动硬盘，使用之前总要格式化硬盘。如果真的有必要再次格式化，请先把"$HADOOP_HOME/tmp ”目录下的文件

42、全部删除。读者可以自己观察目录" $HADOOP_HOME/tmp ”在格式化前后的变化情况。格式化操作很少有出现失败的情况。如果真出现了，请检查配置是否正确。4 .启动格式化完成后，开始启动 hadoop程序。启动hadoop 的命令脚本都在$HADOOP_HOME/bin/ 下，下面的所有命令都不再带有完整路径名称。这里讲述hadoop 启动的三种方式：第一种，一次性全部启动：rootbook6 conf# start-all.shWarning： $HAD00P HOME is deprecated.starting namenode, logging to /usr/loca

43、l/hadoop/lil localhost: starting datanode, logging to /usr/loca localhost: starting secondarynamenode, logging to . starting jobtracker, logging to /usr/local/hadoop/ localhost： starting tasktracker, logging to /usr/L执行start-all.sh 启动hadoop，观察控制台的输出，见图3-5，可以看到正在启动进程，分别是 namenode 、datanode 、secondary

44、namenode 、jobtracker 、tasktracker ,一 共5个，待执行完毕后，并不意味着这 5个进程成功启动，上面仅仅表示系统正在启动进 程而已。我们使用jdk的命令jps查看进程是否已经正确启动。执行以下 jps ,如果看到了这个进程，见图3-6,说明hadoop真的启动成功了。如果缺少一个或者多个，那就进入到“Hadoop的常见启动错误”章节寻找原因了。rootbook6 conf# jps8027 Jps7651 DataNode7777 Seconda ryNameNode7543 NameNode7970 TaskTracker7864 JobTracke图3-6关

45、闭hadoop 的命令是stop-all.sh 。上面的命令是最简单的， 可以一次性把所有节点都启动、 关闭。除此之外，还有其他命 令，是分别启动的。第二种，分别启动 HDFS和MapReduceroot(abook0 conf# start-dfs.shwarning： SHADOOPHOME is deprecated.starting namenode, logging to /usr/local/h localhost: starting datanode, logging to / localhost: starting secondarynamenode, log rootbook

46、0 conf# jps11598 DataNode11737 SecondaryNameNode11794 Jps11483 NameNoder mntahccLrG 广cnf 】天 图3-7执行命令start-dfs.sh ,是单独启动hdfs,见图3-7。执行完该命令后，通过 jps能够看到NameNode 、DataNode、SecondaryNameNode 三个进程启动了，该命令适合于只执行hdfs存储不使用MapReduce 做计算的场景。关闭的命令就是 stop-dfs.sh 了。rootbookO conf# start-mapred,sh V/arning: SHADOOP

47、HOME is deprecated.starting jobtracker, logging to /usr/lo localhost: starting tasktracker, loggin rootbookO conf# jps12540 Jps12368 JobTracker 12487 TaskTracker rootbookO conf# |图3-8执行命令start-mapred.sh ,可以单独启动 MapReduce 的两个进程。关闭的命令就 是stop-mapred.sh 了。当然，也可以先启动 MapReduce ，再启动HDFS。这说明，HDFS 和MapReduce

48、 的进程之间是互相独立的，没有依赖关系。第三种，分别启动各个进程：rootbook0 bin# jps14821 Jpsrootbook0 bin# hadoop-daemon.sh start namenoderootbook0 bin# hadoop-daemon.sh start datanoderootbook0 bin# hadoop-daemon.sh start secondarynamenoderootbook0 bin# hadoop-daemon.sh start jobtrackerrootbook0 bin# hadoop-daemon.sh start tasktra

49、ckerrootbook0 bin# jps14855 NameNode14946 DataNode15043 SecondaryNameNode15196 TaskTracker15115 JobTracker15303 Jps执行的命令是"hadoop-daemon.sh start 进程名称”,这种启动方式适合于单独增加、删除节点的情况，在安装集群环境的时候会看到。5 .运行简单的MapReduce 计算在$HADOOP_HOME 下有个 jar 包，叫 hadoop-example-1.1.2.jar, 见图 3-9，这里面含有框架提供的很多例子.我们现在学习一下如何运行其中

50、的例子吧.皿共内置的研 $harTibexecsrcLICENSE.txt TestD logstnpNOTICE.txt webap pids README.txtroot(8hadoope hadoop# pwd /u(r/locaVhadoop (root(?hadoop9 hadoop)# Is 1 HinAdOOp-dnt 4 1«buildxwlhadoop-clientC+hddoQX0eTCHANGES.txt confhddoopfiniclcontribhadoop-test * 1dishadoop-tooldocsivv图3-9hadoopjarhadoop-

51、example-1.1.2.jar执行如下命令可以看到图3-10的输出信息，可以看到18个输出信息，都是内置的例子程序.我们选择最后一个“ word count ”来运行 该程序的说明在最后，是统计文件中单词的出现次数的.aaareaiAggregate based nap/reduce program that ctogran oAn Aggregate in the input files.nt： An example job that countreduce program that coi 二r这是南置的各种程 gevifrw counts from a damap/reduce pr

52、ogramounts the/matches of a regex ina join over socjed, equally partitionedob that counts words fpom several files.A map/reduce tile laying blems./ogram to find solutions to£ A map/reduce program that es/inates Pi using monte carU met! :A nap/reduc&i - -J./rogram that writes 19GB of randoie

53、r： A map/reduce:An exampsecondarysort：TTeepZjohat sle/program that writes 1OGB ofdefining a secondary sort toat each map and reduce task.random dathe reducemap/reduceA sudoku sGenerateorfigram that sorts the data written tver, data for the terasort(roothadoopO hadoop #Warning: SRAOOO? HOME is deprecated.An example program must Be given a$ the first argument. 查看jar中考Valid program names are:U