Hadoop大数据平台构建与应用(工作手册式)（微课版） 课件 1.1 搭建虚拟机

基础环境搭建与配置主讲：李强项目介绍Linux，全称GNU/Linux，是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux不仅系统性能稳定，而且是开源软件，其核心防火墙组件性能高效、配置简单，保证了系统的安全。由于Linux操作系统在安全性、稳定性等方面的优秀表现，在服务器领域承担着十分重要的角色，另外更重要的是因为Linux开放权限，让用户能自由地操作Linux系统，在命令运行错误时能根据错误提示找到原因，所以一般Hadoop环境部署在Linux操作系统上。在Linux操作系统中，当今最受欢迎的主流免费操作系统当属Ubuntu和CentOS。项目介绍Ubuntu是一个以桌面应用为主的Linux操作系统；CentOS是一款企业级Linux发行版，它使用红帽企业级Linux中的免费源代码重新构建而成。对于初学者来说CentOS更适合入门，笔者经过一些比较和调研后，建议选择CentOS操作系统。本项目的主要目标为提供一个搭建Hadoop大数据平台部署的基础环境的指南，由于本手册教材主要面向应用型和职业教育类的学生，所以本项目将介绍在Windows操作系统上如何搭建平台需要的三个节点的CentOS虚拟机环境和SSH工具连接虚拟机，以及如何进行Hadoop平台安装部署所需要的基础环境配置。任务安排和学习目标任务安排任务1搭建虚拟机任务2连接Xshell和Xftp工具任务3Hadoop平台基础环境配置学习目标（1）熟悉虚拟机的搭建和配置。（2）熟悉Xshell和Xftp工具连接。（3）掌握系统基础环境配置。（4）掌握SSH免密配置。（5）掌握JDK的安装与配置。1.1搭建虚拟机任务描述本手册的任务是学习Hadoop完全分布式集群环境部署和其生态圈主要组件的安装配置和应用，由于在Hadoop环境中，所有的服务器节点仅划为两种角色，分别是master（主节点，1个）和slave（从节点，多个），因为当Hadoop集群数为（2n+1）时容错性能是较好的，又考虑到大部分读者的电脑配置条件，所以集群数定为（n=1）3节点，即集群架构包含一个主节点和两个从节点，节点基本信息如表1-1所示。其中IP地址请参考任务1.1.3，根据本地实际情况设置。表1-1集群节点信息本任务将完成在Windows操作系统上搭建Hadoop完全分布式集群平台需要的三个节点的CentOS虚拟机。序号主机名IP1master192.168.88.1812slave1192.168.88.1823slave2192.168.88.183表1-1集群节点信息任务分析要求读者本地基本配置为Windows7或以上操作系统（64位）、8GB+内存、100GB+可用磁盘。本任务利用虚拟机软件先创建master节点的虚拟机，并进行基本的网络配置；在master节点的基础上克隆slave1和slave2，并进行相应的网络配置修改，以便SSH远程终端工具能够正常连接访问。1.1安装虚拟机软件虚拟机软件可以在计算机平台和终端用户之间建立一种环境，而终端用户则是基于这个软件所建立的环境来操作软件。常用虚拟机软件有：VirtualBox，VMwareWorkstation，VirtualPC等，其中VMwareWorkstation是一款功能强大的电脑桌面虚拟计算机软件，提供用户可在单一的桌面上同时运行不同的操作系统，和进行开发、测试、部署新的应用程序的最佳解决方案。VMwareWorkstation可在一部实体机器上模拟完整的网络环境，以及可便于携带的虚拟机器，其更好的灵活性与先进的技术胜过了市面上其他的虚拟计算机软件。本任务选择VMwareWorkstationPro16作为虚拟机安装软件，读者可以在官网下载。双击安装包如图1-1所示，开始安装。图1-1虚拟机软件1.1安装虚拟机软件加载一会时间后进入安装页面，如图1-2所示，单击【下一步】按钮。图1-2虚拟机软件安装过程11.1安装虚拟机软件在如图1-3所示中，选择【我接受许可协议中的条款】，然后单击【下一步】按钮。图1-3虚拟机软件安装过程21.1安装虚拟机软件在如图1-4所示中，可以单击右上角的【更改...】设置软件安装的路径，建议安装在非系统盘下，具体路径读者自行设置，如果默认目录安装可以直接单击【下一步】按钮。图1-4虚拟机软件安装过程31.1安装虚拟机软件在如图1-5所示中，将用户体验设置均取消，单击【下一步】按钮，在下一个窗口上直接单击【下一步】按钮，在下一个窗口上，单击【安装】按钮，开始软件的安装过程。图1-5虚拟机软件安装过程41.1安装虚拟机软件图1-6虚拟机软件安装过程5等待安装过程结束出现如图1-6所示，单击【完成】按钮完成软件的安装。1.2安装master节点虚拟机1.2安装master节点虚拟机在程序菜单中打开VMware16虚拟机，出现使用界面如图1-7所示，在页面上选择【创建新的虚拟机】。图1-7虚拟机创建过程11.2安装master节点虚拟机配置类型选择如图1-8所示，在图中选择【典型(推荐)】，再单击【下一步】按钮。图1-8虚拟机创建过程21.2安装master节点虚拟机出现安装客户机操作系统页面如图1-9所示，在安装客户机操作系统页面上，选择【安装程序光盘映像文件(iso)】，并单击【浏览】。图1-9虚拟机创建过程31.2安装master节点虚拟机进入选择光盘文件的页面选择安装CentOS操作系统用的ISO文件，如图1-10所示，在图中的文件路径中选择光盘ISO文件所在的目录，选择光盘ISO文件后回到图1-9的页面上，单击【下一步】按钮。图1-10虚拟机创建过程41.2安装master节点虚拟机如果光盘文件有效，在下面会出现“已检测到CentOS764位”信息，如图1-11所示，单击【下一步】按钮。图1-11虚拟机创建过程51.2安装master节点虚拟机进入到虚拟机命名页面如图1-12所示，在名称那里输入“master”，在位置那里输入master虚拟机文件要存储的目录，笔者在本地E盘，创建了一个\hadoopbigdata的目录，并在该目录下创建了master、slave1和slave2文件夹，此处选择master文件夹，单击【下一步】按钮。图1-12虚拟机创建过程61.2安装master节点虚拟机进入虚拟机磁盘容量设置页面如图1-13所示，选用建议的20GB大小，并选择【将虚拟机磁盘拆分成多个文件】，单击【下一步】按钮。图1-13虚拟机创建过程71.2安装master节点虚拟机进入虚拟机按照概要文件页面如图1-14所示，可以看到前面配置的相关信息，如虚拟机的名称和文件路径名称等，单击【完成】按钮。图1-14虚拟机创建过程81.2安装master节点虚拟机开始虚拟机的安装过程，这个过程视读者的系统情况时间会不同，等安装配置到出现如图

1-15所示的窗口，选择语言为【中文】，然后单击【继续】。图1-15虚拟机创建过程91.2安装master节点虚拟机此时安装程序会进行一个简短的加载过程后，出现如图1-16所示的页面，现在发现右下角的【开始安装】按钮为灰色无效状态，在页面上选择【日期和时间】进入下一个页面。图1-16虚拟机创建过程101.2安装master节点虚拟机在如图1-17所示的页面上进行时区和时间的设置，注意对比日期和时间是否与本地同步，如不同步请修改调整，修改后单击【完成】按钮退出该页面。图1-17虚拟机创建过程111.2安装master节点虚拟机回到如图1-16所示的主页面上后往下滑动，如图1-18所示，选择【安装位置】进入下一个页面。图1-18虚拟机创建过程121.2安装master节点虚拟机在如图1-19所示页面上，直接单击【完成】按钮。回到如图1-16所示的主页面上，经过前面的几项设置，如图1-20所示的页面右下角的【开始安装】按钮变成了蓝色有效状态，单击【开始安装】。图1-19虚拟机创建过程131.2安装master节点虚拟机单击如图1-20所示【开始安装】后进行安装图1-20虚拟机创建过程141.2安装master节点虚拟机如图1-21所示，这个过程大概需要几分钟到几十分钟不等，在这个过程中，可以单击【ROOT密码】设置默认root用户的登录密码。图1-21虚拟机创建过程151.2安装master节点虚拟机在如图1-22所示的界面上，两次输入同一个root用户的密码，笔者这里设为“master”，单击【完成】按钮，回到安装过程页面继续等待安装。

图1-22虚拟机创建过程161.2安装master节点虚拟机安装完成后，出现如图1-23所示，单击【重启】，即可进入虚拟机节点的设置任务。图1-23虚拟机创建过程171.3master节点的网络配置1.3master节点的网络配置创建的master节点虚拟机虽然可以正常使用了，但是该虚拟机的IP是动态生成的，再不断的开停过程中很容易改变，不利于实际应用，因此需要对网络环境进行配置。1．登录系统接1.1.2小节，重启后，出现如图1-24所示，页面上【localhostlogin：】表示输入登录的用户，这里输入默认的root用户，然后回车；会提示【Password：】，表示输入上一个任务钟所设置的密码，本手册这里为：“master”，请初学者特别注意，这里输入密码，光标不会动，也不会显示输入的密码，请在输入完整的密码后回车，如果输入错误会提示重新输入用户和密码。图1-24master登录首页1.3master节点的网络配置2．查看网络配置信息输入正确用户密码后，进入到Linux的交互终端，选择菜单【编辑】中的【虚拟网络编辑器】，如图1-25所示。图1-25虚拟机配置页面1.3master节点的网络配置进入如图1-26所示的【虚拟网络编辑器】页面，在虚拟网络编辑器页面上，选择图中的VMnet8NAT模式，这时候，下面会显示子网IP，笔者本地是：（后面配置中会参考这个，请读者记下本地的子网IP信息，后面的设置中据此进行调整）。图1-26虚拟网络编辑器1.3master节点的网络配置3．设置节点IP地址在master节点，输入【servicenetworkrestart】重启网络，结果如图1-27所示。修改IP地址命令如代码1-1所示。代码1-1修改IP命令vi/etc/sysconfig/network-scripts/ifcfg-ens33图1-27master设置页面1.3master节点的网络配置执行代码1-1，如果打开的是一个空白的文件，说明地址或文件名出入错误，请退出后重新输入；输入正确会出现如图1-28所示的网络配置信息。图1-28masterIP设置页面1.3master节点的网络配置进入配置文件后，修改内容如表1-2所示，其中“192.168.88”请改为读者自己在上一节中记下的本地信息，如第2节中子网IP是“”，那么此处的IPADDR就改为“81”，GATEWAY就设为“”。保存配置文件后，再次输入【servicenetworkrestart】重启网络，如果没有提示出错，输入【ipa】命令回车执行，可以在显示的内容中找到如图1-29所示中的：“81”的IP地址，说明IP地址配置成功。图1-29masterIP查询页面表1-2IP设置修改内容#将下面两项的配置进行修改：BOOTPROTO=staticONBOOT=yes#在文件末尾添加以下内容：IPADDR=81NETMASK=GATEWAY=DNS1=1.4克隆Slave节点克隆slave1节点将master虚拟机关机，并双击master节点之后，右击master节点，在右击菜单中选择【管理】，然后选择【克隆】，如图1-30所示。图1-30slave1虚拟机克隆1克隆slave1节点进入到如图1-31所示页面，选择【虚拟机中的当前状态】，单击【下一页】。在如图1-32所示的页面上选择【创建完整克隆】，单击【下一页】。图1-31slave1虚拟机克隆2图1-32slave1虚拟机克隆3克隆slave1节点将虚拟机名称改为slave1，单击位置输入框后的【浏览】，进入到虚拟机存放的路径下，读者本地为“E:\hadoopbigdata\slave1”的文件夹，然后确定使用该文件夹，效果如图1-33所示，然后单击【完成】按钮。图1-33slave1虚拟机克隆4克隆slave1节点克隆虚拟机很快，完成后在左边的节点导航中出现了slave1节点，如图1-34所示。图1-34slave1虚拟机克隆5克隆slave1节点开启slave1虚拟机，并使用root用户和密码（跟master节点一致）登录slave1，参考master节点设置IP的方法设置slave1的IP地址。修改IP地址命令