Hadoop大数据开发基础与案例实战（微课版） 课件 3 搭建Hadoop集群

Hadoop大数据项目开发——虚拟机安装目录content01虚拟机安装VMware简介虚拟机指通过软件模拟具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统，在实体计算机中能够完成的工作在虚拟机中基本都能够实现。VMwareWorkstation是一款功能强大的桌面虚拟计算机软件，提供用户在单一的桌面上同时运行不同的操作系统，以及进行开发、测试、部署新的应用程序的最佳解决方案。新建虚拟机步骤1步骤2新建虚拟机步骤3步骤4新建虚拟机步骤5本章小结本节一起创建了虚拟机，相信大家对虚拟机创建已经有了初步的认识，为我们后续搭安装CentOS7操作系统打下了坚实的基础。Hadoop大数据项目开发——CentOS7操作系统安装目录content01CentOS7操作系统安装安装CentOS7操作系统步骤1步骤2安装CentOS7操作系统步骤3设置时区界面设置键盘信息界面设置语言信息界面安装CentOS7操作系统步骤4安装资源界面软件安装选择界面安装CentOS7操作系统步骤5安装位置界面选择标准分区界面安装CentOS7操作系统步骤6boot分区界面swap分区界面安装CentOS7操作系统步骤7根分区界面安装CentOS7操作系统步骤8手动分区界面安装界面步骤9安装CentOS7操作系统步骤8：安装完成界面CentOS7登录界面步骤9：本章小结本节一起创建了虚拟机，并在虚拟机上安装了CentOS7，相信大家对CentOS7已经有了初步的认识，为我们后续搭建Hadoop分布式平台打下了坚实的基础。Hadoop大数据项目开发——虚拟机克隆目录content01虚拟机克隆Hadoop集群搭建步骤—Hadoop安装关闭要被克隆的虚拟机。步骤1：步骤2：Hadoop集群搭建步骤—Hadoop安装步骤3：Hadoop集群搭建步骤—修改配置文件步骤4：步骤5：Hadoop集群搭建步骤—修改配置文件步骤6：步骤7：生成MAC地址后，需要重启网络服务，命令如下：systemctlrestartnetwork本章小结本节一起克隆了CentOS7操作系统，相信大家已经掌握了CentOS7操作系统的克隆，为我们后续搭建Hadoop分布式平台打下了坚实的基础。Hadoop大数据项目开发——虚拟机集群环境配置-修改IP地址目录content01修改IP地址虚拟机集群环境配置-修改IP地址步骤1步骤2虚拟机集群环境配置-修改IP地址步骤3ifcfg-ens33修改前内容ifcfg-ens33修改后内容静态IP地址网关子网掩码，也可以写成PREFIX=24DNS，与网关设置成一样虚拟机集群环境配置-修改IP地址步骤4虚拟机集群环境配置-修改IP地址步骤5虚拟机集群环境配置-修改IP地址slave1节点中IP配置信息虚拟机集群环境配置-修改IP地址slave2节点中IP配置信息虚拟机集群环境配置-修改IP地址步骤6：slave2节点中IP配置信息虚拟机集群环境配置-修改IP地址虚拟机集群环境配置-修改IP地址虚拟机集群环境配置-修改IP地址本章小结本节一起修改了CentOS7操作系统的IP地址，为我们后续搭建Hadoop分布式平台打下了坚实的基础。Hadoop大数据项目开发——修改主机名和配置主机IP映射目录content01修改主机名02配置主机映射修改主机名步骤1修改master节点主机名编辑/etc/hostname/etc/hostname原有内容/etc/hostname修改后内容重启命令重启之后修改主机名步骤2：修改slave1节点主机名编辑/etc/hostname/etc/hostname原有内容/etc/hostname修改后内容重启命令重启之后修改主机名步骤2：修改slave2节点主机名编辑/etc/hostname/etc/hostname原有内容/etc/hostname修改后内容重启命令重启之后配置主机IP映射步骤1编辑/etc/hostshosts文件中的内容配置主机IP映射步骤2复制hosts到另外两个节点查看另外两个节点hosts文件中内容配置主机IP映射步骤3重启命令使用主机名验证3个节点配置主机IP映射步骤4Windows系统下主机IP映射C:\Windows\System32\drivers\etc配置主机IP映射步骤5XShell使用主机名本章小结本节一起修改主机名和配置主机IP映射，为我们后续搭建Hadoop分布式平台打下了坚实的基础。Hadoop大数据项目开发——虚拟机集群环境配置-免密登录目录content01免密登录免密登录大数据集群的节点之间需要频繁通信，但Linux系统在相互通信中需要验证用户身份。为了使Hadoop各节点之间能够免密相互访问，相互信任，无阻碍通信，可以为各节点配置SSH免密登录。配置免密后，节点之间访问时不需要输密码，方便快捷。虚拟机集群环境配置-免密登录master节点生成秘钥步骤1：直接按“回车键”即可.ssh目录中的内容虚拟机集群环境配置-免密登录slave1节点生成秘钥步骤1：直接按“回车键”即可.ssh目录中的内容虚拟机集群环境配置-免密登录slave2节点生成秘钥步骤1：直接按“回车键”即可.ssh目录中的内容Hadoop集群搭建步骤—JDK安装步骤2：重命名命令Hadoop集群搭建步骤—JDK安装步骤2：重命名命令Hadoop集群搭建步骤—JDK安装步骤2：重命名命令Hadoop集群搭建步骤—JDK安装步骤4：免密登录最终效果Hadoop集群搭建步骤—JDK安装步骤6：查看JDK版本信息Hadoop集群搭建步骤—配置slave1和slave2拷贝JDK到slave1和slave2两个节点拷贝profile文件到slave1和slave2两个节点Hadoop集群搭建步骤—JDK安装使profile文件生效，并查看slave1和slave2上JDK版本信息本章小结本节内容主要介绍了Linux操作系统下JDK的安装，包括JDK的安装和环境变量的配置。Hadoop大数据项目开发——JDK安装目录content01JDK安装Hadoop集群搭建步骤—JDK安装Xshell中的文件传输拖到文件传输窗口查看JDK安装包步骤1：Hadoop集群搭建步骤—JDK安装解压JDK安装包命令步骤2：步骤3：重命名命令Hadoop集群搭建步骤—JDK安装JDK环境变量步骤4：编辑profile文件步骤5：使profile文件生效Hadoop集群搭建步骤—JDK安装步骤6：查看JDK版本信息Hadoop集群搭建步骤—配置slave1和slave2拷贝JDK到slave1和slave2两个节点拷贝profile文件到slave1和slave2两个节点Hadoop集群搭建步骤—JDK安装使profile文件生效，并查看slave1和slave2上JDK版本信息本章小结本节内容主要介绍了Linux操作系统下JDK的安装，包括JDK的安装和环境变量的配置。Hadoop大数据项目开发——Hadoop分布式集群搭建目录content0201Hadoop集群部署方式Hadoop集群搭建Hadoop集群的部署方式单机模式：在该模式下，无须运行任何守护进程，所有的程序都在单个JVM上执行。伪分布式模式：Hadoop程序的守护进程运行在一台主机节点上，通常使用伪分布式模式来调试Hadoop分布式程序的代码。全分布式模式：Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。Hadoop分布式集群部署规划Hadoop分布式集群部署规划如下所示：名称节点在matser上，数据节点在master、slave1和slave2节点上，第二名称节点与名称节点要部署在不同的节点上。masterslave1slave2HDFSNameNodeDataNodeSecondaryNameNodeDataNodeDataNodeHadoop集群搭建步骤—Hadoop安装Xshell中的文件传输拖到文件传输窗口查看Hadoop安装包步骤1Hadoop集群搭建步骤—Hadoop安装解压Hadoop安装包命令Hadoop系统环境变量步骤2步骤3重命名命令步骤4编辑profile文件步骤5使profile文件生效Hadoop安装路径Hadoop集群搭建步骤—Hadoop安装步骤6查看Hadoop版本信息Hadoop目录下的内容Hadoop集群搭建步骤—修改配置文件步骤1Hadoop的配置文件hadoop-env.sh配置文件内容Hadoop集群搭建步骤—修改配置文件步骤2core-site.xml配置文件内容Hadoop集群搭建步骤—修改配置文件步骤3hdfs-site.xml配置文件内容HDFS文件系统的元信息保存位置HDFS文件系统的数据保存位置第二名称及诶点http服务器地址和端口Hadoop集群搭建步骤—修改配置文件步骤3hdfs-site.xml配置文件内容HDFS文件系统的元信息保存位置HDFS文件系统的数据保存位置第二名称及诶点http服务器地址和端口Hadoop集群搭建步骤—修改配置文件步骤4slaves配置文件内容Hadoop集群搭建步骤—配置slave1和slave2拷贝Hadoop到slave1和slave2两个节点拷贝profile文件到slave1和slave2两个节点Hadoop集群搭建步骤—配置slave1和slave2使profile文件生效，并查看Hadoop版本信息本章小结本节我们介绍了Hadoop集群部署方式和Hadoop集群搭建，相信大家对Hadoop分布式集群搭建有了全新的认识，为我们后续学习启动Hadoop集群打下了坚实的基础。Hadoop官方配置文档：/docs/stable/Hadoop大数据项目开发——Hadoop分布式集群启动目录content01Hadoop集群启动Hadoop集群启动步骤—格式化名称节点格式化成功界面步骤1：格式化NameNode节点命令Hadoop集群搭建步骤—Hadoop安装生成的name目录步骤2：步骤3：master上执行启动集群命令生成的data目录启动namenode节点启动datanode节点Hadoop集群搭建步骤—查看节点步骤4master的节点salve1的节点salve2的节点Hadoop集群搭建步骤—关闭防火墙步骤5日志信息关闭防火墙Hadoop集群搭建步骤—Web界面Hado