《Hadoop大数据平台构建与应用（第2版）微课版》高职全套教学课件

Hadoop大数据技术原理与应用（第2版）第1章

初识Hadoop第2章

部署Hadoop第3章HDFS分布式文件系统第4章MapReduce分布式计算框架第5章ZooKeeper分布式协调服务第6章Hadoop高可用集群第7章Hive数据仓库第8章Flume日志采集系统第9章Azkaban工作流管理器第10章Sqoop数据迁移第11章

综合项目—网站流量日志数据分析系统全套可编辑PPT课件

第1章初识Hadoop《Hadoop大数据技术原理与应用（第2版）》学习目标/Target了解大数据，能够描述大数据概念、数据类型、特征和研究意义。了解大数据应用场景，能够描述大数据在医疗、金融和零售行业的应用。了解Hadoop的前世今生，能够说出Hadoop的发展过程。本课件是可编辑的正常PPT课件学习目标/Target熟悉Hadoop的生态体系，能够叙述Hadoop生态体系中各个项目的作用。熟悉Hadoop的架构，能够描述不同版本Hadoop的架构及特点。熟悉Hadoop的优缺点，能够举例说明Hadoop的优点和缺点。本课件是可编辑的正常PPT课件章节概述/Summary随着大数据时代的到来，大数据已经在金融、交通、物流等各个行业领域得到广泛应用。而Hadoop就是一个用于处理海量数据的框架，它既可以为海量数据提供可靠的存储；也可以为海量数据提供高效的处理。本章将详细介绍大数据和Hadoop的相关概念。本课件是可编辑的正常PPT课件目录/Contents010203大数据概述大数据的应用场景Hadoop概述本课件是可编辑的正常PPT课件大数据概述1.1

先定一个小目标！了解大数据，能够描述大数据概念、数据类型、特征和研究意义1.1大数据概述本课件是可编辑的正常PPT课件什么是大数据1.1大数据概述本课件是可编辑的正常PPT课件高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而大数据无疑是核心推动力。那么，什么是大数据呢？如果从字面意思来看，大数据指的是海量数据。那么可能有人会问，多大量级的数据才叫大数据？其实不同的机构或者学者对于大数据的量级难以给出一个具体定量的定义，只能说，大数据的存储单位已经超过TB发展到了PB、EB、ZB、YB甚至BB。1.1大数据概述1.继承的概念1.什么是异常什么是大数据本课件是可编辑的正常PPT课件最早提出大数据时代到来的是麦肯锡公司（McKinsey&Company），该公司认为数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。从大数据特点来看，大数据具有海量、流转快、数据类型丰富以及价值密度低等特点。如果从技术角度来看，大数据的战略意义不仅在于掌握庞大的数据，还包括对这些数据进行有效处理。换言之，如果把大数据比作一种产业，那么这种产业盈利的关键在于提高对大数据的加工能力，通过加工技术来实现数据增值。1.1大数据概述1.继承的概念1.什么是异常什么是大数据本课件是可编辑的正常PPT课件大数据的数据类型丰富多样，包括网页文件、表格数据、XML文件、文本数据、多媒体数据（视频、图片等）等，这些数据可大致划分为结构化、半结构化和非结构化数据3种类型。1.1大数据概述1.继承的概念1.什么是异常大数据的数据类型本课件是可编辑的正常PPT课件213采用标准化格式的数据，具有明确定义的结构，数据的存储和排列是有规律的，便于理解数据的定义、格式和含义，易于人类和程序访问。结构化数据不遵循任何数据模型，没有明确定义的结构，但是包含一些结构化元素，用于标记和组织数据，使数据更容易分析。半结构化数据不遵循任何数据模型，并且没有易于识别的结构，企业中产生的大部分数据都是非结构化数据，是大数据最常见的一种数据类型非结构化数据1.继承的概念1.什么是异常大数据的数据类型1.1大数据概述本课件是可编辑的正常PPT课件大数据是来源于众多不同数据源的集合，通常由5个特征来描述，包括大量（Volume）、真实（Veracity）、多样（Variety）、低价值密度（Value）和高速（Velocity），这5个特征称为大数据的5V特征。1.1大数据概述1.继承的概念1.什么是异常大数据的特征本课件是可编辑的正常PPT课件0102030405采集、存储、管理和分析的数据量都非常庞大，并且数据每年都在持续的增长。大数据的质量，一定程度上反应出实际情况，真实不一定代表准确，虚假数据所营造出来的准确一定不是真实的，这也是数据分析的基础。大数据的数据类型和来源的多样性，数据类型多样性是指大数据的数据类型；来源多样性是指大数据的数据源可以是多种设备。海量数据中有价值内容的密度相对较低，从海量数据中提取有价值的数据进行分析预测的方法，可以为企业带来更有效的运营。数据增长速度快，对于海量数据存储和处理的时效性要求更高。大量真实多样低价值密度高速大数据的特征1.继承的概念1.什么是异常大数据的特征1.1大数据概述本课件是可编辑的正常PPT课件研究大数据最重要的意义是预测，数据从根本上来讲，是对过去和现在的归纳与总结，其本身不具备趋势和方向性的特征，但是可以应用大数据去了解事物发展的客观规律、人类的行为特征等，并且能够帮助我们改变过去的思维方式，建立新的数据思维模型，从而对未来进行预测和推测。1.继承的概念1.什么是异常研究大数据的意义1.1大数据概述本课件是可编辑的正常PPT课件大数据的应用场景1.2

先定一个小目标！了解大数据应用场景，能够描述大数据在医疗行业的应用1.2.1医疗行业的应用本课件是可编辑的正常PPT课件1.2.1医疗行业的应用医生往往都希望尽可能多地收集病人信息，尽早发现疾病，对于患者来说，不但降低了身体健康受损的风险，同时也能够减少医疗支出。而通过对医疗大数据的分析，人类不但能够预测流行疾病的爆发趋势、避免感染、降低医疗成本等，还能让患者享受到更加便利的服务。本课件是可编辑的正常PPT课件1.医学影像评估1.2.1医疗行业的应用医学影像是医疗过程中经常会遇到的医疗事项，医学影像技术包括X射线、核磁共振成像、医学超声波检测等。通过医院历年来积累的大量患者影像数据训练人工智能算法，使其协助处理患者的影像，可以提高患者影像的处理效率，也可以辅助医生做出诊断。本课件是可编辑的正常PPT课件2.医院管理决策辅助1.2.1医疗行业的应用医疗大数据在医院管理应用上主要有两个方向，分别是优化医疗资源配置和弥补医院管理漏洞，其中优化医疗资源配置指的是通过人工智能制定实时的工作安排。弥补医院管理漏洞是指通过大数据分析总结医院存在的问题，并给出解决方案，降低医院成本，提高医院的营收。本课件是可编辑的正常PPT课件

先定一个小目标！了解大数据应用场景，能够描述大数据在金融行业的应用1.2.2金融行业的应用本课件是可编辑的正常PPT课件1.2.2金融行业的应用在大数据时代，面对海量的金融数据，传统的分析方式需要发生重大的改变，并建立与之相应的新的统计模式。面对金融大数据，如何使用和管理大数据、从中提取有用的信息，为金融决策者提供可靠的理论支持，是各级政府、企事业单位以及金融机构所共同面临的重要问题。随着近年来社会重视度的不断提高，金融大数据的应用将迎来突破性的发展。本课件是可编辑的正常PPT课件1.风险管控1.2.2金融行业的应用风险管控主要包括欺诈交易识别和中小企业贷款风险评估，其中欺诈交易识别是指银行可以利用持卡人基本信息、银行卡基本信息、交易历史，结合人工智能算法进行实时的交易反欺诈分析；中小企业贷款风险评估是指银行可通过企业的产量、销售、流通、财务等相关信息。本课件是可编辑的正常PPT课件2.运营优化1.2.2金融行业的应用运行优化主要包括市场和渠道分析优化、产品和服务优化、舆情分析，市场和渠道分析优化可以对合作渠道进行调整和优化；产品和服务优化可以对产品创新和服务进行优化；舆情分析通过自然语言处理技术进行正负面判断，对于负面信息，银行及时发现和处理问题，对于正面信息，可以加以总结并继续强化。本课件是可编辑的正常PPT课件

先定一个小目标！了解大数据应用场景，能够描述大数据在零售行业的应用1.2.3零售行业的应用本课件是可编辑的正常PPT课件大数据时代下，高频次的零售交易会产生海量业务数据，但如何将这些数据付诸业务应用却面临着重大挑战。为保持行业竞争力，零售商们需要克服这些挑战，并根据业务各个层面的数据作出决策。1.2.3零售行业的应用本课件是可编辑的正常PPT课件1.打造智慧的购物体验1.2.3零售行业的应用零售行业可以通过定制APP帮助顾客浏览产品，在APP中记录顾客的偏好并收集详细的购买信息，这些数据将反馈给大数据分析平台。基于对数据的进一步分析，零售行业可以对顾客历史购买行为进行分类，并以此改进产品推荐，分析结果还可以指导零售行业对新产品的设计和定价，为客户提供更个性化、更高效、更优质的服务。本课件是可编辑的正常PPT课件2.构建智慧的商品管理和供应链网络1.2.3零售行业的应用零售行业在拓展电商平台方面充分利用大数据打开市场，并与上游供应商协同联动，实现预期效果。借助自身积累的会员资料、访问流量、订单信息等大数据，进行深入挖掘，与供应商一起研究用户需求，向上游供应商进行产品的定制。本课件是可编辑的正常PPT课件Hadoop概述1.3

先定一个小目标！了解Hadoop的前世今生，能够说出Hadoop的发展过程1.3.1Hadoop的前世今生本课件是可编辑的正常PPT课件1.3.1Hadoop的前世今生2002~2004开发出了Nutch分布式文件系统，模仿Google的MapReduce框架，实现了一个新的MapReduce并行处理软件系统，并作为Nutch底层的计算引擎。2006~2008NDFS更名为HDFS，Hadoop晋升为Apache软件基金会的顶级项目。Hive、Pig、HBase和ZooKeeper成为Hadoop的子项目。2012Hadoop2.x诞生，将负责资源管理、工作管理和容错的代码库从MapReduce提取出来，形成一个新的子项目YARN。2021将13个大部分属于Hadoop的大数据项目迁移至软件基金会的一个项目ApacheAttic。2017Hadoop3.x诞生。本课件是可编辑的正常PPT课件

先定一个小目标！熟悉Hadoop的优缺点，能够举例说明Hadoop的优点和缺点1.3.2Hadoop的优缺点本课件是可编辑的正常PPT课件0102030405企业可以使用多台廉价的计算机组建集群环境，通过分布式系统处理大规模数据集。Hadoop自动维护数据文件的多份副本，可以有效防止数据丢失的情况发生。若执行计算的过程中，某个计算机宕机，那么Hadoop会自动将该计算机上执行的任务转移到其他计算机上继续执行，以防止任务执行失败。Hadoop可以高效地执行并行计算，能够在计算机之间动态地移动计算，确保每台计算机在执行计算时可以最快的获取到将要处理的数据，提高计算效率。Hadoop可以随时通过添加更多的计算机来增加集群的存储和计算能力。低成本高可靠性高容错性高效率高扩展性Hadoop的优点1.3.2Hadoop的优缺点本课件是可编辑的正常PPT课件1.3.2Hadoop的优缺点Hadoop设计之初是为了解决大型数据集的处理问题，对于大量小文件的处理来说，Hadoop的处理效率并不高。不适合处理小文件Hadoop的核心是执行离线计算的引擎，无法在输出结果时像实时计算那样确保低延迟。无法实时计算Hadoop自身在存储和网络传输方面缺乏对数据的加密，这意味着通过Hadoop处理的数据可能存在泄露的风险。安全性较低Hadoop的缺点本课件是可编辑的正常PPT课件

先定一个小目标！熟悉Hadoop的生态系统，能够叙述Hadoop生态体系中各个项目的作用1.3.3Hadoop的生态系统本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统Hadoop生态体系中常见的开源大数据项目Hadoop的核心由HDFS、MapReduce和YARN组成。Hadoop也用于泛指与Hadoop相关的开源大数据项目所组成的生态体系。本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统AmbariSubmarineAmbari是一个基于Web的工具。用于配置、管理和监控Hadoop,包括对Hive、HBase和Pig等的支持。Submarine是一个智能化平台。允许用户利用该平台在分布式集群中进行机器学习和深度学习的工作。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统HBaseHiveHBase是一个基于Hadoop的分布式数据库。HBase提供了对大规模数据的随机、实时读写访问。Hive是一个数据仓库工具。可以将结构化的数据文件映射为一张数据表。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统PigMahoutPig是一个基于Hadoop的大规模数据分析平台。提供的SQL-LIKE语言是一个类SQL语言。Mahout是一个机器学习的算法库。提供了一些机器学习领域的经典算法。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统AvroTezAvro是一个数据序列化系统。支持二进制序列化方式，可以便捷、快速地处理大量数据。Tez是一个基于Hadoop的YARN构建的分布式框架。支持用户使用DAG（有向无环图）作业处理数据。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统SparkCassandraSpark是一个基于内存的分布式计算引擎。可以通过自身提供组件，实现对大规模数据集相关操作。Cassandra是一个开源的分布式数据库。可以存储不同结构的数据，如结构化数据、半结构化数据等。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统OzoneChukwaOzone是一个可扩展的分布式存储系统。基于Hadoop的HDFS所构建，并弥补了HDFS自身存在的不足。Chukwa是一个构建在Hadoop的HDFS和MapReduce之上的开源数据收集平台。监控、分析和展示收集到的数据。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件1.3.3Hadoop的生态系统ZooKeeperZooKeeper是一个分布式协调服务。可以为分布式系统提供一致性服务，包括统一命名、状态同步、集群管理、配置同步等。Hadoop生态体系中常见的开源大数据项目本课件是可编辑的正常PPT课件

先定一个小目标！熟悉Hadoop的架构，能够描述不同版本Hadoop的架构及特点1.3.4Hadoop架构变迁本课件是可编辑的正常PPT课件1.3.4Hadoop架构变迁Hadoop1.x与Hadoop2.x的架构Hadoop共发行了三个版本，分别是Hadoop1.x、Hadoop2.x和Hadoop3.x。Hadoop2.x架构比Hadoop1.x架构增加了YARN与Others。本课件是可编辑的正常PPT课件1.3.4Hadoop架构变迁MapReduce既负责Hadoop资源管理，又负责Hadoop的数据处理，负荷较大。HDFS主要负责Hadoop的分布式文件存储。Hadoop1.x和Hadoop2.x架构Hadoop1.x架构Hadoop2.x架构MapReduce只负责Hadoop的数据处理，负载相对较小。YARN负责Hadoop的资源管理和任务调度。HDFS负责Hadoop中的分布式文件存储。YARN支持为其他大数据开源项目提供资源管理。本课件是可编辑的正常PPT课件1.3.4Hadoop架构变迁JDK升级：Hadoop2.x版本支持的最低JDK版本为7。Hadoop3.x版本支持的最低JDK版本为8。重构Shell脚本：Hadoop3.x中的Shell脚本被重写，修补了许多长期存在的Bug，提高了Hadoop使用时的稳定性。精简内核：Hadoop3.x剔除了过期的API，将默认组件的实现替换成更高效的实现。类路径隔离：Hadoop3.x提供了类路径隔离机制，防止不同版本的jar包发生冲突。1.HadoopCommonHadoop3.x架构优化本课件是可编辑的正常PPT课件1.3.4Hadoop架构变迁任务本地优化：Hadoop3.x中，为MapReduce增加了NativeMapOutputCollector组件来处理MapTask输出的键值对，包括排序、溢写和IFile序列化，对于Shuffle比较密集型的任务，可以使MapTask的执行速度性能提高2~3倍。内存参数自动推断：在Hadoop2.x中，运行MapReduce程序时设置内存参数的过程非常繁琐。而Hadoop3.x中运行MapReduce程序时，可自动进行内存的调整。2.MapReduceHadoop3.x架构优化本课件是可编辑的正常PPT课件1.3.4Hadoop架构变迁YARNTimelineServiceV2：YARNTimelineServiceV2主要对Hadoop2.x的YARN进行了两处优化，第一使用了更具有伸缩性的分布式体系架构，以及可扩展的后端存储，从而将数据的写入和读取进行了分离；第二采用了一组收集器负责将数据写入到后端进行存储。增加YARN资源类型：Hadoop3.x中，YARN资源模型已被通用化，支持用户定义CPU和内存以外的可计数资源类型。3.YARNHadoop3.x架构优化本课件是可编辑的正常PPT课件1.3.4Hadoop架构变迁支持多个NameNode：Hadoop2.x只允许HDFS中存在一个Active（激活）状态的NameNode和一个Standby（备用）状态的NameNode。Hadoop3.x版本允许HDFS中存在一个Active状态的NameNode和多个Standby状态的NameNode，有效提高了HDFS的可靠性。引入ErasureCoding（纠删码）：Hadoop3.x引入了ErasureCoding，在确保HDFS存储数据可靠的前提下，可以节省50%的存储空间。4.HDFSHadoop3.x架构优化本课件是可编辑的正常PPT课件本章小结本章主要讲解了大数据和Hadoop的相关概念。首先介绍了什么是大数据，以及大数据的数据类型、特征和研究意义；然后，介绍了大数据在医疗行业、金融行业和零售行业的应用场景；最后，介绍了Hadoop的前世今生、优缺点、生态体系以及Hadoop的架构变迁。希望通过本章的学习，读者可以了解大数据和Hadoop相关的基本概念，为后续更加深入的学习Hadoop奠定基础。本章小结本课件是可编辑的正常PPT课件本课件是可编辑的正常PPT课件第2章部署Hadoop《Hadoop大数据技术原理与应用（第2版）》学习目标/Target了解虚拟机的创建过程，能够完成虚拟机和Linux操作系统的安装。了解虚拟机的克隆方式，能够使用完整克隆的方式克隆新的虚拟机。熟悉虚拟机的配置，能够配置Linux系统的主机名、IP地址、网络参数等。本课件是可编辑的正常PPT课件学习目标/Target掌握基于完全分布式模式下部署Hadoop，能够独立完成完全分布式模式部署。掌握Hadoop的案例操作，能够在Hadoop中运行MapReduce程序。熟悉基于伪分布式模式部署Hadoop，能够在单台虚拟机完成伪分布式模式部署。本课件是可编辑的正常PPT课件章节概述/Summary“工欲善其事，必先利其器”，比喻要做好一件事情，准备好工具就显得非常重要。同样深入学习Hadoop之前，部署好Hadoop集群也是至关重要的。本章将带领大家从零开始搭建一个Hadoop集群，并体验Hadoop集群的简单使用。本课件是可编辑的正常PPT课件目录/Contents010203安装准备Hadoop集群部署模式基于伪分布式模式部署Hadoop04基于完全分布式模式部署Hadoop05案例--词频统计本课件是可编辑的正常PPT课件安装准备2.1

先定一个小目标！了解虚拟机的创建过程，能够完成虚拟机的安装2.1.1创建虚拟机本课件是可编辑的正常PPT课件2.1.1创建虚拟机在实际开发应用场景中，Hadoop集群的搭建需要涉及多台计算机来实现，这对于想要学习Hadoop的大部分人来说是难以实现的。这里我们借助VMwareWorkstation软件在一台计算机上创建多台虚拟机，并且在每台虚拟机中安装Linux操作系统，从而实现在一台计算机上搭建Hadoop集群。接下来，我们一起来学习如何安装虚拟机。本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机下载并安装好VMwareWorkstation虚拟软件工具，安装成功后打开VMwareWorkstation工具，进入VMwareWorkstation主界面。STEP01创建新的虚拟机界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在欢迎使用新建虚拟机向导界面选择自定义(高级)。STEP02欢迎使用新建虚拟机向导界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在选择虚拟机硬件兼容性界面，选择硬件兼容性为Workstation16.2.x。STEP03选择虚拟机硬件兼容性界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在安装客户机操作系统界面，选择安装来源为稍后安装操作系统。STEP04安装客户机操作系统界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在选择客户机操作系统界面，选择客户机操作系统为Linux。STEP05选择客户机操作系统界面版本为其他Linux5.x内核64位本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在命名虚拟机界面，将虚拟机名称填写为Hadoop1。STEP06命名虚拟机界面虚拟机本地的存储位置本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在处理器配置界面，处理数量选择为1，每个处理器的内核数量设置为2。STEP07处理器配置界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在此虚拟机的内存界面，将此虚拟机的内存设置为4096MB。STEP08此虚拟机的内存界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在网络类型界面，选择网络连接为使用网络地址转换(NAT)。STEP09网络类型界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在选择I/O控制器类型界面，选择I/O控制器类型为LSILogic。STEP10选择I/O控制器类型界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机在选择磁盘类型界面，选择虚拟磁盘类型为SCSI。STEP11选择磁盘类型界面本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机STEP12选择磁盘界面在选择磁盘界面，选择磁盘为创建新虚拟磁盘。本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机STEP13指定磁盘容量界面在指定磁盘容量界面，将最大磁盘大小设置为30.0。选择将虚拟磁盘拆分成多个文件本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机STEP14指定磁盘文件界面

在指定磁盘文件界面，将磁盘文件命名为Hadoop1.vmdk。本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机STEP15已准备好创建虚拟机界面

在已准备好创建虚拟机界面，可以查看虚拟机的相关配置参数。本课件是可编辑的正常PPT课件1.继承的概念1.什么是异常安装虚拟机2.1.1创建虚拟机STEP16完成虚拟机的创建界面

虚拟机Hadoop1创建完成后的效果。本课件是可编辑的正常PPT课件

先定一个小目标！了解虚拟机的创建过程，能够完成Linux操作系统的安装2.1.1创建虚拟机本课件是可编辑的正常PPT课件2.1.1创建虚拟机接下来，我们一起来学习在虚拟机Hadoop1安装Linux操作系统的发行版CentOSStream9。本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP01虚拟机设置对话框

在虚拟机设置对话框，勾选使用ISO镜像文件。选择本地存放ISO镜像文件1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP02CentOSStream9安装引导界面启动虚拟机Hadoop1，初次启动虚拟机Hadoop1之后会进入CentOSStream9的安装引导界面。选择InstallCentOSStream91.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP03欢迎使用CENTOSSTREAM9界面在欢迎使用CENTOSSTREAM9界面，选择用简体中文(中国)做为CentOSStream9操作系统的语言。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP04安装信息摘要界面在安装信息摘要界面，可以修改CentOSStream9的相关配置。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP05网络和主机名界面在网络和主机名界面，确认以太网(ens33)为打开状态。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统将主机名设置为hadoop1本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP06时间和日期界面在时间和日期界面，确认“地区”和“城市”分别为“亚洲”和“上海”，以及网络时间为打开状态。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP07安装目标位置界面在安装目标位置界面配置CentOSStream9的磁盘分区，选择存储配置为自动。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统选择存储配置为自动本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP08软件选择界面在软件选择界面配置CentOSStream9的基本环境，选择基本环境为MinimalInstall，即最小化安装。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP09ROOT密码界面在ROOT密码界面，配置用户root的密码。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统密码为123456本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP10安装进度界面（1）在安装进度界面开始安装CentOSStream9。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP10安装进度界面（2）待CentOSStream9安装完成后，单击重启系统按钮开始使用CentOSStream9。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP11虚拟机Hadoop1的登录界面待重启完成后会进入虚拟机Hadoop1的登录界面。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件2.1.1创建虚拟机STEP12成功登录虚拟机Hadoop1的效果在虚拟机Hadoop1的登录界面，输入用户名root，在“Password:”位置输入用户root的密码123456；按“Enter”键登录虚拟机Hadoop1。1.继承的概念1.什么是异常在虚拟机中安装Linux操作系统本课件是可编辑的正常PPT课件

先定一个小目标！了解虚拟机的克隆方式，能够使用完整克隆的方式克隆新的虚拟机2.1.2克隆虚拟机本课件是可编辑的正常PPT课件2.1.2克隆虚拟机完整克隆的虚拟机是通过复制原虚拟机创建完全独立的新虚拟机，不和原虚拟机共享任何资源，可以脱离原虚拟机独立使用。完整克隆链接克隆链接克隆的虚拟机需要和原虚拟机共享同一个虚拟磁盘文件，不能脱离原虚拟机独立运行。本课件是可编辑的正常PPT课件通过完整克隆方式创建的虚拟机相对独立，不依赖于原虚拟机，在实际使用中也较为常用。接下来，我们一起学习以完整克隆的方式创建虚拟机Hadoop2和Hadoop3。2.1.2克隆虚拟机本课件是可编辑的正常PPT课件STEP01关闭虚拟机虚拟机克隆之前，需要在VMwareWorkstation工具的主界面关闭要克隆的虚拟机Hadoop1。2.1.2克隆虚拟机本课件是可编辑的正常PPT课件STEP02欢迎使用克隆虚拟机向导界面在VMwareWorkstation的主界面选择并右击虚拟机Hadoop1，依次选择“管理”→“克隆”选项进入欢迎使用克隆虚拟机向导界面。2.1.2克隆虚拟机本课件是可编辑的正常PPT课件STEP03克隆源界面在克隆源界面，选择虚拟机中的当前状态。2.1.2克隆虚拟机本课件是可编辑的正常PPT课件在克隆类型界面，选择选择克隆方法为创建完整克隆。2.1.2克隆虚拟机STEP04克隆类型界面本课件是可编辑的正常PPT课件在“新虚拟机名称”界面，自定义虚拟机名称和虚拟机存储位置。2.1.2克隆虚拟机STEP05新虚拟机名称界面本课件是可编辑的正常PPT课件在正在克隆虚拟机界面，查看通过完整克隆的方式创建虚拟机Hadoop2的进度。2.1.2克隆虚拟机STEP06正在克隆虚拟机界面本课件是可编辑的正常PPT课件

先定一个小目标！熟悉虚拟机的配置，能够配置Linux系统的主机名和IP映射2.1.3配置虚拟机本课件是可编辑的正常PPT课件2.1.3配置虚拟机在集群环境中，IP地址作为各节点的标识可以说是非常重要的，我们可以通过IP地址明确访问集群中具体的某一节点，不过，IP地址难以记忆，通过IP地址访问节点非常不方便。此时可以将虚拟机主机名与IP地址映射，使用主机名访问节点。本课件是可编辑的正常PPT课件2.1.3配置虚拟机修改主机名hostnamectlset-hostnamehadoop2hostnamectlset-hostnamehadoop3hadoop2hadoop3配置虚拟机的主机名和配置IP映射分别将虚拟机Hadoop2和Hadoop3的主机名修改为hadoop2和hadoop3。STEP01本课件是可编辑的正常PPT课件2.1.3配置虚拟机配置VMwareWorkstation网络在VMwareWorkstation主界面，依次单击“编辑”→“虚拟网络编辑器...”选项，配置VMwareWorkstation网络。配置虚拟机的主机名和配置IP映射STEP02单击更改设置本课件是可编辑的正常PPT课件2.1.3配置虚拟机修改映射文件分别在虚拟机Hadoop1、Hadoop2和Hadoop3执行“vi/etc/hosts”命令编辑映射文件hosts，在配置文件中添加如下内容。60hadoop161hadoop262hadoop3配置虚拟机的主机名和配置IP映射STEP03本课件是可编辑的正常PPT课件

先定一个小目标！熟悉虚拟机的配置，能够配置网络参数2.1.3配置虚拟机本课件是可编辑的正常PPT课件配置虚拟机的网络参数，主要是将虚拟机Hadoop1、Hadoop2和Hadoop3的网络由默认的动态IP修改为静态IP，以配置虚拟机Hadoop2的网络参数为例演示。2.1.3配置虚拟机本课件是可编辑的正常PPT课件2.1.3配置虚拟机编辑网络配置文件vi/etc/NetworkManager/system-connections/ens33.nmconnection配置虚拟机的网络参数编辑虚拟机Hadoop2的网络配置文件ens33.nmconnection。STEP01本课件是可编辑的正常PPT课件2.1.3配置虚拟机修改网络配置文件修改网络配置文件中[ipv4]下方参数method的值为manual，表示使用静态IP。在[ipv4]下方添加参数address1和dns，参数address1用于指定IP地址和网关，参数dns用于指定域名解析器。STEP02配置虚拟机的网络参数本课件是可编辑的正常PPT课件2.1.3配置虚拟机修改uuidsed-i'/uuid=/c\uuid='`uuidgen`''\/etc/NetworkManager/system-connections/ens33.nmconnection修改虚拟机Hadoop2和Hadoop3的uuid，uuid的作用是使分布式系统中的所有元素都有唯一的标识码。STEP03配置虚拟机的网络参数本课件是可编辑的正常PPT课件2.1.3配置虚拟机重启ens33网卡和重新加载网络配置文件在虚拟机Hadoop2中执行“nmclicreload”命令重新加载网络配置文件，以及执行“nmclicupens33”命令重启ens33网卡，使修改后的网络配置文件生效。STEP04配置虚拟机的网络参数本课件是可编辑的正常PPT课件2.1.3配置虚拟机查看网络信息通过执行“ipaddr”命令查看虚拟机Hadoop2的网络信息，验证网络配置文件是否修改成功。配置虚拟机的网络参数STEP05本课件是可编辑的正常PPT课件2.1.3配置虚拟机检测网络连接保证个人计算机连网状态，执行“ping”命令，检测虚拟机的网络连接是否正常，检测完成后可以通过组合键“Ctrl+C”退出检测。配置虚拟机的网络参数STEP06本课件是可编辑的正常PPT课件

先定一个小目标！熟悉虚拟机的配置，能够完成SSH远程登录2.1.3配置虚拟机本课件是可编辑的正常PPT课件在VMwareWorkstation中操作虚拟机十分不方便，既不能开启单台虚拟机的多个操作窗口，也不能复制内容到虚拟机中，在实际工作中，服务器被放置在机房中，受到地域和管理的限制，虚拟机配置SSH远程登录功能非常重要，虚拟机Hadoop2为例，为虚拟机配置SSH远程登录。2.1.3配置虚拟机本课件是可编辑的正常PPT课件2.1.3配置虚拟机查看是否安装和开启SSH服务在虚拟机中，分别执行“rpm-qa|grepssh”和“ps-ef|grepsshd”命令，查看当前虚拟机是否安装了SSH服务，以及SSH服务是否启动。配置虚拟机SSH远程登录STEP01本课件是可编辑的正常PPT课件2.1.3配置虚拟机修改SSH服务配置文件默认情况下，CentOSStream9不允许用户root进行远程登录，在虚拟机Hadoop2中执行“vi/etc/ssh/sshd_config”命令编辑配置文件sshd_config。PermitRootLoginyes配置虚拟机SSH远程登录STEP02重启SSH服务systemctlrestartsshd本课件是可编辑的正常PPT课件2.1.3配置虚拟机创建快速连接打开远程连接工具SecureCRT，在SecureCRT主界面依次单击“File”→“QuickConnect”选项进入QuickConnect对话框创建快速连接。配置虚拟机SSH远程登录STEP03本课件是可编辑的正常PPT课件2.1.3配置虚拟机指定连接信息在QuickConnect对话框的

Hostname和Username文本框中分别输入61和root，指定虚拟机的IP地址和登录虚拟机的用户名。配置虚拟机SSH远程登录STEP04虚拟机的IP地址登录虚拟机的用户名本课件是可编辑的正常PPT课件2.1.3配置虚拟机保存主机密钥在NewHostKey对话框，单击“Accept&Save”按钮接收并保存主机密钥。配置虚拟机SSH远程登录STEP05本课件是可编辑的正常PPT课件2.1.3配置虚拟机输入用户root的密码在EnterSecureShellPassword对话框中，输入用户root的密码123456。配置虚拟机SSH远程登录STEP06勾选Savepassword保存密码！本课件是可编辑的正常PPT课件2.1.3配置虚拟机连接虚拟机Hadoop2成功连接虚拟机Hadoop2。配置虚拟机SSH远程登录STEP07本课件是可编辑的正常PPT课件

先定一个小目标！熟悉虚拟机的配置，能够完成SSH免密登录2.1.3配置虚拟机本课件是可编辑的正常PPT课件在集群环境中，主节点需要频繁的访问从节点，以获取从节点的运行状态，主节点每次访问从节点时都需要通过输入密码的方式进行验证，确定密码输入正确后才建立连接，这会对集群运行的连续性造成不良影响，为主节点配置SSH免密登录功能，可以有效避免访问从节点时频繁输入密码。接下来，虚拟机Hadoop1作为集群环境的主节点实现SSH免密登录。2.1.3配置虚拟机本课件是可编辑的正常PPT课件2.1.3配置虚拟机配置虚拟机SSH免密登录功能生成秘钥在虚拟机Hadoop1中执行“ssh-keygen-trsa”命令，生成密钥。STEP01执行命令生成密钥，并根据提示连续按四次Enter确认！本课件是可编辑的正常PPT课件2.1.3配置虚拟机配置虚拟机SSH免密登录功能查看秘钥文件在虚拟机Hadoop1中执行“cd/root/.ssh/”命令进入存储密钥文件的目录，在该目录下执行“ll”命令查看密钥文件。STEP02密钥文件本课件是可编辑的正常PPT课件2.1.3配置虚拟机配置虚拟机SSH免密登录功能复制公钥文件将虚拟机Hadoop1生成的公钥文件复制到集群中相关联的所有虚拟机，实现通过虚拟机Hadoop1可以免密登录虚拟机Hadoop1、Hadoop2和Hadoop3。ssh-copy-idhadoop1ssh-copy-idhadoop2ssh-copy-idhadoop3STEP03复制公钥文件到虚拟机Hadoop1本课件是可编辑的正常PPT课件2.1.3配置虚拟机配置虚拟机SSH免密登录功能测试免密登录在虚拟机Hadoop1中执行“sshhadoop2”命令访问虚拟机Hadoop2，验证虚拟机Hadoop1是否可以免密登录虚拟机Hadoop2。STEP04退出虚拟机Hadoop2的访问本课件是可编辑的正常PPT课件

先定一个小目标！掌握JDK的安装，能够在虚拟机中完成JDK的安装2.1.4安装JDK本课件是可编辑的正常PPT课件Hadoop的运行依赖于Java环境，在部署Hadoop集群之前，需要在虚拟机Hadoop1、Hadoop2和Hadoop3安装JDK。我们使用的Hadoop版本为3.3.0，支持的最低JDK版本是1.8，以JDK1.8为例，演示如何在3台虚拟机中安装JDK。2.1.4安装JDK本课件是可编辑的正常PPT课件创建目录分别在虚拟机Hadoop1、Hadoop2和Hadoop3的根目录下创建以下目录作为约定。STEP01mkdir-p/export/data/mkdir-p/export/servers/mkdir-p/export/software/2.1.4安装JDK创建存放数据的目录创建存放安装程序的目录创建存放安装包的目录本课件是可编辑的正常PPT课件上传JDK安装包在虚拟机Hadoop1的文件管理器进入/export/software目录将JDK安装包上传。STEP022.1.4安装JDK查看JDK安装包是否上传成功在虚拟机Hadoop1的/export/software目录执行“ll”命令，查看该目录包含的内容。STEP03JDK安装包上传成功！2.1.4安装JDK本课件是可编辑的正常PPT课件安装JDK在虚拟机Hadoop1中，以解压方式安装JDK，将JDK安装到/export/servers目录。STEP04tar-zxvfjdk-8u241-linux-x64.tar.gz-C/export/servers/2.1.4安装JDK本课件是可编辑的正常PPT课件配置JDK系统环境变量在虚拟机Hadoop1执行“vi/etc/profile”命令编辑环境变量文件profile，在该文件的底部添加配置JDK系统环境变量的内容。STEP05exportJAVA_HOME=/export/servers/jdk1.8.0_241exportPATH=$PATH:$JAVA_HOME/bin2.1.4安装JDK初始化系统环境变量source/etc/profile本课件是可编辑的正常PPT课件验证JDK是否安装成功在虚拟机Hadoop1执行“java-version”命令查看JDK版本号，验证当前虚拟机是否成功安装JDK。STEP06成功在虚拟机Hadoop1中安装了JDK!2.1.4安装JDK本课件是可编辑的正常PPT课件分发JDK安装目录通过scp命令将虚拟机Hadoop1的JDK安装目录分发至虚拟机Hadoop2和Hadoop3的/export/servers/目录。STEP07scp-r/export/servers/jdk1.8.0_241root@hadoop2:/export/servers/scp-r/export/servers/jdk1.8.0_241root@hadoop3:/export/servers/2.1.4安装JDK向虚拟机Hadoop2分发JDK安装目录向虚拟机Hadoop3分发JDK安装目录本课件是可编辑的正常PPT课件分发系统环境变量文件通过scp命令将虚拟机Hadoop1的系统环境变量文件profile分发至虚拟机Hadoop2和Hadoop3的/etc目录。STEP08scp/etc/profileroot@hadoop2:/etcscp/etc/profileroot@hadoop3:/etc2.1.4安装JDK向虚拟机Hadoop3分发系统环境变量文件向虚拟机Hadoop2分发系统环境变量文件初始化系统环境变量source/etc/profile本课件是可编辑的正常PPT课件Hadoop集群部署模式2.2

先定一个小目标！了解Hadoop集群部署模式，能够描述Hadoop集群的3种部署模式2.2Hadoop集群部署模式本课件是可编辑的正常PPT课件2.2Hadoop集群部署模式独立模式部署模式独立模式是一种在单台计算机的单个JVM进程中模拟Hadoop集群的工作模式，此模式部署的Hadoop通常用于快速安装体验Hadoop的功能，并不适用于实际生产环境。伪分布式模式伪分布式模式是一种在单台计算机的不同JVM进程中运行Hadoop集群的工作模式，此模式部署的Hadoop通常用于在开发环境中进行测试和调试，并不适用于实际生产环境。完全分布式模式完全分布式模式是一种在多台计算机的JVM进程中运行Hadoop集群的工作模式，Hadoop集群的每个守护进程都运行在不同的计算机中，此模式部署的Hadoop通常作为实际生产环境的基础。本课件是可编辑的正常PPT课件基于伪分布式模式部署Hadoop2.3

先定一个小目标！熟悉基于伪分布式模式部署Hadoop，能够在单台虚拟机完成伪分布式模式部署Hadoop的相关操作2.3基于伪分布式模式部署Hadoop本课件是可编辑的正常PPT课件2.3基于伪分布式模式部署Hadoop一台虚拟机便可以满足基于伪分布式模式部署Hadoop的条件，这对于计算机硬件条件无法满足创建多台虚拟机的人来说，是一种不错的选择。接下来，以虚拟机Hadoop1为例，演示如何基于伪分布式模式部署Hadoop。本课件是可编辑的正常PPT课件在/export/software目录执行“rz”命令，将本地计算机中准备好的Hadoop安装包hadoop-3.3.0.tar.gz上传到虚拟机的/export/software目录。2.3基于伪分布式模式部署Hadoop1.继承的概念1.什么是异常1.上传Hadoop安装包本课件是可编辑的正常PPT课件在/export/servers目录创建wfb-hadoop目录，该目录用于存放基于伪分布式部署Hadoop的安装目录。mkdir-p/export/servers/wfb-hadoop2.3基于伪分布式模式部署Hadoop1.继承的概念1.什么是异常2.创建目录本课件是可编辑的正常PPT课件（1）以解压方式安装Hadoop，将Hadoop安装到/export/servers/wfb-hadoop目录。tar-zxvf/export/software/hadoop-3.3.0.tar.gz-C\/export/servers/wfb-hadoop2.3基于伪分布式模式部署Hadoop1.继承的概念1.什么是异常3.安装Hadoop本课件是可编辑的正常PPT课件（2）查看Hadoop安装目录中的所有文件。2.3基于伪分布式模式部署Hadoop存放Hadoop最基本的脚本存放管理Hadoop配置文件存放Hadoop的脚本存放Hadoop对外提供编程的动态库和静态库存放Hadoop各个模块编译后的jar包3.安装Hadoop本课件是可编辑的正常PPT课件在基于伪分布式部署Hadoop的安装目录执行“bin/hadoopversion”命令查看Hadoop的版本号，验证当前虚拟机是否成功安装Hadoop。2.3基于伪分布式模式部署HadoopHadoop安装成功1.继承的概念1.什么是异常4.验证Hadoop是否安装成功本课件是可编辑的正常PPT课件Hadoop提供了两种配置文件：一种是只读的默认配置文件，另一种是自定义配置文件，以下为Hadoop常用的自定义配置文件。2.3基于伪分布式模式部署Hadoop配置文件功能描述hadoop-env.sh配置Hadoop运行时的环境，确保HDFS能够正常运行NameNode、SecondaryNameNode和DataNode服务yarn-env.sh配置YARN运行时的环境，确保YARN能够正常运行ResourceManager和NodeManager服务core-site.shHadoop核心配置文件hdfs-site.xmlHDFS核心配置文件mapred-site.xmlMapReduce核心配置文件yarn-site.xmlYARN核心配置文件workers控制从节点所运行的服务器1.继承的概念1.什么是异常5.修改Hadoop配置文件本课件是可编辑的正常PPT课件接下来，以自定义配置文件的方式实现基于伪分布式模式部署Hadoop。2.3基于伪分布式模式部署Hadoop本课件是可编辑的正常PPT课件在Hadoop安装目录/etc/hadoop/目录，执行“vihadoop-env.sh”命令，在hadoop-env.sh文件的底部添加如下内容。2.3基于伪分布式模式部署Hadoop配置Hadoop运行时环境STEP01exportJAVA_HOME=/export/servers/jdk1.8.0_241exportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER=rootexportYARN_RESOURCEMANAGER_USER=rootexportYARN_NODEMANAGER_USER=root指定Hadoop使用的JDK指定管理NameNode服务的用户root指定管理DataNode服务的用户root指定管理SecondNameNode服务的用户root指定管理ResourceManager服务的用户root指定管理NodeManager服务的用户root本课件是可编辑的正常PPT课件在Hadoop安装目录/etc/hadoop/目录，执行“vicore-site.xml”命令，在core-site.xml文件中添加如下内容。2.3基于伪分布式模式部署Hadoop配置HadoopSTEP02<property><name>fs.defaultFS</name><value>hdfs://hadoop1:9000</value></property><property><name>hadoop.tmp.dir</name><value>/export/data/hadoop-wfb-3.3.0</value></property><property><name>hadoop.http.staticuser.user</name><value>root</value></property>指定HDFS的通信地址指定Hadoop临时数据的存储目录指定通过WebUI访问HDFS的用户root本课件是可编辑的正常PPT课件2.3基于伪分布式模式部署Hadoop配置HadoopSTEP02<property><name>xyuser.root.hosts</name><value>*</value></property><property><name>xyuser.root.groups</name><value>*</value></property><property><name>erval</name><value>1440</value></property>允许任何用户组的root用户可以向Hadoop提交任务指定HDFS中被删除文件的存活时长为1440秒允许任何服务器的root用户可以向Hadoop提交任务本课件是可编辑的正常PPT课件在Hadoop安装目录/etc/hadoop/目录，执行“vihdfs-site.xml”命令，在hdfs-site.xml文件中添加如下内容。2.3基于伪分布式模式部署Hadoop配置HDFSSTEP03<property><name>dfs.replication</name><value>1</value></property><property><name>node.secondary.http-address</name><value>hadoop1:9868</value></property>指定HDFS的副本数为1指定SecondaryNameNode服务的通信地址本课件是可编辑的正常PPT课件在Hadoop安装目录/etc/hadoop/目录，执行“vimapred-site.xml”命令，在mapred-site.xml文件中添加如下内容。2.3基于伪分布式模式部署Hadoop配置MapReduceSTEP04<property><name></name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop1:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop1:19888</value></property>指定MapReduce任务运行在YARN之上指定MapReduce历史服务的通信地址指定通过WebUI访问MapReduce历史服务的地址本课件是可编辑的正常PPT课件2.3基于伪分布式模式部署Hadoop配置MapReduceSTEP04<property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.0</value></property><property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.0</value></property><property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=/export/servers/wfb-hadoop/hadoop-3.3.0</value></property>指定MapReduce任务的运行环境指定MapReduce任务中Map阶段的运行环境指定MapReduce任务中Reduce阶段的运行环境本课件是可编辑的正常PPT课件在Hadoop安装目录/etc/hadoop/目录，执行“viyarn-site.xml”命令，在yarn-site.xml文件中添加如下内容。2.3基于伪分布式模式部署Hadoop配置YARNSTEP05<property><name>yarn.resourcemanager.hostname</name><value>hadoop1</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.pmem-check-enabled</name><value>false</value></property>指定ResourceManager服务运行在虚拟机Hadoop1指定NodeManager运行的附属服务指定是否启动检测每个任务使用的物理内存本课件是可编辑的正常PPT课件2.3基于伪分布式模式部署Hadoop配置YARNSTEP05<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log.server.url</name><value>http://hadoop1:19888/jobhistory/logs</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>604800</value></property>指定是否启动检测每个任务使用的虚拟内存指定是否开启日志聚合功能指定日志聚合后日志保存的时间指定日志聚合的服务器本课件是可编辑的正常PPT课件2.3基于伪分布式模式部署Hadoop配置workersSTEP05在Hadoop安装目录的/etc/hadoop/目录，执行“viworkers”命令，将workers文件默认的内容修改为hadoop1。本课件是可编辑的正常PPT课件初次启动Hadoop之前，需要对HDFS文件系统进行格式化操作之后才能使用，在Hadoop安装目录执行命令格式化HDFS文件系统。2.3基于伪分布式模式部署HadoopHDFS文件系统格式化成功1.继承的概念1.什么是异常6.格式化HDFS文件系统bin/hdfsnamenode-format本课件是可编辑的正常PPT课件在Hadoop的安装目录执行下列命令启动HDFS和YARN。2.3基于伪分布式模式部署Hadoop1.继承的概念1.什么是异常7.启动Hadoopsbin/start-dfs.shsbin/start-yarn.sh关闭Hadoopsbin/stop-dfs.sh和sbin/stop-yarn.sh启动HDFS启动YARN本课件是可编辑的正常PPT课件HDFS和YARN的相关服务运行在JVM进程中，可以执行“jps”命令查看当前虚拟机中运行的JVM进程。2.3基于伪分布式模式部署HadoopHadoop启动成功1.继承的概念1.什么是异常8.查看Hadoop运行状态本课件是可编辑的正常PPT课件基于完全分布式模式部署Hado