2023学年完整公开课版节点和服务_第1页
2023学年完整公开课版节点和服务_第2页
2023学年完整公开课版节点和服务_第3页
2023学年完整公开课版节点和服务_第4页
2023学年完整公开课版节点和服务_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：孟繁兴节点和服务目录0102主节点和工作节点Hadoop服务主节点和工作节点1主节点和工作节点Hadoop中的节点被分为两种类型：主节点：这些节点运行协调集群工作的服务。客户端联系主节点以执行计算任务。在每个集群中，可能有几个主节点，从3个到6个不等，具体取决于集群的大小。工作节点：这些节点在主节点上运行的进程之下运行。集群的大多数节点都是工作节点。工作节点是存储数据与执行具体计算的节点。Hadoop服务2Hadoop服务在本部分学习内容中我们需要熟悉几个关键的Hadoop服务。这些服务一起协同工作，在集群中执行实际工作。一组HDFS相关的服务负责与存储有关的工作,还有一套专门用于计算任务的服务。下面简要介绍各种Hadoop服务。Hadoop服务HDFS服务：HDFS服务负责管理HDFS存储。NameNode：NameNode服务运行于主节点，负责管理与HDFS存储有关的元数据，如文件系统目录树和文件位置。当客户端需要在HDFS中读取或写入数据时，会首先与NameNode进行联系,NameNode会提供HDFS中相应文件的位置信息。Hadoop服务SecondaryNameNode和StandbyNameNode：在每个集群中，需要运行这其中的一个服务。这些服务通过执行如checkpointing(更新)元数据文件的任务，减轻关键服务NameNode的负担。DataNodes：这些是在Linux文件系统之.上存储HDFS数据块的工作节点。DataNodes与NameNode保持联系，并以文件系统的变更来对数据进行更新。Hadoop服务YARN服务：与HDFS类似，YARN也有一些服务运行在主节点和工作节点。ResourceManager：ResourceManager是在集群中的一个主节点之上工作的单一服务进程，负责集群资源分配与运行任务的调度。ApplicationMaster：这是一个主服务，在集群中运行的每个应用都有这个服务。ApplicationMaster协调应用在集群中的运行，并与ResourceManager协商以获取应用所需的资源。Hadoop服务NodeManager：这些服务运行在每一个工作节点上。NodeManager服务在工作节点上运行和管理任务(应用程序或作业的组件)。它们与Resou

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论