2023学年完整公开课版HDFS架构_第1页
2023学年完整公开课版HDFS架构_第2页
2023学年完整公开课版HDFS架构_第3页
2023学年完整公开课版HDFS架构_第4页
2023学年完整公开课版HDFS架构_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

HDFS架构目录一、HDFS架构图二、NameNode三、SecondaryNameNode四、DataNode五、Hearbeats六、Block块七、Client客户端一、HDFS架构图

HDFS的架构是较为经典的主/从架构，在架构图中NameNode是主节点，DataNode是从节点，HDFSClient是客户端、HDFS提供了比较丰富的客户端像cli、api、gui等等支持，SecondaryNameNode作为辅助NameNode工作的一个辅助节点。HDFS架构图二、NameNode首先是NameNode，它是HDFS主从架构当中的主节点，其实主要负责接受客户端提交过来的读写请求、以及一些类似管理的工作，比如说，数据存到HDFS当中每个文件都会对应一份元数据信息，这些元数据信息都是存放在NameNode的内存当中、由NameNode来进行维护。NameNode三、SecondaryNameNode

SecondaryNameNode，属于NameNode的辅助结点，主要帮助NameNode完成元数据文件的合并处理工作，HDFS当中元数据持久化文件包含了fsimage、edits两种，在HDFS运行过程当中需要对这两种文件进行合并操作，这项工作就是由SecondaryNameNode来完成。SecondaryNameNode四、DataNode

DataNode，他作为一个从节点出现，主要负责数据的存放。数据文件写入到HDFS当中会切分为小的数据块block，这些数据块会存放在DataNode节点上。在一个HDFS集群当中DataNode结点可以有任意多台，当然要根据你文件系统的数据量来确定，并且后期如果容量不足的情况下，也支持DataNode结点动态添加、扩容。DataNode五、Hearbeats

NameNode与DataNode之间的连线，DataNode在运行过程当中一直会和NameNode结点保持通信。一方面，在DataNode启动时，会给NameNode上报自己服务器上有哪些数据块、也就是block的位置存放信息，NameNode接收到这些block位置信息会维护好一份完整的元数据信息，从而找到具体数据存放在哪些DataNode上；另一方面，运行过程当中，DataNode会每隔3秒定时和NameNode做一次心跳，从而NameNode可以知道DataNode的运行状况。Hearbeats六、Block块

Block数据块是HDFS最小存储单元，文件写入HDFS时会被切分成若干个Block，默认为128M，且备份3个副本。Block块七、Client客户端

Client是客户端，包括文件切分，并与NameNode和DataNode进行交互，从NameNode获取元数据信息，向DataNode交互进行数据的读取或写入。Client客户端习题：1、请简要描述HDFS的架构设计？2、

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论