下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、HDFS文件系统结构解析NameNode节点是就是HDFS的大脑。想了解HDFS文件系统,必须了解大脑结构。 咱们就从NameNode节点开始。NameNode类中,关于HDFS文件系统的存储和管理都交给了FSNamesystem负责。下面介绍一下FSNamesystem的逻辑组成和类图。 1. FSNameSystem层次结构 一些概念 INode: 它用来存放文件及目录的基本信息:名称,父节点、修改时间,访问时间以及UGI信息等。 INodeFile: 继承自INode,除INode信息外,还有组成这个文件的Blocks列表,重复因子,Block大小 INodeDirectory:继承自I
2、Node,此外还有一个INode列表来组成文件或目录树结构 Block(BlockInfo):组成文件的物理存储,有BlockId,size ,以及时间戳 BlocksMap: 保存数据块到INode和DataNode的映射关系 FSDirectory:保存文件树结构,HDFS整个文件系统是通过FSDirectory来管理 FSImage:保存的是文件系统的目录树 FSEditlog: 文件树上的操作日志 FSNamesystem: HDFS文件系统管理 这些概念之间的层次关系: 我们都知道,在NameNode内存中存在两张很重要的映射表: 1. 文件系统的命名空间(文件目录树) 主要是 文件
3、和Block映射关系 (保存在FSDirectory) 2. Block 和 INodeFile & DataNode的映射关系 (保存在FSNamesystem) 在上图中,左边黑线部分是1 数据结构的层次关系;红线部分是 2 关系的层次结构 (其中block & DataNode这个共用) 下面详细的介绍上图所表示的关系: 文件系统 FSNamesystem FSNamesystem 主要有两个对象:文件系统(FSDirectory)根节点rootDir 和BlocksMap映射表 (Block - INode, datanodes, self ref ) 文件系统目录FSDirector
4、y 保存文件目录结构(INodeDirectory树),实现FSImage和FSEditLog操作实现。 INode ( INodeFile & INodeDirectory ) 在HDFS中,无论目录还是文件,都是INode。INode有两个派生类INodeFile和INodeDirectory。 INodeFile是INode文件类,INodeDirectory是INode目录类。每一 INodeDirectory孩子节点都是由INodeDirectory目录或INodeFile文件列表构成。这样就形成了一棵INode树形结构。 NameNode内存中保存着HDFS整个文件系统形成的树,这
5、棵树保存在FSDirectory对象内。 Block & BlocksMap & BlockInfo HDFS物理存储单元是Block(缺省的Block大小为64M),每个Block会有几个副本(缺省是3个),这些Block都是存储在不同数据节点上的。映射关系保存在BlocksMap。 Block & INodeFile 每个INodeFile都有一个Block列表组成。每一个block有多个副本(缺省3个副本), 各副本保存在不同的数据节点上。 这样在文件与Block和DataNode之间形成一个映射关系表。这张关系表就保存在FSDirectory对象 . FSImage & FSEditl
6、og(FSDirectory) 由于目录树(FSDirectory)在NameNode内存中保存,机器也有掉电的时候。若只保存在内存那势必会造成数据的丢失。因此,系统会周期性的保存文件目录树到NameNode本地文件系统,生成FSImage。主要由FSImage和FSEditLog,这两个类负责目录树持久化。 当 HDFS系统非常庞大时,FSImage也会非常大,这样不能文件系统发生任何操作时,就更新到FSImage,所以一段时间内文件系统的操作日志会记录到FSEditLog。到一定时间会把操作日志FSEditLog同步到FSImage,这样就形成完整的文件目录树。 2. FSNameSystem 主要类关系图 这个类图可以分成三个部分 Bock相关的部分(BlocksMap & BlockInof & Block) INode相关的部分(INode & INodeDirectory & INodeFile & INodeDirectoryWithQuota) FSImage & FSEditLog (Storage & StorageInfo) 其中 BlockInfo是Block的加强类,增加了INodeFile的引用和DataNode列表 INodeFirectoryWithQuota 是INodeDirectory的增强类,增加了Quota限制功能 从层
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 八年级历史苏教版期末考试解读
- 酸碱溶液的苏教版解析
- 苏教版一年级语文知识点基础知识与拓展练习
- 初中英语词组苏教版学习笔记
- 苏教版三年级数学下册教学
- 掌握苏教版三年级英语要点
- 掌握人教版三年级生字表技巧
- 初中物理力学教学模拟题设计
- 青岛版与人教版教材的对比评估
- 初中物理人教版八年级教案总汇
- 2.2合理利用网络-2024-2025学年八年级道德与法治上册单元练习(统编版)
- 小学中高年级课后服务 python编程教学 一阶第01课 认识python 课件
- 首件培训教材
- 2024年全国一级造价师之建设工程造价管理考试高频题(附答案)
- 九年级物理上册 第十一章 简单机械和功 单元测试卷(苏科版 2024年秋)
- 国家基本公共卫生服务规范(第三版)65岁以上老年人健康管理服务培训课件
- 医疗软件采购协议模板
- 《集成电路版图设计》课程标准
- 建筑工地交通道路安全管理办法
- 2024年农产品食品质量安全检验员技能及理论知识考试题库(附含答案)
- 股东入股合作简单协议书范本
评论
0/150
提交评论