云计算与大数据技术 课件9.2HDFS概述_第1页
云计算与大数据技术 课件9.2HDFS概述_第2页
云计算与大数据技术 课件9.2HDFS概述_第3页
云计算与大数据技术 课件9.2HDFS概述_第4页
云计算与大数据技术 课件9.2HDFS概述_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

HDFS概述分布式文件系统随着互联网应用的普及，电商网站、音视频网站等进入了大规模数据应用领域，采用单机模式已经无法满足实际需求。为了解决单机模式存在的问题，Google开发了分布式文件系统GFS，该文件系统的服务端通过一个集群来实现，客户端可以并发地访问该集群的数万个节点，承载能力得到极大的提升。分布式文件系统当数据集的大小超过一台独立物理计算机的存储能力时，就有必要对它进行分区并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统就被称为分布式文件系统。HDFS简介HDFS是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。HDFS允许运行在大量普通的机器上，提供容错机制，是一种易于扩展的分布式文件系统，为大量用户提供性能较好的文件存取服务。HDFS的优点（1）高容错性，会自动保存多个副本，默认保存3个副本，可根据需要进行设置，且副本丢失后，会自动恢复。（2）适合批处理，移动计算而非移动数据，将数据位置暴露给计算框架，将数据切分为BlockList，并将BlockList存放在NodeList中。NameNode中保存HDFS的两个维度的映射。（3）适合大数据处理，支持GB、TB甚至PB级数据，百万规模以上的文件数量，10KB+节点规模。（4）流文件访问：一次性写入，多次读取，保证数据一致性。（5）可构建在普通机器上：通过多副本提高可靠性，提供了容错和恢复机制。HDFS架构Hadoop2.0之后提出了HA（HighAvailability高可用性）的概念。可以采用HA的HDFS集群配置两个NameNode，使其分别处于Active和Standby状态。HDFS读写文件流程HDFS写文件流程HDFS写文件流程当客户端需要写入数据时，先在NameNode上创建文件结构并确定将数据块副本写入到哪几个DataNode中，然后将多个待写DataNode组成一个写数据管道，保证写入过程完整、统一。HDFS读写文件流程当客户端需要读取数据时，先通过NameNode找到存储数据块副本的所有DataNode，根据与读取的客户端的距离（就近原则，本地→同机架→同交换机→同机房）排序数据块，然后选择距离最近的DataNode来读取数据。HDFS读写文件流程HDFS读文件流程HDFS的Block副本放置策略（1）第一个Block副本放置在客户端节点所在机架的DataNode里（如果客户端不在集群范围内，则会随机选择一个节点，但系统会尽量避开过满或过载的节点。（2）第二个Block副本放置在与第一个DataNode节点相同的机架中的另一个DataNode中（随机选择）。（3）第三个Block副本放置在另一个随机远端机架的一个随机DataNode中。如果需要更多的副本，则随机放置在集群的节点中。这种策略旨在实现数据冗余和故障恢复，确保数据的安全性和可靠性。HDFS的Block副本放置策略HDFS的可靠性策略HDFS的可靠性策略

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论