Hadoop大数据开发基础与案例实战（微课版）课件 4.3HDFS运行机制

Hadoop大数据项目开发——HDFS运行机制05目录content02高可用机制心跳机制06安全模式01副本机制03副本放置策略07垃圾回收机制联邦机制04副本机制底层缺陷冗余数据保存不断地出故障为了保证集群的容错性和可用性，HDFS采用了数据冗余存储方式，即一个数据可以保存多个副本。副本机制01020304冗余保存副本数也可以进行个性化设置默认冗余副本数：3010203优点01加快数据传输速度02很容易检查数据错误03保证数据可靠性心跳机制名称节点数据节点数据节点启动后，会主动连接名称节点，并在一定间隔（默认为3s）主动向名称节点发送一个“心跳”，报告自己的状态信息。心跳心跳名称节点通过这个“心跳”向数据节点下达命令是一种形象化描述，指的是不间断地发送一个自定义结构体（“心跳包”或“心跳帧”）来证明自己节点的有效性。心跳？心跳机制出现故障名称节点名称节点长时间未收到某个数据节点的“心跳”；名称节点名称节点判定该数据节点为宕机；备份副本名称节点检查该数据节点上的块副本数据并备份到其他的数据节点上。硬件故障或网络问题；副本怎么恢复呢？HDFS是如何探测副本出现故障？心跳机制第一副本放到上传文件的节点（机器）上第二副本放到和第一副本不同机架的任意节点上第三副本放到和第一副本相同机架的任意节点上副本放置策略这么多机器这么多的块，副本是怎么存放的呢？如果还有副本，可以放到其它节点上，全部随机。副本放置策略01第一副本放到上传文件的节点上,可以较快地读取,保证数据较好的本地性;0２第二个副本及更多的block副本放置在其他机架，当整个结点失效时，HDFS将自动通过远端机架上的数据将副本恢复到标准水平。0３Hadoop的副本放置策略在可靠性和带宽中做了一个很好的平衡。高可用（HA）机制Hadoop1.XHadoop2.XHDFS框架只有一个名称节点HDFS框架主备两个名称节点单点故障双NameNode架构HA机制高可用（HA）机制ActiveNameNodeStandbyNameNode负责HDFS的所有操作ZooKeeper确保主从名称节点的状态一致性主名称节点的热备份互为备份联邦机制TWITTERYOUTUBESKYPEFACEBOOK在联邦机制中，每个名称节点分别管理文件系统命名空间的一部分；命名空间卷存放元数据和数据块的块池。

在Hadoop1.0，HDFS只有一个NameNode，计算机的内存就成了NameNode的瓶颈；

各命名空间卷是相互独立的，互不影响且互不通信

在Hadoop2.x引入了HDFS联邦机制，即通过横向扩展的方式增加NameNode的数量；

1234安全模式只读模式，不能对命名空间进行修改，也不能创建、复制、追加和删除数据；在HDFS启动时，首先会进入安全模式，当达到规定的要求时，会退出安全模式；当集群中某些数据节点出现故障,或者因为某些原因造成文件系统处于不稳定状态时,NameNode会自动进入安全模式。HDFS的一种保护模式，保证数据块的安全性；该模式下，可以查看目录及文件、下载文件等操作。垃圾回收机制当用户或应用程序删除某个文件时，文件并不会立即从HDFS中删除，而是被移到了一个类似回收站的地方。当文件的删除时间超过一定期限，名称节点就会自动将该文件从命名空间中删除，该文件相关的数据块即被释放。在HDFS集群中，如果一个文件被删除，那么与该文件相关的