移动数据和实现存储

主讲：朱佳目录01移动数据02实现归档存储移动数据1移动数据可以将数据从Hot存储策略迁移到Warm存储策略，然后再迁移到Cold存储策略。请注意，可以将数据集的一个、两个或所有副本移动到不同的存储层，以优化对HDFS存储容量的使用。可以在一种类型的存储层上保留特定数据集的一些副本，其余的副本存储在其他存储类型上。访问数据的应用程序完全忽略使用多个存储层的事实。由于ARCHIVE层被设计为不具有太多（或任何）处理能力，因此在提供DISK存储的节点上运行的mapper任务需要从提供ARCHIVE存储的节点读取数据。这当然意味着集群会产生额外的网络流量用来移动数据。移动数据以下是存储策略工作原理的总结：当更新文件或目录的存储策略时，HDFS不会自动强制执行新的存储策略。不仅可以在创建文件时强制执行存储策略，也可以在以后执行。首次在集群中存储数据时，存储在默认的DISK层中。基于数据的分类（由配置的存储策略指定)，一个或多个副本将随时间的推移被移动到ARCHIVE层。移动数据新mover工具可以将数据从一个存储层移动到另一个存储层。它的工作原理与HDFS平衡器非常相似，只不过它是在不同的存储类型之间移动块副本。可以使用mover工具扫描HDFS文件，以确定块位置是否与配置的存储策略匹配。如果一个块未根据配置的存储策略存放，则mover会将副本移动到相应的存储类型。可以如下使用mover工具迁移集群中的数据:$hdfsmover[-p<files/dirs>l-f<localfilename>]mover移动数据此命令将根目录（/）作为默认路径。mover命令的关键选项说明如下：可以使用-p选项指定HDFS文件或目录的迁移列表，该选项接受以空格分隔的文件和目录列表。还可以使用包含HDFS文件和目录列表的本地文件来迁移数据，使用–f选项指定该文件。除了HDFS路径和目标参数之外，mover还接受replicacount作为参数。移动数据可以定期运行mover，将所有文件迁移到使用存储策略配置的存储类型中。如果将某些数据划归为ARCHIVE存储类型，但随后发现使用此数据的应用程序使用的频率远超出了预期，则可以将该数据重新分类为“Hot”或“Warm”数据。可以将一个或多个副本移动到更快的DISK存储，而不会带来从ARCHIVE节点读取数据所造成的额外网络开销。假设管理员将Cold存储策略应用于要存储在归档存储层节点上的数据集。由于数据集已经存在，因此mover通过将归档数据从Warm存储转移到Cold存储来实施Cold存储策略。将所有冷数据移入Hadoop归档存储是一个很好的做法。实现归档存储2实现归档存储可以在每个DataNode上单独设置归档存储。步骤如下。1.停止DataNode:$HADOOP_PREFIX/sbin/hadoop-daemon.shstopdatanode2.在hdfs-site.xml文件中指定.dir参数将归档存储类型分配给DataNode。由于DISK是默认存储类型，因此不必设置DISK存储类型。但是，如果指定DataNode使用ARCHIVE存储，则必须在本地文件系统路径的开头插入[ARCHIVE]，如下所示:<property><name>dfs.data.dir</name><value>[ARCHIVE]file:///u01/data/dfs/</value></property>实现归档存储3.使用-setstoragePolicy命令设置存储策略，如下所示：$hdfsdfsadmin-setstoragePolicy/cold1COLD4.启动DataNodehadoop-daemon.shstartda