Hadoop大数据开发基础与案例实战（微课版）-教案 项目四 HDFS分布式系统

HDFS分布式系统教学单元名称分布式文件系统HDFS简介教学目标能力目标具有自主学习的能力知识目标了解分布式文件系统、HDFS掌握HDFS体系架构掌握HDFS存储原理掌握HDFS数据读写过程素质目标探索新知识、自主学习、查阅资料的能力教学重点1、了解分布式文件系统、HDFS2、HDFS体系架构3、HDFS存储原理4、HDFS数据读写过程教学难点HDFS存储原理和数据存储过程教学方法提问法、讨论法、讲授法教学时数2学时教学过程设计教学环节教学内容教师活动学生活动新课引入常见的文件系统分布式文件系统产生的背景谷歌提出的GFS讲解听讲记录任务描述提出本次学习的任务——分布式文件系统HDFS讲解听讲记录课程要点讲解1.分布式文件系统、HDFS重点介绍计算机集群、分布式文件系统结构和HDFS相关概念讲解提问搜集资料、交流HDFS体系架构重点介绍HDFS的命名空间、通信协议以及客户端讲解听讲记录3.HDFS存储原理重点介绍数据冗余存储、数据存取策略、数据错误与恢复

讲解听讲记录4.HDFS数据读写过程重点介绍HDFS读数据和写数据的过程

讲解提问搜集资料、交流详细讲解1.分布式文件系统、HDFS1）计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群分布式文件系统的结构3）HDFS讲解分组讨论2.HDFS体系架构1）HDFS体系结构2）HDFS命名空间管理HDFS的命名空间包含目录、文件和块通信协议所有的HDFS通信协议都是构建在TCP/IP协议基础之上的客户端HDFS客户端是一个库，暴露了HDFS文件系统接口，这些接口隐藏了HDFS实现中的大部分复杂性讲解听讲记录、交流3.HDFS存储原理1）冗余数据保存数据存取策略讲解分组讨论、交流4.HDFS数据读写过程1）读数据的过程2）写数据的过程教学小结本节课内容理解起来有一定的困难，根据课堂教学情况，之处学生对本堂课中知识点难以理解的地方，结合教学重点和难点，对所学知识进一步强化。讲解学生记录布置作业1、HDFS中的块和普通文件系统中的块的区别？2、HDFS中的名称节点和数据节点的具体功能？3、HDFS在不发生故障的情况下读文件和写文件的过程？HDFS分布式系统教学单元名称HDFS操作教学目标能力目标具有自主学习的能力知识目标掌握HDFS命令行基本操作。掌握使用Java语言编写HDFSAPI。素质目标探索新知识、自主学习、查阅资料的能力教学重点1、HDFS命令行基本操作。2、使用Java语言编写HDFSAPI。教学难点使用Java语言编写HDFSAPI教学方法提问法、讨论法、讲授法教学时数2学时教学过程设计教学环节教学内容教师活动学生活动新课引入HDFS文件存储使用Java语言编写文件上传功能讲解听讲记录任务描述提出本次学习的任务——HDFS操作讲解听讲记录课程要点讲解1.HDFS命令行操作，包括文件创建、文件下载、文件重命名、文件删除、目录创建等操作。讲解提问搜集资料、交流2.HDFSJavaAPI操作，包括文件创建、文件下载、文件重命名、文件删除、目录创建等操作。讲解听讲记录详细讲解1.在HDFS文件系统中创建目录，目录名为bigdata。hadoopfs-mkdir/bigdata如果想要级联创建目录（如果父目录不存在，则自动创建父目录），则执行如下命令：hadoopfs-mkdir-p/bigdata/bigdata12.将本地Linux操作系统中的文件上传文件到HDFS上，将Linux操作系统上的/usr/local/src/test.txt文件上传到HDFS上的根目录下面。hadoopfs-put/usr/local/src/test.txt/bigdata3.将HDFS上的文件下载到本地（Linux操作系统），将HDFS上的/bigdata/test.txt下载到Linux操作系统下的root用户的家目录下面。hadoopfs-get/bigdata/test.txt/root在上述命令中，/bigdata/test.txt是需要从HDFS文件系统上下载的文件，/root是要下载文件到本地（Linux操作系统）的路径。4.将HDFS文件系统上的文件复制到其他目录下。hadoopfs-cp/bigdata/test.txt/bigdata/bigdata1/test.txt在上述命令中，/bigdata/test.txt为需要复制的文件，/bigdata/bigdata1/test.txt为复制后的文件。5.将HDFS文件系统上的文件移动到其他目录下hadoopfs-mv/bigdata/test.txt/bigdata/bigdata1/test1.txt在上述命令中，/bigdata/test.txt为需要移动的文件，/bigdata/bigdata1/test.txt为移动后的文件。执行如下命令，则实现重命名功能。hadoopfs-mv/bigdata/bigdata1/test.txt/bigdata/bigdata1/test_bak.txt6.查看HDFS文件系统上的文件内容hadoopfs-cat/bigdata/test.txt在上述命令中，/bigdata/test.txt为要查看的文件。7.查看HDFS文件系统上的文件内容的前5行hadoopfs-cat/bigdata/test.txt|head-5在上述命令中，/bigdata/test.txt为要查看的文件。8.删除HDFS文件系统上的文件或目录。hadoopfs-rm/bigdata/test.txt在上述命令中，/bigdata/test.txt为要删除的文件。如果想删除目录，则需要加上参数“-r”，命令如下所示：hadoopfs-rm-r/bigdata/bigdata19.查看HDFS文件系统支持的命令hadoopfs-help10.查看HDFS文件系统中根目录下的文件和目录hadoopfs-ls/讲解分组讨论在编写代码之前，需要引入开发HDFSAPI客户端相应的依赖，如下所示：<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.9.2</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.9.2</version></dependency></dependencies>首先，实现HDFS文件上传将Windows系统上本地E盘下面report.txt文件上传到HDFS集群。接下来，实现从HDFS上下载文件将HDFS集群上的report.txt文件下载到Windows系统，下载到E盘下面。然后，实现HDFS文件夹删除删除HDFS集群上文件。最后，介绍HDFS文件名更改和移动将HDFS集群上文件名进行更改和移动。讲解听讲记录、交流分组讨论、交流教学小结本节课内容理解起来有一定的困难，根据课堂教学情况，之处学生对本堂课中知识点难以理解的地方，结合教学重点和难点，对所学知识进一步强化。讲解学生记录布置作业1.使用HDFS命令行操作，实现如下功能：（1）在HDFS集群根目录下创建目录test。（2）在本地Linux操作系统创建test.txt文件，文件内容为二十大报告内容，将新创建的test.txt上传到到HDFS上/test目录。（3）将HDFS集群上/test/test.txt文件下载到本地。（4）将HDFS集群上/test/test.txt文件复制到根目录下。（5）将HDFS集群上/test/test.txt文件重命名为test1.txt。（6）查看HDFS集群上/test/test1.txt文件前5行内容。（7）删除HDFS集群