2023学年完整公开课版客户端

客户端2学习任务初步了解客户端的展现形式配置客户端环境以及在客户端操作HDFS3知识目标客户端有哪几种展现形式如何配置客户端环境如何在客户端调用API操作HDFS01能力目标熟练使用客户端展现形式能够配置HDFS客户端环境可以在客户端调用API解决实际问题02学习目标4目录01HDFS客户端02HDFS客户端环境准备03通过API操作HDFS5HDFS客户端客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群通信即可，客户端主要有三种形式，第一种为网页形式，第二种为命令行形式，第三种则是远程编码端。文件的切块大小和存储的副本数量，都是由客户端决定，所谓的由客户端决定，是通过配置参数来定的。概述6HDFS客户端HDFS的客户端会读以下两个参数，来决定切块大小、副本数量：（1）切块大小的参数：dfs.blocksize；（2）副本数量的参数：dfs.replication。这两个配置文件只对客户端起作用，上传文件的时候，副本数量和文件的块大小，就是由则这两个参数决定的。概述7HDFS客户端环境准备解压hadoop-2.7.2.tar.gz到非中文目录。进入share文件夹，查找所有jar包，并把jar包拷贝到_lib文件夹下。在全部jar包中查找sources.jar，并剪切到_source文件夹。在全部jar包中查找tests.jar，并剪切到_test文件夹。准备JAR包8HDFS客户端环境准备配置HADOOP_HOME环境变量Eclipse准备9HDFS客户端环境准备创建第一个java工程HdfsClientDemo1。创建lib文件夹，然后添加jar包或者maven工程。客户端去操作hdfs时，默认情况下，hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份：-DHADOOP_USER_NAME=joker，joker为用户名称。Eclipse准备10通过API操作HDFSpublicvoidtest2()throwsException{//1创建配置信息对象Configurationconfiguration=newConfiguration();//2获取文件系统FileSystemfs=FileSystem.get(configuration);//3打印文件系统System.out.println(fs);}HDFS获取文件系统11通过API操作HDFSpublicvoidtest5()throwsException{//1获取文件系统Configurationconfiguration=newConfiguration();FileSystemfs=FileSystem.get(newURI("hdfs://hadoop102:9000"),configuration,"root");//2执行下载操作fs.mkdirs(newPath("/user/joker/ttt"));//3关闭资源fs.close();}HDFS目录创建12通过API操作HDFSpublicvoidtest6()throwsException{//1获取文件系统Configurationconfiguration=newConfiguration();FileSystemfs=FileSystem.get(newURI("hdfs://hadoop102:9000"),configuration,"root");//2执行下载操作fs.delete(newPath("/user/joker/ttt/"),true);