使用HttpFS网关从防火墙后访问hdfs

主讲：朱佳目录0102HttpFS简介HttpFS配置0302使用HttpFS访问HDFS04WebHDFS和HttpFS的区别HttpFS简介1HttpFS简介什么是HttpFS？HttpFS是在ApacheTomcat上运行的Java应用程序。HttpFS允许通过WebHDFSRESTAPI远程访问HDFS文件系统。HttpFS使用映射到HDFS文件系统操作的HTTPREST调用。HttpFS简介HttpFS可以做什么？HttpFS可用于在运行不同版本的Hadoop的集群之间传输数据（克服RPC版本控制问题），例如使用HadoopDistCP。HttpFS可用于访问防火墙后面的集群上的HDFS中的数据（HttpFS服务器充当网关，并且是唯一允许将防火墙穿过群集进入集群的系统）。HttpFS可用于使用HTTP实用程序（例如curl和wget）和来自Java以外的其他语言的HTTP库Perl来访问HDFS中的数据。HttpFS配置2HttpFS配置1下载和解压缩HttpFS二进制文件$tar-xvzfhttpfs-2.5.1.tar.gz可以从下载二进制文件。2.下载并解压缩HttpFS二进制文件后，按如下所示启动HttpFS服务器:$bin/httpfs.shstart3.编辑Hadoopcore-site.xml文件,如下所示，定义运行HttpFS服务器的Linux用户:HttpFS配置<property><name>xyuser。#HTTPFSUSER#.hosts</name><value>httpfs-host.</value></property><property><name>xyuser。#HTTPFSUSER#.groups</name><value>*</value></property>HttpFS配置4.重新启动NameNode以激活配置的代理用户。现在可以启动HttpFS服务器，如下所示：$sbin/httpfs.shstart使用HttpFS访问HDFS3使用HttpFS访问HDFS使用Linuxcurl命令通过HttpFS访问HDFS：以下示例获取/user/foo/README.txt文件的内容$curlhttp://httpfs-host:14000/webhdfs/v1/user/foo/README.txt以下命令以JSON格式显示/user/foo目录的内容:$curlhttp://httpfs-host:14000/webhdfs/v1/user/foo?op=list可以通过指定MKDIRS操作来创建目录，如下所示:$curl-XPOSThttp://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=mkdirs使用HttpFS访问HDFS由于HttpFSRESTAPI返回JSON对象，因此可能会将这些对象传递给python-mjson.tool,以便将输出转换为易于读取的格式，如下面的示例所示$curl-s"http://httpfs-host:14000/webhdfs/v1/\User/sam?op=LISTSTATUS&=sam"|python-mjson.tool这里的curl命令返回一个JSON对象，其显示HDFS中/user/sam路径下目录的状态。WebHDFS和HttpFS的区别4WebHDFS和HttpFS的区别WebHDFS和HttpFS之间的一个关键区别是，使用HttpFS，单个节点将充当网关，并将数据的主传输管道发送到发出Htt