2023学年完整公开课版HadoopStreaming

孟繁兴目录0102HadoopStreaming如何工作HadoopStreaming和Java类HadoopStreaming如何工作1HadoopStreaming如何工作无论使用MapReduce程序还是Hive或Pig脚本，本质上都是使用基于Java的MapReduce。但是，Java并不是在集群中创建map和reduce作业的唯一方法。还可以使用HadoopStreaming，它是一个工具，可以将任何可执行文件或脚本用作mapper或reducer。以下是一个简单的示例，演示如何使用常见的Linux实用程序，如cat（列出文件的内容）和wc（计算文件中的单词）来执行MapReduce任务。HadoopStreaming如何工作$HADOOPHOME/bin/hadoopjar$HADOOPHOME/hadoop-streaming.jar\-inputmyInputDirs\-outputmyOutputDir\-mapper/bin/cat\-reducer/bin/wcHadoopStreaming如何工作可以看到,mapper和reducer都以操作系统可执行文件表示,而不是任何自定义代码。两个可执行文件cat和wc读取输入文件并在终端上显示输出(stdout)。在这个简单的HadoopStreaming示例中，该作业与任何基于Java的MapReduce完全一样，具有类似的工作进度和输出。事实上，根本没有操作上的差异。下面是mapper和reducer任务的做法:HadoopStreaming如何工作mapper将输入转换为行，并从标准输出(stdout）收集输出，并将每个行转换为key/value对。这个key/value对是mapper进程的输出，就像在本章前面看到的WordCount程序的情况一样。reduce任务将key/value对转换为行，并将它们发送到reduce进程的标准输入(stdin)。然后，它们从进程的标准输出中收集输出并将其转换为key/value对，并将它们变为reducer的输出。HadoopStreaming和Java类2HadoopStreaming和Java类当mapper使用HadoopStreaming时，并不是必须要在mapper和reducer上同时使用非Java可执行文件或代码。可以混合和匹配!以下示例显示了如何为mapper程序提供Java类,并在reducer中使用操作系统可执行文件（wc)。HadoopStreaming和Java类$HADOOPHOME/bin/hadoopjar$HADOOP_HOME/hadoop-streaming.jar\-inputmyInputDirs\-outputmyOutputDir\-mapperorg.apache.hadoop.mapred.lib.IdentityMappe\-reducer/bin/wcHadoopStreaming和Java类可以使用用Python编写的mapper轻松替换Javamapper，方法是指定-mappermyPythonscript.py。还可以使用用其他编程语言(如Ruby和PHP）编写的mapper和reducer，这就像我们使用OS可执行文件一样简单。例如，以下两行使用基于PHP的mapper和reducer。-mapper/usr/l