配置动作节点_第1页
配置动作节点_第2页
配置动作节点_第3页
配置动作节点_第4页
配置动作节点_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

主讲：侯磊配置动作节点目录0102配置动作节点workflow.xml中的MR配置动作节点1配置动作节点在Oozie工作流中指定的每个Hadoop作业(如Sqoop或Hive作业)都被定义为Oozieworkflow.xml文件中的一个动作节点。因此，工作流是动作节点和指定作业的开始和结束节点，以及作业被fork成可以同时执行的并行分支的一组控制节点的集合。配置动作节点MapReduce和其他Hadoop组件(如Hive和Pig)都有自己的专门定义Oozie动作的方法。为了了解如何使用Oozie工作流中最重要的动作节点，后面会学习如何为四种类型的Oozie动作创建动作节点：MapReduceHivePigShell配置动作节点其他Oozie动作与此类似，稍作改动即可。每个Oozie动作(如MapReduce或Hive)都需要一组有序的XML元素序列。为了定义Oozie动作，必须为希望Oozie执行的动作指定部分或全部XML元素。一些元素对于所有Ozzie动作是通用的，但有些元素特定于某个动作。配置动作节点有两个必需元素:<job-tracker>和<name-node>，不是MapReduce动作类型特有的。它们是所有Oozie动作类型通用的顶级XML元素，用来指定Hadoop处理(YARN)和存储(HDFS)系统的主服务。在Hadoop2中，没有jobtracker,其功能已由ResourceManager接管。Hue允许指定job-tracker或resource-manager，两者没有任何区别。workflow.xml中的MR2workflow.xml中的MR关于worklfow.xml文件中的MapReduce动作请注意以下几点：■<action>元素对所有动作类型都是通用的，并以<action>标签开始。<action>元素表示要执行的应用程序或命令。使用name属性可以命名该动作。workflow.xml中的MR■每种类型的动作节点都有三个常用的子元素：-<action-type>:实际上没有一个名为<action-type>的元素。可以指定实际的动作类型，在本例中为MapReduce。因此，<map-reduce>和</map-reduce>元素中的所有内容都是<action-type>元素的一部分。-<ok>:

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论