简单之美OozieCoordinator使用及详解

1、简单之美 Oozie Coordinator 使用及详解Oozie 所支持工作流，工作流定义通过将多个 Hadoop Job 的定义按照一定的顺序组织起来，然后作为一个整体按 照既定的路径运行。一个工作流已经定义了，通过启动该工 作流 Job ，就会执行该工作流中包含的多个 Hadoop Job ， 直到完成，这就是工作流 Job 的生命周期。 那么，现在我们有一个工作流 Job ，希望每天半夜 00:00 启 动运行，我们能够想到的就是通过写一个定时脚本来调度程 序运行。如果我们有多个工作流 Job ，使用 crontab 的方式 调用可能需要编写大量的脚本，还要通过脚本来控制好各个 工作流

2、 Job 的执行时序问题，不但脚本不好维护，而且监控 也不方便。基于这样的背景， Oozie 提出了 Coordinator 的 概念，他们能够将每个工作流 Job 作为一个动作（ Action ） 来运行，相当于工作流定义中的一个执行节点（我们可以理 解为工作流的工作流） ，这样就能够将多个工作流 Job 组织 起来，称为 Coordinator Job ，并指定触发时间和频率， 还可 以配置数据集、并发数等。一个 Coordinator Job 包含了在 Job 外部设置执行周期和频率的语义，类似于在工作流外部 增加了一个协调器来管理这些工作流的工作流 Job 的运行。 运行 Coordi

3、nator Job我们先看一下官方发行包自带的一个简单的例子oozie-3.3.2examplessrcmainappscron ，它能够实现定时 调度一个工作流 Job 运行， 这个例子中给出的一个空的工作 流 Job ，也是为了演示能够使用 Coordinator 系统给调度起 来。这个例子有 3 个配置文件，我们不修改 workflow.xml 配置内容。修改后分别如下所示：perties 配置nameNode=hdfs:/m1:9000 jobTracker=m1:19830 queueName=default examplesRoot=examplesoozie.coo

4、rd.application.path=$nameNode/user/$user.na me/$examplesRoot/apps/cronstart=2014-03-04T19:00Z end=2014-03-06T01:00Z workflowAppUri=$nameNode/user/$/$exam plesRoot/apps/cron修改了 Hadoop 集群的配置，以及调度起止时间范围workflow.xml 配置是一个空 Job ，没做任何修改coordinator.xml 配置$workflowAppUrijobTracker $jobTrackernameNo

5、de$nameNodequeueName$queueName修改上述 coordinator.xml 配置文件， 将定时调度频率改为 2 分钟，然后需要将他们上传到 HDFS 上：hadoop fs -rm /user/shirdrn/examples/apps/cron/coordinator.xmlhadoop fs -put /home/shirdrn/cloud/programs/oozie-3.3.2/examples/target /oozie-examples-3.3.2-examples/examples/apps/cron/coor dinator.xml /user/shi

6、rdrn/examples/apps/cron/因为我之前已经上传过一次，所以修改了 coordinator.xml 文件配置内容后， 一定要上传到 HDFS 中，而 perties 配置可以通过指定 config 选项来执行。 启动一个 Coordinator Job 和启动一个 Oozie 工作流 Job 类似，执行如下命令即可： bin/oozie job -oozie http:/oozie-server:11000/oozie -config /home/shirdrn/cloud/programs/oozie-3.3.2/examples/target /oozie-

7、examples-3.3.2-examples/examples/apps/cron/job. properties -run运行上面命令， 在控制台上会返回这个 Job 的 ID ，我们也可 以通过 Oozie 的 Web 控制台来查看：Coordinator Job 状态 Coordinator Job 详情如果想要杀掉一 个 Job ，需要指定 Oozie 的 Job ID ，可以执行如下命令： bin/oozie job -oozie http:/oozie-server:11000/oozie -kill 0000065-140302210847342-oozie-shir-CCoo

8、rdinator 应用（ Coordinator Application ）Coordinator 应用是指当满足一定条件时，会触发 Oozie 工 作流 Job （在 Coordinator 中将工作流 Job 定义为一个动作 （Action ）。其中，触发条件可以是一个时间频率、一个 dataset 实例是否可用，或者可能是外部的其他事件。Coordinator Job 是一个 Coordinator 应用的运行实例，这个 Coordinator Job 是在 Oozie 提供的 Coordinator 引擎上运行 的，并且这个实例从指定的时间开始，直到运行结束。一个 Coordinato

9、r Job 具有以上几个状态：PREPRUNNINGRUNNINGWITHERRORPREPSUSPENDEDSUSPENDEDSUSPENDEDWITHERRORPREPPAUSEDPAUSEDPAUSEDWITHERRORSUCCEEDEDDONEWITHERRORKILLEDFAILED从状态字符串的含义，我们大概就能知道它的含义，这里不 做过多解释，可以查阅官方文档。现在，我们关注一下这些 状态之间是怎样转移的，从一个状态变成哪些状态是合法的，如下表所示：转移前状态转以后状态集合 PREPPREPSUSPENDED | PREPPAUSED | RUNNING |KILLEDRUNNINGRUNNINGWITHERROR | SUSPENDED | PAUSED | SUCCEEDED | KILLEDRUNNINGWITHERRORRUNNING | SUSPENDEDWITHERROR |PAUSEDWITHERROR | DONEWITHERROR | KILLED | FAILEDPREPSUSPENDEDPREP | KILLEDSUSPENDEDRUNNING | KILLEDSUSPEN