Control-M作业配置手册

系统Control-M作业配置手册Control-M作业配置手册

目录TOC\o"3-3"\h\z\u\t"标题1,1,标题2,2"1. 概述 41.1 关于本手册 41.2 官方参考资料 42. Control-M概览 52.1 Control-M/EM和Control-M/Server 52.2 作业定义库和AJF 63. 作业概览 83.1 什么是作业 83.2 作业的组织方式 83.3 作业的生命周期 84. 作业定义工具 94.1 Control-M/Desktop 94.2 登录EM/Desktop： 105. 定义表和作业 125.1 定义SMARTTable 125.2 定义SubTable 165.3 定义Job 216. 实例 276.1 例一 276.1.1 登录Control-M/Desktop，参照4.2 276.1.2 新建SMARTTable——s05_sms 276.1.3 新建Job——s05_sms_start 296.1.4 新建Job——s05smsLastDateStatus，s05smsFileCopy，s05CKKHsmsFileCopy 336.1.5 新建Job——s05_sms_end 376.1.6 保存整个批量作业，点击File——>Save 426.2 例二 426.2.1 登录Control-M/Desktop，参照4.2 436.2.2 新建SMARTTable——s14_Manual，参照6.1.2 436.2.3 新建Job——s14_Manual_start，参照6.1.3 436.2.4 新建SubTable——s14_Manual_ECTIP 436.2.5 新建Job——s14_Manual_ECTIP 476.2.6 新建Job——s14_Manual_end，参照6.1.5 516.2.7 保存整个批量作业，点击File——>Save 516.3 例三 516.3.1 登录Control-M/Desktop，参照4.2 526.3.2 新建SMARTTable——s14_Tesq，参照6.1.2 526.3.3 新建Job——TesqToFile_job 526.3.4 保存整个批量作业，点击File——>Save 566.4 例四 566.4.1 登录Control-M/Desktop，参照4.2 576.4.2 新建SMARTTable——s08_asyntask，参照6.1.2 576.4.3 新建Job——s08_calltask_pf 576.4.4 保存整个批量作业，点击File——>Save 616.5 例五 616.5.1 登录Control-M/Desktop，参照4.2 626.5.2 新建SMARTTable——s05_cx 626.5.3 新建Job——s05p0_cx_custInfo 646.5.4 保存整个批量作业，点击File——>Save 696.6 例六 696.6.1 登录Control-M/Desktop，参照4.2 706.6.2 新建SMARTTable——s20，参照6.1.2 706.6.3 新建Job——s20_getdata 706.6.4 新建Job——s20_getdatadummy 756.6.5 保存整个批量作业，点击File——>Save 81系统Control-M作业配置手册第13页概述关于本手册本文为Control-M(简称CTM)作业定义指南，详细介绍CTM中作业的运行方式和定义方式，并根据实际经验介绍在作业定义过程中需要考虑的因素和知识点。本文针对初次接触CTM的用户，同时也可作为有经验用户的参考资料。官方参考资料更详细的解释可以参考CTM官方文档，以下罗列了和本文所述内容相关的官方参考文档：《CONTROL-M/EnterpriseManagerUserGuide》：EM使用指南，其中详细描述了作业定义的方式，本文基于此官方文档，配合实际项目经验，进行更有针对性的阐述。《CONTROL-M/EnterpriseManagerUtilityGuide》：EM工具指南，介绍CTM提供的命令行工具，其中涵盖EM管理、作业定义、作业控制等工具。本文引用了此文档中关于作业定义的相关命令行工具。《CONTROL-MJobParameterandVariableReferenceGuide》：作业所有的参数解释，本文中关于作业定义中涉及的参数都基于此文档，更详细的解释，请参考此文档。Control-M概览Control-M/EM和Control-M/ServerControl-M/EM:EnterpriseManager(简称EM)提供一个集中化方式来定义和控制你的批处理作业环境，用户通过EM来定义作业、监控作业以及管理CTM整个架构环境。一个EM可以连接和管理多个Control-M/Server。Control-M/Server:(简称Server)CTM核心部件，包含一个强大的作业排程引擎，用于排程作业、调起作业、管理作业流、更新作业状态等等Control-M/Agent:用于执行具体的作业调起动作，接受Control-M/Server的命令，安装于实体批处理作业所在系统中，具有超级用户权限。作业定义库和AJF上图描述了Write,upload,load,anddownload操作的关系，这里只讲解和作业定义相关的几个概念。关于Write,upload,load,anddownload请参考《CTM作业上线手册》数据库：EM和Server分别拥有自己的数据库，分别记录各自的管理信息、作业定义、AJF(ActiveJobsFile)AJF：ActiveJobsFile，活动作业环境，维护一个工作日内准备运行的所有作业。CTMServer每天(NewDay)根据作业运行周期更新AJF，去除头天执行完成的作业，放入当天新的作业，清理之前的日志数据，最后将新的AJF同步到EM中。同时，作业执行状态改变和作业的手动干预也会更新AJF。将作业从定义库放入AJF库的过程叫Order或者Force，如下图：AJF生成、同步后，由Control-M/Server根据AJF中作业的定义开始这一天的作业调度。作业概览什么是作业作业(Job)是Control-M中最基本的控制单元，用户通过定义和调起不同的作业来达到自动批处理的能力。在Control-M中作业的类型有四种：Command、Job、Detached、Dummy，常用的方式是Command，用户通过定义Command类型的作业可以在目标机执行指定的命令行或者指定路径脚本，类似crontab方式。因此我们可以将作业理解为一个具体的脚本，同时包含此脚本的调起计划、执行状态控制方式、执行后处理方式等属性。作业的组织方式作业在CTM中有两种组织方式：数据组织方式和逻辑组织方式数据组织方式：数据组织方式是CTM中作业的数据存储形式，可理解为物理组织方式，其结构是:Control-M/ServerTablesjobsCTM中的作业都定义与不同的表(SchedulingTable)中，对应到数据库中的表，一般将相关的作业放到一张表中。关于SchedulingTable有两种类型：SchedulingTable和GroupSchedulingTable，其中后者是具有排程计划功能的SchedulingTable。逻辑组织方式：作业的展现方式，采用三层展现，便于作业的管理和监控，其组织结构是：Control-M/ServerApplicationGroupjobs作业的生命周期第二章中讲到AJF是当天活动作业的调度环境，将作业放入AJF的动作叫order或者force，作业的生命周期起始于order/force，结束于完成后期处理(ENDED-OKpost-process)，CTM在newday时将完成生命周期的作业清理掉，进入新的一天，关于newday更详细的介绍请参考6.1。注意：此处所讲生命周期是指作业被CTM自动调度的周期，不包含人为手动干预过程。作业定义工具CTM提供图形化界面和命令行方式定义作业。一般使用图形化界面定义，命令行方式作为图形化的备用方案，在图形化不可用时可以采用命令行的方式定义作业。同时XXX项目组提供了自有方案将EXCEL文件定义的作业导入CTM，具体使用方式请参考第7章。本文着重描述图形化界面定义作业的方法。Control-M/Desktop第2章概览中讲到CTM的两个大组件EM和Server，其中EM提供集中作业控制和CTM管理等功能，而图形化作业定义是通过EM中的工具Desktop来完成。EM图形化界面工具：EM/GUI：作业运行监控和控制界面。EM/Alerts：告警监控界面，从EM/GUI进入。EM/Desktop：作业定义图形化工具。EM/CCM：CTM组件管理工具，用于管理各个Server、agent等组件。下图展示了EM的架构，其中表示了EM客户端和EM架构的关系：登录EM/Desktop：点击“Control-MDesktop”启动程序进入输入CTM用户名和密码，点击“Login”登录UserName：用户名Password：密码Server：连接服务器机器名进入Desktop界面：定义表和作业定义SMARTTable定义SMARTTable，首先需要登录Control-M/Desktop(简称Desktop)，参照4.2新建SMARTTableTab——GeneralCONTROL-M：执行SMART表的Control-M/ServerTable：SMART表名字UserDaily：用于每日order批量作业，与Application保持一致即可Application：应用名Group：组名，与Table保持一致Author：SMART表定义用户名，CTM中的用户Tab——SchedulingRBCName：RBC名称，一般与SMARTTable名称一致即可Days：表所执行的日期列表Months：表所执行的月份列表Tab——ExecutionSubmit：设定SMART表开始执行的时间，>表示无限延长Tab——ConditionINCondition：设定SMART表执行的前置条件列表，如没有可以为空OUTCondition：设定SMART表执行完成后生产的后置条件列表，如没有可以为空Tab——PostProc设定SMART表执行完成所需要做的处理最常用的情况是当该SMART表执行完成后将删除前置条件删除或者生成后置条件下图表示SMART表执行成功后，删除前置条件IN-Condition，并生成后置条件OUT-Condition定义SubTableSubTable需要定义在一个SMARTTable或者一个SubTable中新建SubTable，在SMARTTable中右键，点击AddSub-tableTab——GeneralCONTROL-M：执行子表的Control-M/ServerName：子表名字Parent：子表所属的父表Application：应用名，与所属SMARTTable保持一致Group：组名，与所属SMARTTable保持一致Author：子表定义用户名，CTM中的用户Tab——Scheduling选择默认All即可Tab——ExecutionSubmit：设定Sub表开始执行的时间，>表示无限延长，如果没有可以为空Tab——ConditionINCondition：设定Sub表执行的前置条件列表，如没有可以为空OUTCondition：设定Sub表执行完成后生产的后置条件列表，如没有可以为空Tab——PostProc设定Sub表执行完成所需要做的处理定义JobJob需要定义在一个SMARTTable或者一个SubTable中新建Job，在SMARTTable中右键，点击AddJobTab——GeneralCONTROL-M：执行作业的Control-M/ServerJobName：作业名字TaskType：作业类型Command：脚本路径，或者命令Parent：作业所属表名Application：应用名，与所属SMARTTable保持一致Group：组名，与所属SMARTTable保持一致Owner：脚本执行用户名，实际执行系统用户Author：作业定义用户名，CTM中的用户Tab——SchedulingDays：作业所执行的日期列表Months：作业所执行的月份列表Tab——ExecutionNodeID/Group：批处理服务器机器名Submit：设定作业开始执行的时间，>表示无限延长，如果没有可以为空Tab——ConditionINCondition：设定作业执行的前置条件列表，如没有可以为空OUTCondition：设定作业执行完成后生产的后置条件列表，如没有可以为空Tab——Steps设定作业执行完成所需要做的处理实例例一定义一个由五个job顺序执行的批量作业，一个起始作业，一个结束作业，其他三个并列执行。起始作业执行成功后，三个并列作业开始执行，而结束作业是在他们三个作业全部执行成功后开始执行。作业9点30开始起批，且全年天天都执行，参考s05_sms登录Control-M/Desktop，参照4.2新建SMARTTable——s05_smsSMARTTable.Tab——GeneralTable：s05_smsUserDaily：s05_smsAppliacation：s05_smsGroup：s05_smsAuthor：emuserSMARTTable.Tab——SchedulingRBCName：s05_smsDays：点击All，全选Months：点击All，全选SMARTTable.Tab——ExecutionSubmit：设定s05_sms的起批时间为9:30，且如果超时也可以起批点击“Save&Close”按钮，保存退出新建Job——s05_sms_start在SMARTTables05_sms中右键，点击AddJob，新建一个Job作业s05_sms_startJob.Tab——GeneralJobName：s05_sms_startTaskType：CommandCommand：/bin/sh…Parent：s05_smsApplication：s05_smsGroup：s05_smsOwner：ctm（注意，因为sh中调用了ctm命令，所以执行sh脚本的用户是ctm）Author：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选Job.Tab——ExecutionNodeID/Group：T219N2V3Job.Tab——Conditions因为第一个作业执行后，有三个作业依赖于它，所以生成三个OUTCondition：s05_sms_start-END01~03点击“Save&Close”按钮，保存退出新建Job——s05smsLastDateStatus，s05smsFileCopy，s05CKKHsmsFileCopyJob.Tab——GeneralJobName：s05smsLastDateStatusTaskType：CommandCommand：/bin/sh…Parent：s05_smsApplication：s05_smsGroup：s05_smsOwner：autosysAuthor：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选Job.Tab——ExecutionNodeID/Group：T219N2V3Job.Tab——Conditions设置前置和后置条件Job.Tab——Steps设置作业处理完成后的操作，这里需要在作业执行成功后删除前置条件，以后有前置条件的作业都需要作此操作点击“Save&Close”按钮，保存退出新建Job——s05_sms_endJob.Tab——GeneralJobName：s05_sms_endTaskType：CommandCommand：/bin/sh…Parent：s05_smsApplication：s05_smsGroup：s05_smsOwner：autosysAuthor：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选Job.Tab——ExecutionNodeID/Group：T219N2V3Job.Tab——Conditions设置前置条件，以为这个结束作业所以后置条件为空Job.Tab——Steps设置作业处理完成后的操作，同一个条件ON可以执行多个操作DO点击“Save&Close”按钮，保存退出保存整个批量作业，点击File——>Save例二定义一个包含SubTable的批量作业。一个起始作业，一个结束作业，一个SubTable包含三个并列执行的作业。起始作业执行成功后，启动SubTable包执行，而结束作业是在SubTable执行成功后开始执行。作业9点30开始起批，且全年天天都执行，参考s14_Manual登录Control-M/Desktop，参照4.2新建SMARTTable——s14_Manual，参照6.1.2新建Job——s14_Manual_start，参照6.1.3新建SubTable——s14_Manual_ECTIP在SMARTTables14_Manual中右键，点击AddSub-table，新建一个子表s14_Manual_ECTIPSub-Table.Tab——GeneralName：s14_Manual_ECTIPParent：s14_ManualApplication：s14_ManualGroup：s14_ManualAuthor：emuserSub-Table.Tab——Condeitions设置子表的前置和后置条件Sub-Table.Tab——PostProc设置作业处理完成后的操作，删除前置条件点击“Save&Close”按钮，保存退出新建Job——s14_Manual_ECTIP在SubTable——s14_Manual_ECTIP中右键，点击AddJob，在子表中新建三个并列执行的作业s14_BATCHINIT_FKYX，s14_BATCHINIT_HDYX，s14_BATCHINIT_SQTEJob.Tab——GeneralJobName：s14_BATCHINIT_FKYXTaskType：CommandCommand：/bin/sh…Parent：s14_Manual/s14_Manual_ECTIP注意此处的结构体系Application：s14_ManualGroup：s14_ManualOwner：autosysAuthor：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选Job.Tab——ExecutionNodeID/Group：T219N2V3Job.Tab——ConditionsSubtable启动后自动调用子表中的第一行的作业，所以可以不用设置前置条件点击“Save&Close”按钮，保存退出新建Job——s14_Manual_end，参照6.1.5保存整个批量作业，点击File——>Save例三定义一个的批量作业。要求作业每15分钟运行一次，有效时间为从09:28~22:00，参考s14_Tesq登录Control-M/Desktop，参照4.2新建SMARTTable——s14_Tesq，参照6.1.2新建Job——TesqToFile_job在SMARTTables14_Tesq中右键，点击AddJob，新建一个Job作业TesqToFile_jobJob.Tab——GeneralJobName：TesqToFile_jobTaskType：CommandCommand：/bin/sh…Parent：s14_TesqApplication：s14_TesqGroup：s14_TesqOwner：autosysAuthor：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选Job.Tab——ExecutionNodeID/Group：T219N2V3Submit：0928~2200设置循环执行勾选CyclicJob设置Maximum为0，表示不限制循环次数点击Set…按钮Rerunevery：15Minutes，Allintervaluesarefromjob’sStart：表示每隔15分钟作业运行一次点击“Save&Close”按钮，保存退出保存整个批量作业，点击File——>Save例四定义一个的批量作业。要求作业每天运行4次，分别在00:05、05:05、10:05、15:05启动，参考s08_asyntask登录Control-M/Desktop，参照4.2新建SMARTTable——s08_asyntask，参照6.1.2新建Job——s08_calltask_pf在SMARTTables08_asyntask中右键，点击AddJob，新建一个Job作业s08_calltask_pfJob.Tab——GeneralJobName：s08_calltask_pfTaskType：CommandCommand：/bin/sh…Parent：s08_asyntaskApplication：s08_asyntaskGroup：s08_asyntaskOwner：autosysAuthor：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选Job.Tab——ExecutionNodeID/Group：T219N2V3Submit：0001~2300设置循环执行勾选CyclicJob设置Maximum为4，表示作业最多循环四次点击Set…按钮Rerunat：00:0505:0510:0515:05，Tolerance(Minutes):10表示作业分别在00:0505:0510:0515:05启动，如果此时作业尚在运行则等待10分钟后启动点击“Save&Close”按钮，保存退出保存整个批量作业，点击File——>Save例五定义一个的批量作业。要求整个作业包仅在每月的10号，20号，30号跑批，其余时间不跑批，参考s05_ckkh登录Control-M/Desktop，参照4.2新建SMARTTable——s05_cxSMARTTable.Tab——GeneralTable：s05_cxUserDaily：s05_ckkhAppliacation：s05_ckkhGroup：s05_cxAuthor：emuserSMARTTable.Tab——SchedulingRBCName：s05_cxDays：选择10,20,30，这样批量作业包仅在这三天运行Months：点击All，全选SMARTTable.Tab——ExecutionSubmit：设定s05_cx的起批时间为7:30，且如果超时也可以起批点击“Save&Close”按钮，保存退出新建Job——s05p0_cx_custInfo在SMARTTables05_cx中右键，点击AddJob，新建一个Job作业s05p0_cx_custInfoJob.Tab——GeneralJobName：s05p0_cx_custInfoTaskType：CommandCommand：/bin/sh…Parent：s08_cxApplication：s08_ckkhGroup：s08_cxOwner：autosysAuthor：emuserJob.Tab——SchedulingDays：点击All，全选Months：点击All，全选注意，因为Job所在的SMATRTable已经设定了执行的日期，所以无需再在Job中设置，SMATRTable中的所有Job以及SubTable都只在10,20,30这三天才会执行。Job.Tab——ExecutionNodeID/Group：T219N2V3点击“Save&Close”按钮，保存退出保存整个批量作业，点击File——>Save例六定