ETL调度细节说明

1、从兴BI研发部BI系统系统调度运行调度运行细节说明细节说明BI培训2022年5月23日从兴BI研发部第2页调度程序参数概述调度程序参数概述n调度系统由schedmanager和schedserv共同组成，两个程序都有各自的ini配置参数，通过修改相应的参数，可以控制调度系统的运行方式和细节。nschedmanager启动的时候会首先读取schedmanager.ini中的参数；同样，schedserv启动的时候也会从prog.ini中读取所需的参数。n除了ini参数，调度系统在运行的时候需要的依据参数表的参数和配置来执行作业。nprog.ini必须置于$BIPROG_ROOT/config/下

2、。2022年5月23日从兴BI研发部第3页INI参数说明（一）参数说明（一）nschedmanager.iniucourselayerN=n配置为layerN的作业最大并行进程数udb2ctlusername=usrname要连接的调度数据库用户名ctlpassword=password要连接的调度数据库密码ctldbname=dbname要连接的调度数据库名称utcpport=portnbr调度管理程序和调度程序通信的端口（必须大于1024，否则程序判断为无效端口号）uthreadmin_thread=3最小线程数（目前不用）max_thread=5最大线程数（目前不用）thread_tim

3、eout=600线程超时时间（目前不用）2022年5月23日从兴BI研发部第4页INI参数说明（二）参数说明（二）nprog.ini (*INI文件中调度不使用的参数此处不列出)ucoursemaxpathcourse=n最大扫描路径数maxfilecourse=n最大扫描文件数maxonline=n最大在线进程数（只限本机有效）maxeventsize=n最大事件生成数filenumperdir=n每路径最大扫描文件数minquescan=n(-1)最大队列扫描数（-1表示不限）minquefilter=n(-1)最大队列生成数（-1表示不限）branchcnt=n机构数（市公司数）udb2

4、ctlusername=usrnam要连接的调度数据库用户名ctlpassword=pwd要连接的调度数据库密码ctldbname=dbnam要连接的调度数据库名称2022年5月23日从兴BI研发部第5页INI参数说明（三）参数说明（三）uproghostprogip=ip_addr本机主机IPhostname=host_name本机主机名（此处配置等同于IP）uerrlogfilefile=path/schedserv.log调度程序的日志文件uloadstartnode=n装载起始节点endnode=n装载终止节点maxfilenum=n起装文件数maxfilesize=n起装文件容量ms

5、gpath=path装载的msg文件路径logpath=path装载的log文件路径dumppath=path装载的dump文件路径tmpdumppath=path装载的临时dump文件路径loadstarttime=hh:mm:ss处理装载作业的开始时间loadendtime=hh:mm:ss处理装载作业的结束时间loadper=x(x数据日期-普通优先级来对作业排序。job_queueparam.dat，记录了队列中作业的参数，通过inst_id与queue中的作业形成多对一的关系。job_childcourse.dat，开出作业进程的状态，当停机时候会记录停机前所有在线作业的完成状态。j

6、ob_event.dat，记录了已经完成的作业所产生的事件，当事件满足依赖约束后会形成队列记录，并删除生成该队列记录的所有事件记录。trans.log，记录了调度程序的每一个操作，当程序被非法终止的时候可以在下次启动时回滚操作。2022年5月23日从兴BI研发部第12页作业运行的条件作业运行的条件n调度程序对作业的处理原则上都是文件触发的，即扫描为所有作业的开端。u文件是否扫描可能需要满足以下某些或全部条件：1）数据源生效日期小于当前系统时间（即CTL.TA_ETL_DS_DEF中的ds_valid_date）2）数据源有效标志置为有效（即CTL.TA_ETL_DS_DEF中的ds_valid

7、_flag）3）数据源主机关系定义条件（即CTL.TA_ETL_DS_HOST中的定义）u一个作业是否生成队列记录可能需要满足以下某些或全部条件：1）逻辑依赖条件，即CTL.JOB_REF。2）装载作业的起装条件中的至少一个条件（设待装文件数为file_cnt，最大文件数为max_cnt，已装文件数为inst_cnt）：a) file_cnt=起装文件数（即prog.ini中的maxfilenum）b) 待装文件总容量达到起装文件容量（即prog.ini中的maxfilesize）c) file_cnt=max_cnt-inst_cntd) file_cnt=(max_cnt-inst_cnt

8、)*起装文件百分比+1（起装文件百分比为prog.ini中的loadper）e) 该周期该作业的max_cnt机构数（即prog.ini中的branchcnt）u队列中的作业是否能运行可能需要满足以下某些或全部条件：2）时间依赖条件，即CTL.JOB_TIME_REF。3）运行时限条件，即CTL.JOB_LIMIT。4）互斥条件，即CTL.JOB_OPR_OBJ。5）作业有效条件，即CTL.JOB_DEF中的JOB_VALID_FLAG(1为有效，0为失效)。6）进程数控制条件，即prog.ini中的maxonline值以及CTL.JOB_DEF中该作业的max_instance。7）分类最大

9、进程数控制条件，即schedmanager.ini中的layerN值。8）无优先作业等待条件。2022年5月23日从兴BI研发部第13页事件处理和队列处理事件处理和队列处理n调度程序遵循事件触发的作业处理机制，简单的说就是根据依赖表，一个作业完成后将生成触发后续作业的事件（通过CTL.JOB_EVENT表传递跨主机的事件）。当事件（一个或多个事件记录）满足所有逻辑依赖条件的时候将会生成作业队列记录和相应的参数记录，同时删除已成为后续作业的事件记录，最后扫描队列记录，执行满足所有运行条件（时间依赖，运行时限，互斥，最大进程数控制，分类进程数控制）的作业。因此，我们可以得出结论：1）因各种原因未满

10、足依赖条件的作业可以通过补事件记录和（或）补充假定为已完成作业的实例、参数来实现运行该作业。2）因各种原因未满足依赖条件的作业可以通过补队列记录和参数来运行该作业。3）手工补充的作业在完成后同样会生成后续事件，存在继续运行后续作业的可能性。4）由于事件的跨主机特性，一个作业的所有事件可能来自不同的主机，因此可以通过CTL.JOB_EVENT来手工添加事件。队列的处理顺序是从上到下扫描记录，因此当我们需要某队列中的作业优先运行时，必须遵循队列的排序原则修改指定作业的优先级（即job_queue.dat中的最后一个字段）。2022年5月23日从兴BI研发部第14页作业逾期未运行查询作业逾期未运行查

11、询n大部分作业逾期不能运行是由于前置计数依赖作业的计数不够，查询的入口都是从作业依赖定义表（CTL.JOB_REF）开始。n队列中的作业不运行的原因前文已述，按照列出的几种情况从实际情况判断可能性最大的一种开始查，即可定位问题。nSCHEDMANAGER提供了同一作业号时间优先等待的机制，当job_queue.dat被删除了记录时，有可能出现无限等待的情况，此时可以通过schedconsole输入4的命令切换SCHEDMANAGER的详细日志，通过tail f该日志查询作业执行申请被拒绝的原因，从而定位错误。2022年5月23日从兴BI研发部第15页人工实现作业运行人工实现作业运行n有时候由于

12、升级时间较晚、数据源问题、需求紧急等各种原因需要调度强行运行前置条件不符合的作业，就需要我们手工干预。包括：手工添加表CTL.JOB_EVENT记录和/或CTL.JOB_INST_1记录手工添加文件job_queue.dat以及job_queueparam.dat的记录（需要停调度）。手工添加CTL.JOB_INST_1记录（满足时间依赖）手工修正CTL.JOB_INST_2的计数、touch空文件和/或修正list文件并重新将其放如_EXF。手工添加CTL.JOB_MANUAL和CTL.JOB_MAN_PARAM记录（例如一经应急作业），所添加的对应作业在CTL.JOB_DEF中的manual_flag必须为12022年5月23日从兴BI研发部第16页运行注意事项运行注意事项n调度程序在运行的时候应该注意