作业调度及监控设计说明书

SPDBCCC调度监控模块

设计说明书

/^i^rsofftI安硕科技

起草人：秦向军

复审人：胡震宇

文档版本日期：2007-12-18

文档版本编号：V1.0

文档状态

文档信息

项目名称：SPDBCCC

项目经理：闫民文档版本编号：V1.0

项目管理阶段：文档版本日期：

质量复审方法：

起草人：秦向军起草日期：2007-12-18

复审人：复审日期：

分发名单

From自日期部门职务Email/电话

给To部门职务行动*截止日期Email/电话

*行动类别:批准,复审,通知,存档,所需行动,参加会议,其它（请指明）

版本历史

版本编号版本日期描述文件名

V1.02007-12-18设计说明书

1概述........................................................................................4

1.1编写目的................................................................................4

1.2背景...................................................................................4

1.3阅读对象................................................................................4

2总体描述.....................................................................................5

2.1设计目标.................................................................................5

2.2设计约束.................................................................................5

2.2.1软件运行平台约束...................................................................................................................................................5

3应用程序设计.................................................................................6

3.1架构设计(ARCHITECTURALDESIGN)...............................................................................................................................6

3.1.1应用模块结构...........................................................................................................................................................6

3.2模块一调度................................................................................6

3.2.1功能描述................................................................................................................................................................6

3.2.2程序结构设计........................................................................................................................................................7

3.2.3相关数据表(RelatedTables)................................................................................................................................7

3.3模块一监控...............................................................................8

3.3.1功能描述................................................................................................................................................................8

3.3.2展示画面................................................................................................................................................................8

3.3.3相关数据表(RelatedTables)................................................................................................................................8

3.4模块一日志................................................................................9

3.4.1功能描述.................................................................................................................................................................9

3.4.2展示画面.................................................................................................................................................................9

3.4.3相关数据表(RelatedTables).................................................................................................................................9

3.5模块一系统管理............................................................................9

3.5.1功能描述.....................................................................................................................................................................9

3.5.2展示画面..................................................................................................................................................................10

3.5.3相关数据表(RelatedTables)..................................................................................................................................10

4数据结构定义.................................................................................12

4.1集合命令定义表[DISP_COWIAND_DEF].....................................................................................................................12

4.2任务信息表[D1SP_TASK_DEF].................................................................................................................................13

4.3任务关系定义表[DISP_TASK_REL]...........................................................................................................................14

4.4任务参数定义表[T_CONF_SP-PARA」NFO]...........................................................................................................14

4.5任务变量定义表[T_DATA_VARIABLE]....................................................................................................................15

4.6集合任务运行日志[DISP_COMMAND_RUN_RECORD]....................................................................................15

4.7任务运行日志[DISP_TASK_LOG]...........................................................................................................................16

5运行过程中相关问题...........................................................................17

5.1日志信息查询...........................................................................17

5.1.1日志文件命名规则..............................................................................................................................................17

5.1.2日志文件查询.........................................................................................................................................................17

5.1.3日志表信息查询........................................................................................................................................17

5.2任务错误分析及解决......................................................................19

6运行解决案例...............................................................................20

6.1源数据重复导致..........................................................................20

6.1.1问题分析.......................................................................................................................................................20

6.1.2解决方案......................................................................................................................................................20

6.2镜像数据库重启导致任务失败.............................................................20

6.2.1问题分析.......................................................................................................................................................20

6.2.2解决方案.......................................................................................................................................................20

6.3无法连接数据库导致任务失败.............................................................21

6.3.1问题分析.......................................................................................................................................................21

6.3.2解决方案.......................................................................................................................................................21

6.4数据库磁盘空间满导致任务失败............................................................21

6.4.1问题分析.......................................................................................................................................................27

6.4.2解决方案.......................................................................................................................................................21

1概述

该文档主要描述作业调度及监控平台的设计思路及实现方法。

1.1编写目的

该文档主要描述作业调度及监控平台的设计思路及实现方法。

1.2背景

浦发银行数据处理系统需要从核心系统、花旗数据集市、催收和反欺诈系统中导入相关数据，然后进行

处理，最后再导出给SAS系统。行里原来的方案中仅仅定义了数据导入、导出在行里的DataStage平台上

完成，但没有明确ETL任务的调度、监控。

尽管行里有统一的ETL任务调度、监控平台Automation,但因为多方面原因，本次数据处理系统的调

度、监控模块将不能利用现有平台，需要单独开发一套独立模块。

1.3阅读对象

该文档主要阅读对象：

•上海浦发银行相关业务人员

•上海浦发银行相关技术人员

•安硕科技项目组人员

2总体描述

2.1设计目标

作业调度及监控平台要实现如下功能目标

1、任务的定义，设置；

2、任务运行的自动调度和手工调度；

3、任务运行日志的监控纪录；

4、任务出错后的续跑和回滚；

5、操作界面友好、方便。

2.2设计约束

因为调度模块需要远程调用DataStage的JOB,而DataStage仅仅提供了Windows平台的API接口,

所以，调度、监控模块一定要在Windows平台上开发实施。

2.2.1软件运行平台约束

序号软件平台版本说明

1Windows2000以上

2DataStageClient7.5以上

3OracleClient9i以上

4.NET平台C#语言VS2005

3应用程序设计

3.1架构设计(ArchitecturalDesign)

3.1.1应用模块结构

序号模块代码模块名称说明

1Dispatcher调度

2Monitor监控

3Log日志查询

4Manager系统管理

3.2模块—调度

3.2.1功能描述

调度模块的功能主要是读取任务和任务调度信息，然后依次执行相应任务，并随时保存任务执行情况。

任务类型包括四种类型

•SP：Oracle数据库中的存储过程；

•DSJOB：通过执行本地DataStageClient命令，调研远程DataStage上的JOB。

•DOS:调用DOS命令或者bat文件

•SQR

•其他

任务执行方式主要分为两种

•界面执行方式

•后台监控方式

任务的调用类型主要分为三种

•任务正常启动:正常启动任务

•任务回滚:回滚失败的任务

•断点执行:如果任务由于某种情况执行失败，解决问题后，不需要回滚，可采用.

任务启动类型主要分为四种情况

•手工任务执行

•定时任务执行

•循环标志文件

•标志文件执行

运行任务可以利用多线程并行执行，同时支持任务之间的依赖关系。

3.2.2程序结构设计

序号用例名称1说明___________________________________________________________

1开始调度通过定时器，信号文件或者手工触发

2读取任务、调度信息

3执行任务

4保存任务运行信息

5

3.2.3相关数据表(RelatedTables)

列出模块中使用到的数据库表清单及相关说明

序号数据库表名1作用说明__________________________________________________

1集合命令定义表定义集合命令信息,集合任务是多个任何的集合

2任务信息表定义任务的基本信息，包括名称，类别等其他参数

任务关系定义表定义集合命令与任务的关联关系以及任务执行中优先级配置信息

3

的等等

任务参数定义表任务的各项参数，包括SP.Datastage等在调用的时候所需要的参数

4.

信息.

5.任务变量定义表任务变量定义

6.集合命令运行日志集合命令运行情况

7.任务运行日志任务运行情况

3.3模块—监控

3.3.1功能描述

监控模块是系统的主界面，主要功能是实时读取任务执行情况，如果任务运行发生异常，报警提示。另

外，监控界面中提供手工触发调度功能的方式。

3.3.2展示画面

展示画面的信息包括：

•已经执行完成的任务号、任务名称、开始时间、结束时间、状态；

•正在执行的任务号、任务名称、开始时间、状态；

如果任务失败，将弹出一个警示窗口，包括下列信息：

•任务号

•任务名称

•开始时间

•出错时间

•出错信息

3.3.3相关数据表(RelatedTables)

列出模块中使用到的数据库表清单及相关说明

序号数据库表名作用说明

1参数定义表定义系统配置信息

2任务执行情况表记录任务的运行信息

3

3.4模块—日志

3.4.1功能描述

主要功能是查询任务的历史运行情况。

3.4.2展示画面

查询条件包括:

•任务号

•运行日期

•运行结果

查询结果包括:

•任务号

•任务名称

•开始时间

•结束时间

•状态

•错误信息

3.4.3相关数据表(RelatedTables)

列出模块中使用到的数据库表清单及相关说明

序号数据库表名作用说明

1任务执行情况表记录任务的运行信息

2

3

3.5模块—系统管理

3.5.1功能描述

主要功能是配置任务、任务关系以及系统各种参数。

3.5.2展示画面

3.5.2.1任务配置

配置任务界面的信息包括：

•任务号

•任务名称

•任务类型

•任务参数

•任务运行条件

配置任务界面的功能按钮包括:

•新增

•修改

•删除

•确定

•取消

352.2任务关系配置

界面的信息包括：

•任务号

•父任务

界面的功能按钮包括：

•新增

•删除

•确定

•取消

3.52.3参数配置

界面的信息包括：

•参数名称

•参数值

界面的功能按钮包括：

•新增

•修改

•删除

•确定

•取消

3.5.3相关数据表(RelatedTables)

列出模块中使用到的数据库表清单及相关说明

序号|数据库表名|作用说明

n।参数定义表।定义系统配置信息，包括：报警方式，定时时间间隔

2

3

4数据结构定义

4.1集合命令定义表[DISP_COMMAND_DEF]

序号数据列中文名1主键可为空默认值说明

1.C0MMANDN0集合命令编号

2.COMMANDNAME集合命令名称

RUNTIMETYPE开始时间类型DAY:每日执行

3.

MONTH:月执行

RUNTIME命令开始时间分秒:例如1305为

4..13点05分开始执

Z-

仃

5..COMMANDPARA命令运行参数

COMMANDSTATUS集合命令状态1或者空为正常

6.

0.停用

PREOKFILE集合命令开始文当调用状态不是手

7..件工调用，即需要判断

标志是否存在.

POSTOKFILE集合命令完成标任务完成后建立的

8.

志文件标志文件

9.FTPSERVERFTPserver暂停用

DSSERVERDatastageServ

10.

er

11.FTPUSERNAMEFtp用户名暂停用

12.FTPPASSWORDFtp密码暂停用

DSUSER1DDataStage用户

13.

名

DSPROJECTNAMEDataStage

14.

project名称

15.DSPASSWORDDataStage密码

16.REMARKS备注

STARTDAY开始日期如果开始时间类型

定义成MONTH,这

17.

需要设置此值99

为月底

ISORDERDATE是否按照日期顺NN:否

18.

序执行Y:YES

4.2任务信息表[DISP_TASK_DEF]

_说明

TASKNO任务编号

2.TASKNAME任务名称

RUNTIMETYPE开始时间类型DAY:每日执行

3.

MONTH:月执行

TASKPARA任务参数DOS命令

SP名称

4.DataStage命令可以

不填写

SQR命令

5.PREOKFILE任务开始文件

POSTOKFILE任务成功后生成

6.

文件

7.TASKDBLINK任务数据库连接暂时不使用

8.ISHASSPPARA是否需要参数暂时不使用

DSPROJECTNADataStage项目

9.

ME名称

DSJOBNAMEDataStageJob

10.

名

TASKCYCLE任务运行周期1.DAILY

2.MONTH

3.WEEK

4.YEAR

STARTDAY任务运行日期1.空为每天都跑

2.TaskCycle为

Daily是每天都跑，

无需输入

3.TaskCycle为

MONTH是，需要

输入日期,如每月

3日执行，则直接

输入3,月底为99

12.

4.TaskCycle为

WEEK是,需要输

入星期，皆为英文

星期简写，如

SUN.MON等

5.TaskCycle为

YEAR时,格式为

MMDD.需要输入

日期，比如说每年

12月31日执行，

则为1231

SQRDIRECTORSQR目录

13.暂时不使用

Y

14.REMARKS任务备注

15.

4.3任务关系定义表[DISP_TASK_REL]

序号数据列中文名主键可为空默认值说明_________

1.COMMANDNO集合命令编号

2.TASKNO任务名称

PARENTTASKNO父任务名称如果当前任务要执行，

所配置的

3.

ParentTaskNo必须时

执行完成的.

4.TASKSTAGE任务阶段号

4.4任务参数定义表[T_CONF_SP_PARA」NFO]

序号数据列中文名主键可为空默认值说明

1.PARAID参数编号

2.PARAGBNAME参数中文名

PARAORDER参数顺序号如果当前任务要执行，

所配置的

3.

ParentTaskNo必须时

执行完成的.

4.ISVARIABLE是否变量暂时不使用

5.IN0UTINOUT属性存储过程INOUT参数

PARADATATYPE参数数据类型类SP任务,配置参数数据

6.

型类型

PARALENGTH参数数据类型长

7.

度

STATUS参数状态1.正常

8.

0.停用

9.PARAVALUE参数值

10.TASKNO任务号

11.PARAID

4.5任务变量定义表[T_DATA_VARIABLE]

序号数据列中文名主键;可为空默认值说明

1.VARIABLEID变量编号

2.VARIABLENAME变量中文名

VARIABLETYPE变量类型FUNCTION:函数获得

DATE:根据

3.

TASKDATE获得日期

格式

4.VARIABLEVALUE变量常量暂时不使用

VARIABLEDATEFORMA变量日期类型的

5.

TDateFormatDateFormat

6.VARIABLEFUNCTION函数表达式

4.6集合任务运行日志[DISP_COMMAND_RUN_RECORD]

序号数据列中文名主键1可为空默认值说明

1COMMANDRUNID日志流水号

2COMMANDNO集合任务编号

COMMANDRUNTY调用类型

3

PE

COMMANDPREFIL任务开始文件

4

E

COMMANDPOSTFI任务结束文件

5

LE

6STARTTIME开始时间

7ENDTIME结束时间

COMMANDRUNPA任务运行变量

8

RA参参数

COMMANDSTATUS任务状态2.运行成功

3.运行失败

9.

1.正在运行

9.运行等待

COMMANDREMAR任务执行备注

10.

K

11.TASKDATE数据日期

4.7任务运行日志[DISP_TASK_LOG]

序号数据列中文名主键可为空默认值说明

1.TASKRUNID日志流水号

2.TASKNO任务编号

3.TASKNAME调用类型

4.COMMANDRUNID任务开始文件

5.ROLLBACKTASKID任务结束文件

6.ENDDATE结束日期

7.RUNPARA运行参数

8.ENDTIME结束时间

9.STARTDATE开始日期

10.STARTTIME开始时间

11.REMARKS备注

RUNRESULT运行状态2.运行成功

3.运行失败

12.

1.正在运行

9.运行等待

4.TASKRUNPARA

5运行过程中相关问题

5.1日志信息查询

日志信息分为日志文件信息以及日志数据表信息

5.1.1日志文件命名规则

日志文件分为3个文件.分别为Detail,Exception.Debug

■DetaikDetail中记录了集合任务以及任务的运行情况

■Exception:Exception文件记录了程序在任务执行过程中遇到的异常信息

■Debug:任务运行的详细信息

1.调度程序.exe的日志文件命名（YYYYMMDD为系统当前日期）

■Detail:YYYYMMDD_DETAIL.txt

■Exception:YYYYMMDD_EXCEPITON.txt

■Debug:YYYYMMDD_DEBUG.txt

2.TaskCommand.exe日志文件命名

■Detail:YYYYMMDD_TaskCommand_DETAIL.txt

■Exception:YYYYMMDD_TaskCommand_EXCEPITON.txt

■Debug:YYYYMMDD_TaskCommand_DEBUG.txt

5.1.2日志文件查询

■如果任务出错，可以查看Exception日志文件，找到相关错误信息

■查看任务运行信息，可以查看Detail日志文件.

■查看任务详细运行信息以及调度程序运行状态信息，可以查看Debug日志文件

5.1.3日志表信息查询

1.集合任务运行情况

SELECTCOMMANDRUNIDAS运行编号,

COMMANDNOAS命令编号，

COMMANDNAMEAS命令名称，

TASKDATE数据日期，

STARTTIMEAS开始时间，

ENDTIMEAS结束时间，

DECODE(COMMANDSTATUS,

3,

'运行失败'，

2,

'运行成功'，

9,

'等待'，

'未知错误')