使用手册-动态数据加工

文档编号：001

国家烟草专卖局

动态数据加工

运用手册—动态数据加工

口匚5占5

m款国际

北京中软国际信息技术有限公司

书目

书目错误!未指定书签。

1前言错误!未指定书签。

1.1编写目的错误!未指定书签。

L2运行环境错误!未指定书签。

1.3参考资料错误!未指定书签。

2运用说明错误!未指定书签。

2.1加工逻辑设计错误!未指定书签。

基础信息维护错误!未指定书签。

语义信息维护错误!未指定书签。

数据结构维护错误!未指定书签。

2.2加工任务调度错误!未指定书签。

数据源注册错误!未指定书签。

工作组注册错误!未指定书签。

加工工作注册错误!未指定书签。

加工任务注册错误!未指定书签。

2.3加工任务监控错误!未指定书签。

任务运行监控错误!未指定书签。

任务历史日志查询错误!未指定书签。

工作历史日志查询错误!未指定书签。

任务平均执行时间图错误!未指定书签。

单一任务执行时间图错误!未指定书签。

历史工作执行图错误!未指定书签。

工作时间占用图错误!未指定书签。

任务成功比例图错误!未指定书签。

任务支配状况错误!未指定书签。

2.4加工数据校验错误!未指定书签。

校验信息注册错误!未指定书签。

校验结果展示错误!未指定书签。

2.5系统管理错误!未指定书签。

系统参数维护错误!未指定书签。

缓存管理错误!未指定书签。

数据加工逻辑下发错误!未指定书签。

1前言

1.1编写目的

本文档描述动态数据加工运用手册的工作原理及运用方法

1.2运行环境

动态数据加工管理系统部署的服务器。

该服务器须要部署动态数据加工管理系统应用包。

1.3参考资料

运用手册—动态数据加工管理系统工作原理

2运用说明

2.1加工逻辑设计

加工逻辑是对数据加工处理过程的描述，用标准的语法描述数据加工

各环节的详细工作及数据加工各环节间的关系。

数据加工基本处理逻辑是通过灵敏的配置方式获得加工业务类型和加工

逻辑，脚本生成引擎依据加工业务类型和加工逻辑生成最终的数据加工脚

本。

2.1.1基础信息维护

功能描述

加工逻辑的基础信息是对数据加工的整体信息进行描述，是加工逻辑

设计工作的基础，为加工脚本的生成供应名称等信息。加工逻辑基础信息

维护实现对加工逻辑信息的新增、修改、删除、查看和列表呈现等功能，

是加工逻辑设计的入口。加工规则基础信息的详细内容如下：

＞标识：系统生成的唯一标示；

＞名称：对加工逻辑的简要描述；

＞代码：用户定义的具有确定含义的字符串，作为加工脚本的名称；

＞状态：包括草稿、发布、取消发布三种状态；

＞备注：对加工逻辑的描述；

＞创建人：加工逻辑基础信息建立人员；

＞创建时间：加工逻辑基础信息的建立时间；

＞修改人：最终一次修改加工逻辑信息的人员；

＞修改时间：最终一次修改加工逻辑信息的时间。

操作此功能的角色

加工逻辑设计者。

运用说明

.1基础信息维护列表页面

在动态数据加工菜单下选择加工逻辑设计基础信息维护，进入基础

信息维护列表页面：

,当前位置：->动态数据力DI-〉加工逻辑没计-〉基础信息维护Q使用粉助

■查酸件

加理辑名称：1加理辑代期11

序号加理鑫2球加工i魏代吗财创默两间

0।累计LZIJ草藕即2011-08-2509:31:43

02统计处理T0HJ.CL草藕pe2011-08-2509:32:15

M第一页1>后一页171T第顷/共1页共2条

基础信息维护列表

基础信息维护列表页面主要包括三个区域：查询条件区、列表呈现区、

操作区。对基础信息列表呈现页面说明如下：

1）查询条件区：可通过输入加工逻辑名称、代码，对数据加工逻辑的

相关信息进行过滤，只呈现操作人员所关注的数据。

2）列表呈现区：呈现数据查询结果，显示序号、加工逻辑名称、加工

逻辑代码、状态、创建人、创建时间等信息。可以点击加工逻辑名称

进入加工逻辑修改/查看页面，其中状态有取消发布、发布和草稿三种

状态，取消发布和发布状态的信息不能被删除。

3）操作区：可以选择加工逻辑列表第一列的单选框，选中指定加工逻

辑，假如该行的状态为取消发布和发布状态，则“删除”按钮变为灰

色即该行不能删除，假如该行的状态为草稿状态，则点击“删除”按

钮对该加工逻辑进行删除，可以点击“新建”按钮，进入基础信息维

护页面。

.2查询基础信息

可通过输入加工逻辑名称、代码，点击“查询”按钮，对数据加工逻

辑的相关信息进行过滤，在列表呈现区呈现操作人员所关注的数据。

.3新建基础信息

点击基础信息维护列表页面的“新建”按钮，进入基础信息维护页面:

■当前位置：动态数据加工-＞加工逻辑设计-〉基础信息维护Q使用物勖

।।「丁-丁]।।[―川

基础信息维护页面

基础信息维护页面分为两个部分：基础信息维护区、基础信息操作区。

对基础信息维护页面说明如下：

1）基础信息维护区：维护加工逻辑的基础信息，包括名称、代码、状

态、数据源、创建人、创建时间、修改人、修改时间、备注等信息。

2）基础信息操作区：供应配置加工规则、保存、删除、脚本生产、发

布/取消发布、版本管理、返回等功能，其中新增规则是详细加工

规则维护的入口。可通过点击“保存”、“删除”、“发布”按钮

对当前维护的加工逻辑进行修改、删除、发布操作。

＞配置加工规则：新增加工规则的入口；

＞保存：存储当前加工逻辑到数据库；

＞删除：删除当前加工逻辑，删除相关的加工逻辑和脚步文件，

并删除数据库中的对象（存储过程）；

＞脚本生成：脚本生成的入口；

＞发布：修改当前加工逻辑为“发布”，同时系统对数据加工脚

本进行编译，并在指定数据库中生成可被调度的数据库对象；

推断是否包含有“数据过滤”加工业务类型的加工规则，如有

则首先推断是否已有垃圾表存在，垃圾表命名规则为数据目标

表名称+“"，假如垃圾表不存在则首先创建垃圾表（如存储过

程）。

＞取消发布：修改当前加工逻辑为“取消发布”，同时删除数据

库中的对象（存储过程），并进行版本处理，即备份当前版本

的加工逻辑文件和脚本文件，复制原文件并在文件名后增加时

间戳字符串。

版本管理：供应查询历史版本的功能，并依据业务须要启用以

往版本的加工逻辑。

当刚进入新建基础信息维护页面时，配置加工规则、保存、删除、

脚本生产、发布/取消发布、版本管理等的按钮为灰色即不能进行这些

操作，只有保存、删除和返回等功能；当点击“保存”按钮后，取消

发布变为灰色不能用，其他按钮都显示为黑色表示可用；只有加工逻

辑生产的脚本通过校验后，才能做“发布”操作。

.3.1配置加工规则

点击基础信息维护页面的“配置加工规则”，可对加工逻辑配置多个

加工规则，进入新增加工规则列表页面：

加工规则列表页面

加工规则实现的是指在加工业务类型基础上设置输入输出项、配置满

足详细业务需求的加工规则的详细化设计，是一个将加工业务类型实例化

成详细业务处理的过程。

加工规则列表页面分为三个部分：加工规则列表呈现区、加工规则操作

区、加工规则标题修改区。对加工规则列表页面说明如下:

1）加工规则列表呈现区：呈现加工规则的基础信息、，包括序号、标题、

模板、依次调整、操作等，其中操作列中有选择该行进入修改加工

规则和删除该加工规则等功能。点击依次调整图标可以将数据加工

的依次按升序或降序操作。

2）加工规则操作区：供应新增规则、保存、返回等操作。

3）加工规则标题修改区：可对选择的加工规则标题进行修改。

可以选择加工规则列表第一列的单选框，选中指定加工规则，点击操

作中的“删除”按钮，可删除该加工规则，点击“修改”按钮可对该条加

工规则的标题进行修改:

■加工规则列表

序号标题模板顺序调整煤作

®1sjj*时间降维［岁宴［

O2tq同期

O3sq上期1修改।।删除।

।新增规则IIWI

■加工规则明细

标题名称：后诉厂।模极：阳间降维-

加工规则标题修改页面

修改后点击“保存”按钮，加工规则标题即更新成功。

选中某条规格后面的“修改”按钮，可修改加工规则的配置信息，进

入修改页面:

■数据延续加工规则设置

来源表名称：|工业B表二j目标表名称：|工业日粒度二]

选择鬓匚业日粒度（目标表）工业B表碑懑表）

序号2

字段类型属性字段名称僮性字段代码对皮期初字段来源字段

1nn年I

2nr李Q

3rr月M

4rij旬P

5rrBD

6nr年字符D-YEAR

7rr季度D_QUARTER

8匚n月份D_M0HTH

9rr旬字符D.PERIOD

10rr日字符D.DAY

11rr中烟FACT_POPEDOM

加工规则配置页面

.3.1.1新增力口工规贝！J

点击加工规则列表页面“新增规则”，进入新增加工规则页面：

所属加工类型：同期3

加工规则名称：|tongqi|]

I下一步|

新增规则页面

选择所属加工类型，加工类型有同步、整合、持续、累计、同期、上

期、时间降维、非时间降维、价类拆分、企业合并等，再输入加工规则名

称，点击“下一步”进入配置加工规则明细页面，可依据所属加工类型配

置对应加工规则。

.3.2保存

点击基础信息维护页面的“保存”按钮，保存当前加工逻辑到数据库。

.3.3删除

点击基础信息维护页面的“删除”按钮，删除当前加工逻辑。

.3.4脚本生成

点击基础信息维护页面的“脚本生成”按钮，进入脚本生成页面：

日当前位置：-＞动态数据加工-＞加工逻辑设计-〉基时信息维护❷使用帮助

■加工靛及金息

名称：统计处超代码：TOHJ.CL

加工机剧：

序号法题瞑板

।生或醉irwiro~ir¥<i

■，韩本维护

脚本生成页面

脚本生成页面分为三个部分：加工逻辑基础信息区、操作区、脚本维护

区。对脚本生成页面说明如下：

1）加工逻辑基础信息区：呈现加工逻辑名称、代码和加工规则列表，

列表中呈现已配好的加工规则的序号、标题和模板等信息。

2）操作区：供应生成脚本、保存、清除、校验、返回等功能

3）脚本维护区：呈现加工逻辑生成的存储过程脚本。

点击“生成脚本”按钮，生成存储过程脚本，在脚本维护区中呈现:

I生丽Iraviiw_[Til

■脚本难护

DROPPEOCEDVBEPROC_TOHJ_CL@

CREATEPROCEDUREPROC.TOij.CLO

LANGUAGESQL

BEGIN

DECLAREV_NUUMCORDSINTEGERDEFAULT0.

DECLARESQLSTATECKAB(5);

DECLARESQLCODEINTEGERDEFAULT0;

DECLAREV_«SG2VARCXAR(l),

DECIAREV_DIFFINTEGER;

DECLARESTART.TIME门MESTAHP；一记录加工的开始时间

DECLAREIMPJINETIBHSTM1P.

DECLAREU_TiflETIMESTAMP;

DECLAREC_nflETIMESTAMP;一获取衣俵上次加工的最新时间

DECIARHV_COMIIIT_COWrINTEGERDEFAULT0;一更新数据条数

DECLARELO3.FILEVARCHAR(50);一日志文件

TQ,常处理，献珊演日趣中

DECLAREEXITKAKDLERFORSQLEXCEPHON

BEGIN

Z

CALLrc.PROC.LOGERRCPBOC_TOXJ_CLz0,SQLSTATE,SQLCODE/');

脚本维护呈现

点击“保存”按钮后，可点击“校验”按钮，此时在数据库中将存储

过程进行预编译处理，校验其语法问题。也可点击“清除”按钮，重新进

行生成、校验。留意每次“生成脚本”之后，“校验”之前要先“保存”，

否则脚本可能不是最新。

.3.5发布

点击基础信息维护页面的“发布”按钮，该存储过程会被编译后保存

到数据库，存储过程名字为代码名称。发布后可取消发布。留意：在脚本

生成页面里，生成的脚本没有保存的话在新建加工逻辑页面中不会显示

“发布按钮”。

.3.6取消发布

点击基础信息维护页面的“取消发布”按钮，修改当前加工逻辑为“取

消发布”，同时删除数据库中的对象（存储过程），并进行版本处理，即

备份当前版本的加工逻辑文件和脚本文件，复制原文件并在文件名后增加

时间戳字符串。

.3.7版本管理

点击基础信息维护页面的“版本管理”按钮，进入版本管理页面:

版本管理页面

版本管理页面分为三个部分：版本信息查看区、历史版本管理区、操作

区。对版本管理页面说明如下：

D版本信息查看区：呈现加工逻辑的名称、代码和加工规则列表，

列表中显示序号、加工规则的标题、模板等信息。

2）历史版本管理区：呈现加工逻辑各个历史版本的名称、代码、截

止日期和操作，可以点击操作列的“启用”按钮，重新复原对指

定历史版本加工逻辑的运用，点击“删除”按钮清除指定版本，

点击历史版本的名称可以在版本信息查看区域显示版本的基本

信息。

3）操作区：供应返回上一级菜单的返回按钮。

2.1.134删除基础信息

选择基础信息维护列表第一列的单选框，选中指定基础信息，点击“删

除"按钮，删除了该基础信息。

2.1.2语义信息维护

功能描述

通过动态数据加工系统，用户可以配置表、表对应字段等信息，并将

配置的信息保存到数据库中，为数据加工体系供应基础结构。

操作此功能的角色

加工逻辑设计者。

运用说明

.1基础信息维护页面

在动态数据加工菜单下选择加工逻辑设计语义信息维护，进入表信

息维护页面:

当前位置：->动态数据加工・〉加工逻辑设计->语义信息维护->表信息维护Q使用帮助

■查询条件

表中文名称：1—表英文名称：111查询1

序号表中文名称表英文名称

O1商业购销存雪花模型K_TJBS_Y_Q_M_P_D_ALL_1

O2工业产销雪花模型K_TJIN_Y_Q_M_P_D_ALL_2

O3工业库存表CIGDAYSTOCK

O4工业B表K_TJIH_B

O5工业日粒度到牌号K_TJIN_CIG_T_Q_M_P_D_ALL

O6工业旬粒度到牌号K_TJIH_CIG_Y_Q_M_P_ALL

O7工业月粒度到牌号K_TJIK_CIG_Y_Q_M_AEL

O8工业日粒度K_TJIH_Y_Q_M_P_D_ALL

O9工业月粒度K_TJIN_Y_Q_M_ALL

O10工业旬粒度K_TJIN_Y_Q儿PJJJL

M第一页］k前一页］口后一页IM最末页||•跳转I第1页/共2页共18条

I同步I|新建||■除|

表信息维护页面

表信息维护页面为三个部分：查询区、列表呈现区、操作区。对表信息

维护页面说明如下：

1）查询区：可通过输入表中文名称、表英文名称，对表信息的相关信

息进行过滤，只呈现操作人员所关注的数据。

2）列表呈现区：呈现数据查询结果，显示序号、表中文名称、表英文

名称等信息，可以点击表中文名称进入表信息修改/查看页面。

3）操作区：供应同步、新建、删除等功能操作。

2.1.2.3.20

可依据表中文名称、表英文名称对表信息进行查询，在列表呈现去呈

现操作人员所关注的数据。

2.1.233修改

点击表中文名称中的链接，进入字段信息维护页面，可对表信息进行

修改操作。

□当前位置：->语义信息维护->字段信息维护Q使用带助

■表设置

表中文名称：|校，基本表|表英文名称：|ddp_check_base||装载|

■字段设置

序号字段英文名称顺序字段中文名称选择指标

1ID匚国号」1选择指标1

2CHECK.CODE21枚睑代码11选择指标

3CHECK.NAME二售验名称J

4STATUS41状态11选择指标【

5UPDATE_TIME51更新时间1选掾指标1

表信息修改页面

.4同步

点击表信息维护页面的“同步”按钮，可将数据中心的数据同步到库

表中，对于库表已经存在的数据不作处理。

.5新建

点击表信息维护页面的“新建”按钮，进入字段信息维护页面:

当前位置：->语义信息维护->字段信息维护Q使用指助

■表设置

表中文名称：|校验基本表|表英文名称：M-ckba"||一.|

■字段设置

序号字段英文名称顺序字段中文名称选择指标

1ID匚度号」1选择指标1

2CHECK.CODE二1校验代码1[_选择指标」

3CHECK.NAME3悭验名称」1选择指标

4STATUS匚1选择指标1

5UPDATE_TIME1更新时间1选择指标1

字段信息维护页面

字段信息维护页面主要包括三个区域：表设置区、字段设置区、操作

区。对字段信息列表呈现页面说明如下：

1）表设置区：供应表中文、英文名称输入框，装载按钮等。表英文名

称只能是数据库中存在表的名称，要不不能装载，点击“装载”

按钮后，字段设置区会将数据库表中的字段信息呈现出来。

2）字段设置区：显示序号、字段英文名称、依次、字段中文名称、选

择指标等信息，依据装载的表，按表依次显示字段英文名称和依

次，点击选择指标列的选择“指标按钮”，出现指标数据对话框,

选择里面的数据后将在字段中文名称中显示，也可以对“字段中

文名称”进行修改。

3）操作区：供应保存字段信息、返回上一级菜单等功能。

指标数据对话框

2.1.236删除

选择表信息列表第一列的单选框，选中指定表信息，点击“删除”按

钮，将该表信息删除。

2.1.3数据结构维护

功能描述

在语义信息维护中建表的基础上，用户可以配置以某种加工业务类型

和语义主表为依靠的表、表对应字段等信息，并将配置的信息保存到数据

库中，为数据加工体系供应基础结构。

操作此功能的角色

加工逻辑设计者。

运用说明

2.L3.3.1数据结构维护页面

在动态数据加工菜单下选择加工逻辑设计数据结构维护，进入数据

结构维护页面：

Q当前位置：->动态数据加工->加工逻辑设计->数据结构维护«使用帮助

■查询条件

表中文名称：匚表英文名称：匚

序号表中文名称表英文名称依赖表英文名称依赖类型

O1DDP_YQMP_PSDDP_YQMP_PSDDP_YQMPD.PS时间降维

M第一页IM前一页］一后一页I一最末页11118跳阁第1页供［页共1条

nr^~inir¥~i

数据结构维护页面

数据结构维护页面为三个部分：查询区、列表呈现区、操作区。对数据

结构维护页面说明如下：

1）查询区：可通过输入表中文名称、表英文名称，对表信息的相关信

息进行过滤，只呈现操作人员所关注的数据。

2）列表呈现区：呈现数据查询结果，显示序号、表中文名称、表英文

名称、依靠表英文名称、依靠类型等信息，可以点击表中文名称进

入表信息修改/查看页面。

3）操作区：供应新建、删除等功能操作。

2.1.332查询

可依据表中文名称、表英文名称对表信息进行查询，在列表呈现去呈

现操作人员所关注的数据。

.3查看表基础信息

点击表中文名称中的链接，进入创建表页面，可查看表基础信息。

£当前位置：—>动态数据加工->加工逻辑设计->/据结构雉妒->自廉表Q使用帮助

■表设置

表中文名称：DDP_YQMP_PS表英文名称：DDP_YQMP_PS

侬赖袤英文名称：DDP_YQMPD_PS侬赖类型：时间降维

■手段选择

序号字段英文名称字段中文名称字段J防

1D_YEAR年字符、1

季字符氐

2DJUARTER2

3D_M0NTH月字符3

4DJERIOD旬字符4

5T年8

6Q手7

7■月8

8P旬9

9I_ORG组织机你码11

10PRINTNUM1卷烟打吗量12

12TEKMST0CK1期末库存14

13TERHSTOCK1_P上期期末库存15

14INITST0CK1期初库存18

15IKITSTOCK1_P上期期初庠存17

16UPDATZ_n»E更新时间18

non

查看表页面

2.L3.3.4新建

点击数据结构维护页面的“新建”按钮，进入创建表页面：

□当前位置：>>动态数据加工-〉加工置辑设计->数据结构维护->自犍表Q使用精助

■表设置

表中文名称：11表英文名称：||

侬赖衰英文名称：DDP_TJIN_Bv侬粒类型：时间降绻

■字段选择

□序号字段英文名称字段中文名称字段J贿

□1D_YEAR年字符1

□2D-QVABTER李钙2

□3D_IOKTHK月字符3

□4D_PERI0D句字符\

□5D_DAY日诩5

□6Y年6

□7Q李7

□8M月8

□9P旬9

□10D日10

□11I.ORG蛆织机构代码11

□12PRIlfTMUMl卷烟打同量12

□13TERBST0CK1期末库存13

□14IMITST0CK1期初库存14

□15UPDATE.TIIIE更新时间15

创建表页面

创建表页面主要包括三个区域：表设置区、字段设置区、操作区。对

创建表页面说明如下：

1）表设置区：供应表中文、英文名称输入框，依靠表英文名称、依靠

类型下拉菜单等。依靠表英文名称是在语义信息维护中定义的表,

依靠类型是加工业务类型。选择一项依靠表英文名称后，字段设

置区会将数据库表中的字段信息呈现出来。

2）字段设置区：显示序号、字段英文名称、字段中文名称、依次等信

息，依据语义主表，按表依次显示字段英文名称、字段英文名称

和依次，点击复选框，就会生成对应字段的新表。

3)操作区：供应保存字段信息、、返回上一级菜单等功能。

2.1.335删除

选择表信息列表第一列的单选框，选中指定表信息，点击“删除”按

钮，将该表信息删除。

2.2加工任务调度

2.2.1数据源注册

功能描述

(1)实现增加、删除、修改和查询

增加：接受向导的形式，供应添加数据源基本信息的界面客户进

行增加数据源，对于数据库连接的注册，注册应用服务器

的数据库连接池的连接信息。

删除：假如有其他加工工作在引用该数据源，则不允许删除

修改：修改数据源的注册资料

查询：供应数据源列表查询，可以依据数据源名称和类型来查询;

数据源名称支持模糊查询。

(2)连接测试

对于数据库类型的数据源，测试其连接是否成功。

操作此功能的角色

加工逻辑设计者。

运用说明

在系统菜单中选择动态数据加工加工任务调度数据源注册，进入

数据源注册列表页面：

Q当前履：->动态教据加工->加工任务调度->辘源注册Q使用褶助

■查询条件

数数据据源源名g称：：1।I।数数据据酸酸型型：：।【【-喳全部》7】V-S3

序号数据源名称类型数据源雕建立时间

□1数据中心鼻体雷DB2数得中心实体障201