DataStage作业开发规范-V2.3

1、 DataStage 开发规范北京先进数通信息技术有限公司2007年11月文档信息标题DataStage开发规范创建日期2007-11-4文件名DataStage开发规范V2.3.doc存放目录作者陈博修订记录日期 描述作者2007-11-09修改了SQF STAGE的命名以及参数命名陈博DataStage EE开发规范北京先进数通信息技术有限公司 版本：V2.1目 录 TOC o 1-3 h z u HYPERLINK l _Toc176172091 目 录 PAGEREF _Toc176172091 h i HYPERLINK l _Toc176172092 1. 布局规范 PAGEREF

2、 _Toc176172092 h 1 HYPERLINK l _Toc176172093 2. 注释规范 PAGEREF _Toc176172093 h 2 HYPERLINK l _Toc176172094 3. 命名规范 PAGEREF _Toc176172094 h 2 HYPERLINK l _Toc176172095 3.1 Sequential file输入输出文件的命名 PAGEREF _Toc176172095 h 3 HYPERLINK l _Toc176172096 3.2 Project命名 PAGEREF _Toc176172096 h 3 HYPERLINK l _T

3、oc176172097 3.3 Job目录的命名 PAGEREF _Toc176172097 h 3 HYPERLINK l _Toc176172098 3.4 Job的命名 PAGEREF _Toc176172098 h 3 HYPERLINK l _Toc176172099 3.4.1 按功能划分的job命名 PAGEREF _Toc176172099 h 3 HYPERLINK l _Toc176172100 3.4.2 单独流程的job命名 PAGEREF _Toc176172100 h 4 HYPERLINK l _Toc176172101 3.5 Stage的命名 PAGEREF

4、_Toc176172101 h 4 HYPERLINK l _Toc176172102 3.6 Link的命名 PAGEREF _Toc176172102 h 6 HYPERLINK l _Toc176172103 3.7 Routine命名 PAGEREF _Toc176172103 h 7 HYPERLINK l _Toc176172104 3.8 DATASTAGE 中Table Definition命名 PAGEREF _Toc176172104 h 7 HYPERLINK l _Toc176172105 3.8.1 Source PAGEREF _Toc176172105 h 7 H

5、YPERLINK l _Toc176172106 3.8.2 Target PAGEREF _Toc176172106 h 7 HYPERLINK l _Toc176172107 3.9 DATASTAGE 中Schema命名 PAGEREF _Toc176172107 h 7 HYPERLINK l _Toc176172108 3.10 Store procedure程序命名 PAGEREF _Toc176172108 h 7 HYPERLINK l _Toc176172109 3.11 Shell Script程序 PAGEREF _Toc176172109 h 8 HYPERLINK l

6、 _Toc176172110 3.12 SQL Script程序 PAGEREF _Toc176172110 h 8 HYPERLINK l _Toc176172111 3.13 Reject文件的相关规范 PAGEREF _Toc176172111 h 8 HYPERLINK l _Toc176172112 3.14 Warning文件的相关规范 PAGEREF _Toc176172112 h 9 HYPERLINK l _Toc176172113 3.15 控制文件的相关规范 PAGEREF _Toc176172113 h 9 HYPERLINK l _Toc176172114 3.16

7、就绪文件的相关规范 PAGEREF _Toc176172114 h 10 HYPERLINK l _Toc176172115 4. 目录规范 PAGEREF _Toc176172115 h 11 HYPERLINK l _Toc176172116 5. 公共参数、环境变量说明 PAGEREF _Toc176172116 h 12 HYPERLINK l _Toc176172117 5.1 通用参数 PAGEREF _Toc176172117 h 12 HYPERLINK l _Toc176172118 5.2 参数管理、使用 PAGEREF _Toc176172118 h 13 HYPERLI

8、NK l _Toc176172119 5.3 参数传递 PAGEREF _Toc176172119 h 13 HYPERLINK l _Toc176172120 6. 公用组件说明 PAGEREF _Toc176172120 h 13 HYPERLINK l _Toc176172121 附录1.SAMPLE PAGEREF _Toc176172121 h 14 HYPERLINK l _Toc176172122 附录2.关于开发环境使用及注意事项的通知 PAGEREF _Toc176172122 h 14布局规范布局应自左向右，自上而下，层次分明，布局协调，主要的数据流为从左到右成直线（单一输

9、入输出）或成扇形（多输入输出），次要数据流为自上到下成直线（单一输入输出）或成扇形（多输入输出），STAGE与STAGE 之间应留有足够的空间展示STAGE之间连接线上的信息。单主要输入输出，如下图：多主要输入输出如下图：注释规范作业的头上须表明作业加工的档名，下方须表明作业加工逻辑， 所有的属性中须注名作业的作者，及设计思路。对设计的流程做适当的说明以便让人更易理解，如上图。datastage命名规范注意事项：Stage的命名全部使用英文，参数注释也必须使用英文。Job中使用Annotation stage来做模块说明可以使用中文注释。命名规范为：三位大写字母表示stage的类型 + 小写字

10、母组成的其它信息。所有的输入、输出以及HASH文件均采用参数赋值，参数名与Sequential file的命名类似。Sequential file输入输出分隔符输入输出的分隔符号格式如下图：Project命名分成两个Project，一个用于开发odsdvlp，一个用来管理已经完成的作业:odsver。Job目录的命名根据实施阶段的不同来命名job的目录。在odsdvlp中：逻辑模型设计目录在Jobs下建立目录logic model。再在logicmodel目录下建立不同源系统的目录，用于存放逻辑模型设计阶段的各个源系统的job，并且作业名后缀为“_lgc”。物理设计目录在Jobs下建立目录ph

11、ysic model。再在physicmodel下建立不同源系统的目录。用于存放物理模型设计阶段的各个源系统的job，并且作业名后缀为“_phy”。3个人目录在Jobs下，建立目录test，test中为每个人创建一个私人用来做调试的目录。Job的命名按功能划分的job命名此种job的命名是针对一项任务拆分成为了多个job的命名方式格式：逻辑模型阶段：Systemname_targetsystemname_tablename_jobtype_lgc物理模型阶段：Systemname_targetsystemname_tablename_jobtype_phy说明：系统名（与业务系统不属于一个概念

12、）说明bcv数据源（INFORMIX数据库）fs文件服务器sdm标准层fdm基础模型层待补充Systemname：源系统的名称Targetsystemname：目标系统名Tablename：目标系统的表名称Jobtype：job的任务类型Jobtype说明Ex抽取(Extract)Tr公共代码转换(Transform)Ld加载(Load)FTP传输(FTP)待补充单独流程的job命名此种job的命名是针对一个任务在一个job中就全部完成的命名方式。格式：逻辑模型阶段： srcsystemname_targetsystemname_tablename_lgc物理模型阶段： srcsystemna

13、me_targetsystemname_tablename_phy说明：Srcsystemname 源系统名称Targetsystemname 目标系统名称tablename 目标系统表名Stage的命名Stage Name命名说明AggregatorAGG_description聚合DB2/UDB API(DB2/UDB Enterprise)DB2_tablenameDB数据表，其中tablename为表名Ftp Enterprise(ftp plug-in)FTP_direction_filenameFTP，其中direction为ftp的方向，get为下传，put为上传，filenam

14、e为生成的文件名MergeMRG_description数据合并ODBC data accessODB_tablenameODBC数据表，其中tablename为表名Oracle OCIORA_tablenameOracle数据表，其中tablename为表名Informix CLIINF_业务系统名_tablename例如：从CBS采集数据到文件服务器：inf_cbs_ t_srm_itm_dictInformix数据表，其中tablename为表名Sequential file卸数阶段，只会有一个输出文件，命名为:SEF_业务系统_原表表名_属性。从文件系统取数据，加工到SDM，只会有一个

15、输入文件，命名同卸数的输出：SEF_业务系统_原表表名_属性。WARING和REJECT文件，只出现在从文件系统取数据，加工到SDM，命名为：SEF_业务系统_原表表名_属性_wr/rj。业务系统包括：CBS、PBS、CMMS、ATMP属性包括：ADD、ALL文件操作，参见上面的文件命名规范Systemname为源系统的名称Table为操作文件数据的表名称增量全量标志为 All：全量Add增量，del-删除文件。如果存在跨系统的生成的目标文件，源系统名填写输入主表对应的系统Hash fileHASH_业务系统_原表表名_属性。注：在此次项目中不会出现SortSRT_description数据排

16、序TransformerTRF_description数据转换由于需要根据输入、输出文件的stage的名称进行数据平衡跟踪以及，故输入输出文件的stage命名必须严格按照上述的规范。Link的命名格式：LK_description说明： LK为link的简称，所有的link命名都使用LK作为头。如Sequential file的link指向一个look up。则link命名为LK_description注意：如果一个stage只有一个link的输入，则不需要填写Description,只需要填写link的序号。如果一个stage有多个link的输入或输出，则需要填写Description。De

17、scription的填写方式要体现link的主从关系。为主键的link的Description填写master，其他的link填写subject序号。例如一个join stage有2个link的输入，主的link为LK_left，另一个link为LK_right。如一个filter stage 有两个输出（分别是性别是男的和女的的输出），则一个link命名为LK_male，另一个link命名为LK_female等。Routine命名格式：RT_functionname说明：functionname为Routine的功能描述DATASTAGE 中Table Definition命名ETL过程中的

18、TableDefinition共有以下几类：Source格式：source/systemname/tablenamesdm/systemname/tablenamefdm/systemname/tablename说明：HYPERLINK l _2.1.2系统命名systemnamesystemname为源系统简称tablename为源表名Target格式：systemname/target/tablename说明： HYPERLINK l _2.1.2系统命名systemname systemname为目标系统简称tablename为目标表名DATASTAGE 中Schema命名格式：$PAT

19、H_CFG/schema/systemname_tablename.osh说明：HYPERLINK l _2.1.2系统命名systemnamesystemname为源系统简称tablename为源表名Store procedure程序命名格式：systemname_functiondescription说明：systemname为系统简称functiondescription为存储过程的功能说明，如果存储过程是为了加载某张表，则直接使用表名，如果该存储过程只是为计算某一特定字段，则可用该字段名表示，如果是同时计算多个字段，则独立命名Shell Script程序格式：systemname_sc

20、riptdescription说明：systemname为系统简称scriptdescription为shell脚本的功能说明SQL Script程序格式：systemname_scriptdescription说明：systemname为系统简称scriptdescription为sql脚本的功能说明Reject文件的相关规范文件命名：WARING和REJECT文件，只出现在从文件系统取数据，加工到SDM，命名为：业务系统_原表表名_属性_wr/rj。业务系统包括：CBS、PBS、CMMS、ATMP属性包括：ADD、ALLReject的内容：长度不对的数据控制文件的相关规范文件命名:目标文件

21、名_ctl.xml内容规范:(举例) 开发样例：（参考sample job：hdfile_sample_xml）就绪文件的相关规范文件命名:target_system_source_system_xxx_READY_yyyymmdd.xml内容规范: FF1010_0001_XXX_20060121_000.dat2344560117729所有的输入、输出文件均采用参数赋值，参数名与Sequential file的命名类似。参数规范所有的输入、输出文件、WARING文件以及REJECT文件均采用参数赋值，参数名与Sequential file的命名相同。 Hash文件：同于HASH FILE

22、STAGE的命名Hash文件做匹配的字段需要做去空处理日期采用 par_date以下关于数据库的参数，采用环境变量，用户自定义的参数：数据库:$DB数据库密码:$DB_PASSWD数据库用户:$DB_USER。目录规范开发、测试环境的目录如下：目录名说明/PATH_HOME/bin执行程序目录/PATH_HOME/etc配置文件目录/PATH_HOME/sqlsql脚本目录/PATH_HOME/script引用的脚本目录/PATH_HOME/tools通用工具目录/PATH_HOME/datastageDS的project相关目录/PATH_HOME/log/yyyymmdd日志目录/PATH

23、_HOME/file数据文件目录/PATH_HOME/file/wr存放目录WARING文件/PATH_HOME/file/sdm/存放标准层落地文件/PATH_HOME/file/fdm/存放模型层落地文件/PATH_HOME/home/file/fs/存放FS文件/PATH_HOME/file/rjReject文件目录/PATH_HOME/file/hashhash目录其中file内的目录层次以及目录内的文件命名如下表示：/PATH_HOME/file/fs/cbs/20071011/cbs_源系统的表名_all_20071011.dat/PATH_HOME/file/sdm/cbs/20

24、071011/cbs_sdm_sdm的表名_all_20071011.dat/PATH_HOME/file/fdm/crd/20071011/sdm_fdm_相应主题的表名_20071011_all.dathash文件如下：/PATH_HOME/file/hash/fdm/crd/20071011/sdm_fdm_对应sdm的表名_20071011_all.datrj文件如下：/PATH_HOME/file/rj/cbs/20071011/cbs_源系统的表名_all_rj_20071011.datWr文件如下：/PATH_HOME/file/wr/cbs/20071011/cbs_源系统的表

25、名_all_wr_20071011.dat公共参数、环境变量说明通用参数系统环境变量静态环境参数（ds project）环境变量名解释类型PATH_HOME主目录StringPATH_DATA数据存放主目录StringPATH_DATA_IN输入数据目录StringPATH_DATA_OUT输出数据目录StringPATH_DATA_TEMP中间数据目录StringPATH_DATA_DATASETdataset数据目录StringPATH_LOG日志目录StringPATH_CFG配置文件目录StringPATH_BIN执行程序目录StringPATH_TOOLS工具目录StringPATH

26、_SQLsql脚本目录StringPATH_SCRIPT其他脚本目录StringSDM_DB数据库StringSDM_DB_USR数据库用户StringSDM_DB_PWD数据库密码EncryptedCBS_DBCMS_DB动态运行参数参数变量名解释类型par_date运行日期Stringpar_branch99位分行号Stringpar_branch33位分行号Stringpar_yyyy四位年Stringpar_mm两位月Stringpar_dd两位日Stringpar_yy两位年Stringpar_m一位月(1-9,10-A,11-B,12-C)Stringpar_t每月的第几旬Stringpar_yesterday昨日Stringpar_btype业务类型String参数管理、使用环境参数由系统管理员通过DATASTAGE ADMINISTRATOR进行统一维护；作业开发人员，在开发时定义job的公共变量、私有变量，并将私有变量填写到最新*作业设计模版.xls；作业调度人员通过填写后的*作业设计模版.xls配置生成作业调度的配置表（job sequence登记表）；系统管理员根据填写后的*作业设计模版.xls生成作业参数配置文件；公共组件设计人员根据作业参数配置文件进行相关参数