培训高级应用

1、培训高级应用概述 部门维是DW常见的纬度，在业务系统维护基础数据，但业务系统一般只保留最新数据，因此DW需要保留历史数据，即实现缓慢变化维。 对于缓慢变化维，常见的做法是新增Begin_Date和End_Date两个字段，通过这两个字段配置记录的有效性；另外，对于在业务系统已经被删除的记录，可在DW新增DELETE_FLAG字段加以标识。 在业务系统里，部门表的唯一索引是DEPT_CODE，而在DW里，部门维表的唯一索引有两个：FIN_DEPT_ID、DEPT_CODE+BEGIN_DATE。概述（续1） 在部门表里，在2008-12-18那天对下面几个记录做了增删改的处理：新增绿洲这个部门、

2、删除美洲这个部门，行政部的第一部门地址由浙江华为修改为广东华为。DEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CN0061079600美洲3康华为0371107行政部浙江华为00610796001绿洲3康华为概述（续2） BIS在2008-12-19抽取部门表数据，并在DW里经过缓慢变化处理后，数据在部门维表存储如下：DEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_FLAGBEGIN_DATEEND_DATEDELETE_FLAG0061079600美洲3康华为N200

3、6-1-12008-12-18 10:16:58Y00610796001绿洲3康华为Y2008-12-19 10:16:58N0371107行政部浙江华为N2006-1-12008-12-18 10:16:58N0371107行政部广东华为Y2006-12-19 10:58:58NDataStage ETL 高级应用高级应用下面是设计开发完成的实现缓慢变化维的JOB，分三部分： 1、取出增、删、改的数据（见蓝色框内容）2、处理增、删部分的数据（见白色框内容）3、处理修改部分的数据（见黑色框内容）点击按钮可进入环境参数定义界面DataStage ETL 高级应用高级应用配置Src_Before：

4、从部门维取出当前有效的部门维（Src_After从源表取出数据）取出当前有效的部门维DataStage ETL 高级应用高级应用对比修改前和修改后的数据，在Change_Capture捕捉发生变化的数据DEPT_CODE作为Key字段DataStage ETL 高级应用高级应用DSLink11输出的数据流如下：DEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CN0061079600美洲3康华为0371107行政部广东华为00610796001绿洲3康华为DataStage ETL 高级应用高级应用在Filter根据change_code对增

5、删改数据进行分流 Output Link = 0 = Lnk_Edit_Data Output Link = 1 = Lnk_Ins_Del_DataDEPT_CODE作为Key字段这 一 块 分 流 用 作DEBUG，输出到PeekDataStage ETL 高级应用高级应用在Orac_Target_Table通过SQL写入新增的数据到部门维表，更新被删除数据的Delete_Flag为YDataStage ETL 高级应用高级应用下面就是在部门维表里经过处理的新增、删除数据DEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_F

6、LAGBEGIN_DATEEND_DATEDELETE_FLAG0061079600美洲3康华为N2006-1-12008-12-18 10:16:58Y00610796001绿洲3康华为Y2008-12-19 10:16:58NDataStage ETL 高级应用高级应用Lnk_Edt_Data的数据经过Copy_14拷贝后，一条输出数据流DSLink17与Src_Source的数据流在Join_46关联，取出Src_Source里被修改前的数据：FIN_DEPT_IDDEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_FLA

7、GBEGIN_DATEEND_DATEDELETE_FLAG3711070371107行政部浙江华为Y2006-1-1NDataStage ETL 高级应用高级应用在Column_Generator_25给修改前的数据增加change_code字段：DataStage ETL 高级应用高级应用设置change_code的数据生成规则DataStage ETL 高级应用高级应用对于修改后的数据也需要新增字段与修改前数据进行匹配：在Column_Generator_47增加Begin_Date等字段DataStage ETL 高级应用高级应用设置Begin_Date、End_Date等字段的数据生

8、成规则DataStage ETL 高级应用高级应用然后，在Funnel_27对两个数据流进行合并，输出数据流在Transformer_30根据change_code对Begin_Date等字段进行处理DataStage ETL 高级应用高级应用在Oracle_Enterprise_32通过SQL写入修改后的数据到部门维表，更新修改前的数据的End_Date等字段DataStage ETL 高级应用高级应用下面就是在部门维表里经过处理的修改前和修改后的数据FIN_DEPT_IDDEPT_CODEDEPT_DESCRIPTION_CNFIRST_DEPT_DESCRIPTION_CNVALID_FLAGBEGIN_DATEEND