全时bo培训视屏-etl工具手册编写

JasperETL工具说主题：ETL抽取工具项目名称：ETL抽取工具撰写单位：海鼎作者：胜版本号：0.1胜文档名（JasperETL工具说明背景ETL作业能够在客户环境中正常的运行。ETL工具搭建好后,ETLETL常用功能和控一．ETL工具安二.ETL工程的导入和导ETL此处默认的工程名为HD_ETLETL三.ETL工程的配BusDatabase0.1:业务库（POS4数据库）DW20.1:BI的HDBI用户的数据库DWDatebase0.1:BIdatatrans用户的数据库Src_cardnormal0.1:card的普通用户数据库Src_cardsecure0.1:card的机要用户数据库【：IDDBOracleETL进入DIM_ETL_First1.0检查错误信息存放的excel文件夹在应用服务器上是否存在（E:ETL/EDIL/EL_EO.xsETLPLSQLDATATRANS用户登录HDBI数据库,更新下面的内容：2014/7/62014/7/5，insertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'cardhst','已完成',sysdate,'抽取卡流水信息成功');insertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'INVDRPT','已完成',sysdate,'抽取库存日报成功');insertintoETL_INC_LOGvalues(to_date('2014/7/5'yyyy.mm.dd''SDRPTS',',sysdate,sdrptsdrptinsertintoETL_INC_LOGvalues(to_date('2014/7/5'yyyy.mm.dd''BUYSsysdate,BUYinsertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'BUSBILL','已完成',sysdate,'抽取供应链表单成功');insertintoETL_procFAC_LOG','yyyy.mm.dd'),'APPLYCHAIN','已完成',sysdate,'加工库存成功 'PAC_CARDSALE_DAY','已完成',sysdate,'加工会员成功');insertintoETL_procFAC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'INVDRPT',已完成',sysdate,'加工库存成功insertintoETL_procFAC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),SALE',成',sysdate,'加工销售成功');BIBIHDBIhdbivalues配置表，用于配置各类基本资料的分级代select*fromhdbi.hdbivaluesforupdate;ETL在数据库中可以编译DIV_ETLDIM_CARDNORMAL1.0抽取card基本资料DIM_ETL_GOODS1.0ETL_DIM_STORE1.0：抽取门店基本资料FAC_APPLYCHAIN0.1：抽取供应链资料FAC_CARDNORMAL0.1：抽取card资料ETL_FAC_INVDRPT0.1：抽取库存资料ETL_FAC_INV0.1：抽取库存月报资料ETL_FAC_XS2.0：抽取销售资料ETL_APPLYCHAIN0.1供应链资料加载ETL_CARDPRO0.1ETL_INVPRO0.1ETL_PRO0.1 datatrans6库，检查hdbi_log表里面是否有逻辑报Select*from邮件的配邮件的推送人员邮箱，并在sendername和subject中增加客户名称。检查excel对应的文件 四．定时调度HD安装包\HDETLETLpycron-0.5.9.0.exeETL参考 打开要调度的作业,选中【Scheduler[deprecated]】里面的【+】,选中要调度的任务,ETL_CARDPRO0.1【Scheduler[deprecated],ShowviewScheduler[deprecated]】调度口令为：*****E:/ETL/TOS_DI-Win32-r78327-V5.0.2/jre/bin/java.exe-Xms256M- E:/ETL/TOS_DI-Win32-r78327-V5.0.2/jre/bin/java.exe将-Xms256M etl_hd.etl_cardpro_0_1.ETL_CARDPRO--context=Default%*里面的TOS_DI-Win32-r78327-Minute：设置分钟*5,656分钟执pycron.log，如果作业完成的rc=0，表示运行正确，rc=1表示运行错误rc1的情况下，要查看错误日志里面记录的错误注意：不管是按照I的方法，还是II的方法,都必须将TOS_DI-Win32-r78327-V5.0.2文件夹下面的workspace一份到与TOS_DI-Win32-r78327-V5.0.2在同级 批量调度任3处地方需要调整：crontab.txt在标准环境：C:\ProgramFiles\pycron以一个客户的门店基础数据调度任务为例（已经将TOS_DI-Win32-r78327-V5.0.2/去掉）调度任务为：*****D:/Java/jre6/bin/java.exe-Xms256M-Xmx1024M-Dfile.encoding=GBK- qdyk_etl.etl_dim_store_1_0.ETL_DIM_STORE--context=Default%*java（java存放的地址会有所不同java地址替换所有java地址用D:/Java/jre6/bin/java.exe替换方框中所有内容 （ 用D:/etl_tool替换图中方框中的所有内容（qdyk_etl替换掉图中画线的所有内容注意：不管是按照I的方法，还是II的方法,都必须将TOS_DI-Win32-r78327-V5.0.2文件夹下面的workspace一份到与TOS_DI-Win32-r78327-V5.0.2在同级 五.ETL常用功能和控【：IDJOB库中创建好Schema注意：数据如果是DEC类型的字段,精度会丢失,配置的时候把精度加通过etl软件的SchemaSchemaSchema”,可以把业务库的字段传递过控件都在屏幕右边的画板中,这里介绍常见的控件tOracleInputtOracleInputschema中,tOracleInputtOracleOutput或tFileOutputExcel一起用tOracleOutput例如上面的将AREA表数据抽取结束转到BRAND表的抽取,就用到了触发器,一般触发器我tOracleRowtOracleRow控件用来进行对表的增删改查的操作,也可以进行过程操作，过程可以tfileOutputExcelexcelexcel存放的地址，文件名以及数据的存放tfileoutputexcel文件,tOracleInput一起连用,ETL_INC_LOGE:/ETL/SENDMAIL/ETL_INC_LOG.xlsETL_INC_LOG.xlstLogCatcher是用来捕获tOracleRow,tOracleOutput,tContextLoad, dMail等控件在运行中产生的错误信息,一般和tFileOutExcel文件一起用,以便将所得信息存放在excel当中注意：tOracleRow,tOracleOutput,tContextLoad,dMail控件的【错误时终止】必须勾上,否dMail将在excel当中的内容通过邮件发送出tContextLoadtLoop控件（循环语句的使用select'lastday'key,to_char(max(fildate)+1,'yyyy-mm-dd')value