ETL平台案例实战_第1页
ETL平台案例实战_第2页
ETL平台案例实战_第3页
ETL平台案例实战_第4页
ETL平台案例实战_第5页
已阅读5页,还剩56页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

ETL平台案例实战Lab1任务开发和调测通过插件配置完成一个简单的ETL开发手动本地方式运行ETL跟踪本地方式运行日志强制停止本地方式任务实例手动远程方式运行跟踪远程实时运行日志强制停止远程方式任务实例使用JS雨件动态获取时间变量添加注释小结(Lab1)Lab2流程设计和调测创建一个单层流程创建一个多层的流程增加一个数据校验点增加一个数据校验点增加异常告警点小结(Lab2)Lab3流程监控增加一个监控视图通过监控视图查看流程执行状态查看流程运行时间记录查看校验点输出结果…定位异常重处理任务小结(Lab3)Lab1任务开发目标:将表从数据源库复制到本地库。.登陆进入ETL平台,切换到“设计”场景下;.展开目录,定位到目录“09测试”下“lab”子目录;.右键单击“lab”子目录,选择“新建任务”,弹出任务设计视图,按Ctrl+S或工具栏上的保存按钮进行保存,命名为“T-lab01",按确定后确认保存成功;.切换左侧TAB页签至“插件”栏下,依次从“输入”文件夹拖入“表输入”插件,从“表输出”文件夹中拖入“表输出”插件;.选中右侧设计区中“表输入”插件实例,按住shift键同时按下鼠标连接至“表输出”,再次保存;.双击“表输入”插件,进入插件参数配置界面。点击“新建”按钮新建出源表所在的数据库连接,假定源表在166的crm_inter用户下:

将数据库连接取名为LAB(166_crm_inter)

.点击“测试”,确认配置正确。点击“确定”返回,在当前页面,再次点击“数据库连接”后的“新建…”按钮,按6同样的方法新建出目标库,这里假定是134的eda用户下,连接名取为“LAB(134_eda)”

.返回到“表输入”插件配置表单。将名称改为带业务含义:“主产品实例源表(562)数据库连接选择“LAB(166_crm_inter)”,在SQL域填入以下内容:SELECTPRDINSTID,PRDINSTNAME,PRDINSTDESC,PRDINSTTYPEID,SERVICE_NBR,PHYSICAL_NBR,CUST_AGREEMENT_ID,REGION_ID,SERV_REGION_ID,EXCH_ID,RES_ZONE_ID,URBAN_FLAG,URGE_CD,PRDINSTSTASID,PAYCUSTID,USECUSTID,OWNCUSTID,CRTDATE,EFFDATE,EXPDATE,MODDATE,EFFSTATE,LATNID,PRDID,OFRID,COMPLETEDATE,SERVNUM,INSTALLADDR,STANDADDR,ORDERID,CONTRACTED,EVOLUTIONPTYID,ACCTID,USERBILLID,USERTYPEID,USERKINDID,ACCEPTDATE,ACCEPTEMPEEID,ACCEPTTYPECOD,INSTALLDATE,INSTALLEMPEEID,SUPPADDRDESC,SENDSTATUS,LASTORDERID,DEVEFPDATE,DEVEXPDATE,BESPDATE,BESPSYMBOL,BILLDATE,BILLXCHGID,PAYCYCLE,USERACCOUNT,IFPREPAY,IPFLAG,BASICSTATE,EXTSTATE,VOICEAOCTYPE,DATAAOCTYPE,ISMPAOCTYPE,SMSAOCTYPE,USECUSTNAME1,USECUSTNAME2,USECUSTNAME3,BUSINAME,USEADDR,IFIVPN,LOADDATE,LOCALPARTITIONIDFROMprdprdinstd562WHERErownum<=100000

这里表示从源表中复制所有字段,暂取其中的10万行记录;点击“预览(P)”按钮进入数据查看窗体,以此验证SQL配置正确性;表皆入SQL步骤名称q堂呈实例源表(5葩h数据库连接:DATA_AOC_TYPEI5MP_A0C_TYPESMS_AOC_T¥PE.USE_CUST_NA14E1USELCUST_HAME27SE_CUST_NAME3.SUSI_NAMESQL步骤名称q堂呈实例源表(5葩h数据库连接:DATA_AOC_TYPEI5MP_A0C_TYPESMS_AOC_T¥PE.USE_CUST_NA14E1USELCUST_HAME27SE_CUST_NAME3.SUSI_NAME,USELADDEIFIVPN.LOAD_DATE,LOCA1_FARTITION_IDFROMtb_prd_prd_inst_d_5S2VHEREx'Qwnij.B<=100000口行71列允中延迟转换r替换刖L语句里的变量.从步骤插入薮据I

执行每一行?厂

记录数量限制|0步骤主产品实例通表卷改)的数据(1000行)PRDIKSTID1000^30FEBINSTNAME司编辕...।新建我取宴逼询语句一一3456T8910确定W取消您)100038310003351000386100038710003SS100033910003911000393immcjd关闭©I显示日志工).在SQLPlus或PL/SQLDeveloper中通过语句创建出目标表:createtabletbprdprdinstd562asselect*fromcrminter.tbprdprdinstd562@edwwhere1=2;.点“确定”后返回,双击“表输出”,按下图输入配置内容,切换至“数据库字段”,点击“获取字段”,所有的默认映射关系已按顺序自动建立。

匚匚3费给出步骤名称|主产品实例」接口表6四)数据库连接;|lAB(134_e(la)目标模式扃;目标表提交记录数量载典表ftb_prd_prd_inst_d_562目标表提交记录数量载典表ftb_prd_prd_inst_d_562|200004>茅选项f确定⑥|取消©茅选项f确定⑥|取消©密插入错误匚理野据库摩咸营1.2手动启动本地执行.双击“主产品实例接口表(562)”插件实例打开参数编辑状态,基于本地机器性能和网络考虑,临时修改“提交记录数量”为100,表示每100条提交一次,便于看到演示效果;.通过点击任务设计区左上角启动按钮,弹出“执行任务对话框”;.选择“本地执行”;.选中“执行前清理日志”,选择“详细日志”级别;.点击“启动”。

实时跟踪本地方式运行实例的执行情况启动一旦生效,可以看到以下几类执行信息:1、点击设计区下方“执行结果”栏“执行历史”页签中左上角刷新按钮,可看到当前正在运行的任务实例,以start状态体现,每执行一次这里就会产生条记录;2、设计区下方“执行结果”栏“日志”页签中显示的是当前实例的实时日志;TOC\o"1-5"\h\z执行结果回X|年执行历史心日志、型步廊tri"旦崩图Q台|覆2010/10/2203:C735-LAIC65_crm_inter)-Coittecieito也t北a8.超|2010/10/2203:CT35-LAIQ65erminter)-加匕5nBitoff_12010/10/2203:CT35-主产品实例源表白6£)0-Camieitedtoiatibise...2010/10/2203:CT35-T-laMl-步骤[主产品实列源表石昭).0]衽始七不完全』有缺陷.2010/10/2203:C735-T-laWl-方骤[主产品实娜口病562).0]初蛤化不完全」有缺陷.2010/10/2203:CT33-comect_e:1jlat-?reparing:mtatemen::2010/10/2203:C735-匚0小e「4打1式-IHSBRTIITDETL_STEP_STaTUSCSrATlTS,CREMEDME,ZD.BXTCH,ZD_5fEP,IIJRAMSl㈠LVE三(?,\?2010/10/2203:CT35-主产品实例源蓑弼£)0-开蛇运行一2010/10/2203:07:36-comect_etljlat-Preparingstatenent:2010/10/2203:07=36-co皿act二ell_pl@t—IHSEETIITDETL_STEFSTATUSCSTATVS.CRMTEDATE,ID_BKTCH,ID.STEP,IDJRABS)VALUES(7.£?,2010/10/2203:CT35-T-laMl-在落望分配了2援程一加1列珥.2010/10/2203:C736-主产品实例接口表(5费).0-开始运行..2010/10/2203:C735-主产品实例接口表6改).0-Fr«arEdstatement:ZiEERTIMTOedatb_prd_pri_inSt_d_562(FRIJIEIJD,.FRL_IBSTJfA叫FR3.设计区下方“执行结果”栏“步骤Metrics”显示的是当前任务的步骤信息、记录数信息,动态刷新;同时通过语句在SQLPlu或PL/SQLDevelope冲查询到目标端的插入记录数;selectcount(*)fromtb_prd_prd_inst_d_562t4、任务执行期间,点击任务页签上的叉号,关闭当前任务设计窗体,面布b(F费'通过资源库目录点击再次打开该任务,查看“执行历史”、“日志”和“步骤Metrics”页签内容,刷新到最新状态,可看到当前任务仍处于执行状态,但日志和步骤信息清零;稍等片刻后,日志出现“任务完成”信息上述过程说明,在本地执行时,关闭当前窗体并不关闭任务的执行退出平台时,手动方式启动的本地执行实例会自动停止。5、设计区下方“执行结果”栏“执行历史页签”中,点击已运行完状态为end的实例,在最底下可看到日志信息,处于start状态的日志则没有。执行结果%执行历史,厅日志"步脚泌门⑴尸性篇图$.1忖•*M三刖邺页共1页#任务名称1抵戌[D]状态1符续读」写]更新输入辅出楮误r1T-labOl337Sstart00000002T-labOl33T4IIS7577471515494□T57747757747D13T-labOl33T3end\410000□10000iaooo0II4T-labLH33T2T910000200000100001000005T-labLH33T1end6610000200000100001000006T-labOl3370start001D00007T-labOl3369endT31000020DD001DD001000004|STAHT2010/10/2203:41:^2-T-labOI*initialising2sttpi...)2010/10/2203:41:22-主产品实例源正史62).0〜Rujnningonsjiweserver#0/1.2010/10/2203:41:22-主产品实例接中^^白^上CL—-ENcniirjrFfrslaveserver#0/1.HI1.4手动启动远程执行.点击“当前对象”,右击“子服务器”文件夹“新建”,进入“子服务器对话框”配置界面;配置如下参数:配置好的服务器将在远程执行对话框中可选;.双击“主产品实例接口表(562)”插件实例,修改“提交记录数量”为10000;.通过点击任务设计区左上角启动按钮,弹出“执行任务对话框”;.选择“远程执行”及服务器;5.点击“启动”1.5实时跟踪远程方式运行实例的执行情况1、启动生效后,会自动弹出运行服务器上的实例监控页签,展开任务目录,可以看到当前任务处于Running状态,并有记录数实时提示;

点击“刷新”按钮可以实时看最新的状态信息;2、选中任务'T-lab01”中的一个步骤,可在下方看到实时输出日志;XT-labO1£g丫,terv•白:1泡84.1口E1:34:皿9口*5>>\^任务/步骤|复制的行数量|读|写|输入|输出|更新|拒鲂|日…;E任务上壬产品实例源表(56||«-X「1必一_■TTTTrrrffW7777上壬产品实例源表(56||«生产品实例接口表06210110011100010010001000+O流程♦I2010/10/2203:50:25-LAB(166_crm_inter)-Connectedtodatabase.2010/10/2203:50:25-LAB1166—erm:nter)-Autocommito££2010/10/2203:50:25-主产品实例I源表⑤62].口-Connectedtodatabase...2010/10/2203:50:25-T-lab01-Step[主产品实例源表(562[.0]initializedflawlessly.2010/10/2203:50:25-TT典—"SI即[上广品实网接耳表(562).0]initializedflawlessly.2010/10/2203:50:25-ct_etl_plat-Preparient:2010/10/2203:50:25XconnecCetlplat-INSERTINTOETI>^TEF_STATUS(STATUS,CREATEDATE,ID.BATCH,ID.STEF,ID_TE2010/10/2203:50:2/-主产品实例I源表(5B2).口-Startingt口、n...2010/10/2203:50:^5-connect_etl_plat-Preparingstatement:2010/10/2203:50:25-匚口nnect二etljlat-INSERTINTOETL_STEf_STATUS(STATUS,CREATEDATE,工D_EATCH,工D_STEF,ID_TE2010/10/2203:50:Zt-T-lab01-Transformationhasall口隹threadsand1rowsets.2010/10/2203:5口:26%主产品实例]接口表(562).口-Startin?Xrun...2010/10/2203:50:26品实例接口表(562).口-Prepa^Gdstatement:INSERTINTOeda.tb_prd_prd_inst_d_562(FED_IB3、通过关闭叉号关闭当前监控页:

Slaveserver134.64.106,134:0090"4、切换至“当前对象”下,通过子服务器右键菜单“监控”,再次激活出“监控”页签;任务设计当前对象赛懑库过滤器赛懑库-t任务E-XT-labOl由仁瞳接国已St«pE(步骤)闺已HopN节点连接):■■-0数据库分区□a子服务器|也「一-一f二ETL平台集群MchBma工134.S4.106,134:30共享134.S4.106,134:30监控5、点击设计区下方“执行结果”栏“执行历史”页签中左上角刷新按钮,可看到当前在远程运行的实例同样存有记录,以start状态体现;2、设计区下方“执行结果”栏“日志”页签中可以看到远程实例的启动时刻信息;“步骤Metrics无法显示远程执行的任务的步骤信息;3、退出平台,重新登录,观察正在运行的流程实例是否终止。

Lab2流程设计目标:串联Labi中完成的任务和一个外部程序,形成一个简单可执行的流程。.双击Labi中的任务实例打开,通过另存为形成lab目录下的副本,存为“T-lab02-01",在Lab2的后面将会引用并做少量调整;-|n|x|任务属性-|n|x|任务属性确定|取消&)|_.右键lab文件夹,选中“新建流程”,新建出一个流程,ctrl+s存为“J-lab02-01”;±■监控日•年任务/端程庄••日00主控调度-01接口抽取02企业数据模型整合白-。03基砒集市流表)生成+©01按天生成■—S02按月生成&04应用集市生成由f08公用Fa06测试heguoqiRg新建目录重命名删除目录新建流程新建任务刷新3,左边资源页签切换至“插件”,拖入“通用”->“START插件,切换至“资源库”,选中LAB仲的案例;切换回“插件”页签,拖入“脚本”->“shell”插件;连线成如下形式;4,配置shell1参数内容,使其指向我们的一个外部程序,参数暂时制定常量值;回执行一个玉hellM本一节点名称:脚唾两一般脚本插入脚本r脚本文件♦浏览宴一一・喈脚本文件♦浏览宴一一・喈IETL_HOME}/spp,1q工t,Lab_£t_pTd_in工匕sh日志设置指定日志文件?「追加日志文件?r日志文件中包含时间Tr日志级别:日志文件中包含时间Tr日志级别:伊诺日志执行成功返回码;殍将上一结果作为参数?厂对每个输入行执行一枚?r确定❿I取消确定❿I取消©I5.修改节点名称成如下形式,便于理解。现在一个流程已经设计完成。下面我们开始流程的测试。J-lab02-02J4abD2-01J-lab02-02J4abD2-01次1001V]资料整合〔丽芝二>6.为了快速看到效果,将第一个任务的记录数限制到10万行;.点击启动按钮,由于脚本在远程主机服务器上,因此只能选择“远程执行”.启动后,自动弹出的服务器监控中心中,可以找到对应的流程和任务记录:同样,在执行结果栏中,刷新后能看到执行记录:9.右键设计区的任务实例:资料接口抽I资料接口抽I新节点打开任务编辑节点编辑节点描述信息以并行方式运行下一个节点复制节点复制被选择的节点到段贴次CTRL-C前例/分布页共1页拆开节点删除所有该节点的副本可以看到下方“执行结果”区域有该任务的执行记录,每运行一次产生一条记录;-',JJ-lab02-01>■■余I囤I回主产品实例海表(562)主产品实例接口表[562〕STAET£010/10/22<rts7i3-[J-141D2-01],T-l*LD2-01工血适泳2sUpc...2010/10/22iT^IJy.Lj*_4露3-011_*产品量*例涯柒6L'l"Y宝f胃:七onslaveserver#0/1.“I再次查看监控中心日志:

2010/L0/22「4:332D10/10/22IL41132010/10/222010/L0/22「4:332D10/10/22IL41132010/10/22IL41132010/10/22「4L132010/10/221:4L132010/10/2211:41132010/10/2211:4]132010/10/22II43皑S010/10/22II411320107LC/EE"4口13和1QFLWEELL4113①I1W1W蹬LL41】32010/10/22IL4133S010/10/22IL4]TT^LQZW冬Jii川1414部2JS6£)C5B2)-用尸数汇总历眈J-用尸数忆总巧跄〕-用户数忆总网2〕(slieulj")■(sliout)-SELECT(sUouO-20101021,CsIiLout)qS62,(.sldoiLt)-prd_iiQldsmt)-countU.)(^ido-at)-FBDMtb_prd_prd_insl_d_56S(lUouO-6的底Ef--用户数?匚林(56ZJCniijiiO-prd_id-用户数汇总(56/Gl4m。-20HO-10-ZE1L:4L13[Mbu4[执行耗时ML[记录数】5l一甬户翻匚置靛g(HdQUt)~-用户数汇总行62〕-Connand/etl_hcme/ETL/app/1eev_numsti2OIOIOZ3562has;finished二.T71axFF1-Fi力iCqd』mh皿1ry「甩自费注葛应$之)11r“皿工,[trae])■?・i菽E叩1-Finishedjobthlrj[密科接口抽取出82JJ(I■山日iWRg])-J-libffi-01-=========J*KFi』iih€a========WE__二――^住若/多骡复制的打窗量律1写1箍入输出|更勘拒造情派1忧意£转任药&Ji1-141)01完成主产箱实例诙00由747TSTHT000DFifiished主产品实例接「075774177S774707E7747000Finia.d-:Y)流程-JJLQ-日洋单部分193B00000完成代收详单6L2000011晶成语在错谡)L0-宽带含并型&L20C门口才常感21-1&帅豆110M00300000100000100000000^丁完成_口U-接口我校■FL6UUUU£1死山.;JOOOODO2300000LI-低收详单-皇若c□0oQon靠成倍在错误)dAl■ff|雌|俱止|显示错谩行待完成后,通过SQ用句查询结果表数据:select*fromlabftprdinstt2.2创建一个多层的流程13目标:我们将引用Lab2.1中的流程,模拟全省数据的处理流程。先并行做完3个地市的数据处理后,再做下一步的环节。单本地网做接口表抽取、基础集市表数据整合,全省做完这两步后,再进行基础集市表向汇总集市表的生成。.双击T-lab02-01中的任务实例打开,通过另存为形成lab目录下的副本,存为“T-lab03-01”,在该例子中我们将对其做少量调整;.打开“T-lab03-01”的“任务设置”选项;

3.通过“参数”页签增加p_latn变量,使其成为可被复用的任务;4.修改任务名称如下:XTlabn2-D2>ii■口/0|0>电与东|国|[ira35.修改任务配置内容,使其中的562以变量形式替换:圆表獴出-IEX圆表獴出步骤名称|主产品实例接口表—地市)数据库连接:|LABC134_eda)*遍羯二」醒—|目标模式[Tda@浏览⑥…|目标表一浏览⑥…|提交记录数量版面截典表17忽咯插入错误「指定数据库字段F主要选项数据库字段5表分区数据r分区字段।工]4>每个月分区数据*每天分区数据r使用批量插入旧确定仙|取消好>|卸L|6.现在可以测试该任务,远程方式启动,在p_latn6.现在可以测试该任务,远程方式启动,在p_latn参数中输入562:通过弹出的服务器监控页签确认任务正确运行完毕;将“J-lab02-01”另存为“J-lab03-01",修改其中的结点名称及配置项信息:;・02罐J・gb03・Q1资料抽取资料整合SI余I国|即3资料抽取资料整合START0X强渣程中的任务信息:0X设置日志指定日志文件?厂添加日志文件?厂日志文件名:R志立件后赣名•日志文件包含日期。日志文件包含时间?日志级别:1♦rr悭有日志vj将上一结果作为参数?厂复制以前结果到参数。r执行每一个输入行?厂在执行前清除结果行列表?厂在执行前清除结果文件列表?厂在集群模式下运行这个转换?厂远程子服务器।三]金等待远程任务完成。p按本地中止对远程任务中止?厂参数参数表传说所有悉数刹子仔冬R7「▲।参数।流列名।值।Tplatn${platn}增加流程“J-lab03-01”的预设参数:START资料整合现在我们可以测试一下流程的执行情况,仍然选择远程方式启动。J,lab(n,EsjJ'liabuj-uiJ,lab(n,EsjJ'liabuj-ui10MV|执行福程本地或远程执行r本地执行START蝴抽取详进运程主机I134.0090_»]START蝴抽取详进运程主机I134.0090_»]r居用安至模式17执行前清除日志二]日忐谊别二]至启前间(yny/«H/diKK:rrrr:=s?U执行结果fits》,1当前岬一页共口更而煌名称批火工。I状右U执行结果fits》,1当前岬一页共口更而煌名称批火工。I状右I持蜘间p_diUSOLOEOZIJ2J变量该流程需输入日期和本地网两个参数。通过弹出的服务器监控页签确认任务正确运行完毕;7.新建一个流程,保存为“J-lab03-02”。在其中重复拖出三份J-lab03-01(可配置好一个后复制)并做如下连线,模拟并行方式运行三个地市的数据:其中J-lab03-01实例的配置参考,564,566规则一致;狄行直程狄行直程.…r日志设定指定日志文件?r

追加日志文件?r将上一结果作为参数?r复制以前结果到参数?r对每个输入行执行一次?r等待远程流程完成?p根据本地中止而中止远程流程?r费数参数表所有参数值传递到分流程?|7确定⑪I取消©I设定并行方式运行:打开流程编辑节点褊辑节点描述信息以并行方式运行下一个节点复制节点]复制被选择的节点到萼贴根CTRL-C排列/分布拆开节点吉果删除所有该节点的副本巾口土]L3¥马||一1一二一二连线变成虚线即为生效。预设“J-lab03-02'自身的流程参数:J•研心02*'>■|*|余|囤|画3<1J此bOMil(跖司C施程蟠性9.发现运行出错,其中除了562运行正确外,其它都是错,原因是接口目标只建了562的。Elg流程:LO-宽带合并详单…食口-代收详单-全省i…仆000000L1-Elg流程:LO-宽带合并详单…食口-代收详单-全省i…仆000000L1-接口离校聆••…。,T-lab03-01:…。J-labUJ-UZ••…DJ-lab02-01…翼L0-口洋单部必

OL0-代收许单612□□□□□0000001023000009180000010000020000010000010000000010000020000010000010000000q100000200000100000100000000193800□0061200000完成完成格在错误)完成完成京成完成L存在错误:J成成成

完{兀完Z010/10/Z22010/10/222010/10/22Z010/10/Z22010/10/222010/10/22Z010/10/Z215:57:55-LAfi(134_eda)-Coimectedtodatabase.15;57;55-[JT*bQ3-QlL主产品实例接口表〔单地市).口-Coimaatadtodata.ba.Ea[LAB(134_ada.)](aommit=10000)15:57:5515:57:5515:57:5515:57:5515:57:55-LjM!(134_eda)-Autoccmmito££-[J-lab03-02].J-lab03-01-Finishedjobentry[资料:-[J-1shri3-m]主产晶实例接口表绿地击)n-error-[JT*bCi3-Cil].主产品实例按口表1单地市).口-EREDR-[尸1冲口3-。1].圭尤品塞包接口塞津地市).口-ERROR「tr1i-、L\rd1-i~u~3~Z:口一-TTJErs?:I~~I~=F/ritaLLkTIT'cSQL:TRUNCATETAELEe_dinst补充其它两张表的建立:prdprdinstdeatetabletb_prd_prd_inst_d_564asselect*fromcrm_inter.tb_prd_prd_inst_d_564@edwwhere1=2;prdprdinstd566asselect*fromcrminter.tbprdprdinstd566@edwwhere1=2;再运行一次,确认成功后,通过SQ皿句统计结果信息:J-lab03-02作为这里的一个子流程;J-lab03-02作为这里的一个子流程;新建一个流程,命名为"”保存,拖入以下结点再保存;STARTJ-lab03^2Shell1为汇总脚本程序录入信息:前执行一个shell脚本…节点名称:।资料汇总确定地)I取消©向“J-lab03-02”子流程传递参数:资源库目录:|/oeiRlJK/lab/03流程文件名:4>日志设定指定日志文件?r追加日志文件?r日志文件名:日志文件扩展名:日志文件中包含日期?日志文件中包含时间?日志皴别:将上一结果作为参数?r复制以前结果到参数?r对每个输入行执行一i知r远程子服务器|三]拿等待远程流程完成?p确定⑹|确定⑹|取消©|为“J-lab03-03”当前流程预设参数:STARTJ-lab03-C2资料汇总CSTARTJ-lab03-C2资料汇总C流程展胜到此,我们可以对J-lab03-03进行测试,运行完毕后,可以执行以下语句确认结果:selectlatnid,count(*)fromlabdmservnumgroupbylatnid;Lab3流程监控.新建一个监控视图任务设计任务设计EDW系*日F-监控白一|ijt(EDW系*新建视图::「品日1编辑系统i:品丹删除系一M烽ODS-B^I田•己j任务/流程.新建视图.右键视图设置:重命名为LAB01,3.从资源库中拖入我们已设计好的流程“J-lab03-03”,通过画框和颜色设置功能调整外观;二二LA町但DW系场工.口।4.保存并发发布监控视图:■保存监控视图□■保存监控视图请选择以下一种保存形式:r编辑状态门发布到监控室取消ILAB01",双击打开。LAB01",双击打开。™5Tce加系统)笈_*It。广秒|臼J-hb03-03J-hb03-03可以看到绿色的状态脚标,这是我们之前运行成功的记录,由于监控周期设置为一天,显示的一天内能找到的最新的实例状态。.双击“J-lab03-03”流程,打开流程明细;

1#流程名指T批次工口|状态[持绛时向丁读1写1更新「输入1输出J-1AB03-O38144end3?3000006000000300000300000J-labO3HD36139启斯44。30000016000000300000300000J-l*b03-O3S134end283000006000000300000300000.降H当前呷—页共1页更行结果为田中《后台实时日志更行结果为田中《后台实时日志START2010/10/22X3.22AI-Thrt*d[J-L*bO3-03仃-1吨口3叩3(Thrttd-4603)),5,mtin]-ncn。0,STAKT)2010/10/221&:22:41-J-labO3-O3-Startingentry[j-labO3-02]|2010/10/2215;22:41-Thrt*d[J^l*bD3-03U-l*b03-03CThr«td-4603)XS.ntirJ-««cQH0J-l*b03-O2)2010/10/221&:22:4L-J-labO3-CJ2-LoadingjobEromrepository:[/09Owlab/03.J-lab03-02]2010/10/221&;22;4L-尸1m0*02-Leading0not”2010/10/221&.22:41-blabOW-度-Loading4joh电htries.2010/10/221&:22:41-J1»W3-Q2-Loading3jobhop,可以看到,其中的子流程和脚本任务都是运行正常的;并且在下方运行结果中可以看到运行的开始时间、结束时间、耗时。7.再双击“J-lab03-03”流程中的“J-lab03-02”流程,查看子流程明细;L\KllLE州系妖)/丁-1»103-0311-1而03-次涕■■国ICO%,、'WJlabtn-OI(5E6)行结果现在重启整个流程,查看各流程和任务的处理状态;9.切换至监控视图页,逐层查看各层的状态,看是否与下列图片符合:LABO10KDW系统)u广1处03・03]J<LabO3-Q2]13464鹃I$gL秒|臼IAB01(EDW系统)J-lab03-03O.|国|[100%引J-lab03-0234:8090L1JJ-l资料汇总7-lab03-02京LAB01(EDW系统)J-l4b03-037-lab03-02>■|[>l]同百稍等片刻,所有结点又会变成成功的绿色图标。现在我们演练一下流程报错的情况,查看各流程和任务的处理状态;.通过SQ断句删除掉其中一个中间表:droptabletbprdprdinstd566;.在“J-lab03-03”流程页签中,点击左上角执行按钮,输出参数20101021,进入执行状态;.切换至监控视图页,逐层查看各层的状态,看是否与下列图片符合:^^口1系统)J-LabCiW-g]QJT&bCiW一期)!$刍F-8fh3广融陈藐)J-lab(n-(nJ-l4bO3-O2100%;±1现在我们演练一下重运行处理的操作。J趾033[562〕目三二一i-翅START'、、J-lab03-01{564)%'17^1Em打开Jhbtnoi从谡节点起执行J趾033[562〕目三二一i-翅START'、、J-lab03-01{564)%'17^1Em打开Jhbtnoi从谡节点起执行执行该节点直着校鸵结果STARTJ-lab03^02资料汇总傩资料汇总结果表新增加一个数据校验点.13.转到“设计

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论