DataService-操作手册

1、DataServices培训I总结-操作手册目录一、DS简介 错误！未定义书签。二、DS数据加载方式 错误！未定义书签。三、DS进行数据抽取模型开发的基本过程 错误！未定义书签。四、DS创建数据源系统和目标系统的数据存储 错误！未定义书签。1、 Oracle 数据库作为数据源系统 错误 ！未定义书签。2、ECC作为数据源系统 错误！未定义书签。3、HAN蹴据库作为目标系统 错误！未定义书签。五、全量加载过程 错误！未定义书签。1、创建Project 和 Job 错误！未定义书签。2、导入源表的元数据到资源库 错误！未定义书签。3、创建Data Flow 错误！未定义书签。4、设置源表和目标表

2、错误！未定义书签。5、手工执行Job 错误 ！未定义书签。六、基于表比较的增量加载 错误！未定义书签。1、在 Job 下定义工作流 错误 ！未定义书签。2、在工作流中定义数据流 错误！未定义书签。3、加入Table_Comparison 控件 错误！未定义书签。4、设置Table_Comparison 控件 错误！未定义书签。七、基于时间戳的增量加载 错误！未定义书签。1、在 Job 下定义工作流 错误 ！未定义书签。2、定义Script 控件 错误 ！未定义书签。3、定义处理新增数据的数据流和处理更新数据的数据流 错误！未定义书签。八、DS中常用控件介绍 错误！未定义书签。1、 Key_Ge

3、neration 错误！未定义书签。2、 Case 错误！未定义书签。3、 Merge 错误！未定义书签。4、 Validation 错误！未定义书签。5、 设置过滤器和断点 错误！未定义书签。九、定义 Job 定期执行 错误 ！未定义书签。6、 登录Data Services Management Console 错误！未定义书签。7、 定义Batch Job Schedules 错误！未定义书签。十、其他注意事项 错误 ！未定义书签。DS简介SAP Businessobjects Data Services 是通过SAP HANAA证的ETL工具。 采用数据批量处 理的方式，定期执行后台作

4、业， 将数据从多个业务系统中抽取出来，并进行必要的处理（转换，合并，过滤，清洗），然后再加载到 HAN嗽据库中。DS的组件之间的关系：RcfJosBito ryManagement Consol :管理控制台是网页版 DS管理工具，可以进行一些系统配置和定义Job执行Designer :Designer是一个具有易于使用的图形用户界面的开发工具。它允许开发人员定义包括数据映射，转换和控制逻辑的数据管理应用程序，创建包含工作流（作业执行定义）和数据流（数据转换定义）的应用程序Repository :应用程序设计器使用的本地资源库用来存储Data Services对象（如项目，作业，工作流，和数据

5、流）的定义和源和目标的元数据Job server :作业服务器启动数据移动的从多个不同种类的源集成数据的引擎，执行复杂的数据转 换，并管理从ERP系统和其他源的抽取和事务DS数据加载方式全量加载增量上载a）基于表比较作业在执行时读取数据源和目标中的全部数据，在服务器的内存中进行比较，计算数据差异b)时间戳增量需要在数据源中添加时间戳字段,般为创建时间和最后修改时间，在抽取作业中定义对两个时间戳字段进行对比，符合条件的创建时间条目进行插入，符合条件的修改时间条目进行更新c) 利用数据库 CDC (changed data capture )首先需要开启数据库的 CD®务，为数据库实例启

6、用CD8能，为源表启用 CD®能。在这种模式下，DS的增量更新不再直接访问源表，而是在与源表相关的变更记录表中读取 增量三、DS进行数据抽取模型开发的基本过程为数据源创建数据存储导入源表的元数据到资源库为SAP HAN阳标系统创建数据存储新建DS项目和批量作业新建DS数据流：定义源表和目标表，定义变量、编辑 Query和Map_CDC_Operation执行批量作业四、1、SourceataDS创建数据源系统和目标系统的数据存储Oracle数据库作为数据源系统HANA登录菜单Data Services Designer ,在本地对象库的数据存储页签中单击鼠标右键，选择新建Eat ai

7、 tor -SCQDC ECT_D*,t li il or « HADJIS HJCD_¥«LL MAH丸_、-L,戛t丁， fE4 _DAT ASTO1LE WQH_D «l9 < er Loc-al <Ob3j ect Lib raryuotsnD臼。A口”心.田| V/ gp .|iTsn iQ 0 1” JIB eiI f创建数据存储" EAM_TEST,在弹出的对t框中输入 EAMB据库的连接信息r BalLkk t «r 专口二AdvarK(*d >>工he ATI. .上ply2、ECC作为数据源

8、系统同样在创建DataStore时，输入ECC的连接信息y -c 他>GQ_TEST修虻30V0小口一1， ERf v«r namei：SAP Application(_ 一 |IC7展 T> Confl1-ir -aCIcn s; L-曲叩* ATLr =,QK I Sxsi I flppW 1 d3、HAN峨据库作为目标系统在创建DataStore时，输入HAN蹴据库的连接信息五、全量加载过程1、创建 Project 和 Job在本地对象库的project页签中单击鼠标右键，选择新建菜单，创建项目“ERP_DS。双击该项目，在"Project Area ”,

9、可以在该项目下创建 Job:Project Edit View Took Debug Window H elpi匚/* I 1 11”*I国二;B直口0I 佃胃叩日由芬日2、导入源表的元数据到资源库在本地对象库的数据存储页签中，选择源系统的数据存储，单击鼠标邮件，选择“Import ByNam3,输入需要导入到资源库的表名称。导入成功后，在数据存储的table目录下可以看到导入的表QL XLocal Object Librarylepositry； Repo SAPDSTESTDat as toreDescriptionf-1-s甲甲甲田白ECQ50DF WEic l i c-na a a _

10、Hi r ajrrhi es国 IDOCs 岗ODF fibjects T abl4 zDD07T <ECQ500. y1HD TEXTAVAILAELE FOBTABLEDEOTTEENKCE匚QS口口 "y3PTurch-flEfipRaqjin. ci t £ artEBKN (ECQ5O0.】2rurchfl-seRequAsi tioa AcconuntA5.5 ieEKBE CECQ5O0.')1HO TEXTAVAILABLE FORTABLEEKBEEKET (ECC5O0,1NO TEXTAVAILABLE FORTABLEEKETI mi

11、CECGSOO. J1HO TEXTMAILABLE FORrksiz1KKN.3、创建 Data Flow单击"General" Job,在右边空白区域单击鼠标邮件，选择" Add New" - "Data Flow "七=5*=trll|；TCt ri*£1 * jjCt rl. 7XD-*l J-* 口 1 *1 W匚 o1V* Lt .上 口 土 ，小B- SfP- n am '« -p- > >oAudit.A5- wr-ir- UJ !»<!E?t " p

12、- at 1 .-fi-dbl'ACtUonneEr To4、设置源表和目标表单击创建的Data Flow ,将需要导入到 HANA数据库中的源表拖入到Data Flow 区域中，将Data Flow区域右侧的工具条中的模版表拖入Data Flow区域创建模版表输入模版表名称、HAN用标系统的数据存储、HAN徽据库存放DS抽取数据表的用户名。 连接源表和目标表双击模版表，设置 “ Options ” 中的 “ Use NVARCHAR for VARCHAROpiiwii3 |L*k'lcr 邓h廿| Loa-i IrigEBrs | 11mL二*。5后44t| P5lLiU

13、亡白质小先印诉 p时 twhe |j()ion1 p-i f rsffi fniT 1曲口门卜小门S 1 rs4irf 厂 tf.d rs- rr*ti* 工TsLlns ln?e： jChlunn. Store54*iri ed.Vpdt-t-ft "®1 eLuhuHst,叮 pLiedt* |心t力Lu*d如色cnith nlu«Hald隼¥1 口c«lmais vutb belLI.Eat Afplic43J.eFTr wsecli am r*nLr*>l rUzllL'lcIr-SEtt 1 QSilMa4FaeHE由

14、4 Af0Hi 11 - J1 <1!*!Hr IVaTifF Fr润T1"T -/"hirrT .工心俨山广一讣/，5、手工执行Job选才I Job ,单击鼠标右键，选择"ExecuteProject Ailed!的 £&&&m 口 .申±1-®日日EjcecuiteStart debugR.eiri oweRe ns meRem owe曰好口955Propeirtles.,.执行成功之后，在 HAN蹴据库中的ERPDSUSER可以看到“ T161T”，可以查看数据表的内 容。执行过程信息和结果可以在监

15、控器中查看。n-nI r.j1 Type-y L32CQkc- noJCBN口力,: E与L3金银l«Q$X«-0WI常造91司3Ejoe2OL6fl2E fiETi K_y in二R ei noJOBSGJii.Bif i.2jX£ 为h：ElaijraEfimnMmiElWJH工才加FIX0 L 3292旧口aXjG工酬6包工居三971.31& Lg用通20112)22 ,名, 3j事|,兄知IM面Matmha W iifinva3 L32GQL-e-inaXX江01已11 引工2口-*J L32QCK-B-1EEJOB=01川臼；=fl*/: 330

16、 LV4I0F他-iA-TAFl 口”芸 QISHWJWEP晦TiX0 L5-*M工电NOlSri9rEi7i 37L羽E "IMJOBSDi&f 1.22 口力FlH中 Li*snE白河下小ri qwSOI | zjfz ?EW?r J7与LHRDA7,AFLDW201612 SL,E7I 37L后4翔F7*l口部 TAFi. 口 W口 16L2JZ阜后Tl步<y Ew口M7(H口昌rqri AWZPiefljjn 早用FE_1y L?42D£ 47IM日 LDLOfiC=口1 日 NjNR g7s27L弓前t "IHmLELCMSC26l“l 2

17、,工工 口:SKF，-E"总iATAFi 口*e&wiajtt M?i4j.,y LS-*2QE7fi"DA- AFiL 3*2OL«fl2E- rE7H叁 L JZ？Q1-B3D3JQBI=口 im；= 0力胃,但依8 FT1H IBM it hsc1 Vxtln_C.FI.= 13192nAtzw! EDWCvd tin "lLJ"|cC d«l LJl鹏立即qcr? * I L > E7*bJ2c5*G fTW 中心 FEONWE 的*L%ZkdttMMA 口UH,nfe rvLafiy b Qh：_u L： =_

18、 be口：£ S_, 1 7<BibH2a«=_F lv：他oj»1>"的42,aiarUrig fob ion g<ab-sei vet hifisc zSiMDSrEST >, poit <3500 :.Job -=tK5t l> 口poNd <±01411il>$> K KtSated bk lhf lAdnlriJMs?1/阳E ifL >Optii-ixmg inb 叱子在 d > . Jeb ban4 L > >( "不， .-. a|. . I

19、ll | | . I Ir.lI I I - - I | H .loti slhlrwa h- s-nszc'dew匚* dac3:二”占 <EC«55Oa> 匚口 wetvs二d合匕有西十加 er>a»-e> cocfe-i tUUr-Ei 隼 t.twfkr ©ITjrui * 悯CacI"£ 3LarSui匚h*l d工+ 0»内 <T Lfi 1 l jFJLl> 0 each小4 c H-i ± tccmud b?) 9?570*7906 !3vtw： Bolabi? g

20、 cadhw In ”壮但1 hmthoCaeta rtmw Fl u T与&iflgw <T3|THJU > ufing1Mm妻RM GkMl-SAN tTltt T s-, trpa 4Curiurwri ba'H 7cDmrrifc aEn c 3 nr ID j-a *-ka c o-r«Ek <, dalalM rsria 己1口士.t坳w<Ts6l TFU.1 + 呻QT昌k*d »U>X*F才/中Prc-ze-M： e口f & n«:*u <rj tj=o_il > 占 cow 口叱

21、»dJ cabL _r> la ji (jUhIi.T H-»EcvnFhil.卮 31 Ql六、基于表比较的增量加载1、在Job下定义工作流EEKO JTibleConpaxe2、在工作流中定义数据流EKKO-TableC omp az e在数据流中定义源表和模版表，执行Job,执行成功之后，在目标系统数据存储的TemplateTable目录下可以看到创建的模版表Local ODject LiDrary。由：甲臼日=希中 F u>LU I i VIEfcKfi rXAJJ_DS. EKF .TO01. IRP.TOOiWlHAlJ_D5. EK.TO06A0&

22、#163;Al)_DS. ER.TOE 4 D3. IRF .TO24E O£*D_DS. ER.,TlQtl (KAT D3. ER.rurchaze H4ouisiAccount 鱼曰me 110 TEXT AVAIULE FOE TABTE 1001 i'± an t s F Br an.cJh.esA=si gn. Tf*to Lige=_DtpeTid.&ELt rwcliasiTie Group s BO TEXT AVKILABLI FOR TA3LZ TCH24E Tests for Fui cltasiijis Do cum ent TVp

23、ss3、力口入 Table_Comparison 控件选择模版表，单击鼠标邮件，选择"Import Table”。模版表会更新为 Tables目录下的数据 表。通过将转换-数据集成中的“Table_Comparison "控件拖入到数据流中的方式添加 “Table_Comparison ”控件将源表连接“Table Comparison "控件，"Table Comparison ”控件连接目标表。EKKO)Table jCompaiisonEKKO ERFD 工一4、设置 Table_Comparison 控件双击“Table_Comparison ”

24、控件，设置相关参数：比较的目标表、表的主键，需要比较的字 段。当需要比较的字段为空时，会比较所有字段。 建议按照需要填写需要比较的字段，可以加快处理速度。保存后执行 Job。七、基于时间戳的增量加载1、在Job下定义工作流EEAN_TIME STAMP在工作流中定义 Script控件，读取数据抽取后最新的创建时间和更改时间，定义一个处理 新增数据的数据流和一个处理更新数据的数据流一AD -JTIMESTJL.EBAN NewEBAH Upd2、定义Script 控件在Script控件中需要使用变量存放读取的最新的创建时间和最新的更改时间。选才? Job,在工具栏选择"Variable

25、s "按钮，创建全局变量婆rir . fooi 10M>由 网*Men0VM 印.*：国0吗100%3114“_ EHf_K;Gtatifertl；雷 Pur ck«stOrd«r*1* 1/EKFO.TLeCMFtfe BKUCl_Thl»l<C«p<j « ElZT_T«bl «Cc«ei tr .EOE_7«bKtf«Fgchs*急钾*mttl。EfeKH_rWLL* FETS_TI MEStUMFT f EbAUimwQ Fl *D_iaAM_TIUESTMT

26、4 夕 EbUf.4t Mk EbMT_9«±i。琬肛丽_T,M>C.p® SU双击“Script ”控件，编写SQL语句，从HAN徽据库表中读取最新的创建时间和更改时间Functions,SERDAT = sql(?HAD_DS?/ select max (ERDAT) from ERPDSUSEK. EEJiNP)： if ($ERBAT is null ) $ERMT ; sysdate( ) + 1 ：$BADAT = sql(? HAIlDS / select max (BADM) from ERPDSUSER. EBM );if (JBABAT

27、is null ) SBADAT to datE(? 1900. OL Of/YYYYJOl.DD?)：print (JERDAT): print ($EADAT) ;|3、定义处理新增数据的数据流和处理更新数据的数据流双击“ EBAN_NeW数据流，加载源表，Query, Map_CDC_Operation控件和目标表E 则:EOQ 600,flueryMynjCTC.Dp eiat lotiEf 需(TUD_D 鼠 EKK5 双击Query,在输出字段中增加"Sequence"和"Operation "两个字段。"Sequence”字段 使

28、用函数gen_row_num()进行赋值，"Operation "赋值为I'Schama tT-Ut：斗 Quo"| Tri? =I M包尸pineI B esex i pQ UFK1Qnum st" i c (. . KEAH. JLFKtD11 sXi v atr'vajL-cJxaa- tjb JEBAbl. JlUAjJHA 1 f Cl- Q±- ) SERR.UV ulmdt (1 )EBAM. SIBRUType d£.b MSITB_ECB13Var oh.air 0 jEB&bL MSlf .

29、pcc-i aJL> JJ1SUB_KSPUKrLijrri 0r 1 * L . ,E15AK BJ.SU. . .W oitLe. ,Hr> MSUB_KUMm十 ati cjJ-lu U 口 JEfiAH. DISH.C ul3i Loin e.> ITSUTi_WBELH,rail： char iIO)EDAH. BISW. . _S aJLes H-b JJ1SUB_MJSBKFLtTfi 叁10 1c.Kt!* DISU .1 tfn Simk MSVl_OtfirER十sykit (.10)EEAH. BI5U.Ortr c . ) IUTD .EELEVAKT

30、V " uIl" (1 )EBAM. llfTD.=.IUID TLe：.* Si3T_SCAT5自*-日卜3 (1 fi )EBAN雪力 T_Steak S» £GT_ftCKlvMuhor U 6 jEE AB. £<；T_.KaquiTai1 i li tationeh. ar 11)二下一在Quey中设置Where条件双击 Map_CDC_Operation 控件，设置 CDC Columns dp CDC 0«rati on._ CDC Colunm-SfiriiLng eftlumri：|Se qxieii.eeRo

31、w upcf&tion r|0p«r at ion三-Sfirtingp Input -ilrtadr ed ty 5金qv*nsin旦 c4lu/nnI ionail gTGuping colung|同样的方式定义"EBAN_Upd数据流，在 Query的where条件中定义为| GRJDIJP BYORDER E¥kdv&nc«dMappinf | SELECT FSOM 豳 叫皿Functi on5. . . I Prepose JoinDomains.EEAN.iRDAf >= $ERP7“Sequence”字段使用在Que

32、ry的数据结果中增加"Sequence"和"Operation "两个字段。 函数 gen_row_num()进行赋值，"Operation "赋值为U'卜 SGT_RCATraruKar(16)EB*N. SGT_.>i n七8n_r qw_r.卜 Oreralidiirarch.ar (1) 'V<If保存后，执行Job。可以通过修改源系统数据测试基于时间戳的增量加载。八、DS中常用控件介绍1、Key_Generation在源表基础上为目标表重新生成主键在Query中增加“ ID”字段，赋值为0。切E&

33、quot;1 UUiOflF曲3一 Dixzr Lp" 10Cm i acl TrhBu 1 M-TgiHe-r«icripLl:,2041AliIju-13号皿7Ch乳匕事plintQnonAi rlaon r<-4«卜卜COKIIinr3ur DJS：OR C1EEO如 rlsca C<> LhUJOAITW'ElLIT J 1AlrliBi* !«'k laUJaUL,ir dhu- iRl5c血泊 3MhmAi l-ligu- iJ GLEEtrW Rilz mn tLmU W UFL'-k-eLu tZ

34、S5lAixiiui m皿TV =AU .arm m3 rl2=a. 171Ia '窸inn 就。 | BW Vt I UMUR tf I 匕所I Ein( | Table nynd：在Key_Generation控件中设置目标表、主键字段、主键值增加量以 BaListori.SLTADM.SCWi HTH KEIGeneraleA key colunri：Incremerkt value：2、 Case将源表根据规则进行拆分双击Case控件，设置拆分条件当 SOURCE = 1时，输出 SPFLI_1,当 SOURCE =2寸，车出 SPFLI_2ScTHTT-fimv ft Tyj

35、*B'lULTin -Ld SfTN EH一q SDinCELai4 r.uurrVETch-i-偿飞 LJiEUlUVim ckm% auffliDrmtrsc 更0)心立Clj iQTWBDI!vw-chi4r QV)1rm口才，不口E.X.一 m自044fhsif'Ll 51nriw w r E*Q E* raji he TBJFI E*r gr onljr3、Merge将具有同样数据结构的源表进行合并SPFLI (EClDataffto. .QuerySPFLT(ECT_Patato.B2旦iju.xy在Query中增加输出字段 Source ,赋值为 在Merge中将

36、两个表的内容合并输出。*，京 % U»T * TJdAID k EITTEiI EFhrrtJ " raTTFHW! :秋 arFE L raifTFwrn E ciTrm t胭BE 二 FiriRE :gFTE :Kum, Mk 所！ L DUFTTD I rurre B fikictd 对 EU Ji% Eiw-ck % MMtVT % ruurp r Eimt1"EiEWTH " rrTTFHE" I uvnm L Ei” I Fd LU | raTTTO "iMMTTO L 21KF :Diirrmf | WE "

37、M ST (UTTt iwrr "FllKlObX:E J iXIr: wx'55工'1：然:二：1 “nL:!.: G *u:二：“hhL,二:SPFLI MERGE (HAUA 1。在Queryl中增加输出字段 Source ,赋值为2。Cl 1-ilR.Juj 3 LihT11 口1 GmarfiE n.CkUiLbF fci "1+.齿 K u-B.11.i-aj-ar 4nr« vi rpwl r Lial j Ka rJunJfU d” 1-ii-lii-MiAL-W!*"口骊!1 71H0M 1L« ，Fp=>

38、;i«r* 4g Ars'jTal Ui k*, mu tUg* IFJutJfH n SaJ.CidwKjLlifi j.M 匚打I0A CchfihILi%匚一叨稿1由1-iiJ-U' 4.WS «d，WFkm* vlrpwi匚，iatrr K«vAil r>< 2”1-H B11 j-ULiL-KTi Mrpw*1丁人的LLhl-rt-u* mrii -:Im1 b»1 UMTH s-aa 七 cf dLas.IllflLI iKrt加：，+ Jl 7ik I1J.wijrrrCUWID njvmm cirrmcw 由u

39、Ezw CULUJbtlO_1L h JU 幅Ftni"c mriiffT1 J 13I-Iricu kbI tl*DI i' w.»/U> <DI t -rf dlX .rij4ji'.irtFE L YkJ k 事产=4、Validation提取数据源表中的正确数据，将错误数据单独存放在其他表中双击 Validation控件，设置“Validation Rule1f bJI 1 1«1. l ». JI* - I JkU i ao. Fr aaT hfHu3口 iul«Sms NIU JkU*ii vt. JAI

40、L5、设置过滤器和断点过滤器和断点结合使用，用于设置Debug的条件选择源表到目标表的连接线，单击鼠标右键，选择 Set Filter/Breakpoint ,设置Debug条件（当满足某种条件时进入断点，或者在满足过滤条件的同时执行多少条数据后时进入断点）1arwm . .U武斗七.一I-卜-F?Execute.Start debug.,t. SLTADIfl)选才Jo Job ,单击鼠标右键，选择 Start debugProject AreaF Q EETJJS+ 方1b General由 哥 Furchiseardir由哥 PlLi uli.a.cFte q 世 u 0 L自 S te

41、iilRHiCJweRcrtdrneRemove BypassProperti«E.Debug工具栏上的按钮可以控制执行下一条数据、继续执行、终止”辩占豆碍五国雄Debug过程中进入断点后，可以一次查看数据加载结果r Ki111 >£&11SI：曲nj r >=rm町EIMIM事力im OS 01I4CD d3 灯Iim 电2J九、定义Job定期执行1、登录 Data Services Management Console单击工具栏的"Data Services Management Console ”按钮»g_ ，图 e星幻书aao

42、张 进入 Data Services Management Console的登录界面SAR Data ServicesMa nagarn* nt ConiroloLoci On to the 口tw S9rvlcw MKnoaenii*nt CohsoIa !注“ Hi*“( H" !"，< kK 9h fer I IIAJ 1 tM-lB1T fKznj t. 3«JLirH» of your -account in florycpj .yatwE； cmJe n tr<aE>r,)单击进入Administrator 界面W nl&#

43、39;IM 0H . HIJI Inr.wdljrloh ”带而卜FgE Ih- IUd*ng lob 日L产中h，日，DriTiQ 匕口MUOfii1a W0匕 »内” 口£IhjfiiiarK -£ filr&r QIZ ntail wnaiMBflirr rr DajMloHT'9rflFi« Ed悔I泻llrinpACj iBiiid LAiMi A|ftt AhJfnMrmlvii? 1hp 个“呼Er er rj zilurM* 口口口 2L ey史:. huml卜弋T 3AArin* On*- 司 inn事n jiyzr,亭厂日 fue 土壮力1力 hse *n1，d0门b o*bii ntijr-rlt-b -iepirleif m 1h Plrip Sv禺*d*|gH*r iEuMl B livk1 TVMIWtlhlRVi. DIVpVMVi. *ritf nriara.tw IflisJbboiards on a 口 1例1彳符 MriP»irriorfi har也由口,EvwliLria-,D-|a