DataService操作基础手册

DataServices培训总结•操作手册

目录

一、DS简介...................................................................2

二、DS数据加载方式..........................................................3

三、DS进行数据抽取模型开发的基本过程.......................................3

四、DS创建数据源系统和目标系统的数据存储...................................4

1、Oracle数据库作为数据源系统...........................................4

2、ECC作为数据源系统....................................................5

3、HANA数据库作为目标系统..............................................5

五、全量加载过程.............................................................6

1、创I建Project和Job............................................................................................................6

2、导入源表的元数据到资源库.............................................6

3、创建DataFlow...................................................................................................................6

4、设置源表和目标表......................................................7

5、手工执行Job......................................................................................................................8

六、基于表比较的增量加载.....................................................9

1、在Job下定义工作流....................................................9

2、在工作流中定义数据流..................................................9

3、力口入Table_Comparison控件.............................................9

4、设置Table_Comparison控件............................................10

七、基于时间戳的增量加载....................................................11

1、在Job下定义工作流...................................................11

2、定义Script控件.......................................................11

3、定义处理新增数据的数据流和处理更新数据的数据流.....................12

八、DS中常用控件介绍.......................................................13

1、Key_Generation................................................................................................................13

2、Case....................................................................................................................................14

3、Merge.................................................................................................................................15

4、Validation...........................................................................................................................16

5、设置过滤器和断点.....................................................16

九、定义Job定期执行........................................................18

1、登录DataServicesManagementConsole....................................................................18

2、定义BatchJobSchedules................................................................................................19

十、其他注意事项............................................................20

一、DS介绍

SAPBusinessobjectsDataServices是经过SAPHANA认证ETL工具。采取数据批量处理方法,

定时实施后台作业，将数据从多个、业务系统中抽取出来，并进行必需处理（转换，合并，过

滤，清洗），然后再加载到HANA数据库中。

DS组件之间关系：

Dictionari^^8

Directories

ServerOataSovietsservice

♦ManagementConsol：

管理控制台是网页版DS管理工具，能够进行部分系统配置和定义Job实施

♦Designer：

Designer是一个含有易于使用图形用户界面开发工具。它许可开发人员定义包含数据

映射，转换和控制逻辑数据管理应用程序，创建包含工作流（作业实施定义）和数据流（数

据转换定义）应用程序

♦Repository：

应用程序设计器使用当地资源库用来存放DataServices对象（如项目，作业，工作流，

和数据流）定义和源和忖标元数据

♦Jobserver：

作业服务器开启数据移动从多个不一样种类源集成数据引擎，实施复杂数据转换，并管

理从ERP系统和其它源抽取和事务

二、DS数据加载方法

♦全量加载

♦增量上载

a）基于表比较

作业在实施时读取数据源和目标中全部数据，在服务器内存中进行比较，计算数据差异

b）时间戳增量

需要在数据源中添加时间戳字段，通常为创建时间和最终修改时间，在抽取作业中定义

对两个时间戳字段进行对比，符合条件创建时间条目进行插入，符合条件修改时间条目进行

更新

c）利用数据库CDC（changeddatacapture）

首先需要开启数据库CDC服务，为数据库实例启用CDC功效，为源表启用CDC功效。

在这种模式下，DS增量更新不再直接访问源表，而是在和源表相关变更统计表中读取增量

三、DS进行数据抽取模型开发基础过程

♦为数据源创建数据存放

♦导入源表元数据到资源库

♦为SAPHANA目标系统创建数据存放

♦新建DS项FI和批量作业

♦新建DS数据流：定义源表和目标表，定义变量、编辑Query和M叩_CDC_Operation

♦实施批量作业

加

Source载

Data------>HANA

四、DS创建数据源系统和目标系统数据存放

1>Oracle数据库作为数据源系统

登录DataMrviczD^ignar,在当地对象库数据存放页签中单击跳标右键，选择新建菜单

|LOC.IObjectLM.ry|qX

Repository：Repo..SAPDSTEST

D<ta0stor«IUs<<«IDescription

0EAMD<ttor•

0ECQ5OO

0ECT_D<t<Btor«

0KAD.DS

0HAD.YELL

0MANAD<tastor•

0

0

JPr<y«.・i丝[-r|oDat...I[V1For|/Cu-.t..

创建数据存放“EAM_TES『'，在弹出对话框中输入EAM数据库连接信息

♦*-CreateDatastor«■国E3

DatastoreName:

DatastoreType:

DatabaseType:

DatabaseVersion:

Hostname:

SIDorServiceN«me:

Port:

UserName:

Password：

P1,EnableAutomaticDotaTransfer

Advanced>>

ShowATL...CancelApp^y

2、ECC作为数据源系统

一样在创建DataStore时，输入ECC连接信息

ShowATL...

3、HANA数据库作为目标系统

在创建DataStore时，输入HANA数据库连接信息

SKowATL.••OKCancelApply

五、全量加载过程

1、创建Project和Job

在当地对象库project页签中单击鼠标右键，选择新建菜单，创建项目“ERP_DS"。双击该项

目，在“ProjectArea"，能够在该项目下创建Job

:ProjectEditViewToolsDebugWindowHelp

'存I乂I国ca画©">oo%叩oc

ProjectAreaQX

毕

日

察_DS

今General

今6

PurchaseOrder

叶6

Purchaz«R«qu<st

今6

testl

2、导入源表元数据到资源库

在当地对象库数据存放页签中，选择源系统数据存放，单击鼠标邮件，选择“ImportByName”,

输入需要导入到资源库表名称。导入成功后，在数据存放table目录下能够看到导入表

LocalObjectLibraryQX

Repository：RepoSAPDSTEST

DatastoreUsageDescription

臼

Functions

Hierarchies

IDOCs

ODPobjects

Tables

0DD07T(ECQ5O0.)NOTEXTAVAILABLEFORTABLEDD07T

EBAN(ECQ500)3Purch&s*Requisition

EBKWCECQ500)2PurchaseRequisitionAccountAssignme

EKBE(ECQ500)NOTEXTAVAILABLEFORTABLEEKBE

EKET(ECQ500)NOTEXTAVAILABLEFORTABLEEKET

EKKN(ECQ500)NOTEXTAVAILABDEFORTABLEEKKN

3、仓建DataFlow

单击“General”Job,在右边空白区域单击鼠标邮件,选择“AddNew”DataFlow”

ACCZOAZ.lew

Uocc—CToSerlr>*

<ror»ctlT>or»m

l_ooo

Try

<Tatcr>

XXor»otat*or»

4、设置源表和目标表

单击创建Data「low,将需要导入到HANA数据库中源表拖入到DataFlow区域中，将DataDow

区域右侧工具条中模版表拖入DataFlow区域创建模版表

国E

回

殴

U二

昌

Y

国

输入模版表名称、HANA目标系统数据存放、HANA数据库存放DS抽取数据表用户名。

连接源表和目标表

T161T（ECQ500.）

双击模版表，设置“Options”中“UseNVARCHARforVARCHAR

TargetOptions|BulkLoaderOptions|LoadTriggers|Pre-LoadConnwds]Post-LoadConn4nds

Rovspercornrit|jQQQ

l?t。frcnitab」。bofar。IcTxng:厂

Drop&ndre-createitble：F7

Tabla:yp。|ColunnStore▼|

Advanced

UpdatekeycolunnsNotApplicable

AutocorrectloadNo

AllowmergeorupsertNotApplicable

Ignorecolmni;vithv4lueNotAppl:c«bl«

IgnorecolumnswithnullNotApplicabl«

STransactioncontrol

IncludeintransactionNO

TransactionorderHotApplicable

Bliscellan9ous

UzoHVARCMARforVARCKARcolmnzinsupportedd^tabazaz

5、手工实施Job

选择Job,单击鼠标右键，选择"Execute”

实施成功以后，在HANA数据库中ERPDSUSER下能够看到“T161T”，能够查看数据表内容。

实施过程信息和结果能够在监控器中查看。

同E|O|

P，d_1.工Tim-Xtfp

田16100JO©2016/1Z/2Z9:57:29Thecmvkorm^ntlocale<zKo_cn.cp$>3^>be«ncoercedto<Vrw：ode(UTP

16108joe2016/12/22657:29R”dcg<f7c・，69・_cl22_4bcO_*c・5jX7S6b72c5ocAfromttwrepoutory;S・

1329216108joe2016/12/229157:29<14.2.7,OOO0>.

&13Z9216100JO©2016/1Z/2Z9:57:29Currer*directoryoftobv”delG9e_cl22_4bc0_”af5_e】73eb7Zc^ec>Is<D：\Prog

1329216108JOB2016/12/229:57:29Service«\bo>.

^1329216108joe2016/i2/229:57131StartmgJobonKi>serverho«t<SAPQSTEST>,po»t<3500>.

91329216100JO©2016/1Z/229:57:31Job<testl>ofnjrwl<201612220957311329216100>8Inltu^cdbyusef<Adm4nH

16108JO62016/12/229:57:38ProcMtting)ob<le«t1>.

4^1329216108joe2016/12/229:57:33Optmng)ob

0132%16100JOO2016/12/229:57:33Jobd1>isslotted.

<£)1942014784DAIAFLOW2016/12/229:57:34Procs・toexecutedJttaHow<T>61T_FULL>1*st4rtad.

^>1S-»2O14784joe2016/12/229:57:37IrMtiakanQtrortscoderfordata£toro<ECQ5OO>totrorweodob«t«vecncnslneccxSe(

1542014704JOO2016/12/229:57:37<UTF-0>

少1542014784DATAFLOW2016/12/229:57:37D.tcflow<ri6ir_FVLL>l«

⑷02014784DATAFLOW2016/12/229:57:37Cachestotisticscetermanedthatdataflow<T161T-f=4JLL>use«0cochosatot

15420W704DATAFLOW2016/12/229:57:37equalto)37^7047000by—availaWeforcachesr»VXUMImemory.DateflowMlu?

「少32014784DAYA产LOW2016/12/229:57:37DA"flowVV16lf_FKJU.>usingINMtMORYCacKo.

方02014784BLKLOAD2016/12/229:57:37HANAtabic<T1€1T>,typo<CokxiY^store>(commit-<10000>4autocorrectk

1S42O14704OLKLOAD2016/12/229:57:37dete<erows<no>.

1542014764OAlAfLOW2016/12/229:57:41OctAflow<T16ir_rtAA>i»comply,uccosfuM

15-12014784DATAFLOW2016/12/229:S7<iProcesstoOXQCKXOdAto(low<T161T_F:ULL>iscornptetod.

^1329216100joe2016/12/229:57:41Job<test1>Ifcom©*eted5ucce$$hJI/.

六、基于表比较增量加载

1、在Job下定义工作流

EKK0_Tab1eCompaie

2、在工作流中定义数据流

EKK0Tab1eCompaie

在数据流中定义源表和模版表，实施Job,实施成功以后，在目标系统数据存放TemplateTable

目录下能够看到创建模版表

3、力口入Table_Comparison控件

选择模版表,单击鼠标邮件，选择“ImportTable：模版表会更新为Tables目录下数据表.

经过将转换-数据集成中“Table_Comparison”控件拖入到数据流中方法添加

44Table_Comparison"控件

LocalObjectLibrarydX

Repository：Repo_SAPDSTEST

TransformUsageDescription

自

Allowx•d

DatjGeneraticnProducesa

Effeetive_DateCalculates

Hierarchy_FlatteningFlattensh

History_PreservingCreatesa

Key-GeneratioriGenerates

彗

Map_CDC_OperationMapsCDCd

IEPivotRotatesth

EIIReverPivotRot<t«sth

的

MTabl<_ComparisonComparest

XML_PipelineReadsand

■Oil0*1,♦T，

IProjectsjJobs|Work...|Data...iJTransf...◎Datas...|Form...|于Custo...|

将源表连接“Table_Comparison”控件，"Table_Compari$on”控件连接目标表。

4、设置Table_Comparison控件

双击“Table_Comparison”控件，设置相关参数：比较巨标表、表主键，需要比较字段。当

需要比较字段为空时，会比较全部字段。提议根据需要填写需要比较字段，能够加紧处理速

度。保留后实施Job。

Tdb工cnojnc：卜:蜷fJDS.ERPDSUSEREldS]

Generatedkeycolumn]

I-IxtpxxtcoxitainsdxipJ.icatokeys

I-Detectdeletedrow(s)fromcomparison

—Marwthsrionedeletedrowswithsan»ekey

「Detecttillrow，

CDetectrowwith1七eeriertxtedkey

valu.c

-Comparisonmethod

母Row-byrow「Cachedcomparison

selecttableCSortedinput

Input,primarykeycoluninsComparecolumns

MANDT

EBEKN

七、基于时间戳增量加载

1、在Job下定义工作流

EBAMTIMESTAMP

在工作流中定义Script控件，读取数据抽取后最新创建时间和更改时间，定义一个处理新增

数据数据流和一个处理更新数据数据流

READ_EBAN_TIMESTA...EBAN_NewEBANUpd

O®>---------oHfloO®O

2、定义Script控件

在Script控件中需要使用变量存放读取最新创建时间和最新更改时间。

选择Job,在工具栏选择“Variables”按钮，创建全局变量

—

Eroject~£d«tyiew-Tools~~Qebug_Va]・d3tion_Window~日遹〜一—

,，画%wo%▼G3S3O?1依

tAreaQX

绅JDS

Gen.rel

aPurch<s«Ord«r

agEKFOjrdgps

s0E»D_hb1«Cgp<r,

Or»XT_T-bl«C9p3・

由

口EKXX.Tftbl«Co»p%r«

♦

&EKBZ_Tabl«Coep<r«

Purch”・R・qu”Q

%EBKK.FULL

♦,

中jPRPS.TIMSTKAMF

QEBAN.TIKESTMIP

©-

口READ.EBAM.TIMESTWP

3(TEBAM.Vpd

SrFEBAMJCC

"ZPRJ-ASSIGKIMFO_T<bl<C<

test!

DefmitionsZCalls/

双击“Script”控件，编写SQL语句，从HANA数据库表中读取最新创建时间和更改时诃

Functions...

SERDAT=sql(?HAD_DS，/selectmax(ERDAT)fromERPDSUSER.EBAN');

if($ERDATisnull)SERDAT=sysdate()+1；

$BADAT=sqlCHADDS*/selectmax(BADAT)fromERPDSUSER.EBAN');

if($BADATisnull)SBADAT=to_datE(,1900.01.Of,,YYYY.MM.DDJ);

print($ERDAT):

print($BADAT);|

3、定义处理新增数据数据流和处理更新数据数据流

双击“EBAN_New”数据流，加载源表,Query*Map_CDC_Operation控件和目标表

EBAN(ECQ500.)QueryMap_CDC_OperationEBAN(HAD_DS.ERPDS..

.：■

r•：・1-1--------f»国

------A

双击Query,在输出字段中增加“Sequence"和"Operation”两个字段。“Sequence”字段

使用函数gen」ow_num()进行赋值，“Operation”赋值为‘I

SchemaOut：|置Query▼

|Type|MappixtR|Descrip^.

>LFRIOnumeric(...EBAN.LPRIODeliver：

>ADACNvarcharEBAN.ADACNAircraf

>SERRU”archarQ)EBAN.SERRUTypeof

>DISUB_SOBKZvarchar(1)EBAN.DISU...Special

>DISUB_PSPNRnumeric(...EBAN.DISU...WorkBr

>DISUB_KUNNRvarchar(10)EBAN.DISU...Customer

-…>DISUB_VBELHvarchar(10)EBAN.DISU...Salesa:

>DISUB_FOSNRnumeric(...EBAN.DISU...Itemnw

-->DISUB_OWNERvarchar(10)EBAN.DISU...Ownero

-->IUID_REL£VANTvarchar(1)EBAN.IUID...IUID-Re：

-->SGT_SCATvarchar(16)EBAN.SGT_...StockS

—►SGT_RCATvarchar(16)EBAN.SGT_...Require)

>〜uenceintzenrow_n...n

-

--►Operationvarchar(1)

在Quey中设置Where条件

EBAN.BADAT>$BADAT

双击Map_CDC_Operation控件，设置CDCColumns

lapCDCOperation|

CDCColumns-

Sequencingcolumn：Sequence_^J

Ro,operation(Operation

「Sorting

“Inputalreadysortedbysequencingcolumn

Additionalgroupingcolumns|

一样方法定义"EBAN_Upd”数据流，在Querywhere条件中定义为

Mapping|SELECT|FROM戏IHKRE|GROUPBY|窈ORDERBY|Advanced|Find

Functions...|ProposeJoinDomains...•・•|

|~EBAN.ERDAT>=$ERDAT

在Query数据结果中增加“Sequence”和uOperationn两个字段v"Sequence”字段使用函

数gen_row_num()进行赋值，"Operation”赋值为‘U'

!■-->SGT.RCATvarchar(16)EBAN.SGT_..fj

••…>Sequenceintgen_row_n..

；•••->Operationvarchar(1)'IT

ii_______________I/

保留后，实施Job。能够经过修改源系统数据测试基于时间戳增量加载。

八、DS中常见控件介绍

1、Key_Generation

在源表基础上为目标表重新生成主键

SCARR(ECT_Datasto...QueryKey_GenerationSCARR_WITH_KEY(HA...

在Query中增加“ID”字段，赋值为0。

汕E】Z置SCAM2JMmJ：司Query习

]|Deicriytsc*|ContentTyp*||Typ.|■•ffptM|D.y<

s圜SCAEK