内容教程开发data staging

SAPBWDataStagingDate：2012.12.20Version：2.0Goals2通过本次培训，希望能让大家：掌握SAPBW数据流的整体架构（7.X与3.X）。掌握标准数据源增量更新的机制。掌握数据流的层级掌握处理链的使用Agenda数据传输机制»DataStagingOverview»3更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»Agenda数据传输机制»DataStagingOverview»4更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»5DataStagingOverview

DataStaginginBWSystem

6DataStagingOverview3.x

DataStagingArchitecture

DataTargetUpdateRuleInfoSourceTransferRuleDataSourceSourceSystemStagingOverview7.xDataTargetDatatransferprocessTransformationDataSourceSourceSystem7DataStagingOverview8SourceSystem的类型（通过连接方式划分）：BISystem：SAPBI系统，如其他BW系统、自身(MyselfSystem)。SAPSystem：SAP系统，如ERP。ExternalSystem：外部非SAP系统，通过ETL工具（如Informatica,DataStage,DI等）相连。FileSystem：文件系统。DBConnect：外部数据库应用，如Oracle,SQLServer,DB2等。UDConnect：通过BIJavaConnector连接外部系统，如JDBCdatasources，Hyperion。WebService：通过WebService的方式将XML数据传到BI系统中。DataStagingOverview9DataSource（数据源）： 数据传输时BW系统与源系统的中间接口，是源系统相关的。PSA(PersistentStorageArea)：数据从源系统被加载到BW系统的第一站。PSA中的数据是源系统中的原始数据。DataSource与PSA一一对应。DataStagingOverview10InfoSource（信息源）： 信息对象的逻辑组合，数据从DataSource流入InfoSource代表了其类型从源系统类型到BI类型的转化。信息源是可选的。DataStagingOverview11TransferRule（传输规则）,UpdateRule（更新规则）与DataTarget（数据目标）：DataTarget：数据仓库中的最终存储，如InfoCube,DSO,InfoObject。UpdateRule：数据从InfoSource到DataTarget中的转换方式。TransferRule：数据从DataSource到InfoSource的转换方式。DataStagingOverview12TransferRule（传输规则）：指定数据源字段与信息源字段的映射关系。系统标准映射关系：信息对象直接对应，常量，例程和公式4种方式。可以定义开始例程传输方法提供：PSAIDocDataStagingOverview13UpdateRule（更新规则）：指定信息源字段与数据目标模型字段的映射关系，系统标准映射关系：信息对象直接对应，常量，信息对象的属性，例程和公式5种方式。可以定义开始例程更新类型：累加覆盖无更新DataStagingOverviewTransformation替代transferrule和updateruleDatatransferprocess用于执行数据加载，替代

datamartinterface和theInfoPackage14DataStagingOverview15转换：指定数据源字段与数据目标字段的映射。系统标准映射关系：直接分配，常数，公式，初始值，主数据属性，例程等6种方式。可以定义规则组。可以定义开始例程/结束例程。集合类型：合计（Cube、DSO）覆盖（DSO）DataStagingOverview16DataTransferProcess（数据传输进程）：与Transformation对应，是Transformation的执行实例。提取模式：增量/全量过滤器与语义组错误处理未更新无报告。有效记录更新无报告。（红灯）有效记录更新可能存在报告。（绿灯）DataStagingOverview17DataTransferProcess（数据传输进程）：处理模式：平行提取并处理Debug模式：需要设置断点。Agenda数据传输机制»DataStagingOverview»18更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»19数据传输机制

SAPBW数据传输机制

ServiceAPIStagingBAPIJavaConnectorXML/SOAPDBConnectFileInterfaceOpenHubService20数据传输机制

ServiceAPI(SAPI)：用于将SAP系统或其他SAPBW系统中的数据传输到SAPBW系统的数据传输机制。是SAPBW中最常用也是最重要的一种机制。

DataMartInterface：SAPBW系统之间或单个SAPBW系统之内，数据目标之间进行数据传输的方式。如：DSO到InfoCube等。21数据传输机制

SAPI传输机制下的数据源类型

输出数据源(ExportDataSource)，基于DataMartInterface的数据源。业务内容数据源(BWContentDataSource)，是SAP预配置的数据源。用户生成数据源(CustomerGeneratedDataSource)，是半预配置的数据源。一般数据源(GenericDataSource)，是纯自定义的数据源。22数据传输机制

SAP系统到SAPBW系统的数据传输方式

SAP预配置数据源在业务内容中选择安装。SAP半预配置数据源用户进行了一系列配置之后，SAP根据其配置生成数据源。自定义数据源需要手工创建。23数据传输机制

其他机制FileInterface使用通用的文件接口，从文件系统上传数据到SAPBW系统。DBConnect使用DBClientandDBSL从外部数据库应用中上传数据库表/视图数据到SAPBW系统。JavaConnector使用BIJavaConnector连接各种外部系统以将其数据上传至SAPBW系统。XML/SOAP使用SOAPService上传XML数据到SAPBW系统。OpenHubService将SAPBW系统中的数据发布到外部系统。

Agenda数据传输机制»DataStagingOverview»24更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»25更新方式

增量数据(Delta) 源系统中，较上一次抽取发生变化的数据（新增、更改、删除的数据）即增量数据。增量模式的优点： 由于每次抽取的只是发生变化的数据，这最大程度上地降低了传输的数据量。适用于大数据量的抽取，如总账行项目。

26更新方式

增量数据(DeltaDS)在TableRSOLTPSOURCE（BW）或者ROOSOURCE（SAP）查看数据源的增量方式。TableRODELTAM查看增量方式的明细。‘’后像（新增）；‘X’前像（冲销）；‘A’加像（差异）；‘D’删像（删除标识）；‘R’反像；‘N’不存在前像的后像；D‘’RA‘’X订单创建订单修改订单删除27更新方式

增量数据(DeltaDS-infoprovider)28更新方式

增量数据(DeltaDSO-Cube)

29更新方式

SAPBW系统中的增量管理

DeltaExists无需配置即可使用增量。DeltaPossible配置后可使用增量。NoDelta不可使用增量。30更新方式

数据更新方式完全更新(FullUpdate)完全抽取符合选择条件的数据。增量初始化(DeltaInitialization)完全抽取符合选择条件的历史数据，并为后续的增量抽取提供选择条件。增量更新(DeltaUpdate)抽取符合选择条件（增量初始化的选择条件，不可更改）的相对于上一次初始化或增量抽取的变化数据。增量重复(DeltaRepeat)若增量抽取出错，通过此方式针对出错的增量重新进行抽取，保证增量抽取无断层。完全修复(FullRepair)若增量数据丢失，通过此方式完全抽取符合选择条件的数据，填补由增量数据丢失引起的空缺。Agenda数据传输机制»DataStagingOverview»31更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»32DataMartInterface

DataMartInterface 用于在不同SAPBW系统或同一个SAPBW系统内部不同数据目标之间的数据传输。

33DataMartInterface

DataMartArchitectureTypesInside-OutArchitectureOutside-InArchitectureMyselfSystemArchitectureMixedArchitecture

34DataMartInterface

Inside-OutArchitecture SAPBW系统作为外部的一个或多个SAPBW系统的源系统。

35DataMartInterface

Outside-InArchitecture 外部的一个或多个SAPBW系统作为SAPBW系统的源系统。

36DataMartInterface

MyselfSystemArchitecture SAPBW系统将自己作为源系统。

37DataMartInterface

MixedArchitecture 多种Architecture同时存在。

38DataMartInterface

DataMartInterface数据流举例

ReplicateExportDataSource:根据数据目标生成的专用于DataMartInterface的数据源。Agenda数据传输机制»DataStagingOverview»39更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»40OpenHubService

OpenHubService 用于将SAPBW中的数据发布到外部系统。

41OpenHubService

OpenHubServiceArchitecture

通过DBTable或FlatFile将数据发布到外部系统。Agenda数据传输机制»DataStagingOverview»42更新方式»DataMartInterface»OpenHubService»DataFlow»ProcessChain»43DataFlow数据流（DataFlow）：描述了数据如何从数据源流经不同的数据层级最终到达目标，生成可供应用访问的数据格式。数据层级（LayerofData）

ArchitectedDataMartLayerEnterpriseDataWarehouseLayer44DataFlow数据获取层（DataAcquisitionLayer）：从数据源装载数据。数据清洗与整合层（QualityandHarmonizationLayer）：在该层对数据进行清洗，整合，保存在DSO中。数据传播层（DataPropagationLayer）：提供持久化的和可重用的数据，保存在DSO中。公司级存储记录器（CorporateMemory）：包含完成的数据装载历史，可用作数据的重构与恢复，而无需访问数据源。业务转换层（BusinessTransformationLayer）：基于业务逻辑装载数据报表层（ReportingLayer）：针对Cube进行数据分析虚拟层（VirtualizationLayer）：针对Multi-Provider、Infoset更加强大的模型进行数据分析EnterpriseDataWarehouseLayer：Architected