SAP BI基础知识参考模板

2/23SAPBI知识收集一、SAPNetWeaverBIBI是SAPNetWeaver的核心组件，它提供了DW、BI平台、BI套件去最大的获取有用的信息。BI提供了复杂的报表和分析工具。（图1）BI的关键组件（图2）SAP相关的产品EP：EnterprisePortal，代表企业的前端，就是通过WEB浏览器而不是SAP的专有用户界面提供对SAP的和非SAP资源的门户访问。ECC：SAPERPCentralComponent，以及其前身R/3和R/3Enterprise均为联机事务处理系统（OLTP），它们可以满足许多客户日常事务处理的需要。SCM：供应链管理，对业务过程的执行与协调进行流线化操作，从而增强了计划导向的业务过程。CRM：客户关系管理，被用在客户相关的端对端的过程中。可以全方位的审视你的客户和你的企业间不同触点。（图2）BI架构架构可以分为三层：1、sourcingdata2、storingitinthewarehouse3、reportingonitwithanalytics二、数据流BI详细数据流图1、DataSource：是BI系统的一个数据对象，用来从源系统抽取和准备数据。三、数据获得层（数据源）（图4）数据获得四、DW层的相关组件（图5）BI数据仓库：物理存储DW层主要是为企业报表提供需要的数据，对这些数据进行抽取、清洗、集成、管理。包括的有DW、ODS、DM、OpenHubService；DW为相当长的时间内存储了详细的数据。DW层主要涉及到以下组件：1、数据抽取（DataETL）（1）SourceSystem：源系统包括SAPR/3、NonSAP、XML、Database。（2）InfoSource：信息源描述了企业在特定情况下，所有可用主数据或事物数据的总量。数据有一个从数据源到信息源的转入过程。一个信息源由许多信息对象（InfoObject）组成；在BI中，InfoObject是基本的信息载体，用来结构化信息，这些都是数据对象必须的。（3）如何转入数据？通过定义传输规则，定义数据源是怎样转入信息源中。a、从文件系统中转出数据：用户可以从文件系统中加载事物数据和主数据，例如：Excel、CVS及ASCII文件。这些文件可以来自用户工作站，也可以来自某一应用程序服务器，可以直接在BI中定义并更新元数据，也就是数据源。SAP提供用CVS和ASCII格式自动加载平面文件数据。在文件系统加载前应检查文件的正确性。b、通过BAPI方式转入数据：StagingBAPI（分段运输商业应用程序接口），是为了能够在应用层上从非SAP数据中抽取数据，SAPBI提供了一个接口。其作用：一个就是把第三方ETL与SAPBI相连；二是能够提供对SAPBI对象的访问，因此使得客户化的数据抽取程序成为可能。c、从关系数据库中传输数据：在缺省的情况下，系统会开通与数据库管理系统得连接，当从SAP内核中初始化一个BI应用程序服务器时，SAP系统在数据库管理系统基础上运行。也可以与更多的数据库相连，就可以访问外部数据库，还可以用SAP支持的数据库管理系统提供的表和视图来转入数据。在与数据库取得连接的情况下：可以从SAP支持的数据系统中加载数据；将数据库与BI相连形成源系统，直接访问外部关系型数据库管理系统；通过生成数据源，使得BI可以感知到这些元数据。d、传输XML格式的数据：通过XML格式的数据与BI的数据在分段传输（DataStaging）相集成，BI在分析外部数据方面的灵活性得到了支持。通过用户联网的HTTP协议，可以把XML格式的数据传输到BI中，还可以把它与统一的数据基础相集成。这一解决方案的基础是使用SAPWeb应用程序服务器提供的SOAP服务。通过这一服务，可以向ABAP环境下的RFC兼容功能模块中传输ＸＭＬ格式的数据。为了以XML传输数据，在BI中会生成一个以该文件为基础的特殊数据，该数据源还设有和Delta队列服务连接所需的接口，对每一个XML数据源还生成RFC兼容模块，主要是对Delta队列中的数据进行更新。e、通过DBConnect：允许相关的数据库直接被连接；它可以与外部数据库管理系统创建一个连接。通过输入元数据和原始数据，这种必须的结构在BI中将被生成，数据就被直接的、有效的加载，这种技术运行在J2EE引擎，也支持 J2EE连接架构。f、通过UDConnect：能够连接几乎所有的相关的、多维的数据源。可以转换、转移像平面文件这种数据。RelationalSource可以用DBConnect，也可以用UDConnect传数据，Multi-dimensionalSource是用UDConnect,SAPSource是用BIServiceAPI，File是用FileInterface，XML是用WebService。（4）PSA（持续分段传输区域）：用来存放从源系统中获的数据，是一个临时存储区域，为ETL提供一个工作区域；与原系统数据接近，存储时间比DW短，是短期的存储（如果原系统的数据量比较大的话）；可以起到数据备份和源系统数据共享的作用。系统会给每一个数据源及源系统分配一个PSA。数据在PSA中存储时不会发生变化，BI中的数据记录首先被转化成转入结构的格式；随后，对每一个数据包执行一个TRFC程序，转入结构中的数据被写入PSA表（二维表）中并存储在那里，每张PSA表的结构与其相应的转入结构一致。2、聚集（aggregation）Aggregate：优点：提高查询效率；缺点：占据内存空间和处理资源，不能看见近期加载的数据。集成的类型有：（1）Minimum（2）Maximum（3）SUM（是最多的选择）3、BI加速器（BIAccelerators）加速器解决的是一个执行效率的问题，它用在NetWeaver7.0以及更高的版本。它指引在BI信息立方体中的信息去创建一个高度压缩的结构能将任何一个用户要求的数据载入到内存。在SAPNetWeaver加速器查询进程完全是在内存中利用高性能聚集技术，然后发送数据到BI分析引擎为用户输出数据。加速器用的几个地方：数据进入DW时：原数据向BI系统抽取数据出去的时候：报表查询加速器涉及到技术：（1）软件技术：TREX：搜索和分类引擎，最早设计是为了非结构的数据（像Google）BIAccelerator：是用TREX技术（索引、检索、压缩）建立的，去处理结构数据。（2）硬件要求：CPU：Intel64bit、Supplied：IBM\UP、OS：LinuxSLES94、数据仓库工作台（DWWorkbench）（图6）DWW（1）Modeling：建立、修改数据库对象和数据转换对象，创建InfoObject、InfoCube、DSO（2）Administration：数据加载的时间周期、监视和数据的管理；monitor：监视、控制数据的加载过程，创建处理链的执行和监视。（3）TransportConnection：BI传输工具的设置（4）Documents：为文件修改的界面；为BI对象添加、建立、搜索不同不版本、语言、格式的连接。（5）BIContent：为用户提供活动的内容（6）Translation：提供语言翻译（7）Metadatarepository：可以快速查询元对象、交换不同系统间的元数据、用THML页输出元数据列表、显示对象图形。5、InfoCube(信息立方体)InfoCube主要的目标是支持BI查询；它被用于存放长期的总结的、合计的数据。 InfoCube的几种类型：RemoteCube:远程Cube，来自其他DW的CubeMultiCube:可以综合几个Cube，供使用BasicCube:信息立方体最主要的功能就是为BI的查询提供服务。（1）InfoCube的几种形式：a、物理数据存储器：包括基本的InfoCube和多个InfoCubeb、虚拟数据存储器：包括远程立方体（RemoteCubes）、SAP远程立方体、有服务功能的虚拟信息立方体。只有基本的InfoCube在物理上才包括数据库中的数据，虚拟的InfoCube只是显示数据集的逻辑化视图。InfoCube是从一个InfoProvider中获得。InfoCube将一组InfoObject集合在一起，一个InfoCube包括一组与星型结构相关的表，位于中心的大型实事表包含InfoCube中的主数据，外围的是几个存储InfoCube特征值的多维表；InfoCube的主要数据与维度表的特征值有了关联，这个特征值决定了粒度（精细的程度），主要数据是在InfoCube进行管理的，逻辑上属于同类的特征值（例如：特点和区域是属于区域维度的）归到同一个维度表中。一个InfoCube可有16个维度表，一个维度表可以由128个特征构成。维表不能大于事实表的20%（2）基本的信息立方体结构：在SAP中，信息立方体是采用的星型模型，由中间一个大的实事表（Facttable）和周围的维度表(Dimensiontable)构成，实事表和维度表都是关系数据库表格。每个维度表包含多个特性(Characteristics)；特性里面又包含有属性（Attributes）、文本(Texts)和层次(hierarchies)结构。这样做的好处：第一、当实事表和维度表都相当大时，在查询的时候就会影响性能，我们就可以把维度表分成很小的表，由SID相关联。这样就可以提高其性能。第二、可以方便数据的移动、修改。第三、可以实现主数据的共享，不同的InfoCube都可以用这个主数据（星型的扩展模型）Dimension的Key（DIMID）是由机器自动产生，它是唯一定义维度表的属性值。这个DIMID在实事表里是个外键。在实事表里的所有记录都能唯一确定。维表和主数据表是由SID表连接的。维表不包含主数据信息，主数据是被存储在独立的表中。ClassicStarSchemaANDBWSchema的区别：（图）BasicStarVS。BIExtendedStar上图讲解了经典模型与SAPBW星型模型的区别：1、在经典模型中，信息立方体由事实表和维度表组成，而SAP星型模型中，信息立方体由事实表、维度表（SID表，存放SID值）、主数表（层次、属性、文本）组成。2、在SAPBW中，事实表称为关键值（指标），维度属性称为特性，描述属性称为文本，维度表中不包含主数据。3、6、DSO（数据存储对象）在BI中，DSO是一种主要的物理存储对象，它们是被用来存储详细（事物层）的记录。DSO和InfoCube构成了仓库的物理存储。而DSO又是由ODS和DW所构成。（1）数据存储对象的结构：a、待激活队列（ActivationQueue）：存储代激活数据，激活后删除这些数据。在DTP过程中，记录首先被写入待激活表。b、激活表（ActiveData）：存储激活后的数据，通过非模态定义了一个语义的主键（业务关联的）。报表通过BEx用到这张表c、变更记录（ChangeLog）：用于存储新旧记录的变更记录，可以用作其它对象的增量机制。从这个ChangeLog中连接对象被更新，这些数据要是支持来自DSO用队列方法。ChangeLog的技术主键包括：请求、数据包、数据记录号。（图）DSO（2）PSA、DSO、InfoCube的比较：7、ODS（操作数据存储）OperationDataStore数据从PSA上抽取到，并对数据进行转换、清洗、整理存储在ODS对象，PSA从源系统直接抽到数据，并未对数据进行整理，是低水平的操作需要，不会存储太长时间。在ODS进行整理后的数据可以传递给DW也可以直接用于报表。ODS作用：1、作为PSA和DW的一个缓冲区2、对数据进行整理。1、ODS分类：（1）标准的ODS对象：a、进入的ODS对象：数据以本来的形式保存后，可以使数据的管理更加兼容。以及对数据进行有选择的更新。b、一致的ODS对象：数据以粒度的状态存储，而且被统一化c、与应用系统有关的ODS对象：数据根据一些与商业有关的问题集合在一起，这种数据是操作报表问题的基础，用户可以直接使用ODS对象，也可以直接在InfoCube中更新这些数据。(2)事务ODS对象：这种数据不需要用户的激活就可以直接用于报表，只包含一组活动的数据，并不包含版本形式的数据，要定义以一个基于事务ODS对象的企业资源管理的查询，用户就必须为事务ODS建立一个信息集（InfoSets）.ODS对象中的信息存储是透明的，是二维的数据库表。8、主数据（Master）主数据包括以下几种类型：Text、Attribute、Hierarchies五、BIplatformBIplatform层是提供复杂的分析任务和分析功能的BI服务。它包括通过BEx分析导航处理请求数据的分析引擎；在BI一体化计划过程中，支持进入和操作数据的接口；特殊的分析工具（如：AnalysisProcessDesigner(APD)、DM）,对数据的挖掘、合并、处理、存储、分析。1、OLAPservices面向事务处理的OLTP环境和面向分析的OLAP环境应该是单个的实体；对商业过程产生的复杂信息不能容易的用来做分析对象，所以数据在最初被清洗(Cleaning)，然后做技术和规则的准备，数据的分析是来自于知识（Knowledge）；这样就能帮助机构基于这些数据定义商业粒度（BusinessStrategy），为商业加工（BusinessProcesses）提供支持。最后形成一个闭环。DataWarehouseDataWarehouseTransactionsMasterDataBusinessStrategyKnowledge

BIDM

BIAnalytics

KMsoftinfoBusinessProcessGenerationHomogenizationCleaning操作环境信息环境OLTPOLAP（图）OLAP与OLTP的比较OLAP依靠大量历史的、操作的数据，它允许根据各种商业观点进行多维分析（Multidimensionalanalyses）。OLAP的种类：（1）、ROLAP：关系数据库使用的OLAP（2）、MOLAP：多维度数据库使用的OLAP（3）、混合OLAP2、planning（计划）3、analysisprocessdesignerBW380:提供详细的分析过程（AnalysisProcess）和数据集市程序（DataMiningProcedures）APD是引用SAPBI的一部分，提供一种工具去支持复杂的分析任务。4、DataMining（数据集市）数据集市是一个多维的。数据集市是一个数学法则的运用，很大数据量时，能自动决定你关注的部分和关联很难发现的数据。数据集市可以发现和关联开始隐藏或者没有考虑到的数据。数据集市不仅是数学法则的纯运用，更多的是深入到复杂数据的发现过程；这个过程是反复进行很多步骤。获得有效的结果需要预定执行的步骤去保证数据的质量；同样，在执行数据集市之后，需要对结果评估，是否修改数据集市模型的参数，这是唯一的方法去保证发现感兴趣的、有意义的关联。SAPBI的数据集市的优点:（1）标准的功能（2）容易使用接口（3）可以结合到APD（4）提供第三方接口5、MetadatarepositoryService（元数据库服务）六、BIsuite/BExToolsetBI套件里包含了BEx，能提供复杂的报表和查询工具。1、QueryDesigner在SAPBI里，BExQueryDesigner是一个定义查询的独立工具。在创建查询的时候要选择InfoProvider。（1）可以在BExQueryDesigner里创建查询（2）可以改变已经存在的查询（3）在BEx分析器或者WEB浏览器打开查询InfoProvider：是一个对象，为了信息查询而建立的对象。这个对象里面包括：InfoCube、InfoObject、DSO。InfoProvider它既是物理存储空间，也可以是虚拟存储空间；就是到描述与报表相关的视图和任何对象。只是为了查询收集临时数据，但它不能永久的存储的在那里。我们比较关注的是它2个物理的Infoproviders：InfoCubes和DataStoreobjectsInfoProvider的种类：（1）MultiProvider：MultiProvider和InfoSet可以联合别的InfoProvider到一个逻辑组；为报表提供使用，他们不能持久地存储数据，只是查询需要时收集数据。（图）MultiProvider的概念MultiProvider与Infoset在概念上十分相似，但他们在技术上的连接有很大的区别，MultiProvider是用合并，而InfoSet是连接（内部连接和外部连接）Infoset：类似数据库视图，实现并发处理收集到不同表。为InfoProvider一种语义上的视图，并且连接他们。支持Infoset的InfoProvider有InfoObjects、DSO、InfoCube。功能：为查询提供信息；内部和外部连接；为依靠时间数据提供短暂连接。它是通过BEx执行的。用MultiProvider设计查询的时候，实际上是把所有涉及的InfoProviders，独立执行查询，然后再并联起来；这样提供了系统得执行效率。分析的结果是把所有独立查询的结果再合并起来。VirtualProvider：是一个很特殊的概念，就像所有的提供者，发送信息去查询；他只是一个逻辑视图，数据不能物理存储在BI里；这些数据在查询执行后来自源系统。VirtualProvider的使用范围：为了从SAP源系统获得最新的数据一个小数量的移动在同一时间很少用户去做查询设计工作在一个InfoArea里只能存在同一个InfoProvider。RDA：是一个从不同源系统提供的分析信息框架，前提要这些源系统得数据可用，InfoSource的概念：2、ReportDesigner3、WebApplicationdesigner4、BExAnalysis(MicrosoftExcelbased)5、BExWebAnalysis6、BExGeneralAnalysisfunction7、InformationBroadcastingInformationBroadcasting能从接口通过e-mail或者SMS自动的发送有关问题的信息8、PortalIntegration七、AdministratorWorkbench（管理工作台）1、Monitoring2、Scheduling3、Administrator八、OpenHubService把BI的数据向外部系统传递数据。这些数据的传输，是一个处理链或者（regularlyscheduled）。SAPSystem/ApplicationSAPSystem/ApplicationNonSAPSystem/Application…………….SAPBIOpenHubServiceCRMERPDataMart所有SAPBI对象服务的数据源：信息立方体（多提供者）DSO信息对象特征（属性、文本）数据可以用OpenHubService、写入数据库表和平面文件从上面的这些数据对象中抽取。在OpenHubService情景里很重要的是OpenHub目的地，这为数据输出后放在那里提供了很重要的参数。OpenHubService是与数据仓库工作平台相分离的，它是包含在数据流里。OpenHubService的功能：支持所有的SAPBI数据对象：InfoCubes（includingMultiProviders）,DataStoreobjects,characteristicInfoObjects(attribute\texts)分发对象：DB表，CVS格式的平面文件OpenHub目的地是作为数据流的一部分：数据流选项的使用（如：数据转换）、转移过程的目标对象、自动使用处理链“全局”或“局部”的抽取模式监视器：集成监视器、应用日志OpenHubService的组件：建模：OpenHub目的地、OpenHub数据源、转换运行：数据转移过程九、ABAP词典1、SAP词典中包含了四种类型的表（或结构）（1）聚合表是SAP特有的结构，它包含了与数据库内其他表的一对多的关系；这个一对多实际上就是数据库表本身。查看SAP聚合表时，会发现一条表的描述，但它实际上是作为表池（TablePool）的一部分和其他聚合表一起存储。（2）聚簇表与聚合表类似，他也是以数据库中到其他表的一对多关系为基础的。许多聚簇表都与称为表聚簇（tablecluster）的一张大表一同存储。与聚合表的差别是表池内容纳了大量表，而表簇只容纳了一小部分表。