BOXI_SAP_解决方案

1、SAP 系统Business Objects解决方案Business Objects上海办事处文档控制变更记录· 33日期作者版本号变更参考文件2007/6/12Michael Jia1.0·审阅·姓名职位·发行拷贝号姓名地址1234Note: The copy numbers referenced above should be written into the Copy Number space on the cover of each distributed copy. If the document is not controlled, you

2、can delete this table and the Copy Number label from the cover page.目 录1BUSINESS OBJECTS 解决方案31.1Business Objects 商务智能解决方案:31.2SAP 数据的提取BO Data Integrator91.3BO Rapid Mart - SAP之上,快速的数据集市112BO 解决方案和SAP BW的比较142.1术业有专攻142.2BO-真正企业级的BI142.3SAP BW - BEx的功能缺陷152.4SAP BW 使用BO的工具来实现展现！162.5事实证明SAP BW可以是BO

3、解决方案的补充，而不是替代162.6BO 领先的BI分析工具172.7BO 专业的数据抽取工具183DATA INTEGRATOR 产品简介193.1对平台的支持193.2对数据源的支持193.3基本功能203.3.1提供强大的数据转换功能203.3.2图形化界面223.3.3统一集成的设计开发环境223.3.4支持大量的自定义函数223.3.5高可用性233.3.6可共享重用功能233.3.7支持海量数据加载233.3.8多种数据处理方式243.3.9支持异构数据库的关联243.4管理和调度功能243.5集成和开放性263.6数据质量分析273.7元数据管理283.8其他功能291 SAP

4、ERP 系统Business Objects 解决方案1.1 Business Objects 商务智能解决方案:BOXI 是一个全面的商务智能平台。Data Integrator可以完成数据的ETL过程和元数据的全面管理。BOXI 平台上除了可以建立报表，OLAP分析，随机查询之外，并且还可以扩充EPM（绩效管理）的软件。BOXI 商务智能平台,提供了丰富的数据展现能力:l 直观的运营监控仪表盘l 灵活的报表查询 l 专利的语义层技术l 便捷的OLAP 钻取分析l 数据可视化和仪表盘分析电信公司分析仪表盘1.2 SAP 数据的提取BO Data IntegratorBusiness Obje

5、cts Data Integrator 是Business Objects 专业的数据整合和ETL (数据抽取,传输转换和加载)工具. Business Objects Data Integrator可以集成来自于不同系统的数据，创建和加载一个高效的数据集市。Data Integrator的特色:简单易用, 设计效率高Data Integrator提供了一个高效的ETL工具，从而满足企业最复杂的数据仓库项目的数据整合的需要. 作为专业的ETL工具, Data Integrator在一个界面里完成ETL的设计, 清洗,测试,单步调试和监控. 具有最简洁的界面和高效的开发能力.Data Integ

6、rator的特色:运行效率高Data Integrator是运行最快的ETL工具之一.Data Integrator支持跨多个CPU的动态并行分割。这个特性为日益增加的数据量和缩短通宵的数据加载窗口提供了高速的ETL性能。Data Integrator成熟的性能优化器充分利用了多任务环境的优势，并且在单个CPU的环境里提供了并行处理的功能。Data Integrator动态为所有资源分配工作（包括多服务器和任务、硬件内存、RDBMS等）。Data Integrator的性能优化器可以确定任务是由源或目标数据库的、还是分配适当的任务给自己的处理引擎，从而确保了纯粹数据库工作（例如select、i

7、nsert、bulk、load、简单的链接和函数事务）以最快执行速度。Data Integrator可以集中关注在数据转换流程的设计和其它复杂、多步骤地转换任务。针对ERP系统, Data Integrator 提供了丰富的ERP系统接口, 包括SAP R3, Oracle E-business Suite, PeopleSoft, J.D. Edwards 等. Data Integrator 作为针对SAP系统的ETL工具, 具有很长的历史, Data Integrator 的前身Acta, 就是SAP系统上非常出名的ETL 工具. Data Integrator 完全支持SAP R3系统

8、, 可以直接访问SAP R3的:l ABAPl BAPIl IDOCl Hierarchiesl Functionsl Pool tablel Cluster Tablel Z-tableData Integrator 可以方便地连接SAP R3应用接口, 获取SAP 系统的数据. 1.3 BO Rapid Mart - SAP之上,快速的数据集市SAP R3系统非常复杂, 包含数千张数据表. Data Integrator 提供了直接连接SAP R3应用接口的能力, 但是你必须非常数据SAP R3系统的数据表结构. 那么有没有一个更好的访问SAP R3系统的方法呢?Business Obje

9、cts 在Data Integrator 之上,还提供了 Business Objects Rapid Mart.快速的数据集市. Rapid Mart 提供了在ERP系统: SAP R3, People Soft, JD Edwards, Siebel. Oracle等, 上建立快速数据集市的能力.如下图所示 :快速的数据集市可以带来哪些好处?快速的数据集市实际上就是一个预先建立的数据仓库系统. 在这个数据仓库系统上, 已经预先建立了:1. 数据仓库模型2. 整个数据处理的ETL过程3. 预先建立的UNIVERSE(语义层)4. 预定义的报表数据仓库的模型实际是数据仓库最有价值的东西. BO

10、 Rapid Mart预先定义了SAP 系统的数据模型, 如应收,应付, 成本中心, HR, 产品目录, 工厂维护, 产品计划, 项目系统, 采购, 销售等等. BO Rapid Mart 还包含的整个ETL的处理流程, 包括整个任务的工作流处理, 失败恢复等功能. BO Rapid Mart 还为前端展现, 生成了查询的语义层, 建立了一些预先定制的报表. BO Rapid Mart 经过简单实施就可以使用. 由于客户的SAP R3系统通常都经过实施, 实施合作伙伴,可能会调整一些表的结构, 因此, BO 的Rapid Mart 也需要针对这些改变,作一些调整. 比如调整表的结构, 验证ET

11、L的流程等. BO Rapid Mart的优势:BO Rapid Mart 最大的优势是, 可以在SAP 系统上,可以获得一个立即可用的数据仓库/数据集市. 大大简化SAP 系统上数据仓库的建立难度和缩短数据仓库的建立时间. 客户获得了一个即时可用的数据仓库系统. BO Rapid Mart的另一优势是可以随时调整和扩充. BO Rapid Mart是完全建立在BO Data Integrator技术基础之上的数据仓库应用. 因此BO Rapid Mart是一个完全开放的环境, 易于调整和扩充. BO Rapid Mart可以作为SAP R3系统之上的最佳的数据仓库实践. 2 BO 解决方案和

12、SAP BW的比较2.1 术业有专攻Business Objects是专注于Business Intelligence(商务智能)领域的专业软件,服务和解决方案提供商。SAP 则是应用软件开发商，专注与企业资源计划（ERP）领域。可以说BO和SAP是不同领域的佼佼者，但是在数据挖掘和商务智能领域，BO才是真正的领导者。BI和EPM 不是SAP的核心竞争力！ SAP的主要业务是流程自动化（ERP）。以下数据可以说明一个问题。SAP在BI领域总共只有150个开发人员和70个技术支持。而Business Objects在BI领域是1000个开发人员和500个技术支持。2.2 BO-真正企业级的BIB

13、usiness Objects 的商务智能（BI）， 着眼点是：站在一个企业的全局范围来考虑，所有的商务智能都是一个企业级别的。在制造业类型的企业中，包含ERP, OA 办公自动化，资金管理，渠道和售后服务等各种各样的数据。 Business Objects 的商务智能，目的是建立一个包含这些所有数据的企业级别的商务智能系统，为领导的决策服务。SAP系统在一个典型的制造类企业中，扮演着管理部分数据的功能，而企业中的大量数据，还存放于各种的非SAP系统中。SAP BW 是建立在SAP R3系统之上的。 SAP BW所有的模型和数据整理过程，都是基于R3, 因此对于R3系统的数据，SAP BW能够

14、较好地反映， SAP BW 对于任何非R3的数据， 集成存在着极大的困难。 如果大量的非R3的数据需要和现有的R3数据整合在一起， 比如SAP系统的销售数据需要和非SAP系统的销售数据整合反映在报表里，这是一个很常见的需要，这样的整合对于SAP BW系统来说是非常困难的。（SAP BW从R3到BW的数据采集过程相当于黑盒）由于SAP R3只覆盖了企业部分数据， 而SAP BW，正式基于R3的，所以实际上：SAP BW 基本上是SAP R3系统的BI, 不是企业级的BI.2.3 SAP BW - BEx的功能缺陷BEx Analyzer是SAP BW的报表和数据分析工具，但是主要是面向，高级技术

15、人员和分析人员的。对于一般的报表用户，业务用户和高级经理来说，BEx太过复杂，无法使用。（BEx实际是技术人员的工具）。 任何用户希望个性化仪表盘或者是BEx的分析工具/应用设计器，都必须要求技术部门的参与，业务用户无法进行自我定义的随机查询和报表工作。 技术部门的维护工作量很大！尽管SAP 刚刚发布了1.0版本的报表工具BEx Report Designer, SAP 依然需要继续OEM BO 公司的Crystal Report(水晶报表)来完成高度格式化的报表工作。请看专业分析评论：“BEx Analyzer is not easy to use for the average user;

16、 more of a power tool for power analysts”. Kurt Schlegel- SAP BW: Staying One Step Ahead of a Juggernaut. Meta Group. July 27, 2004.（BEX Analyzer 对普通人员来说很难使用，更像是一个高级分析人员的工具 卡特， Meta 集团）“However the report formatting capabilities in BEX today are at best basic. Unlike Crystal, BEX doesn't support

17、 pixel-perfect reporting, among other features”. CBR Staff Writer. SAP-Business Objects relationship alive and well. Computer Business Review. November 4, 2005. （BEX的报表功能处于一个最最基本阶段，不像水晶报表， BEX 不能够支持精确定位的报表和其他各种特性。 计算机商业评论）2.4 SAP BW 使用BO的工具来实现展现！SAP R3系统的报表展现是非常贫乏的， 使用的是20年前的程序开发方法， 同样在SAP BW系统里面， 格

18、式化报表的展现依然困难。 为了解决SAP BW系统报表展现这个难题， SAP 从2001年起就OEM，Business Objects 的水晶报表工具（Crystal Report），来制作和管理SAP系统的报表。如果大家有兴趣，可以直接在SAP的网站查看这份声明:2.5 事实证明SAP BW可以是BO解决方案的补充，而不是替代SAP一直鼓励客户把SAP BW作为客户的EDW（企业数据仓库），事实是很多客户使用BO的解决方案实现了企业数据仓库（EDW），并且使用BO来访问SAP. 而已经使用BW的用户，最后发现BW并不能满足很多常规的需求，转而求助BO的企业数据仓库（EDW）解决方案，SAP

19、BW仅仅作为企业数据仓库（EDW）的一个数据来源。专业分析评论：“Although choosing BW may seem logical if the enterprise has significant investment in R/3, enterprises should consider alternatives. In many cases, there may be a mature data warehouse, which should not be replaced. Furthermore, BW can be used to leverage, rather tha

20、n replace, certain BI tools to which users are accustomed”. Ted Friedman et al. “SAP BW: Real-World Experiences and Best Practices”. Gartner Inc. May 14, 2003.“对于那些在SAP R3上大量投入的公司来说，尽管选择BW看起来符合逻辑， 但是企业必须综合考虑。在很多情况下，企业需要一个成熟的数据仓库（EDW），BW 可以作为一个补充，而不是替代那些客户已经习惯的BI工具。” 泰德。 “SAP BW: 真实世界的经验和最佳实践”。Gartne

21、r 公司。2.6 BO 领先的BI分析工具Business Objects 是专业的BI厂商， BO在BI方面有专业的分析工具， 通过BO专利的语义层技术， BO的Web Intelligence可以非常方便地实现随机查询，数据分析和报表的功能。 所有这些工作都可以由业务用户来实现。BO的特色是：l 工具容易使用，功能强大l BO提供统一的事实上的业界标准的BI平台l BO提供强大的完整的方便的端到端的管理驾驶舱解决方案2.7 BO 专业的数据抽取工具BO的Data Integrator(简称：DI)是一个专业级别的数据抽取工具。具有功能强大,易于使用的特色。DI 除了可以直接连接各种数据库之

22、外， 还可以连接专门的ERP系统，如SAP R3系统。这给建立一个企业级别的数据仓库或数据集市，带来了极大的方便。Data Integrator使在一个统一的环境中，管理企业的各种数据成为了可能，无论是关系数据库的数据，ERP的数据，文本数据，还是NOTES数据。Data Integrator在全球已经获得广泛认可。3 Data Integrator 产品简介Business Objects 的Data Integrator 是业界主流的专业数据集成工具（ETL工具）。作为一个专业的数据抽取，转换和加载的工具， Data Integrator具有功能全面，开发效率高，性能好的特点。在所有的ET

23、L工具里面，名列前茅，在全球获得了广泛的应用。在国际上有宝马，通用电气，日立，松下，西门子，IBM, 北电，阿尔卡特等众多用户，在国内也有中石化，浙江省社保，江苏省公安厅，上海航空公司等用户。下面将从几个方面，对Data Integrator的特色，作进一步的说明。3.1 对平台的支持Business Objects 的Data Integrator支持各种不同的操作系统平台，包括Windows Server SP3以上，Windows XP SP1，Windows 2003，以及IBM AIX 5.1/5.2，HP_UX 11i，和Sun Solaris 8/9等Unix平台。而ETL转换设

24、计工具运行在Windows 环境中，设计完成后的ETL转换规则设计工作可以移植到任何支持的平台上运行。而Data Integrator的元数据库是构建在主流的关系型数据库之中，因此同样支持跨平台的移植。3.2 对数据源的支持对于企业EDW系统，通常数据源和目标数据库涉及多个数据库、数据库接口和其它各种文件格式，Data Integrator源数据和目的数据能支持目前主流的数据库系统, 包括Oracle、SQL Server、DB2、Sybase、Informix；支持非关系型数据源如各种文件格式中数据、Xml、MQ Series, Notes等；支持通用的数据库接口（如），还需支持数据库原厂商

25、的专用接口；支持异构数据库关联；能够直接加载数据到各种多维数据库、数据仓库中。1. 对数据的操作类型：可以对数据进行各种统计、汇总、查询、过滤、排序、函数计算、合并拆分等；2. 对字段的类型转换：支持各种日期/时间格式的转换、货币的转换、字段类型及文本的各种操作转换；3. 对语言、字符集的支持和转换：支持各种语言及相关间的相关转换；支持字符集的自定义。4. Business Objects 的Data Integrator支持异构数据库的关联，在进行数据加载设计中，在转换设计中通过添加Query节点，就可以实现异构数据库之间的关联功能。图示：异构数据库之间的关联实现3.3 基本功能Data I

26、ntegrator产品实现如下的基本功能：3.3.1 提供强大的数据转换功能l 空值处理，可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。Data Integrator可以定义多种异常处理机制，其中包含对空值的判断和校验。l 提供规范化数据格式支持，可实现字段格式约束定义，对于数据源中的时间、数值、字符等数据，提供对时间、数字、字符校验的函数，并可以灵活定义格式。l 提供字段映射；映射字段的自动匹配；字段的拆分；多字段的混合运算。 l 记录间合并或计算；记录拆分；排序、统计，按行按列的分组聚合等功能，Data Integrator提供丰富的lookup函

27、数（lookup，lookup_seq，look_ext），可以实现复杂的lookup算法，例如根据数据范围lookup，数据拆分后lookup。Data Integrator还提供数据替换功能，配合校验函数的使用，可以实现基于业务因素，实施无效数据、缺失数据的替换。l 支持自动产生有效时间（Data_Generation），设计人员可以根据需要设定时间序列的增长间隔等相关属性。还提供提供Effective_Date转换，可以根据逻辑需要协助生成有效时间段，并作为查询依据获取相关数据结果。l 提供Case工具，根据用户表中某一字段不同的数值，生成不同的转换策略，从而简化ETL设计工作。l 提供

28、自动主键生成功能，自动生成可自增长的主键。l 提供层次数据转换展平的转换功能（Hierarchy_Flattern），将有自连接的表展开，以便将来的统计分析处理。l 提供两套数据集合并（Merge）成一个数据集的功能。l 提供历史数据操作保留的功能，例如源数据表中某一条记录被更新，在目标数据表中，保留原有记录，并增加一条新的记录以描述该记录的最新情况。l 提供列到行（Pivot）以及行到列（Reverse Pivot）的转换。l 提供表数据集合比较的功能（Table Comparison），并根据比较所得到的结果集进行相应操作。l 还可以在转换流程中通过图形方式加入业务特定的SQL代码l 同时

29、Data Integrator还提供了操作映射功能（Map Operataion），即对源数据表的insert，delete以及update操作，根据业务需要映射成目标表的insert，delete以及update，此种映射并不是同等操作的映射，可以按需定义，例如：你可以将源表的update映射成目标表的insert，源表的delete映射成update。3.3.2 图形化界面Data Integrator提供了统一的可视化开发、设计、调试环境，方便用户进行数据库加载的数据转换规则定义，自动校验数据转换规则的合法性等功能。3.3.3 统一集成的设计开发环境Data Integrator提供了一

30、个高效的ETL工具，从而满足您最复杂的数据仓库项目的数据整合的需要。Data Integrator自动生成访问每个应用程序所需的优化代码（例如SAP R/3的ABAP、PeopleSoft优化的SQL、J.D. Edwards的自动数据类型转换等等）。Data Integrator设计者给予了数据分析者通过使数据对象 表、视图、PeopleSoft树、SAP R/3层次、XML计划和更多 在单一的工作空间中简单地创建批处理和实时数据流的能力。Data Integrator强大的、形象的映射和转换逻辑可以指定数据应该如何跨企业各系统进行整合。3.3.4 支持大量的自定义函数Data Integr

31、ator同时提供了一个拥有大量函数和转换功能的，并对数据整合或数据仓库项目快速部署有必要的预定义包；允许用户自定义各种转换规则、相关函数及一些程序；支持用户自定义函数或存储过程，提供强大的脚本功能，实现任何复杂的转换逻辑。3.3.5 高可用性Data Integrator 可以收集和响应大批来自于 ERP、CRM、WEB 服务应用、EAI 产品、数据库和其它系统的实时事件。同时 Data Integrator 能够不断更新数据仓库、更新仪表盘的管理或执行许多其它整合的任务。3.3.6 可共享重用功能Data Integrator提供了数据连接的多Profile机制，定义好的数据转换规则可以同时

32、定义多个Profile，当迁移到其它的节点进行二次开发使用时，可以通过调整配置的Profile来适应其它的节点上数据转换的需求。·图示：多Profile的配置3.3.7 支持海量数据加载支持TB级数据加载，同时Data Integrator还可以捕获Oracle, SQL Server, DB2等数据的增量信息，支持远程数据的抽取，通过批量加载提高性能。3.3.8 多种数据处理方式Data Integrator数据转换中，提供多种处理方式，可以按照需求将计算分布在处理中任意的环节中，例如：可以通过query转换功能将转换的临时数据保存在内存中，以减少对源数据库和目标数据库的资源开销，

33、保证源数据库与目标数据库的安全需求，以减少多实例运行时对数据库资源的开销。3.3.9 支持异构数据库的关联Business Objects 的Data Integrator支持异构数据库的关联，在进行数据加载设计中，在转换设计中通过添加Query节点，就可以实现异构数据库之间的关联功能。·图示：支持中间转换步骤的保存，减少数据落地次数3.4 管理和调度功能Data Integrator产品提供如下的管理和调度功能：Data Integrator提供了统一的基于Web的管理界面，用户可以通过浏览器进入管理监控界面，Data Integrator提供了完全图形化的监控界面，让用户可以直观

34、的看到当前正在执行以及已经执行的数据转换任务的情况，以及相应的历时任务记录，同时用户还可以对数据转换任务的性能进行监控，让用户可以及时了解转换过程中的执行情况和机器性能变化。图示：统一的管理和监控Data Integrator提供了统一的开发设计环境，设计人员可以对数据转换流程进行统一的设计，同时由于转换流程都是保存在Repository之中，因此可以方便的做到统一发布以及版本管理等功能。而数据加载的引擎可以充分的利用计算机系统资源，通过批量加载、并行计算以及网格计算等技术手段来实现多线程、分布式支撑以及负载均衡的实现。同时Data Integrator提供了统一的基于Web的管理界面，管理人

35、员可以方便的对数据加载任务进行调度、监控和管理。提供时间、事件、命令行等多种触发方式。通过Data Integrator数据处理引擎的多个实例，多个作业任务可以同时运行；多作业服务器可以共同实时地运行（可以为了容错在一个集群中被统一管理）以提供更多的容量和冗余。在单一数据转换中，根据该转换的复杂程度，可以动态的多线程架构进行并行处理；在单一作业中，多个转换流程和作业任务可以并行运行。Data Integrator的性能优化器可以确定任务是由源或目标数据库的、还是分配适当的任务给自己的处理引擎，从而确保了纯粹数据库工作（例如，select、insert、bulk、load、简单的链接和函数事务）

36、以最快执行速度。Data Integrator可以集中关注在数据转换流程的设计和其它复杂、多步骤地转换任务。3.5 集成和开放性Data Integrator产品在集成和开放性方面有如下特性：1. Data Integrator提供了与传输软件的接口，对于消息队列，例如MQ Series，JMS等消息接口，都提供了相应的Adapter，可以接收和发送消息队列的信息。另外，Data Integrator还支持FTP功能，可以自动监测文件系统，实现传输和转换的无缝连接。2. Data Integrator提供开放的API接口，调用外部程序：提供各种标准接口，可调用储存的程序（并获取其返回值）、外部

37、程序（如外部的DLL文件等），及提供其他接口等。3. Data Integrator 产品提供Data Integrator Job Server，也就是数据转换执行的引擎可以部署在Windows或者UNIX服务器之上来运转，而Data Integrator Designer，数据转换的设计工具是运行在Windows环境中，而转换的设计是保存在一个Repository之中。可以看到数据转换的设计和运行是不同的组件来实现的，两者处于不同的运行环境之中，而规则定义是存储在Repository中，这样可以方便转换规则的分发和重用。同时，Data Integrator还提供备份和恢复机制，便于转换规则

38、的发布及重用。4. Data Integrator提供了动态扩展的功能，包括支持多机的集群，或者是配置Server Group，通过网格计算功能来实现系统处理容量的扩充。5. Data Integrator支持与OLAP集成；与统计分析工具的集成等。3.6 数据质量分析业务系统不同时期业务过程有变化；旧系统模块在运营、人事、财务、办公系统等相关信息的不一致；遗留系统和新业务、管理系统数据集成不完备带来的不一致性，这就需要ETL软件能实现数据的质量控制。Data Integrator产品对质量分析体表现为保证数据的正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性。1. 空值处理

39、，可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。Data Integrator可以定义多种异常处理机制，其中包含对空值的判断和校验。2. 提供规范化数据格式支持，可实现字段格式约束定义，对于数据源中的时间、数值、字符等数据，提供对时间、数字、字符校验的函数，并可以灵活定义格式。3. 配合校验函数的使用，可以实现基于业务因素，实施无效数据、缺失数据的替换。4. Data Integrator提供了调试工具，可以方便的实现数据转换过程中的单步跟踪，对于出错信息提供了详细的日志记录，包括转换开始时间，运行时间，数据加载成功的记录行数，加载失败记录的行数，遇到错误的出错信息，会话完成时间以及会话中断的状态分析。系统管理人员还可以通过Web管理界面查看转换过程中的日志。同时，Data Integrator提供了将转换出错记录完整的记录