Sagent数据整合与集中技术白皮书

1、Sagent数据整合与集中技术白皮书 Sagent (中国)二零零贰年元月 TOC o 1-5 1前言 PAGEREF _Toc535219548 h 31.1数据集中 PAGEREF _Toc535219549 h 31.2数据下传 PAGEREF _Toc535219550 h 31.3数据清洁 PAGEREF _Toc535219551 h 31.4集中交易与数据整合 PAGEREF _Toc535219552 h 32数据整合系统需求 PAGEREF _Toc535219553 h 52.1数据整合业务需求 PAGEREF _Toc535219554 h 5整合面临的问题 PAGERE

2、F _Toc535219555 h 5数据整合处理 PAGEREF _Toc535219556 h 52.1.2.1数据抽取 PAGEREF _Toc535219557 h 52.1.2.2数据转换 PAGEREF _Toc535219558 h 62.1.2.3数据装载 PAGEREF _Toc535219559 h 62.2数据整合调度需求 PAGEREF _Toc535219560 h 7变化数据获取 PAGEREF _Toc535219561 h 7调度流程需求 PAGEREF _Toc535219562 h 7异常处理 PAGEREF _Toc535219563 h 72.3非功能性

3、指标 PAGEREF _Toc535219564 h 73Sagent解决方案 PAGEREF _Toc535219565 h 93.1Sagent体系结构 PAGEREF _Toc535219566 h 93.2业务规则设计工具Design Studio PAGEREF _Toc535219567 h 10基本视图（Base View）与元视图（Meta View） PAGEREF _Toc535219568 h 103.2.1.1概念介绍 PAGEREF _Toc535219569 h 103.2.1.2建立视图 PAGEREF _Toc535219570 h 11计划（Plan） PAG

4、EREF _Toc535219571 h 113.3数据转换工具Transform PAGEREF _Toc535219572 h 12数据抽取 PAGEREF _Toc535219573 h 13数据转换 PAGEREF _Toc535219574 h 143.4调度设计工具Automation PAGEREF _Toc535219575 h 14变化数据获取（CDC） PAGEREF _Toc535219576 h 14处理过程调度 PAGEREF _Toc535219577 h 14异常处理过程 PAGEREF _Toc535219578 h 163.5管理工具Admin PAGEREF

5、 _Toc535219579 h 17元数据管理 PAGEREF _Toc535219580 h 17服务器管理 PAGEREF _Toc535219581 h 173.6执行引擎Data Load Server PAGEREF _Toc535219582 h 18并行计算 PAGEREF _Toc535219583 h 18流水线结构 PAGEREF _Toc535219584 h 194建设数据整合系统 PAGEREF _Toc535219585 h 204.1设计阶段 PAGEREF _Toc535219586 h 204.2实施阶段 PAGEREF _Toc535219587 h 20

6、4.3部署阶段 PAGEREF _Toc535219588 h 20前言数据是信息时代最重要的财富，数据逐渐称为一个企业管理的命脉。然而对于数据又是很多企业非常头疼的事情。随着数据的逐步膨胀，怎样及时掌握企业的数据？了解企业发展状况？越来越难于得到这样的答案。Sagent数据整合技术，给各种企业解决了上述的问题。数据整合是一项复杂而艰巨的工作，包括了数据集中、数据下发和数据清洁等三个方面。Sagent数据整合技术，将这样的工作变得简单有效，并且便于管理。从而使企业能够提高其企业对数据的利用效率。数据集中数据整合的第一项任务是数据集中。数据集中是是Sagent数据整合技术中经常遇到第一个问题。企

7、业的电子化过程是逐步展开的，首先建立各种业务系统。由于企业本身在地区上具有分散性，业务系统根据企业的建制形成了分散的系统。分散的数据给各地的分支机构运作带来了充分的灵活性，同时也给总部的分析决策带来数据不全面的问题。总部看到的报表不能完全反应企业的运营状况。为了解决这样的问题，Sagent数据整合技术，数据集中，然后将各业务系统仍然建立在各分支机构。从而保证了分支机构运作的灵活性，也保证了总部数据的集中性。数据下传一个企业统一管理，保障了企业运作的效率和企业运作的统一性。在这样的统一管理机制下，怎样使分支机构能够及时得到总部的相关数据也是非常重要的。这就是企业的数据下发，数据下发能够保障企业的

8、分支机构在一定灵活性的前提下，充分执行总部的相关策略。数据清洁我们进行数据集中，遇到的第一个问题就是数据的清洁问题。首先，由于企业的业务系统是通过不同的阶段，在不同的地区逐步建立起来的。因此，业务系统的开发商各不相同，从而很难保证数据的一致性。其次，业务人员在对业务系统的操作过程中，很难保证完全的一致录入相关数据。由此，产生了数据的不完全兴、不清洁等一系列问题。数据清洁解决了上述的问题，数据清洁对于任何数据整合项目来说都是必不可少的。集中交易与数据整合集中管理与集中交易目前是许多企业所面临的棘手的问题，解决这个问题主要的方法有：集中交易（业务和数据同时集中）和数据整合等两种方式。这两种方式之间

9、有着非常紧密的关系，集中交易系统包含了数据整合的规则，而没有包含数据整合的更新调度等机制。集中交易：将业务系统的每一次交易，都在总部进行，通常通过交易型中间件来进行数据库的访问。集中交易系统同时也需要将历史数据集中的总部来。所以，集中交易至少考虑两个方面的问题：历史数据的集中和集中交易系统的建设。历史数据的集中实际上，就是数据整合系统，但是由于只是对历史数据，因此，整合系统不需要考虑相关的数据更新等问题。数据整合：通过两个步骤来实现，首先针对历史数据制定数据整合规则；然后，针对数据更新情况制定数据更新调度流程。集中交易和数据整合之间比较，数据整合节省了大量的软硬件投入，带来的分支机构的业务灵活

10、性。通常数据整合系统降低了集中的实时性。数据整合系统能够充分利用分支机构现有的软硬件设施。数据整合系统需求设计数据整合系统通常通过以下两个大的方面：整合业务需求和整合调度需求。数据整合业务需求：完成整合的业务规则，首先确定数据从那些地方来到那个地方去；其次，设计数据整合过程中的各个处理步骤和清洁方法；包括数据的检查、数据的转换和清洁规则等。数据整合调度需求：用来对更新的数据，进行及时处理。主要根据数据整合的业务要求，确定更新的方法、频度等各种要素。这些调度过程包括调度处理流程、异常处理过程和变化数据获取等方面。由以上的叙述，数据整合系统的需求可以明确地划分成这两个不同的部分。数据整合业务需求在

11、讨论数据整合业务需求之前，我们首先看看数据整合所处理的主要问题。然后，我们在深入讨论，为了解决这些问题，数据整合的业务需求。整合面临的问题在数据整合的过程中，首先要保证各分支机构的数据完整性与正确性；然后，对数据格式进行转换，从而达到总部的数据需求。整合过程中通常有以下几种典型的问题：无效数据、空数据、矛盾数据、不符合业务规则数据等。无效数据（Dummy Values）：由于企业的业务人员在数据输入上的马虎和业务系统的不完善，业务系统中会产生许多无意义的数据。例如，时间为公元1年、身份证号码为，邮编为999999等。空数据：空值数据是数据清洁的一个主要方面之一。空值数据的产生是由于业务人员的疏

12、忽或者其他原因造成的。不符合业务规则数据：业务规则对数据约束是非常重要。例如，对于抵押贷款的最高利率，低于了存款利率等。以上只是列出了在数据整合过程中，经常遇到的一些问题。没有可能也没有必要，将所有情况都记录下来。数据整合处理我们知道数据整合所面临的主要问题，那么怎样解决这样的问题呢？主要采用的数据抽取转换和装载的方法来实现。可以将数据整合过程划分为数据抽取和转换等两个方面，对数据装载，则主要是性能上的考虑。数据抽取数据整合过程中的数据来自于多种业务数据源。这些数据源具有以下特性：异构平台：数据分散在不同类型的操作系统平台上。异构数据平台：数据分散在不同的数据库平台上；而且可能出现数据库与文件

13、系统共存的状况。数据转换数据抽取是数据整合过程的第一步。数据转换工作，将数据的格式进行标准化和格式化。数据抽取、数据转换和数据转载共同构成了数据整合的整个过程。这些过程被存成元数据，元数据表示了一个抽取、转换和转载的整个过程。1、列变换：列变换主要是指对数据中每一记录中的同一个字段进行某种相同的处理。主要包括：数据类型转换、数据格式转换和字段解码等三个方面。数据类型转换：在数据转载的数据整合的目标之前，我们必须将各种不同格式和不同类型的数据字段，进行转换形成同一类型的数据字段。数据格式转换：主要是针对时间/日期格式和货币格式等地转换。例如对时间格式的转换，因为大多数业务环境都有许多不同的日期和

14、时间类型，所以几乎每个数据整合系统都必须将日期和时间变换成标准的数据格式。这可以通过手工程序或采用相关的变换工具来完成。它能把一个日期或时间字段拆成几个子部分，然后再将它们拼成想要的字段。字段解码：各种业务系统中都有自己的各种各样的数据编码方法。例如，我们可能对客户的变化具有一定的编码方式。而这种编码所表示的意义，必须在数据集中的过程中，对他进行解码处理。从而使集中后的数据有着非常明确的意义。2、数据清洁：对于数据清洁的需求，我们在上面有了一个比较初步的认识。数据清洁主要以下几个方面的工作：有效值检验：检查无效数据的存在，并对无效数据给出处理方法。通常来说，对于时间、数字等超过了有效值范围的数

15、据进行处理。处理的方法是采用相关检验的方法，相关检验的一种特殊形式就是枚举清单的方法。枚举清单采用一个对照表的方式，对于无效值进行替代。相关检验，是通过本表的字段（未必是同一个记录上的）和其他表的字段进行复杂运算得到。空值处理：对于空值当然可以看作无效值，采用相关检验的方法解决。但是通常来说，这种方式是采用概率中时间序列的方法来实现。通过时间序列的方法，根据其他记录这个字段的值来预测这个值。业务处理：很多数据违反了业务操作的一些规则。举例来说，对于存款余额的变化没有保持一致的情况。针对这样的问题，通常需要利用数学表达式将数据中违反业务规则的地方纠正过来，对于这个数学表达式的具体形式，是根据业务

16、需求的情况来确定的。3、数据集成集成是将业务数据从一个或几个来源中取出，并逐字段地将数据影射到数据整合系统的新数据结构上。在不同的数据源中的数据，通常采用关键字关联的方法集中起来。4、列处理：以上处理是对数据的按行进行处理，除此之外，有的时候我们需要对列进行处理。举例来说，我们对查找列中的某个值是否在以前的记录中存在，后者是这个值出现是第几次等。数据装载在数据整合过程中，数据装载是非常重要的一个部分。其中，最重要是性能问题。数据整合调度需求通过上面的分析，我们知道一个数据整合系统的业务需求。数据整合系统要面向大量的数据更新问题。因为，业务系统等数据源的数据是不断变化的。数据更新实际上就是怎样执

17、行满足上面业务需求的规则问题。对于这些规则的执行，首先遇到变化数据的获取问题，其次是怎样调度这些规则，最后是怎样处理异常问题等。变化数据获取不管是数据集中、数据整合或者数据仓库建设，都必然涉及到怎样处理变化的数据。数据的变化主要划分为三种类型：新增、修改和删除数据。对于不同类型的应用这三种类型的数据变化的处理方式也不同。对于数据仓库建设只是考虑新增数据；对于数据整合或者数据集中，除了新增数据外，还有考虑被修改或者删除的数据。在数据整合或者数据集中过程中，获取变化数据的技术被称为变化数据获取CDC（Change Data Capture）。CDC对于数据集中、数据整合和数据仓库建设都是非常重要的

18、、不可缺少的数据处理过程。调度流程需求在数据整合过程中，建立了大量的满足业务需求的处理规则。这些规则的处理是相互依赖的，并不是互相独立的。这样的依赖性很可能导致，负责的业务逻辑关系。因此，我们针对这样的逻辑，建立相应的流程来管理这些关系，这就是调度流程。调度流程通常是由以下几个方面构成：激发机制、处理单元和消息传递等三个方面。激发机制：是一个调度流程的开始过程。为了处理复杂的情况通常满足：时间激发、事件激发两种方式。其中事件激发包括：操作系统事件、网络事件、目录监控、数据库事件等相关事件。处理单元：处理单元是激发机制所激发的处理过程。这个处理过程包含了数据整合业务规则的执行，操作系统和其他软件

19、的执行和处理等。消息传递：消息传递能够将在调度流程中，每个执行步骤产生的结果，以消息的方式传递下一个处理单元。从而能够根据处理结果的状态，来改变选择执行的路径。异常处理对于每个调度流程如果失败了，那么数据整合的某个或者多个规则没有执行成功。对于这种失败的情况，我们要给出一个预先制定好的异常处理流程。通过异常流程，能够保证数据的完整性。例如，某个调度流程执行失败，进入异常处理流程处理。异常处理流程会检验各种条件，然后再次处理数据。非功能性指标根据以上的叙述，我们知道对于数据的抽取和装载，最主要的问题是处理性能问题。处理性能通常采用以下方式来实现：1、大规模并行处理技术：能够在一个过程中或者多个处

20、理过程之间，进行并行处理。2、数据分割技术：能够将所要处理的数据，通过数据分割的方法来逐步处理。3、数据库优化技术：能够根据数据抽取和装载的内容优化发给数据引擎的SQL语句，并对数据库的线程进行控制。从而达到快速处理的目的。Sagent解决方案针对数据整合Sagent提供一套端到端的、高性能的解决方案。利用Sagent解决方案，您可以快速实现一个高性能、问题、易管理的数据整合系统。Sagent体系结构针对数据整合Sagent产品体系结构如下：从上面的产品结构，我们可以清晰的知道Sagent产品中包含了所有数据整合中所需要的模块。Design Studio：用来设计业务处理规则；Reposito

21、ry：用来存储业务处理规则；Transform库：是数据转换规则库；Automation：调度流程设计管理工具；Admin：Repository和用户管理工具。Data Load Server：对处理规则高效率执行引擎。利用Design Studio，用户可以可视化地设计业务规则。这些规则将由Design Studio自动存储到Repository中。并且由Sagent Data Load Server来执行和处理这些规则。Transform库中，存储了大量数据转换和清洁的模块。利用Sagent Automaiont来设计和执行调度流程。Admin用来管理Data Load Server和Re

22、pository中的所有单元。业务规则设计工具Design Studio为了使您更加了解数据整合的方法，也是为了使您更清楚地了解Sagent产品的特点。我们首先来介绍Design Studio的功能和试用方法。基本视图（Base View）与元视图（Meta View）概念介绍基本视图和元视图是Sagent在数据整合设计时的起始部分。基本视图和元视图形成了对数据关系的映射。基本视图是对数据库物理结构的映射，基本视图能够自动的将数据库中的表之间关系读取出来。如果这些关系不能够满足您的需求，您可以在基本视图编辑器中来建立新的关系。元视图是对数据库逻辑结构的映射，元视图主要以下特点：多个库：能够映射

23、多个不同的基本视图，从而将物理上分别的数据库结合起来。添加计算项：在元视图中，您可以增加一些通过计算公式和SQL得到的新的项。名字编辑：您能够编辑元视图中的每个项，使您清楚地了解每个项的业务含义。下图说明了基本视图和元视图之间的关系：RepositoryBase ViewsMeta ViewsOracleSybaseDB2Design StudioBV1BV2BV3MV1MV3MV2可编辑的联接改名添加新计算项M:M 关系基本视图和元视图都存放在Sagent元数据库Repository中。建立视图您在Design Studio中，可视化地建立基本视图和元视图。在Design Studio的基本

24、视图编辑器（BaseView Editor）中，通过设置相应的参数，您可以非常方便地建立基本视图。基本视图如下图所示：BaseViewMetaView建立完基本视图后，您可以在Design Studio中通过选择基本视图就可以建立元视图。元视图如下图所示：计划（Plan）有了以上的元数据，就可以开始设计数据整合计划了。这种数据整合计划在Sagent中，被称为Plan。整合计划的设计在Sagent产品的Design Studio中，通过拖拽的方式可视化地进行设计。数据转换工具Transform我们已经知道一个业务处理流程在Sagent中就是一个数据流计划。一个数据流计划包含了许多步骤，每一个处理

25、步骤是怎样实现的呢？在Sagent产品中，是采用Transform来实现的。在Sagent中，根据不同的数据处理需求，设计了5大类80多种Transform。这些Transform能够使您完成大部分数据处理工作。这五大类主要有：数据抽取类：能够从各种不同的数据库、平面文件、SAP和Mainframe等抽取各种不同格式的数据。数据装载类：能够向各种不同的数据库接口中，高效率地装载数据。数据流管理：能够对数据流中的数据，进行分割、合并等处理，从而使数据能够分担到不同的处理单元上（业务逻辑相同）进行处理。数据处理类：能够根据需要对数据进行转换和处理，这是完成数据清洁的主要模块。数据显示类：能够让您在

26、处理数据的同时，将处理的结果同时展现在界面上，以便监控。下图是Sagent Transform库中的Transform：Sagent Transform库中的单元，可以满足用户在数据集中或者建设数据仓库中80的需要。如果您的业务更加复杂，可以利用Sagent开发的数据流API，用C+开发相关的Transform。同时您可以利用SQL或者VBScript来开发。数据抽取数据抽取在Sagent产品中，是一些数据抽取Transform。这些Transform包含了：各种RDBMS（直接连接接口）、平面文件、XML文件、CSV文件等各种数据源。除了以上常见的数据源之外，Sagent还支持从大机（Mai

27、nframe）和ERP（SAP R/3）等系统中直接获取相关的数据。抽取还用一个性能问题，Sagent产品采用SQL优化机制来优化数据抽取过程。同时利用Round Robin Splitter将数据抽取工作，划分为几个不同线程并行处理。总之，Sagent产品在数据抽取时主要有以下特点：广泛数据源支持：支持几乎常见的各种类型的数据源。高性能抽取技术：提供数据库SQL优化和其他专用的Transform来提高抽取过程的效率。数据转换利用Sagent进行数据转换，主要是利用Sagent Transform库中的数据处理单元，解决数据转换中遇到的问题。因此，我们对数据转换中各种问题，分类给出Sagent

28、的解决方案。列变换：主要是数据类型转换、字段解码和数据格式转换。针对列变换遇到的问题Sagent提供了SubString、Column Select、Column Rename等Transform。通过Substring可以将一个字段根据字段的内容，分解成多个不同的字段或者改变其每个子串的对应方式。Column Select和Column Rename等，对数据流中字段进行作为整体进行处理。同时您也可以利用VBScript对某个字段进行处理。数据清洁：主要问题是有效值检验、控制处理和业务处理等。针对这些问题Sagent提供了Key Lookup、 Iteration Calculator、 F

29、ilter、Forecaster、Forecaster、Express Calculator、Analytical Calculator和Column Select等Transform。Key Lookup从一张对照表中，查询目前的记录对应的值。Iteration Calculator对数据流中每条记录和另外一张数据库表中的数据进行复杂处理；如根据记录中某个字段的值，对另一张表中的数据构造一个复杂的数学表达式。Filter是对数据流中的数据，根据某些条件进行简单的过滤。Forecaster是一个基于统计算法的时间序列预测工具，通常是用来预测复合概率特征的数据序列的。在数据清洁中，通常把他用在空

30、值处理上。也就是说采用Forecaster产生空值的一个新的替代值，这个值根据概率理论与实际值的差别保持在一定的方差范围内。Express Calculator是一个强大的数学表达式构造工具。您可以利用Express Calculator构造一个数学表达式，通过这个数学表达式对不符合业务规则数据找到。同样的功能，您也可以采用Analytical Calculator来实现。Analytical Calculator的主要特点是提供了非常丰富的数学函数，例如统计类函数中包含了SAS统计函数库中所有的函数，除此之外，还包含数学函数、逻辑函数、日期函数等各种类型的函数。利用这些函数，您可以根据概率统

31、计的方法对违法的数据进行纠正。数据集成：从多个异构数据源中，将数据集成到一起进行处理。针对这样的要求，Sagent提供了Union和Join等Transform可以将完成这种工作。列处理：是指对某个指定的列进行处理过程。针对这种情况，Sagent提供了Iteration Calculator和VBScript等Transform。这些Transform针对每个列的取值可以进行循环等处理方式。调度设计工具Automation变化数据获取（CDC）变化数据获取，Sagent提供针对各种不同数据的解决方案。而且这些解决方案，在新版本的Sagent产品中，将作为一个Transform出现。处理过程调度

32、Sagent的数据流调度是利用Sagent Automation这个工具来实现的。Sagent Automation主要的构成单元有：激发事件（包含时间和计算环境中的各种不同的事件类型）、执行任务等两个方面。激发事件：在Sagent Automation中包含以下集中类型的事件：时间：选定流程执行的时间（在Sagent产品中，您也可以在设计Plan时定义Plan的执行时间）。监控文件系统：能够监控各种文件系统中的变化，如文件的修改、目录中文件的数量变化、目录中文件字节数量变化和文件日期变化等。监控NT服务：能够监控NT服务的启动、暂停和停止等。监控NT日志：可以设定NT日志中的系统日志、应用日

33、志等。监控数据库服务：执行SQL，并根据SQL的执行结果启动流程。监控操作系统进程：对进程的启动、暂停和停止进行监控。监控计算机：监控一个计算机的启动和停止。监控磁盘：监控磁盘的容量，根据空闲量启动相关的流程。交互事件：与用户交互等待命令。执行任务：Sagent Automation把执行动作都认为是任务。任务主要有以下类型：执行程序：执行一个可执行程序，并且可以设定参数、工作目录等。文件管理：对文件进行拷贝、删除、打印、移动、改名等处理。发送邮件：发送指定的邮件。发送消息：可以将消息发送到NT日志、Pop窗口和Sagent Automation中。处理服务：处理NT系统中的服务程序，包含启动

34、、暂停和停止等。拨号处理：能够建立、断开拨号连接。数据库执行：能够执行数据库中的存储过程等。系统重启：重新启动机器。Ping计算机：查看网络通路情况。启动Automation流程：启动另一个Sagent Automation流程。下图是Sagent Automation调度数据流的过程：其中，数据流1到数据流4是并发执行的。而数据流5是依赖于前四个数据流执行成功后才执行。如果5各数据流都成功了，则发送成功通知，否则启动异常处理流程。异常处理过程异常处理是针对流程执行失败的情况，进行重新处理。在重新处理之前，首先发现失败的原因。将各种不同的原因，改正过来，重新启动流程。下图是Sagent异常处理

35、流程的示例：上面的过程可以描述如下：查看应用服务器是否启动；查看目标和数据源服务器是否启动；如果都启动，检查数据库服务是否启动；如果数据库服务没有启动，则启动数据；如果所有数据库服务启动成功，则重新开始流程。否则发各种失败通知。并且下一次，再启动数据处理流程。管理工具Admin元数据管理Sagent Admin 是一个功能强大的元数据管理工具。它对分布式的数据集市提供了集中式的管理功能，同时可以管理用户对元数据的访问权限以及对数据流中各个组成部分的访问和管理权限。分布式数据集市的集中式管理Sagent Admin可以注册多个分布式的元数据库，使用户在一个中心节点上管理分布式的数据集市。Sage

36、nt Admin提供一个树型结构式的直观界面，用户可以查看和编辑各个数据集市中的元数据的属性，例如，Baseviews，Metaviews，Plan，Snap等等。权限管理Sagent Admin提供对用户、用户组的管理，同时可以设置预定义的角色来进行权限的管理。Sagent的用户都归属于一个特定的用户组，每一个用户组具有特定的权限。用户组主要有三个类型：安全组（Security Group）：同一安全组用户的成员对数据流的访问是一致的；缓存组（Cache Group）：能够对数据流进行优化的用户组；发布和订阅组（Publish/Subscribe Group）：控制是否能够将数据流发布到前端。Sagent角色（Role）规定了每个用户对数据流的执行、修改和查看的权