最大程度地提高大型机数据的投资回报

1、 W H I T E P A P E R白皮书 最大程度地提高大型机数据的投资回报如何为大型机与业务之间的集成选用正确工具本文档含有 Informatica Corporation 的保密、专有信息和商业秘密信息(“机密信息”,事先未 经 Informatica 的书面同意,不得进行拷贝、散发、复印或以任何其它方式复制。尽管我们尽最大努力确保本文档中信息的准确性和完整性,但仍可能存在一些印刷错误或技术 误差。如因使用本文档所含信息而造成任何损失, Informatica 概不负责。本文档中包含的信息 随时可能更改,恕不另行通知。Informatica 自行决定将这些材料中讨论的产品属性纳入其任

2、何软件产品的发布或升级中,并自 行决定任何此类发布或升级的时间安排。受下列一项或多项美国专利保护:6,032,158; 5,794,246; 6,014,670; 6,339,775; 6,044,374; 6,208,990; 6,850,947; 6,895,471;或受下列正在申请的美国专利保护:09/644,280; 10/966,046; 10/727,700。此版本发布于 2010 年 1 月白皮书目录引言与每个子系统的标准连接 . . . . . . . . . . . . . . . . . . . . . 4数据交付一致性 . . . . . . . . . . . . .

3、. . . . . . . . . . . . 4源数据可用性 . . . . . . . . . . . . . . . . . . . . . . . . . . 4数据存储和传送独立性 . . . . . . . . . . . . . . . . . . . . . . 5案例:Con-way Freight 5批量处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6变更数据捕获与实时延迟处理 . . . . . . . . . . . . . . . . . . . 6案例:一家中西部保险公司 . . . . . .

4、 . . . . . . . . . . . . . . 7 /复原多线程操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . 7切换处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8切换永久性数据存储 . . . . . . . . . . . . . . . . . . . . . . . 8集成的重启/复原 . . . . . . . . . . . . . . . . . . . . . . . . . 8案例:West Bend Mutual Insura

5、nce 9总结 101面向服务体系架构中的数据集成引言多年来,人们一直在宣称大型机是一项正在消亡的过时技术。不过您本人的亲 身经历可能表明实际情况并非如此。大型机极其可靠,能够处理大量交易,而 且它的可用性统计数据令人惊叹。难怪分析师们估测,全世界 70% 到 80% 的最 关键数据依然由大型机进行管理。大型机绝非过时技术,而且可能在今后多年 内仍然是 IT 基础设施的关键组成部分。这意味着它需要与所有其他业务系统流 畅地交换数据。传统上,大型机的集成过程十分艰难:必须为卸载遗留数据源编写代码,为转 换和迁移数据编写更多的代码,此外还需要为将数据加载到目标系统内编写代 码。开发和维护代码的成本

6、很高,并使 IT 机构无法专注于其他重要任务,这可 能让您质疑大型机是否能够带来任何投资回报。随着业务部门开发出越来越多的大型机数据利用方法,系统编程人员和业务架 构师也承受着越来越大的压力,必须找到一种高性价比的方法来实现大型机与 其他系统的集成。定制编码因为过于昂贵而不可行,但如果您在市面上所提供 的众多大型机集成解决方案中选择了错误的产品,就可能不得不将本已捉襟见 肘的资源用于定制产品以适应您的环境。在某些情况下,其成本可能与内部编 码解决方案相同,甚至更高。将大型机数据集成于业务决策应用程序内是无可避免的,但可以设法降低其难 度。为了使这一过程尽可能地顺畅简易,您需要选择正确的集成方法

7、和产品。 本白皮书深入探讨了一些需要考虑的关键事项,首先从下面这份列表开始,指 导您如何搜寻适当的大型机集成工具集: 该工具集是否能提供与每个数据源的标准本地连接? 每个数据源的数据交付是否始终如一? 工具集是否能提供对大型机中的所有主要数据源的访问? 工具集是否能为大部分常用的大型机数据存储(DB2、 VSAM 、 IMS 和 IDMS 等提供支持? 工具集是否要求专用的通讯协议,还是采用标准的 TCP/IP? 工具集是否能提供最关键的延迟选项? 工具集的性能特征是什么? 工具集是否能提供端对端重启/复原功能?2白皮书 3最大程度地提高大型机数据的投资回报 我们同时还讨论各种基本需求,例如对

8、每个大型机数据源始终如一的数据访问 方式、在规定时间内或延迟访问和传播数据的能力,以及通过切换处理和多线 程操作改进性能的能力。我们的结论是,一个全面的端对端重启/复原解决方案 是真正有效地实现大型机数据集成的关键。此外,我们还提供了数个案例,详述了各家公司解决其大型机集成挑战的方 式: 一家保险公司部署了一款能够满足其全部业务需求的单个统一平台产品 一家货运公司淘汰了过时工具,所采用的新工具能够提供从多个大型机数据 库到其选择的一个运营数据存储(ODS 的实时复制 另一家保险公司找到了一款可利用大型机数据的实时集成,随时满足 ODS 需 求的产品寻求始终如一的数据访问方式出色的大型机集成工具

9、的与众不同之处在于能够访问它声明支持的大部分数据 源。它必须提供对数据源的本地访问及/或对数据源变更捕获出口的标准访问。例如,假若您在寻求可访问 IBM 信息管理系统(IMS 的产品,则该产品本身应 当能够通过 DLI 或数据语言/界面与数据库进行交流,并通过任何下述本地连接 方式提供连接:DLI 、批量信息处理(BMP 、数据库管理批次(DBB 或开放式 数据库访问(ODBA 。该产品不应需要暗中依赖 COBOL 或 PL1 程序才能与 IMS 连接并将数据转储于平面文件中(以便随后供集成工具读取。如果您需要读 取来自如 DB2等的数据变更,该工具本身应当能够在标准的 DB2变更捕获出 口即

10、 IFI306 界面读取数据。如果大型机集成工具缺乏这一功能,就需要额外的编码和支持。数据交付一致性在太多情况下,业务部门采购到一个“单一集成的大型机集成解决方案”,却 最终发现该解决方案其实不过是将来自不同供应商的不同软件捆绑在一起。结 果是 IT 部门不得不想方设法为所涉及的每个数据源(有时甚至是每个数据源 内的每个数据库和图表进行编码和自定义,勉强使用这一拼凑而成的产品。 IT 团队因此需要具备针对每个软件及数据源本身的特殊专业知识和技能。通过选 择一个利用常用软件和界面为所有数据源类型提供支持的解决方案,您就能避 开这一误区。这一通用性可确保集成解决方案不仅能够适应现有的数据源,还 将

11、适用于今后可能采用的数据源。另外,大型机集成解决方案还必须以始终如一的方式向集成平台或集成工具交 付数据。在许多案例中,工具集以不同格式交付不同的源数据,因而要求 IT 机 构进行大量的编码和自定义以实施格式标准化,这实际上就是为了集成该集成 工具而编写代码。这样的解决方案无疑是不可接受的。反之,您应该选择一个 按单一格式或视图向目标系统交付所有数据的数据集成工具,就如同所有数据 源均来自同一数据源类型。您选用的解决方案还应当提供双向功能,从而可将 数据写回到大型机数据源内。源数据可用性无论数据交付的一致性有多高,如果只能针对少数几种数据源类型提供一致 性,那么它也毫无用处。大型机集成解决方案

12、应当能够为多种大型机源数据存 储提供支持,这包括现有存储及日后因有机增长或合并带来的存储。否则,您 将承受重归起点的风险:为新的数据源提供编码源访问,为处理它们而购买和 自定义更多不同产品,或直接将该数据源排除于集成项目之外。优质大型机集成工具即使无法处理所有的主要大型机数据存储,也至少能处理 包括 z /Linux 等新型体系架构在内的大多数大型机数据存储,并提供对它们的持 续访问。这既是对该工具的一项良好衡量标准,也能为未来做好充裕准备。4白皮书 5最大程度地提高大型机数据的投资回报 如果任何集成工具要求您将数据载入特定类型的数据存储或采用专用传送机制 或队列进行传送,那么即使您已经拥有该

13、类型的数据存储或传送方法,也切勿 选择这一集成工具。此类工具可能会在您今后的开发进程中,在决定进行变更 时,迫使您做出将被证明代价极其高昂的决策。相反,您应当寻求数据存储和 数据传送方面的独立性。这包括多种数据传送方式、变更目标数据存储的能 力、用于载入中间数据的可选存储,以及在无需中途转储的情况下将数据直接 交付到任何选定目标的选择权。毕竟,这才是数据集成的关键事项:使用由 IT 机构而不是技术供应商选择的数据源、传送方式和目标。拥有数据存储和传送独立性还能提供其他优势。通过给予 IT 机构使用单一供应 商和工具实行集成操作的能力,测试变得更加轻松,并可简化对集成应用程序 的持续维护。 案例

14、: Con-way Freight 是美国最大的货运商之一,曾使用一套过时的数据传播工具。此 工具只能提供对一两个大型机数据源的访问;更重要的是,它无法提供目标数 据存储独立性。该公司需要从大型机上的 DB2 和 IMS 以及中型机上的 Oracle 程序中抽取数据,向 Netezza 数据仓库应用程序加载过往 ODS 。随后传送至 ETL 和商业智能流程。源数据由超过 1,000 份图表构成,其中包含有关每日超过 60,000 次装运的数 据;每条装运记录每日可能变更多达 30次。由于过时工具无法提供集中化的元 数据,导致了繁重迟缓的维护和管理工作。“仅仅为了设置一份图表就可能花 费四五天的

15、时间,当我们将其移往生产环境时还必须重复整个流程。” Con-way 的企业商业智能团队技术主管 Roopali Doshi 说道。为实现大型机集成现代化, Con-way 选择了 Informatica® PowerExchange®,因为它 能够与多种数据库相连接并与该公司选择的 ETL 工具 Informatica PowerCenter® 严 密集成。“如果需要,我们能够恢复和检索过去两三天内的变更数据。” Doshi 如是说,“ PowerExchange 具备了在批量、实时和变更数据捕获之间轻松切换的 功能,无需在大型机上手动更改数据项。”适时提供正确

16、数据批量处理大型机集成工具的最基本要求之一是能够以批量模式处理数据。批量处理为 IT 团队提供了一系列功能,其中包括按需将来自某一数据源的全部数据交付给目 标,实现目标数据存储,以便在变更数据捕获(CDC 或实时环境中做好接收变 更数据的准备。它同时还提供对大型机数据的临时访问,并为测试或分析数据 提供便利。能够设置用于批量访问的数据源也可被视为数据库的辅助功能。出 色的大型机集成工具可兼具这一有用且必要的功能及 CDC 功能。在过去十年中,变更数据捕获(CDC 已成为大型机数据集成的一项基本要求。 实时延迟处理,即向业务决策数据存储即时交付大型机交易数据的能力,因为 可大幅提高性能而成为 I

17、T 部门最渴求的解决方案之一。由于数据随着数据源内 发生的变更不断地迁移和同步,因此无需再为每个业务决策而将数据源中的所 有数据移往目标。多种不同的大型机集成工具声称拥有某种 CDC 功能,但它们未必将数据可用性 和重复利用性考虑在内。变更的传播次数是否能多于一次?是否能在同一时间 向多个目标传播?“一次捕获,多次消费”的能力,即能够将捕获的变更数据 多次交付给多个目标,是选择大型机集成解决方案的关键要求。该解决方案同 时必须避免对变更数据进行摧毁性读取;在对变更数据进行读取和传播时,不 应将其从永久性变更数据存储中删除。这会影响变更捕获工具对重启和复原功 能的处理方式。另一个重要的考虑事项是

18、维护到达目标的源数据参考完整性的能力。许多集成 项目要求使用源关键字和非关键字段来填充目标关键字。假如所采用的工具能 够捕获变更,却缺乏在传播至目标数据存储的过程中对参考完整性进行维护的 机制,那么这一要求可能造成重大问题。CDC 利用业务部门使用的各个平台的优势。虽然业务决策软件经常安装于中型 机系统内,但由于大型机的超级处理能力,一般由大型机完成交易处理和大批 量处理。如今,这一因素可以成为优势而不是难题。大多数 IT 机构并不一定希 望在今后某一时间将数据移出大型机;他们希望获得能够让他们充分利用大型 机的集成工具。如果工具能够提供 CDC 并向所有主要的适配器实时交付这些变 更数据,就

19、可提供竞争优势。6白皮书 7最大程度地提高大型机数据的投资回报 这家大型保险公司需要将其来自 IMS 和 DB2(以及 SQL 服务器的大型机数 据近实时地整合到运营数据存储(ODS 中,以此创建一个有关所有索赔或保险 单数据的完整视图。位于 SQL 服务器内的 ODS 需要在 15 分钟内接收来自源 大型机系统的 CDC 。该公司认为它所需要的工具必须能够同时处理批量和变更数据捕获,提供始终 如一的数据访问方式,并允许通过单一产品访问所有数据源。对于 IMS 数据 源,该公司还需要能够灵活地捕获来自 IMS 日志的变更。“ 我 们 需 要 一 家 单 一 解 决 方 案 提 供 商 来 处

20、理 多 个 数 据 源 , 而 市 场 上 唯 有 Informatica 能够提供这种单一解决方案,不需借助其他提供商的复合工具。” 该保险公司的数据服务总监说。同时他还补充道,该公司对于 PowerExchange 捕 获直接来自监控区域(同步捕获或 IMS 日志变更的能力深感满意。如今,该公司通过采用 PowerExchange ,可在每个营业周处理几万次交易,包含 总计达到数百 GB 的信息。“如果 Informatica 的产品无法解决我们的需求,此 项目就不可能成功。”总监说道,“ Informatica 作为唯一的提供商,为我们提供 了在近实时环境中整合大型机与数据存储信息的能力

21、。” 性能与重启 /性能与重启 /复原是通过大型机集成实现业务现代化的关键。当今的商业世界 要求灵活且按需调整的 IT 系统,具备应对组织内业务增长及可能发生的并购 活动的能力。 IT 机构必须能够轻松地调整大型机集成工具的性能,以容纳新的 系统、数据源和数据量。集成工具同时必须拥有全面的重启 /复原解决方案。否 则,对于一个不断成长的公司来说,该集成工具就仅仅是短期解决方案。 多线程操作访问大型机数据不过是真正有效的大型机集成工具的部分功能。该工具必须能 够扩展,在不影响性能的情况下处理大量数据。多线程操作是大型机集成工具 的明确组成部分,用于同时处理来自同一数据源的、最多可达数百条的数据管

22、 道,并因其能够让工具在相同时长内处理更多数据而成为一项重要要求。即便 IT 机构目前拥有的数据量较低,明智的做法仍然是采纳这一解决方案,作为未 来增长规划的一部分。真正的多线程操作是一个可选流程,通过集成工具的应用程序界面而不是存档 参数文件或大型机程序编译进行操控。用户必须通过工具的 GUI 控制多线程操 作,以便能够依据不断变化的要求或数据量快速、轻松地调整每个单独的应用 程序或会话。 “我们的公司在寻求、维护 技能集,从而为大型机提供 支持方面面临困境。我们的 关键业务部门目前在使用大 型机,且在今后仍将继续使 用 。 只 要 我 们 访 问 大 型 机 中的数据,我们就需要采用 Po

23、werExchange 。”切换处理出于显而易见的原因,当 IT 机构规划大型机集成方案时,所关注的一大问题是 每台机器的处理成本。 IT 机构可因多种不同方式而产生费用。某些公司按每秒 百万条指令(MIPS 为内部大型机付费,或按大型机的租用时间付费。还有一 些公司则在中型机系统中产生实际费用。因此,成本控制至关重要。具备了切换处理功能的大型机集成工具能够通过让 IT 机构控制处理成本的发 生地点解决上述问题。切换处理指示大型机集成工具究竟在何处执行大部分的 重负荷工作。举例来说,如果一家公司需要尽可能地保护大型机源系统免受影 响,就可使用切换处理功能,将原始大型机数据迁移至目标系统进行数据

24、的转 换、格式化和过滤以便向目标传播。另一方面,如果公司希望在数据源完成大 部分工作,则可以指派软件在数据源执行操作,然后输送数据用于传播。在任一情况下,集成工具都应在单独抽取数据和处理并传播捕获变更数据时, 允许选择数据处理的主要操作部分将在何处影响 CPU 性能。切换永久性数据存储对于缺乏大型机处理能力或与其相关开支的 IT 机构来说,同类中最佳的大型 机集成工具还应具备对其使用的永久性数据存储进行再定位以便保存变更数据 的功能。这项功能可通过转移处理负荷而不是将其置于保存源数据的同一系统 内,进一步改善性能。集成的重启/复原全面的端对端重启/复原解决方案也许是大型机集成工具中最重要的组成

25、部分。 许多可用工具可能为流程中的个别部分配备了重启/复原解决方案:例如为大型 机部分、传送工具和中型机传播组件分别提供一个解决方案。不过,这同时会 导致多个潜在的故障点。而在发生故障的情况下,所有这些单独的解决方案均 无法解救您免于全面重建目标系统。在选项中不包括重新开始,尤其是存在复杂或严苛的延迟要求的情况下,假如 数据源、捕获机制、传送或传播引擎发生故障,唯有单一的端对端重启/复原解 决方案能够进行复原。集成工具应当从流程操控或监控界面等单一地点处理任 何重启或复原,而不是要求在每个地点单独操作。解决方案还应当在一个能够 同时向目标和集成工具(一般为关系性目标提交数据的永久性数据存储中保

26、 存复原信息。此外,大型机集成工具亦应可配置为在故障符合特定标准的情况下自行重启, 且这一配置应可能经由工具的 GUI 用于每次单独会话或每次数据抽取。真正全面而稳健的大型机集成工具不会在发生故障后要求从头开始和重新集 成。8白皮书 案例：West Bend Mutual Insurance West Bend Mutual Insurance Company 正在成长，随之而来的是来自多个数据源的客 户数据量剧增，其中大部分数据位于基于大型机的 VSAM 和 DB2 系统以及 SQL 服务器内。为改善战略决策能力，该公司需要统一的单一客户信息视图。为达 成这一目标，该公司决定创建一个主数据管

27、理（MDM）系统，在所有源系统中 捕获变更数据并实时将数据交付至 MDM 入口。 West Bend 采用了 Informatica PowerExchange 进行数据捕获，并实时将数据交付给 作为数据集成解决方案的 Informatica PowerCenter。该解决方案提供了跨系统的全 面集成，以及通用数据交付和全面重启/复原保护。 “对我们来说，通过单一平台访问和捕获来自多个平台的变更数据是一大优 势。”West Bend Mutual Insurance 数据集成服务部 IT 经理 Spencer Tabbert 说。 “它加快了我们的开发速度，节省了支持时间，并让我们能够实现跨

28、VSAM、DB2 和 SQL 服务器的全域性连贯集成流程，因此对我们来说极为重要。 假如我们必须为处理 VSAM、DB2 和 SQL 服务器而分别配备一个定制解决方案， 我们就无法做到这一点。我确信，在那种情况下，我们最终会通过截然不同的 集成流程将数据迁移至数据存储。” PowerExchange 甚至帮助 West Bend 克服了最棘手的集成难题，即其政策管理 系统，这是一个专用 VSAM 文件系统，只能通过包含了压缩运算法则的特殊 I/O 模块进行访问。PowerExchange 能够根据适当情况，在访问级别、记录级别甚至 字段级别调用用户出口。“对我们来说，这又是一大优势，让我们得以

29、利用 PowerExchange 通过我们专用的 I/O 模块快速访问定制 VSAM 文件。”Tabbert 说 道，“我们在不到一周内就能够访问所有的文件。” 据 Tabbert 所言，West Bend 将重启和复原功能列为优先考虑事项：“该功能允 许我们暂停 RT（实时变更捕获）流程，因为我们能够在任何时间点重新启动该 流程并从暂停点继续操作，这对于确保我们拥有适当的数据完整性必不可少， 这些数据同时也存放在我们客户的数据存储中。如果不存在此类解决方案的 话，我们甚至无法选择运行这一系统。 “大型机（集成）的难处始终是从（与其他系统）集成及了解（大型机本身） 的角度来考虑。”Tabber

30、t 补充道，最终做出结论：“通过提供 PowerExchange 等 工具，佐以 PowerCenter，Informatica 将集成难度大大降低。” “对我们来说，通过单一平台 访问和捕获来自多个平台的变 更数据是一大优势。它加快了 我们的开发速度，节省了支 持时间，并让我们能够实现跨 VSAM、DB2 和 SQL 服务器 的全域性连贯集成流程，因此 对我们来说极为重要。” 最大程度地提高大型机数据的投资回报 9 总结 对大多数 IT 机构而言，大型机将作为数据基础设施的一部分继续存在。不论您 将其称为大型机集成、现代化、整合还是迁移，问题并不在于是否实施，而是 如何实施，以及如何寻找一个

31、同类最佳工具来实现尽善尽美的实施。鉴于可供 的大型机集成解决方案数量繁多，IT 决策者不但需要了解应该采用哪些衡量标 准以求去芜取精，还必须了解如何设计规划和选择工具，使之既适用于现有需 求，又能满足未来的潜在要求。 在本白皮书中，我们阐述了 IT 决策者应当据以做出此类决定的衡量标准： 始终如一的数据访问方式 数据存储和传送独立性 对所有主要数据源的访问 对各个数据源的标准本地访问，用于批量或变更数据捕获 我们同时对照不断变化的业务需求和延迟要求审视了低劣工具的缺陷，例如无 法以批量或 CDC 模式访问数据存储，或是在数据捕获源的数量和类型、或工具 能够适用的新型体系架构方面存在的局限性。最

32、后，我们探讨了选择一个正确 的大型机集成工具的重要性，该工具必须在满足所有上述要求的同时，还能改 善集成性能并提供真正的端对端重启/复原功能。 当您评估大型机集成工具时，切忌只听信提供商声称其解决方案能够符合上述 关键标准的一面之词。遵行密苏里州的著名格言：“眼见为实”。要求提供商 将其解决方案安装在您的系统中，并使用您的数据和基础设施进行示范。为了 让解决方案生效，提供商给多少位专家打了电话？安装和设置需要多长时间？ 当出现问题时，记录文档是否提供了所有答案，抑或专家们必须致电提供商的 开发团队？如果是后者，您是否能够同样频繁地联系该开发团队？是否通过简 单的参数修改就能解决问题，还是专家们

33、进行了幕后代码变更，而他们却不能 或不愿与您分享这些变更？最要紧的是，最终结果是否让您满意？ 10 白皮书 上述三个案例中的各家公司均通过选用 Informatica 平台作为他们的集成工具， 取得了远远超过预期的成果。正如这些案例所示，PowerExchange 的实际性能优 于我们为大型机集成工具设立的基本标准。PowerExchange 同时与 Informatica 的 企业数据集成解决方案 PowerCenter 严密集成，以提供大型机和其他业务系统的 端对端集成，从而降低了大型机和解决方案的总拥有成本。 PowerExchange 通过与包括 VSAM、DB2、IMS、ADABAS、IDMS 和 DATACOM 在内的 所有主要大型机源数据存储以及定制专用数据存