datastage-农信与友商综合比较

1、IBM Information ServerInformatic主流版本IBM Information Server V8.7Informatica Platform 9.1产品概述IBM Information Server 业界第一款面向企业信息架构的完整的、统一的基础产品。通过遵循业界的规范、整合 IBM 数据整合方法论和 IBM 在全球客户项目实施Informatica PowerCenter 设定了高度可扩展、高性能企业数据集成软件的标准。 Informatica PowerCenter 可帮助 IT 企业实施访问、转换和交付数据的单一方法，而无需手动编码。该中积累丰富的成功经验，将

2、 IBM 信息集成解决方案的软件可扩展至支持大数据的容量，并满足企业对安全性和性产品集成到了一个统一平台中，使公司能够了解、整能的要求。理、转换并提供值得信赖的、上下文丰富的信息。业界地位从最早的关系型数据库的诞生到最新的 Waston 人工智能机器的闪亮，无不彰显出百年 IBM 在信息管理处理与整合方面的深厚的历史积淀和独有的创新能力。1993 年创立。独立企业数据集成软件提供商。仅有数据整合软件，缺乏数据库等基础信息处理技术的支持。IBM 在信息处理，数据整合，大数据，数据治理等信息管理核心领域，均有业界领先的解决方案和产品。IBM InfoSphere DataStage 在业界最早提出

3、数据整合方法论。支持与服务IBM 中国软件研发中心，拥有超过 500 人的团队，负责信息管理相关软件的研发和测试。在一线和二线城市，均有 IBM 原厂技术工程师提供本地的支持与服务。技术支持主要依靠集成商，尤其缺乏本地原厂工程师的直接支持。行业市场占有情况在国内金融行业有大量的用户案例。包括建设银行，中国银行，交通银行，招商银行，民生银行等中国 Top20的银行。在国内中小银行有部分案例，但总体用户群偏小。技术对比自动映射能力IBM InfoSphere FastTrack 自动执行从分析到代码生成的多个数据集成任务，同时合并业务视图并维护数据Informatica 提供了 PowerCent

4、er Mapping Architect for Visio 功能，能在 VISIO 中开发 Mapping 模板，快速产生多个 Mapping，世袭和需求。利用 FastTrack，开发人员能够快捷的把电子表格转换为 IBM InfoSphereDataStage and QualityStage Designer 作业，作业以图形方式显示源到目标映射。对于开发人员来说，与把电子表格转换为应用程序相比，把包含特定说明的部分完成的作业转换为最终的应用程序所需的时间更少、更高效。但对于实际最常用的 Excel 电子表格，仅在新版本中提供了Excel Mapping 工具，并且仅能实现 FastT

5、rack 的部分功能。ETL 能力Datastage 具有强大的异构数据转换能力。通过预先构建的全面的函数库，包含 400 多个函数，可以轻松的实现关系型数据库，平面文件，XML 文件，大数据等多种类型数据的处理与转换。Datastage 支持在 DB2,Oracle,MQ 上进行分布式事务处理。仅需修改配置文件，即可将 job 扩展到新增的硬件环境上运行。不需要对 job 进行任何调整。Datastage 提供了丰富的图形化性能评估与分析工具。有成熟的组件实现行列互转的功能PowerCenter 同样具备数据转换能力。基本功能与 Datastage类似。PowerCenter 不支持两阶段提

6、交处理功能如果增加新的硬件资源，例如 CPU,磁盘等，PowerCenter必须重新设计，重新编译和重新部署 job，以使其能够使用新的硬件资源。没有图形化的性能评估与分析工具提供，仅能够依靠手工分析。没有现成的组件支持行列互转，只能通过存储过程实现类似功能。并行处理能力DataStage 可在管道并行和分区并行的机制下执行，这样可以获得高吞吐量和性能：数据管道意味着应用可以从源系统抽取数据并且在数据流图表中定义的顺序处理功能间移动。记录通过管道进行流动，不需要将记录加载到磁盘。数据分区,将记录集分割到各个分区，或记录子集的并行方法。数据分区通常提供了一种好的、可以线性增长的应用性能。支持记录

7、集通过应用流的自可并行多个 Session 提高性能Session 支持多线程和管道技术(pipeline）支持 Session 分区功能，性能跟 CPU 数据可达到基于线性的增长。提供多种 Session 分区(Partition)功能Round-RobinHash Auto-KeysHash User Keys动分区，使用 hash、range、entire、random、roundrobin 等方法硬件配置文件,告诉 DataStage 如何与硬件打交道，允许最大地利用 CPU，硬盘容量，和内存。当添加了新的硬件，不需要重新开发工作，只需相应修改Key RangePass-Through

8、Database Partitioning工作负载分发是以来源于单一数据源的数据流为单位，用硬件配置文件即可户必须手工分割一个数据流到多个子数据流，以使其能够并行数据集,具有在硬盘上以分片的方式存储数据的能力，因而确保数据的再使用，以减少 I/O 到最小，替代平面文件读和写，以平行的读和写的方式，提高性能。分发到多 CPU 和多台机器上。这将严重影响系统性能扩展的灵活性和代码的稳定性。无法支持并行数据集，导致数据重用时产生大量 I/O 压力，影响系统运行性能。不落地的再分片，扩展性的最大障碍是 I/O，一些其他产品在写到硬盘之前不具备再分片的功能如果负载或硬件环境发生变化，partitioni

9、ng 需要手工调整。支持 MPP&GRID 的环境， DataStage 支持跨多个服务器配置的 MPP 或 Grid 的运行方式并行处理吞吐，因为 DataStage 是并行处理方式，每一步处理能够并行的执行，以确保没有序列处无 法 支 持 不 落 地 的 再 分 片 功 能 (in-flightrepartitioning)，导致额外的严重 I/O 争用。理，不需要依赖数据库本身的并行机制，ETL 自身应带有此功能，以减轻数据库的负载,不影响数据库的性能表现。元数据管理能力元数据存储是基于 IBM Information Server 所提供的 Metadata Repository 数据

10、库，该数据库支持 DB2、Oracle 和 SQL-Server 等数据库系统。在 Information Server 平台上所产生的各类元数据都被自动地存储在元数据库，以保证在信息集成过程元数据资料库可基于所有主流系统平台的关系型数据库(Oracle、DB2、Sybase ASE，Microsoft SQL Server)用户可通过Informatica 提供的Metadata Exchange 视图读取元数据，Informatica 提供详细文档描述其元数据视图的结构和含义。中的所涉及的元数据数据信息，具有唯一性和完整性。Metadata Manager 可整合包括模型工具、数据集成、数

11、据库、报表工具的各环节元数据的综合平台，支持各种主元数据服务是 IBM Information Server 所基于的平台的组成部分。可以通过使用元数据服务访问数据流 UNIX 平台和 window 平台。元数据管理可跨不同工具平台进行血缘分析，在表级和字以及完成分析、建模、清理和转换等数据集成任务。段级均可自动匹配。生成血缘分析和影响分析报告。元数据管理是 InfoSphere Metadata Workbench 允许以基于 web 的方式查看 IBM InfoSphere Information Server 和其他的第三方应用程序生成和使用的信息资产。这个浏览工具可以提高对最重在 PowerCenter 9 版本中，共有三个元数据管理库，分别是 PowerCenterrepository, Metadata repository, Data Analyzer repository.从而导致其元数据在各个功能之间无法直接共享。要的信息的信任程度。另外，InfoSphere MetadataWorkbench 向 IT 人员提供健壮的查询功能和全面且灵活的数