Informatica数据集成

1、技术交流技术交流数据集成产品介绍数据集成产品介绍Informatica 中国区 产品专家杨晓东12挑战是什么挑战是什么？ 市场趋势加速市场趋势加速数据数据分散状况分散状况 TDWI 调查：调查： 不好的数据质量导致美国商业不好的数据质量导致美国商业市场市场每年每年花费花费 6 千亿美金千亿美金 超过超过 55% 公司必须投资高水公司必须投资高水平的人员与预算来进行数据集平的人员与预算来进行数据集成工作成工作 Ventana Research 超过超过 60% 的的 IT 预算花费在预算花费在“集成集成”工作上工作上 为了集成而集成为了集成而集成 Gartner：“缺乏全面性的策略缺乏全面性的策

2、略”使得使得“集成集成”所付出的成本相当高所付出的成本相当高 3数据类项目的工作重心数据类项目的工作重心需求设计映射提取转换改造加载检索汇总复制数据分发访问和分析资源规划和发布元数据元数据统一系统和用户管理统一系统和用户管理DataWarehouse 60%-80% 的工作在这里的工作在这里4数据集成之主流技术论述数据集成之主流技术论述Case Ycol2=col2*10-2if col3=2 then col4=lkp(col1,col2) else col4=0endifCase Ncol2=10col4=lkp(col3,col5)脚本级驱动脚本级驱动以元数据为驱动、引擎式的工具以元数据

3、为驱动、引擎式的工具, Informatica为代表为代表 5数据整合之主流技术论述数据整合之主流技术论述以元数据为驱动、引擎式的工具以元数据为驱动、引擎式的工具, Informatica为代表为代表 6企业一般的数据整合工作和技术企业一般的数据整合工作和技术 主机端-Control M + JCL + Cobol 开放系统端-PL-SQL-JAVA-Shell-.Hand Coding ! 人工编写7图形化工具平台图形化工具平台 vs 人工编写程序人工编写程序采用工具和人工编写程序的成本，在一定的时间后，成本产生了反转的结果初期成本：初期成本： 软件费用软件费用 培训培训 硬件硬件维护费用维

4、护费用因商业需求的变化导致复杂度因商业需求的变化导致复杂度的上升的上升程序的继续维护的费用程序的继续维护的费用重新构建的费用重新构建的费用采采用工具用工具: ETL人工编写程序：人工编写程序： Hand-coded ETL Home-grown EII, EAI Low-end replication 成本成本Source: Forrester Research分析师说：数据整合的成本只在于付出的时间点而已分析师说：数据整合的成本只在于付出的时间点而已8Informatica Informatica 公司简介公司简介 成立于成立于: 1993 总部总部: Redwood City, Calif

5、ornia 员工员工:1,300+ 公司分布公司分布:North and South America, Europe, Asia Pacific,中国中国 收入收入:$367 million (2006) 市占率第一市占率第一 (Gartner Dataquest) Customers:3,000+ 金融金融100大中大中79家公司家公司80%道琼斯工业指标上市公司道琼斯工业指标上市公司全球超过全球超过20个国家的政府部门个国家的政府部门公司使命公司使命Help enterprise customers implement a data services architecture to gai

6、n the most business value from their data assets 帮助客户建立统一数据服务平台架构并从数据资产中获得最大的商业价值帮助客户建立统一数据服务平台架构并从数据资产中获得最大的商业价值公司目标公司目标Data Integration Products and Services 数据集成数据集成产品及服务产品及服务9Informatica 解决方案产品构成解决方案产品构成Metadata ManagerRemote DataReal-time dataBAM, Real-time BICorporate dataTraditional BI, CPMIT

7、 dataMetadata, quality, profilingMainframeReal-timeFile FormatsDatabasesDataAnalyzerPowerCenterPowerExchange元数据报表工具元数据报表工具核心产品：数核心产品：数据集成平台据集成平台企业级元数企业级元数据管理据管理用于连接主机数据用于连接主机数据/AS400、Oracle、DB2、SQL数据源的数据源的CDC、Real Time;ERP（SAP等）、等）、EAI（MQ、WebService等）等）Data Quality数据质量管理数据质量管理数据集成平台数据集成平台 PowerCente

8、r 介绍介绍1011Informatica PowerCenter 体系结构体系结构UNIX (AIX, HPUX, Solaris, Linux) Windows12Data ProfilingData Quality监督监督, ,观察观察, ,报告报告 确保数据一致,提供影响分析与持续的数据质量监控 PowerCenter PowerExchange访问访问Any system in batch or real-time分发分发集成集成Provide right data, at the right time, in the right formatTransform and reconc

9、ile all data types清洗清洗探查探查Validate, correct and standardize all data typesSearch and profile any data from any sourceInformatica Informatica 产品产品平台平台及及贯穿整个数据生命周期的完整方法论贯穿整个数据生命周期的完整方法论开发与管理开发与管理以开放的元数据储存库与共享元数据为协同开发的基础13PowerCenter 图形化界面图形化界面完全图形化操作、易使用、易开发、易维护完全图形化操作、易使用、易开发、易维护14Web ServicesMQSerie

10、sJMSTIBCO webMethodsSAP NetWeaver XIEncyrypted streamPeoplesoftOracle AppsSiebelSASSAP NetWeaverSAP IDOCSAP BCISAP DMISAP BWOracleDB2 UDBDB2/400SQL ServerSybaseInformixTeradataODBCFlat FilesWeb Logs XMLIndustry FormatsFlat FilesFTPComplex FilesTape FormatsInformatica 数据集成连接性数据集成连接性ERPDatabasesXMLFla

11、t filesMainframeUnstructured DataMessagesADABASDatacomDB2IDMSIMSVSAMC-ISAMTape Formats.PDF.DOC.XLSEmail广泛的数据源支持，广泛的数据源支持，包括结构化包括结构化、半结构化、非结构化数据半结构化、非结构化数据15企业范围企业范围的部署的部署 High Availability 网格计算网格计算 动态分区动态分区 Push-down CDC 完全开放完全开放的中立的中立体系架构体系架构元数据元数据管理管理n影响分析影响分析n目录级目录级浏览浏览n数据库管数据库管理统计理统计n模型工具模型工具管理统

12、计管理统计n自定义自定义CWM CWM 元模型元模型Informatica 企业数据集成平台价值企业数据集成平台价值可重用的数据服务可重用的数据服务 元数据的可复用性元数据的可复用性 基于组件的体系结构基于组件的体系结构 内置内置 data profiling, data quality & data data profiling, data quality & data governance, governance, 包括审计、跟踪包括审计、跟踪 开放式标准的数据交付开放式标准的数据交付广泛的数据源支持广泛的数据源支持 所有数据源：主机、所有数据源：主机、RDBMSRDBMS

13、、XMLXML、文本、文本 所有数据格式所有数据格式: :：结构化、结构化、 半结构化半结构化& &非结构化非结构化 所有数据访问方式所有数据访问方式：批量、实时、联邦、批量、实时、联邦、CDCCDC高生产力高生产力 “无脚本无脚本” ” 图形化开发图形化开发 跨整个生命跨整个生命周期的团队周期的团队协同开发协同开发 易维护易维护 Mapping Mapping 模模板板16丰富的丰富的ETLETL功能功能异构数据源，异构目标实现多种缓慢变化维全局变量及参数，支持参数文件局部变量，前后记录比较条件汇总异构数据源关联行/列转换静态、动态Lookup支持ETL事务处理自定义SQLP

14、re SQL和Post SQL复用组件复用Mapping调用存储过程调用外部用户自定义过程可视化Debug强大的函数支持、功能丰富的转换语言数据源为文件列表Session Recovery基于多目标表约束装载错误数量控制FTP 源和FTP目标ETL任务分区增量汇总测试装载Bulk LoadingExternal Loader (Oracle、DB2、SYBASE)复用Workflow功能丰富的Workflow控制任务串行、并行控制基于时间、事件和指示文件触发任务Workflow中调用操作系统外部命令Workflow中调用Email多ETL Server协同工作.17数据有效性、完整性、准确性数

15、据有效性、完整性、准确性A区区源结构源结构B区区判断无效判断无效数据区数据区见需求文档见需求文档中中第第3、4点，生成点，生成flag_invalid标识位，标识位，当当flag_invalid=1,为无效数据为无效数据当当flag_invalid=0,为有效数据为有效数据C区区将数据进行将数据进行分组分组D区无效数据写入目标表无效数据写入目标表UNT_ATMTXN此表结构与源的唯一差别：此表结构与源的唯一差别：最后多了一个字段最后多了一个字段error_desc.并将并将B区中生成的区中生成的error_desc字段，写入此表最后字段。字段，写入此表最后字段。E区区分组后的有效

16、数据，分组后的有效数据，按需求文档按需求文档第第4点，处理流过点，处理流过的的sArr5, sArr24sArr30，并在，并在exp_11中，实现中，实现根据清算日期生成根据清算日期生成字段字段”tab_no_out”算出应该指向算出应该指向的目标表的目标表。F区区主要针对自主清算表四个主要针对自主清算表四个区的字段，作转换对照。区的字段，作转换对照。Exp_1 :基本键值区基本键值区; Exp_basic:基本数据区基本数据区Exp_qs:清算区清算区; Exp_other:其他关键数据其他关键数据区区G区区根据根据tab_no_out字段分组，字段分组，将不同的组数据自动将

17、不同的组数据自动指向相应的目标表中指向相应的目标表中18PowerCenter扩展功能扩展功能Metadata Exchange （元数据交换）扩展功能（元数据交换）扩展功能Data Federation (数据联邦数据联邦) 扩展功能扩展功能Data Profiling （数据质量探查）扩展功能（数据质量探查）扩展功能Team-based Development （团队开发）扩展功能（团队开发）扩展功能Partitioning （分区）扩展功能（分区）扩展功能Unstructured Data （非结构化数据）扩展功能（非结构化数据）扩展功能Pushdown 扩展功能扩展功能Enterpri

18、se Grid 扩展功能扩展功能Visio 模板模板(Mapping生成器生成器)扩展功能扩展功能Real-Time （实时）扩展功能（实时）扩展功能19Metadata Exchange （元数据交换）扩展功能（元数据交换）扩展功能 ODBC、Erwin、PowerDesigner、Oracle Designer、XML 和Informatica的Repository同步元数据 使用SDK开发 提供与第三方元数据交换的接口 元数据比对、同步功能20Metadata Exchange （元数据交换）扩展功能（元数据交换）扩展功能Adaptive Repository FoundationBus

19、iness Objects Data IntegratorBusiness Objects DesignerCA AllFusion ERwin Data Modeler 4.xCA AllFusion GenCA ERwin 3.x (ERX) and CA ERwin 3.5x (export only)Cognos Impromptu (import only)Cognos ReportNet Framework Manager Embarcadero ER/StudioHyperion Application BuilderHyperion Essbase Integration Se

20、rvicesSybase PowerDesignerIBM DB2 Cube Views IBM DB2 Warehouse ManagerIBM Rational Rose Microsoft Visio Database MicroStrategyOMG CWMOracle DesignerOracle Warehouse Builder Popkin System ArchitectSAS ETL StudioSelect SESilverrun-RDM21Data Federation (数据联邦数据联邦) 扩展功能扩展功能Informatica Enterprise Data Int

21、egration PlatformPowerCenter Standard EditionPowerCenter Advanced EditionPowerExchangePowerCenter OptionsData Federation Option22Data Federation (数据联邦数据联邦) 扩展功能扩展功能23Data Federation (数据联邦数据联邦) 扩展功能扩展功能 提供EII 功能,包括-数据联邦访问-建立虚拟的数据视图-发布视图到客户端应用软件 扩展了核心的PowerCenter 企业数据集成能力-快速、直接的数据访问-当前数据 -广泛的客户端访问-快速开

22、发-扩展用户使用角度24 Data Profiling （数据质量探查）扩展功能（数据质量探查）扩展功能 数据质量控制的前期工作 数据源或目标的自动或自定义数据探查 图形化报表 完全集成在informatica一个客户端内， 统一的工具和用户界面 提供第三方BI工具的访问接口25PowerCenter Data Profiling （数据质量探查）体系架构（数据质量探查）体系架构DBMSReal-TimePowerAnalyzer其他报表工具其他报表工具PowerCenter客户端工具客户端工具ProfilingWarehouseMainframeEAIPowerCenterERPFlat f

23、ileOther26Auto Profile （数据质量探查）（数据质量探查） 报表和自动文档化报表和自动文档化27 Team-based Development （团队开发）扩展功能（团队开发）扩展功能28 Partitioning Partitioning （分区）扩展功能（分区）扩展功能支持大作业量的并行分区技术支持大作业量的并行分区技术-Round Robin partitioning-Hash partitioning-Key range partitioning-Pass-through partitioning-DB2 Database partitioning 29 Parti

24、tioning Partitioning （分区）扩展功能（分区）扩展功能抽取抽取转换转换加载加载多线程分区功能多线程分区功能30 Partitioning Partitioning （分区）扩展功能（分区）扩展功能Source PartitioningTarget Partitioning31非结构化半结构化非结构化半结构化数据数据解析设计解析设计Unstructured Unstructured Data Data （非结构化数据）扩展功能（非结构化数据）扩展功能Metadata数据服务数据服务Office 文档文档本地本地行业标准行业标准模板库模板库结构化数据结构化数据XML, SQL,

25、 Flat File etc.32Pushdown Pushdown 扩展功能扩展功能33 Enterprise Grid Enterprise Grid 扩展功能扩展功能 负载均衡(Load Balancing) 双机热备(High Availability, HA) 错误恢复(Mission-critical Recovery)PowerCenterservers on GridOff-gridPowerCenterserver34Enterprise Grid Enterprise Grid 扩展功能扩展功能35Enterprise Grid Enterprise Grid 扩展功能扩展

26、功能Recovery-Workflow and session 从上一次checkpoint自动恢复P=primaryB=backup36Visio Visio 模板模板(Mapping(Mapping生成器生成器) )扩展功能扩展功能Mapping TemplateTemplate Inputs37 Real-Time Real-Time （实时）扩展功能（实时）扩展功能实时的数据整合平台实时的数据整合平台 双向的 实时数据集成事务数据或时间切片数据-PowerConnect for MQSeries-PowerConnect for TIBCO-PowerConnect for webMethods-PowerConnect for JMS -Pow