IBM 信息整合解决方案和应用实践

IBM信息整合解决方案和应用实践

张积斌SeniorITSpecialistIBM软件部议程企业IT资源整合面临的挑战IBM信息整合解决方案IBM信息整合应用案例企业面临的挑战—整合IT资源业务转型对IT基础架构的挑战速度成本风险SupplierNetworksInternalSystemsCustomerConnectionsProcessesPeople流程建模应用整合对外接口流程监控管理业务结果应用访问标准化动态适应工作环境支持任何时间,任何地点的访问有效利用数据及内容资源分布式数据访问数据集中数据转换管理数据分布整合:关键能力需求Information++安全性和完整性典型信息系统挑战应用应用传统的企业信息交互方式应用集成应用集成应用数据接口数据接口数据接口数据接口数据接口消息交换接口多难以管理实现高效信息集成技术集成应用集成应用应用应用应用数据接口数据接口数据接口数据接口数据接口消息交换SQL简单高效低风险Federation-联邦数据库技术提供整合信息基础平台RelationaldatabasesWebOtherCollaborationSystemsXMLWebservicesPackagedapplicationsSQLContentRepositoriesandImagingSystemsWorkflowsystemsContentMainframefilesMainframedatabasesSQL视异构及分散的各种类型数据如同单一数据库所管理的数据单一用户登录–统一视图–共同语言–Webservices或JavaAPI查询及更新–优化访问联邦数据源VSAMSequentialIMSAdabasCA-DatacomCA-IDMSDB2UDBInformixOracleSybaseTeradataMicrosoftSQLServerODBCOLEDBExcelFlatfilesIBMLotusExtendedSearchWebsearchLDAPCustom-builtDB2CMFamilyDomino.docDocumentumFileNetOpenTextStellentInterwovenHummingbirdWebSphereFileNetLotusNotesMicrosoftIndexServerIBMLotusExtendedSearchSametimeQuickPlaceMicrosoftExchangeWebSphereBIAdaptorsSAPPeopleSoftSiebelPluspartnertoolsandcustom-builtconnectorsextendaccesstomoresourcesContent&ImagingWorkflowsystemsRelationaldatabasesWebOtherCollaborationSystemsXMLWebservicesPackagedapplicationsMainframefilesMainframedatabasesSQLContentSQL企业信息集成指这样一种中间件，它使应用可以访问分布在各处、不同类型的数据，就好像是在访问单一数据源，而不用考虑其物理实现是否如此集成结构化和非结构化数据提供实时读写访问数据转换，为企业的综合服务等应用提供统一的信息平台IBM信息集成体系结构ApplicationWeb服务Dataset外部系统WrapperWrapperWrapperWrapperWrapperMicrosoft电子表格Wrapper消息队列高可用易管理可扩展数据整合平台WebsphereInformationIntegrator存储查询联邦缓存转换复制Web服务XMLSQL应用服务平台全局统一的数据视图灵活的访问方式丰富的特色功能对于标准的支持存取功能基础发布搜索OracleSybaseSQLServerDB2InformixODBC数据联邦提供单点数据访问MetadataMetadata联邦引擎本地数据RelationaldataNon-relationaldataXMLdata,applications,etcUnstructuredcontent数据源WrappersMetadataMetadataMetadata透明对应用而言所有数据如同在同一数据库中。异构集成各类数据源的数据包括关系型数据,结构化数据,XML,消息队列,Web服务等…可扩展联邦技术几乎可扩展到所有数据源.基于开放式的Wrapper框架，提供Wrapper开发接口和工具自治对原有系统应用没有影响,在原有系统无需安装软件,无需特有接口.性能优化分布式的查询性能优化.提供数据cache能力.简化了数据访问的层次MetadataRelationaldataRelationaldataUnstructuredcontent数据源MetadataMetadataMetadataXMLdata,applications,etcClientC/SApplicationServer3-TierInformationIntegratorIBM信息整合例：实现多个数据源的联邦操作-大量的人工编码CustidpriceqtyOracleOrderDB2CustomerReportFederate数据获取数据关联类型转换排序汇总Custidregion。。。需要联接到每个后台数据库通常涉及到大量数据各地区每月的销售额100rows10000order/month200000customer信息整合技术简化应用CustidpriceqtyOracleOrderDB2CustomerReportCustidregion。。。性能优化系统级的控制各地区每月的销售额100rows10000order/month200000customerSelectregion,sum(o.price)Fromcustomerc,orderoWherec.custid=o.custidGroupbyc.regionSQLFederateCacheInformationIntegration信息集成提供统一的客户视图Custkey…Custid…OracleCustomerReport各地区每月的销售额100rowsSelectregion,sum(o.price)Fromcustomerc,orderoWherec.custid=o.custidGroupbyc.regionSQLFederationEngineDB2CustomerCustno…SybaseCustomerView(customer)View(Order)现有的应用不需要修改通过修改元数据，新的数据源可以方便的增加进来MetadataInformationIntegrationcustidregion…传统数据交换方式文件文件文件ftp文件文件文件文件文件ftp文件文件文件文件ftpWebsphereIIDB2familyOracleSybaseInformixSQLServerIMS信息整合简化数据迁移CrossLoader高速数据跨库加载数据源由SQL定义,提供灵活性数据无需中间缓存在目标端数据加载可不记日志实测速度可达98GB/小时CrossLoaderSQLSQL结果集Insertintotarget

select*fromsourcewhere***异构数据复制(SQL&QReplication)StagingtablesIMS-VSAMDB2/zOSDB2/iSeriesDB2/UDBSybaseSQLServerIBMInformixOracleANYsourceLOGbasedTriggerbasedDB2/zOSDB2/iSeriesSybaseSQLServerIBMInformixOracleDB2/UDBFederationengineExternalapplicationTeradata异构数据复制增量数据的识别和捕获增量数据的迁移复制流程的管理和监控CDTriggerApplyNickname应用LogCaptureADMINISTRATIONReplicationMonitor

ReplicationCenterSOURCESOURCE2SOURCE1METADATADB2LogQCapture

TGT3TARGETTGT1QApplyBrowserApplyAgentApplyAgentApplyAgentTGT2METADATA基于事件的数据发布ADMINISTRATIONReplicationMonitor

ReplicationCenter

TARGETDB2MQListenerSOURCESOURCE2SOURCE1METADATADB2LogQCaptureUserApplicationUserStoredProcedureUserApplicationWBIEventBroker数据格式发布源端提交事务的数据数据以XML方式存储灵活的数据捕获粒度Rowbased=onerowpermessageTransactionbased=onetransactionpermessage数据内容选择字段选择条件数据的增量变化可以包括该前数据企业信息搜索引擎–OmniFindClient

ApplicationServerIndexerSearchRuntimeParserTokenizerGlobalAnalysisAdminConsoleControllerMainIndexDeltaIndexStoreInformationIntegratorContentManagerNotes/DominoMSExchangeCrawlersforExchangeforforCMforNotesforPortal(PDM)forWindowsFilePortal（PDM)WindowsFileSystemUnixFileSystemforUnixFileDataListenerWebsitesNewsgroupsRDSRawDataStoreCustomCrawlerforWebforNNTPAPISIAPI信息集成提供全局负载管理应用应用应用OracleDB2SybaseSQLServerSQLSQLSQLWebService全局数据字典（统计信息）生成执行计划评估执行成本执行负载管理规则负载监控并发数成本范围用户应用SQLC/SJDBC基于成本的全局优化技术优化器根据统计优化信息对异构数据源的访问进行优化决定”Pushdown”或在本地执行查询计划WebSphereIIOracleClientOracleSQL数据联邦性能比较信息集成的数据安全InformationIntegrationcache应用用户映射db2adminsysteminformixsa提供消息队列的无缝集成发送端： 连接数据库：connecttoenterprise; 发送消息：values(DB2MQ.MQSEND(‘amessageforyou')); selectDB2MQ.MQSEND(revenue)fromOra_tab;接收端： 连接数据库：connecttoenterprise;接收消息：selectsubstr(T.MSG,1,50)fromtable(DB2MQ.MQRECEIVEALL())AST;跨企业间信息集成InformationIntegrationApplicationServerInformationIntegrationApplicationServerWebServicesWebServicesWebServicesWebServices数据库SQL可直接调用WebServices直接处理WebServices应用产生的数据重用数据库成熟的数据处理技术如:查询,排序,数据匹配,类型转换等SELECTs.suppname,DECIMAL(q.quote,10,2)FROMsupplierss,TABLE(getSupplierQuote(s.suppkey,':partKey))ASq

WHEREq.quote>0ORDERBYQUOTEASCSource:GartnerGroupProgramProgramProgramProgramProgramProgramProgramProgramProgramLoadProgramExtractProgramExtractProgramLoadProgramExtractProgramLoadProgramScreenScrapeDatabaseReplicatorDownloadFileDownloadFileTransactionFileMessageQueueDownloadFileTransactionFileMessageQueueApplicationSystemBApplicationSystemAApplicationSystemCFromThis...同类信息分布在不同的应用系统ToThis..PurchasedApplicationPackageLegacyApplicationSystemNewApplicationDomainProgramProgramProgramServiceProgramProgramProgramMessageBrokerServiceRequesterRequester跨业务系统的数据访问统一业务视图综合服务应用满足横向系统间的信息整和的需求满足纵向系统间信息整合的需求数据分层分布统一的服务需求XMLdocumentProgramProgramProgram分支机构内网ProgramProgramProgram分支机构ProgramProgramProgram分支机构Internet电话总部提供批量和准实时两种模式提供双向数据交换能力批量方式支持高性能数据加载基于MQ的准实时模式支持分钟级同步提供自动连接重建能力提供复制监控手段提供省市间联邦查询能力IBMAscential为整合平台带来更强大的功能元数据管理SearchSQLXQueryContent查找转换放置发布联邦数据及内容连接并行执行DISCOVERPREPARE元数据管理企业连接性面向服务的架构发现准备转换与传递IBMAscential为整合平台带来更强大的功能元数据管理SearchSQLXQueryContentAnydata--Multipleaccessparadigms--Multipleintegrationdisciplines查找转换放置发布联邦数据及内容连接ExtendssimpleSQL,XML/XSL,andWebserviceswithcleansing,standardization,matching,andcomplextransformationforenhanceddataqualityandreducedcodingComplementsevent-driven,low-latencysynchronizationwithhigh-volumebulkdatamovementforflexibilitywithinasingleintegrationsolutionComplementsoperationalmetadatawithdataprofiling,industryformatparsing,andmetadatainterchange

forenhanceddataqualityandsimplifiedmaintainabilityExtendsparallelinfrastructureandSOAsupport,forhighperformance,scalableexecutionandaddedflexibility3rdPartySWSAP,OracleSiebelPeopleSoftCustomBuiltAppsonMainframeCustomBuiltAppsonUNIXExternalDataPCAppsInitialExtractionExtract&LoadStagingSolutionImplementationPrepare,Transform&LoadtoProductionDataHarmonizationNormalize,Integrate&ConsolidateacrosssourcesMap/Cleanse/Extract&StageforuploadDataAlignment

Align/CleanseSourcesIndividuallyDiscover&ValidateSourcesIndividuallyDataAssessment/ValidationsIBMAscential—提供全面的数据处理方法学ProfileStageQualityStageDataStageConnection&DeliveryMetaStageConnection&DeliveryParallelExecutionEngineOLAP,FinancialReportsExecutivesOperational

ManagersFinance

ProfessionalsWebSphereProfileStageColumnAnalysisTableAnalysisCrossTableAnalysisAnalyzeReviewAcceptRejectCreate

Data

ModelNormalize&GenerateSource/TargetMappingsGenerateETLJobSampleDataFullDataProfileStage探索数据内容和结构ProfileStage评估元数据，通过反推（技术）理解数据源的物理特性鉴别数据内容、结构和质量在开发之前确认源数据是否支持目标需要建立最佳数据模型&自动映射数据源到目标建立DataStage整合步骤多CPU透明并行开发多国语言支持商务智能的元数据转换业务收益对数据源的分析减少70%的时间在开发阶段发现问题，降低成本和时间自动ETL作业定义，不需要程序调试时间

均衡有价值的遗留数据，增加访问应用的可靠性元数据分析Arethesemetadatapropertiesexpected?Canthesetwotablesbeintegrated?Ifyes,whatneedstobechanged/standardized?冗余数据分析ThiscouldbefromSystemAThiscouldbefromSystemBIstheoverlaptobeexpected?Whatarethevaluesoutsidetheoverlap?Howtodealwiththem?WebSphereQualityStageStandardizationLogicNormalizedResultsRulesMatching&RecordLinkageLogicConsolidatedViewsOperationalDataStoresEnterpriseDataWarehouses,DataMartsQualityStage清理，标准化、匹配和确认数据更加准确、完整地对数据进行更加快速的匹配最灵活的分析/标准化能力处理复杂的自由格式的字段全球–可以确认200多个国家地址，完全的NLS/Unicode支持透明的并行能力，充分利用多CPU面向BI的元数据转换业务收益一致的、可靠的竞争信息不断增加的收入在企业应用&BI中，更快、更完全的ROI，改善行销&客户服务不断减少的成本高效率操作、预防过失、

不断调整Q.从销售收入上看那个客户是最重要的客户?例子:为什么使用QualityStage?Q.确定了吗?A.(简单)I.B.Manufacturing15,999.00ParkBlvd.BostonMA04106I.B.Manufacturing9034567210,243.00POBox9BostonMA02210Int.Bus.Consultants902348896,800.0015MainSt.AndoverMA02341Inter-NationConsults902334895,900.00187ParkAveSalemNH04156Int.Bus.Machines902334792,243.00187No.ParkStSalemNH04156InternationalBus.M.902384953,432.00187N.Pk.St.SaremNH01456I.B.M.Inc.903285758,494.00187N.Pk.Str.SalemNH01456IBM90328574SALES$ADDRESSNAMECUSNUM潜在一条记录而不是4条15,999.00ParkBlvd.BostonMA04106I.B.Manufacturing9034567210,243.00POBox9BostonMA02210Int.Bus.Consultants902348896,800.0015MainSt.AndoverMA02341Inter-NationConsults902334895,900.00187ParkAveSalemNH04156Int.Bus.Machines902334792,243.00187No.ParkStSalemNH04156InternationalBus.M.902384953,432.00187N.Pk.St.SaremNH01456I.B.M.Inc.903285758,494.00187N.Pk.Str.SalemNH01456IBM90328574SALES$ADDRESSNAMECUSNUM通过QualityStage得出数据集…例子:为什么使用QualityStage?拼写错误没有共同键同意词和字母缩写缺少标准错误代码?Q.从销售收入上看那个客户是最重要的客户?(QualityStage纠正完数据后)例子:为什么使用QualityStage?15,999.0010,243.006,800.0020,069.00SALES$ParkBlvd.BostonMA04106I.B.Manufacturing90345672POBox9BostonMA02210Int.Bus.Consultants9023488915MainSt.AndoverMA02341Inter-NationConsults90233489187ParkAve.SalemNH04156Int.Bus.Machines90233479ADDRESSNAMECUSNUMA.(简单)Int.Bus.MachinesWebSphereDataStageDesignerDirectorAdministratorManagerWebSphereDataStageServerWebSphereDataStageClient抽取、转换和传送数据图形化的、非代码的设计环境可扩展的转换平台，均衡已存在的逻辑建立在可升级和调整的处理平台上企业级平台提供被证明的ROI管理开发到配置的无缝升级业务收益卓越的产品功能准确、准时、一致的产品发布统一的访问规则应用数据和处理可检查从上到下的GUI方法优势：作业容易开发、理解、调试和维护强大的、被验证的最好的数据转移和抽取工具性能:并行执行源数据抽取转换加载数据仓库关键问题如何满足服务层协议如何处理未知需求如何优化硬件投资？可选择方案手工拆分手工编码处理单线程瓶颈分区间加载改变代码来适应硬件的变化手工编码实现并行数据库和分区结构当前系统实时企业需求记录重分片自动执行当发生以下情况不需要重新分片增加处理器改变硬件结构分片的范围宽方法整个,hash,系数,自由,联合生命,相同,DB2行列WebSphereMetaStage--元数据管理不正确的解决方法在每一个应用系统中跟踪元数据不完善的元数据手工对变化进行评估手工进行或大或小的客户化处理没有一致的解释传统解决方案–Excel,Access,Word不明确的、不完整的标准支持Administrator3rdPartySQL-basedTools客户面临的挑战用户对数据的错误理解重要参数的错误处理不能确定业务改变的影响缺乏连贯的交叉工具缺乏审计谁是数据的业务联系人?这些数据最近更新时间是什么时候?这些数据用在哪?他们的定义是什么?这些规则通常在哪里使用?例子:为什么使用MetaStage?CustomerCustomerNumberNameAddressComments业务系统ACustomerTblCustomerIDNameAddressAddress1Comments业务系统CCustomerDetailsCustomerNumberNameAddressRemarks业务系统BCustomerIDNameAddress1Address2Descr业务系统D唯一标识每一个客户，主要用于排序目的。公司客户标识主要根据公司的销售数据的描述和参考唯一性来定义。唯一标识每一个客户，主要用于排序目的。以02开始的为非公司客户，以01开始的为公司客户。<NULL>客户的标识号。以01开始的为公司客户，以02开始的为非公司客户，03为海外客户。考虑来自多个数据源的元数据例子:为什么使用MetaStage?CustomerCustomerNumberNameAddressComments业务系统ACustomerTblCustomerIDNameAddressAddress1Comments业务系统BCustomerDetailsCustomerNumberNameAddressRemarks业务系统CCustomerIDNameAddress1Address2Descr业务系统D唯一标识每一个客户，主要用于排序目的。公司客户标识主要根据公司的销售数据的描述和参考唯一性来定义。唯一标识每一个客户，主要用于排序目的。以02开始的为非公司客户，以01开始的为公司客户。<NULL>客户的标识号。以01开始的为公司客户，以02开始的为非公司客户，03为海外客户。不同的表名不同字段名额外字段描述元数据是不同的CustomerCustomerNumberNameAddressComments业务系统ACustomerTblCustomerIDNameAddressAddress1Comments业务系统BCustomerDetailsCustomerNumberNameAddressRemarks业务系统CCustomerIDNameAddress1Address2Descr业务系统D唯一标识每一个客户，主要用于排序目的。公司客户标识主要根据公司的销售数据的描述和参考唯一性来定义。唯一标识每一个客户，主要用于排序目的。以02开始的为非公司客户，以01开始的为公司客户。<NULL>客户的标识号。以01开始的为公司客户，以02开始的为非公司客户，03为海外客户。哪个元数据是正确的?哪个是当前时间的?哪一个应该被使用?例子:为什么使用MetaStage?CustomerCustomerNumberNameAddressComments业务系统ACustomerTblCustomerIDNameAddressAddress1Comments业务系统BCustomerDetailsCustomerNumberNameAddressRemarks业务系统CCustomerIDNameAddress1Address2Descr业务系统D唯一标识每一个客户，主要用于排序目的。公司客户标识主要根据公司的销售数据的描述和参考唯一性来定义。唯一标识每一个客户，主要用于排序目的。以02开始的为非公司客户，以01开始的为公司客户。<NULL>客户的标识号。以01开始的为公司客户，以02开始的为非公司客户，03为海外客户。MetaStage元数据中心例子:为什么使用MetaStage?CustomerCustomerNumberNameAddressComments业务系统ACustomerTblCustomerIDNameAddressAddress1Comments业务系统BCustomerDetailsCustomerNumberNameAddressRemarks业务系统CCustomerIDNameAddress1Address2Descr业务系统D唯一标识每一个客户，主要用于排序目的。公司客户标识主要根据公司的销售数据的描述和参考唯一性来定义。唯一标识每一个客户，主要用于排序目的。以02开始的为非公司客户，以01开始的为公司客户。<NULL>客户的标识号。以01开始的为公司客户，以02开始的为非公司客户，03为海外客户。MetaStage元数据中心C