Oracle GoldenGate 优势介绍和客户案例

1、Oracle GoldenGate产品介绍技术架构及特点议 程GoldenGate概述主要应用场景客户案例GoldenGate在全球的客户在数据集成领域中的最强的领导者是现有Oracle产品功能的重要补充在异构环境中的连续可用性作为报表系统的实时数据访问为BI，EPM，Exadata获得实时数据零宕机的迁移/升级到Oracle数据库和应用有超过400个客户部署了4000多套系统，其中包括很多财富500强中的企业：金融服务，通讯，医疗，公共部门，零售和公共事业5家最大的商业银行中的三家3家最繁忙的ATM网络10家最大的财务数据服务公司中的七家5家最大的电信运营商中的四家5家最大的食品和药品商店中

2、的三家Oracle “Excellent Product Viability” WeightingIBMOracleInformaticaiWaySAPSASMicrosoftBulk data movement55%5.04.55.04.14.64.34.3Federated views15%3.93.03.93.74.23.42.2Message-oriented movement10%4.53.73.34.13.22.03.7Data replication and synchronization20%4.65.04.52.94.03.02.9 Total Rating 1816.216

3、.714.81612.713.1Weighted Rating 4.7054.2954.5653.84.283.6753.645Source: Gartner Critical Capabilities for Data Integration Tools: Common Data Delivery Styles, Dec 2010(showing top 7 of 11 vendors in chart above)Oracle GoldenGateGartner 5.0 out of 5.0Clearly the Industry Leader in Data Replication an

4、d SynchronizationGoldenGate金融行业GoldenGate政府/电信行业GoldenGate其它行业技术架构及特点议 程GoldenGate概述主要应用场景客户案例超过100个认证的数据源 任意遗留系统 弹性架构 高性能 ETL/ELT 快速，简单开发(知识模块) 针对任何特性数据的 剖析，清洗 & 匹配Oracle数据集成下一代企业级数据集成Oracle GoldenGate实时数据复制Oracle Data Integrator普适的数据访问及数据转换Oracle Enterprise Data Quality企业可信赖的数据 遗留/数据仓库&数据集

5、市OLTP系统平面文件OLAPODSWeb Service和事件服务超过100个认证的数据目标跨异构环境，对系统负载影响很低，对交易型数据做实时抓取、路由、转换和传递和其他产品关键差异点非侵入式、低影响和亚秒级的延迟开放和模块化的架构 支持异构数据源和目标保持交易事务的完整性 对中断和失败容忍度高Oracle GoldenGate独特点实时、跨异构和支持交易事务完整性的复制性能弹性、可扩展可靠Oracle GoldenGate工作原理模块化架构双向捕获捕获：通过读取事务日志，在事务发生时捕获（也可过滤）提交的事务。队列队列：准备数据，使数据排入队列以备路由。传输传输：分发数据以便路由到目标。

6、交付交付：保证事务数据完整，根据需要转换数据。源Oracle和非Oracle 数据库目标Oracle和非Oracle 数据库队列路由：压缩、加密数据以便路由到目标。LAN/WANInternetTCP/IPOLTPOLTPOLTPODSODSEDW查询 / 报表OLTPOldOLTPNew分析型操作型OLTPStageOLTPGoldenGate 11g 主要特征: 松耦合部署配置灵活单向查询分流双向主用/备用或主动-主动，实现高可用性集成/整合实时数据仓库广播数据分发级联式分布式业务合并实时BIOLTPOLTPOLTPOLTPOLTP对等负载平衡/多主分布式GoldenGate 11g 主要

7、特征: 异构性支持所有主流平台，OS，RDBMSDatabasesO/S and PlatformsOracle GoldenGate Capture: Oracle DB2 DB2 for v10 on z/OS DB2 for i/OS Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX MySQL Informix JMS message queues Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft)Oracle GoldenGate Delivery:

8、All listed above, plus:TimesTen, IBM System i Netezza, Greenplum, & HP Neoview ETL productsLinuxSun SolarisWindows 2000, 2003, XPHP NonStopHP-UXIBM AIXIBM z SeriesIBM i SerieszLinuxGoldenGate 11g 主要特征: 广泛应用场景企业级解决方案 满足实时数据需求基于日志，实时变化数据抓取异构的源系统EDWODSEDW灵活的高可用性零停机移植和升级/容灾/应急实时BI/实时DW全面活动的分布数据库报表数据

9、库ETLODI查询卸载/分流数据分布新DB/OS/HW/App全球数据中心SOA/EDAOracleGoldenGate降低成本减少风险获得更高的运行效率 标准化的单一的技术解决多种不同的需求 同时满足系统的连续可用性和报表/BI系统的实时数据访问的要求GoldenGate重要POC测试结果客户名称浙江移动邮储银行广东移动-BOSS广东移动(短信营业厅)源端配置ia64 hp superdome server SD32B16 CPU 95G MemOracle 10.2.0.3.0 - 64bit2台：HP Superdone ia 64 bit，64coreOS:HP 11.31 updat

10、e9Oracle DB 11g RAC2台：IBM P595 OS: AIX 5.300-0532 CPU 128GB MemOracle 10gR2 RAC2台：AIX 5.300-0516 CPU 64GB MemOracle Database 10g Enterprise Edition Release 10.2.0.2.0 - 64bit RAC目标配置IBM AIX5300-08 64bitIBM,9119-595 24 CPU 122G MemOracle 10.2.0.3.0 - 64bit2台：HP DL980 Intel志强75 64coreOS: Asialinux red

11、flag Server3 Sp2和Sp3，内核2.6.18(78或89或194）Oracle DB 11g RAC2台：IBM P590 OS: AIX 5.300-0516 CPU 64GB MemOracle 10gR2 RAC2 台: AIX 5.300-0722*2 CPU 88GB MemOracle Database 10g Enterprise Edition Release 10.2.0.4.0 - 64bit RAC(注：应急数据库将含短信营业厅、自助终端、空充网关三个电子渠道类的应急数据。)测试说明月末月初批量处理在日志积压的情况下（CRM、BOSS库产生日志约每分钟3G）

12、，要求数据同步延时在分钟级联机交易8000笔/秒，稳定运行半小时建立多个复制表，配置多个复制链路启动所有进程开始复制使用批处理在各表并行插入大量记录，一般以持续时间20分钟左右为宜生产端两服务器情况统计：S1_DXYYT_BCRS S2_DXYYT_BCRS每小时日志生成量 5GB 5GB高峰生成率 8GB 11GB每秒事务量 613.47 599.89每秒执行数 1,707.50 1,950.14每秒日志生成量 1,267,012.92 1,233,715.94每秒逻辑读 52,359.00 130,209.36测试结果进程数量：8总记录条数：600万 日志量： 3.22G 完成时间： 11

13、8 秒平均速度： 4.66万条/秒平均处理日志：1.61G/分钟平均处理日志：96.6G/小时平均处理日志：2318.4G/天源CPU占用： 2.6%/extractor源内存占用： 180M 目的CPU占用： 5.4 %目的内存占用： 24M进程数量：4每小时日志处理量：180GB；每秒日志处理量：51.2MB；延迟时间：不超过1分钟。复制软件储空间占用、磁盘IO、内存、CPU占用不超过主库系统资源10%；进程数量：3总记录条数： 300万 日志量： 3.5G 队列数据量：2.65G 完成时间： 185 秒平均速度： 1.62万条/秒日志/队列：1.32:1平均处理数据：51.6G/小时平均

14、处理日志：68G/小时源CPU占用： 7%/extractor源内存占用： 180M 目的CPU占用： 11.4 %目的内存占用： 24MGoldenGate复制链路数量：1各复制链路队列大小：Trail文件大小为100MB生产库各复制进程CPU占用：小于3.2%生产库各复制进程内存占用：64MB生产库内存总消耗：40GB网络带宽实际占用：小于0.3MB/S应急库各复制进程CPU占用：1.2%应急库CPU空闲率：94%应急库各复制进程内存占用：32MB应急库内存总占用：42GB数据同步时延：小于10秒描述时间:2011.05GoldenGate是一个绿色软件，解压缩即可使用（约180M），无需

15、在数据库中插入任何对象。GoldenGate 满足所有功能测试用例。说明：在实际应用中，一般日志与队列比为3或者4:1，因此GoldenGate处理日志能力应当比测试数据还要更高。时间：2112-1-111.复制软件的运行不影响主库系统交易的正常运行。2.复制软件完成所有功能、性能和异常测试用例。3.主备系统切换所用时间少于15分钟。时间：2007-9说明：在实际应用中，一般日志与队列比为3或者4:1，因此GoldenGate处理日志能力应当为测试数据的两倍以上。时间：2009-01满足目前业务需求，如果后期业务量急剧膨胀的情况下，可以适当增加链路数量对生产系统的影响及其轻微业务峰值下，满足数

16、据同步要求对网络资源占用量低对应急库的资源占用低应急库负载很轻可以实现准实时的数据同步，满足当前应急系统建设要求 保证业务系统7x24持续不间断运行 支持并适用异构平台、异构数据库、远距离低宽带等复杂IT环境； 支持双向、1对1、1对多、多对1、多对多、分层等各种复杂同步模式，为同城/远程的应急和容灾提供了完善的数据同步复制方案。 双活(源和目标端均可读可写)可达到高可用性和分散源端负载的作用 减少&消除计划或非计划的停机，可自动切换 卓越的性能：秒级的数据延迟，对源生产端影响极小；极低的网络占用。 高可靠性：可保证事务一致性、检查点机制保障数据无丢失、可靠的数据传输机制(加密、压缩)

17、 完善的异常处理预案：客户可以从容应对网络中断、数据库实例失败、RAC节点失败、备份数据库失败等各种异常情况，在异常出现后能够快速自动地恢复数据复制且保证无数据丢失。 优秀的可维护性： 安装与部署简便无需停机 纯绿色软件，解压缩即可使用（约180M），无需在数据库中插入任何对象 可以基于时间点定义复制起始位置，这为客户在维护过程中提供了更好的灵活性 方便易用的管理工具Director，可以对多个分布的GoldenGate实例进行集中管理，并提供命令行、web页面面和Java 界面三种管理界面，客户可以根据自身爱好选择任意一种方式管理和监控复制软件的运行。 可以解决硬件容灾方案无法解决的数据库逻

18、辑错误。 专业的数据复制平台，得到广泛的客户验证和认可，其成熟度和专业售后服务为企业容灾项目保驾护航。特点项GoldenGate产品化及成熟度Oracle数据库的日志格式是非公开的，任何第三方基于非公开技术都是无法被Oracle支持的而且Oracle数据库的日志格式是随版本和补丁始终变化的，Oracle公司不可能对外公布其日志格式的变化。所以当使用其他产品对Oracle数据库进行复制的时候，一旦Oracle数据库的日志格式发生变化，其他厂家是不能再进行数据复制的，而且当使用非官方底层复制技术可能对Oracle数据库本身造成一定影响甚至宕机，Oracle无法对这些第三方底层复制技术带来的问题提供

19、支持。OGG的技术支持将与Oracle数据库统一提供，能及时排除包括数据库本身在内的数据复制问题 。产品延续性GoldenGate已被Oracle定义全球实时数据复制的战略性产品，将持续加大对OGG的产品研发真正国际化产品纯绿色软件，解压缩即可使用（约180M），无需在数据库中插入任何对象厂商资源Oracle售后服务工程师地点主要来自上海，如果上海无工程师资源，将从全国范围征调合适的工程师资源。GoldenGate工程师分布在上海、北京、广州、成都、西安等地，均经过公司严格的培训及认证，并有丰富的现场实施经验，可以提供7*24小时电话/MOS支持Oracle在中国有九家大的分销商和数百个合作伙

20、伴，拥有雄厚的GoldenGate资源。可保障客户的即时服务和项目质量双向复制GoldenGate支持双向复制，可支持双活业务中心的应用双活，即备端是可以作查询、符合业务逻辑的所有数据库操作GoldenGate 实践特点特点项GoldenGate源系统插入性无需在源端插入任何表、触发器、存储过程等数据库对象，对生产库影响非常小。系统资源占用正常复制时与数据库交互极少（只有在读取数据字典和日志中没有完整数据如大对象时才会访问源库），复制效率高GoldenGate对于源端影响很小。CPU和内存的消耗很小，CPU一般为 5% /进程; 总内存为180M。一般复制同步，源端不会成为瓶径。压缩及网络带宽

21、占用因为有数据压缩功能，网络上传输的数据仅为数据库日志量的三十分之一，网络带宽占用最小。同城、远程故障切换 支持故障切换并容易切回。总结的众多实践和经验，提供切换标准步骤故障后续传自动续传GoldenGate在各进程均记录完整的检测点，排除错误后不需人工介入，即可按参数设定自动重启，并完成断点续传工作。数据库平台支持Oracle GoldenGate（OGG）可以做异构数据库之间的数据复制，支持的数据库类型有Oracle、DB2、SQL Server、Sybase、MySQL、Teradata、informax等数据库，复制的数据能保证其一致性。源和目标可以为异构系统平台和异构数据库Golde

22、nGate 实践特点特点项GoldenGate数据初始化GoldenGate本身具有数据初始化机制。支持数据库级的备份方式初始化。例如：Oracle expdp/impdp、RMAN; DB2 Backup 等ETL 工具图形化工具Management Pack适用于管理员、非GoldenGate技术人员、运维人员等一个基于服务器的产品，具有直观的图形化界面（包括客户端和Web界面），可以设计、配置、管理、监控和报告整个系统中的GoldenGate模块。命令行式：ggsci适用于系统管理员、数据库管理员、习惯脚本方式的高级IT开发和运维人员等GoldenGate 素有两小时快速入门之称，其易用

23、性是同类产品中的佼佼者。模式多样化/快速配置批量表支持双向、1对1、1对多、多对1、多对多、分层等各种复杂同步模式GoldenGate 提供schema的同步，即以 schema.* 来写参数文件高性能亚秒级数据延迟中彩在线 刚测试后的结果：源数据库日志量: 127MB/秒（446G/小时，10.5TB/天）|进程数量：2|延迟时间：2秒GoldenGate 实践特点对比项GoldenGate表结构发生变化OGG可线性的与交易数据将DDL也同步到目标，所以不会发生以上问题非归档同步支持非归档同步但不推荐。因为Redo log会写的非常快，如果发生同步链路异常，会造成数据不一致。第三方针对所谓的

24、Redo log的备份，会存在很大风险。Oracle数据库的日志格式是随版本和补丁始终变化的，而且Redo log如果切换的快，第三方备份有可能追不上。不光要考虑Oracle，主流的DB2, MS SQL等均是同一道理。全面考虑各种异构数据库的整体复制方案，是企业IT的根本平台。数据转换与过滤Oracle GoldenGate提供了丰富的函数，可进行数据的转换，例如：字符串拆分/合并、日期格式转换、计算、IF。同时也可使用SQLEXEC参数，以便直接调用数据库的SQL和存储过程对数据进行转换操作。另外，还可以通过定制Java代码，继承并实现Filters，Formatters和Handlers

25、来实现定制化的数据转换。Oracle GoldenGate提供数据过滤功能，通过在从日志文件中抽取数据进程的配置文件中指定表名来实现对部分表、部分字段(clomap)进行数据同步；另外GoldenGate还可在上述配置文件中通过指定“where”、“range”和 “filter”参数实现只对一个表的部分数据进行复制，与SQL的where子句同效。行迁移支持用途 容灾、HA、复制、分担查询、整合数据迁移、实时ODS/BI/EDWGoldenGate 实践特点可 选 组 件GoldenGate Director提高管理效率定义，配置，管理和报告GoldenGate在业务系统中配置情况使用Gode

26、nGate管理服务体系架构关键特性: 集中化管理所有的GG进程 丰富的基于web的客户端界面增强了可视性 告警通知，Email方式或者第三方的监控产品集成 实时反馈GG的进程运行情况 无影响的部署不会影响系统性能GoldenGate Veridata数据一致性比较高速的数据比对解决方案 在正在使用的数据库直接审计，识别和报告数据的差异性优点: 能快速地减少风险和对数据差异采取行动 加快和简化数据比较 不中断业务系统 加强决策和报告的可信度关键特性: 支持大数据量比对 当数据库在线的时候运行比对 选择性数据比对 灵活的报表机制 支持异构数据库 生成直观比较报告技术架构及特点议 程GoldenGa

27、te概述主要应用场景客户案例GoldenGate应用场景寻找客户技术上的痛点高可用性与容灾 容灾与应急备份 消除计划内停机 双业务中心 OLTP和OLAP剥离 数据库移植/升级/合并实时数据集成 数据仓库实时供给 实时报表 GRC类应用 应用系统间数据同步 政府、企业垂直部门级数据集中/分发 主数据基于Exadata的实时企业数据仓库&BI完整的、灵活的、集成的解决方案： 提高业务分析能力 为决策提供实时数据 全天候业务运营，消除批处理时间窗口收益： 从OLTP系统获取最新的实时数据，更好运营于市场决策 提供实时数据，不需要批处理窗口 对OLTP的资源和性能影响最小 高效率的数据移动和

28、转化 操作性和分析性BI同时进行产品： GoldenGate ODI EDQ高可用性: 容灾与应急备份实现:快速恢复和切换最小化数据损失重新同步主备两端数据用途:消除传统灾备技术无法避免的非计划性停机高可用性: 双业务中心用途:高性能分布式计算非计划停机计划停机实现:负载均衡提高系统性能连续可用冲突检测和处理实时报表实现:将实时报表从主系统剥离，可根据客户需求定制显著提高主系统性能用途:实时报表提高系统性能和可用性技术架构及特点议 程GoldenGate概述主要应用场景客户案例l 某省某省BOSSBOSS业业务负载情况：务负载情况：现现网网BOSSBOSS营帐系统：营帐系统：4646台小型机，

29、台小型机，6767台台PCPC服务器，服务器，1.11.1亿亿TPMCTPMC处理能力处理能力，其中营账数据，其中营账数据库库6 6个双节点的个双节点的RACRAC数据库，数据库，1212台台P595P595主机，可用有效存储空间主机，可用有效存储空间50T50T。业务受理量：业务受理量：超过超过1.451.45亿笔亿笔/ /月；月； 业务查询量：业务查询量：超过超过33.833.8亿次亿次/ /月月输出工单量：输出工单量：超过超过3.63.6亿条亿条/ /月月；数数据量：据量：30TB30TBCICSCICS交易交易峰值：峰值：2000020000笔笔/ /秒秒l 特点：特点： 前台访问要求

30、响应速度较高，出现异常时前台访问要求响应速度较高，出现异常时故障扩散速度很快；故障扩散速度很快； 渠道众多，包括了客服接口、自助终端、渠道众多，包括了客服接口、自助终端、网站等等，接口交易的成功率要求高。网站等等，接口交易的成功率要求高。 变更频繁（每月有一次变更频繁（每月有一次大大版本升级，各种版本升级，各种小型更新极多，小型更新极多，20112011年新增业务需求超过年新增业务需求超过12001200个个以上以上）满足了满足了BOSSBOSS系统高负载、复杂应用环境下的数据同步要求系统高负载、复杂应用环境下的数据同步要求l 全省约全省约80%80%业务数据准实时同步到两套双节点的业务数据准

31、实时同步到两套双节点的RACRAC应急数据库（数据同应急数据库（数据同步时差小于步时差小于1010秒）秒）l 应急系统数据量应急系统数据量25TB,25TB, 单表最大记录数约单表最大记录数约1010亿条记录亿条记录l 每月新增数据约每月新增数据约4.0TB4.0TB，归档日志量，归档日志量3.5TB/3.5TB/天天l GoldenGateGoldenGate同步的日志量同步的日志量600GB/600GB/天天. .l 远距离（约远距离（约100100公理）公理）l 低带宽（低带宽（10M)10M)l 准实时准实时准实时复制准实时复制灾难恢复灾难恢复峰值峰值CICSCICS交易吞吐量超过交易

32、吞吐量超过2000020000笔笔/ /秒，但业务高峰期生产系统数据可在秒，但业务高峰期生产系统数据可在1010秒内秒内复复制制到应急库。到应急库。以最低的代价获得接近以最低的代价获得接近“两阶段提交两阶段提交”才具有的同步复制效果。才具有的同步复制效果。双活模式双活模式在线同步在线同步应急数据库处于激活状态，可随时接管业务，实现应急数据库处于激活状态，可随时接管业务，实现RTO=0RTO=0初始化数据同步加载可与在线业务同时进行，根据业务需求在线增加同步数据初始化数据同步加载可与在线业务同时进行，根据业务需求在线增加同步数据表。保证业务连续性；表。保证业务连续性；负载分离负载分离在支持关键业

33、务应急功能的基础上，批量数据查询、统计等非关健业务转移至应在支持关键业务应急功能的基础上，批量数据查询、统计等非关健业务转移至应急数据库，有效减轻生产端负载压力急数据库，有效减轻生产端负载压力, ,目前已分担生产系统目前已分担生产系统20%20%的查询压力的查询压力该项目该项目在在20102010、20112011年的中移动集团应急系统检查中，获得年的中移动集团应急系统检查中，获得一致好评，是集团向全国推广的项目之一一致好评，是集团向全国推广的项目之一在故障应急、割接保障等方面发挥了重要作用在故障应急、割接保障等方面发挥了重要作用l 应急系统自应急系统自去年投入使用去年投入使用以来，在系统割接

34、保障、故障应急方面发挥以来，在系统割接保障、故障应急方面发挥了重要作用，共启用应急系统了重要作用，共启用应急系统8 8次，应急切换成功率次，应急切换成功率100%100%。接管业务。接管业务时时累积累积长达共长达共5555小时小时。所属系统所属系统故障类型故障类型故障影响情况故障影响情况应急业务切应急业务切换时间换时间效果效果应急启用时长应急启用时长CRM应用程序出现异常业务办理失败10分钟应急业务接管正常180分钟CRM GZ库数据库主机负载过高前台无法登录、业务办理缓慢10分钟业务恢复正常120分钟CRM GZ库数据库主机负载过高前台无法登录、业务办理缓慢10分钟业务恢复正常150分钟CR

35、M DG库应用程序出现异常业务办理失败10分钟业务恢复正常100分钟CRM GZ库数据库主机负载过高业务办理缓慢、提交失败10分钟应急业务接管正常150分钟CRM FS库数据库主机故障影响所有电子渠道业务10分钟应急业务接管正常200分钟CRM ZS库NGBOSS割接珠海全业务10分钟应急业务接管正常1800分钟 “故障能应急、平时能分流故障能应急、平时能分流”l 例如例如,COMS,COMS渠道管理平台每个月固定时间在渠道管理平台每个月固定时间在CRMCRM系统抽取数据，然后分系统抽取数据，然后分析，生成酬金数据析，生成酬金数据。每当每当COMSCOMS系统在抽取数据时，生产系统数据库的系统

36、在抽取数据时，生产系统数据库的负荷会增加负荷会增加30%30%左右，数据抽取需要左右，数据抽取需要时间时间非常非常长长，导致，导致2 2个系统之间产个系统之间产生了不良的影响生了不良的影响。迁移到应急系统前迁移到应急系统前迁移到应急系统后迁移到应急系统后占用生产系统资源执行时间占用生产系统资源执行时间28%30小时0% 5小时2022-7-436Oracle 9i & 10g dbs Solaris Sybase在100个内部后台应用中分发数据Archiving and ReportingData IntegrationOracleMulti MasterOracle数据分发与高可用性

37、超过100个服务器36来自业务的挑战: 大型，复杂和异构的环境，有100多个后台应用 对于生产和开发，大量的系统需要一个灵活的解决方案(Oracle, Sybase & MSSQL ).GoldenGate 解决方案: 使用GoldenGate作为所有数据交换的标准解决方案 在内部不同应用之间分发数据 向只读的归档和报表系统分发数据 数据库的高可用性和容灾 数据库的滚动升级和在线迁移 拓扑结构包括一对一和多对一需求需求: 根据集团规范建设完善ODS平台统一客户视图轻量级数据汇总报表分析对外提供统一数据接口 数据的实时性要求BSS数据批量导出导入BSS实时变化捕获，以及ODS数据实时加载大数据量高性能要求电信级稳定性要求电信级稳定性要求GoldenGate 解决方案解决方案:辽宁电信数据复制辽宁电信数据复制实现实现了从了从BSS到到ODS及及EDW的高