OracleGoldenGate技术培训(公司内部培训)ppt课件

1、Oracle GoldenGate技术交流XX公司技术沙龙第二期XXX 2021年3月.Oracle GoldenGate引见 .前GoldenGate公司简介创建于1995年，总部在美国旧金山。数据复制领域的专业公司。全球超越4,000个安装答应，分布在政府、银行、制造、传媒、电信、证券、医疗和零售等各大行业，其中有多个全球财富500强企业。Oracle、IBM、HP、Microsoft、Sybase、Teradata等著名企业建立了严密协作关系。中科领新信息技术是GoldenGate公司中国区总代理和技术支持中心。2021年被Oracle收买。.GoldenGate是什么?Oracle G

2、oldenGate 提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付实时数据整合市场的指点者GoldenGate 给Oracle的数据整合方案带来了在异构平台的快速的,可扩展的,实时数据整合才干GoldenGate 为运用或数据库的提供了在线晋级,迁移的才干.GoldenGate产品组件GoldenGate产品组件功能Oracle GoldenGate TDM（Transactional Data Management-交易数据管理）主要功能组件Oracle GoldenGate for Mainframe使用于主机及大型机(HP Non-Stopdatabases and IBM

3、 Mainframe)Oracle GoldenGate Veridata验证及监控复制两端数据库的数据差异性Management Pack for OracleGoldenGate图形化的配置,管理及监控工具Oracle GoldenGate ApplicationAdapters为Base24, Logger for Enscribe, and JMSand Flat File 提供的实时数据同步适配器GoldenGate Studio图形化配置复制过程的套件Management Pack for Oracle GoldenGate 需求安装Oracle Weblogic规范版,需求购买相

4、关的License.GoldenGate TDM引见GoldenGate TDM 是基于日志的实时CDC软件平台，提供异构环境下大量买卖数据的实时捕捉、变换和投递，同时坚持亚秒一级的数据延迟。基于GoldenGate TDM，我们提供高可用/容灾和实时数据集成的处理方案。GoldenGate TDM 采用高内聚低耦合的构造，可以支持多种拓扑构造，包括一对一，一对多，多对一，多对多，层叠和双向复制。CDC：Change Data Capture，就是我们通常提到的变化数据捕获.GoldenGate 任务原理.买卖数据管理Transactional Data ManagementTDM特性:收益:

5、实时性 亚秒一级延迟高性能 能够以低资源消耗完成每秒数千交易的复制异构环境支持 在不同平台和数据库环境下复制数据可扩展 开放的结构使客户适应各种异构数据平台以交易为单位复制 维护交易一致性可靠 保证数据的连续可用独立于数据库系统的复制技术提供7x24服务 不停机,保证业务的连续性,在线升级,迁移数据库系统及应用GoldenGate提供异构环境下买卖数据的实时捕捉、变换、投递，主要是支持异构数据库环境下的变化数据同步。.GoldenGate变化数据捕捉的优势针对SQL SERVER,DB2都提供基于日志的CDC直接从数据库日志中经过本人的专有程序抽取数据。支持在备份系统上抓取变化数据。对一些数据

6、类型如LONG,XML,BLOB都提供了支持。.基于日志的实时数据复制亚秒级复制不依赖源数据库的触发器和规那么，对源数据库影响小。.OGG在数据传输方面的优势OGG有很好的机制来保证传输的买卖一致性和断点续传。事务完好性-事务级粒度只复制胜利提交的事务防止源和目的的不一致性.Oracle GoldenGate 架构 .Oracle GoldenGate 架构.Oracle GoldenGate 架构.Oracle GoldenGate 架构.Oracle GoldenGate 架构的优势.GoldenGate的任务特点实时数据复制支持异构环境可靠性：断点续传，不影响系统延续运转。高性能，对消费

7、系统影响小事务完好性整合：ETL tools, Message Service灵敏拓扑构造复制冲突检测和处理事件标志根底架构(Event marker infrastructure)路由和紧缩：TCP/IP，LAN，WAN加密：128-位，SSL自定义延时运用修正根据事务大小和数量自动管理内存.事务完好性-事务级粒度只复制胜利提交的事务防止源和目的的不一致性.GoldenGate支持异构环境恣意组合DatabasesO/S and PlatformsCapture:OracleDB2Microsoft SQL ServerSybase ASETeradataEnscribeSQL/MPSQL/

8、MXDelivery:All listed above, plus:HP Neoview, Netezza, Greenplum, and any ODBC compatible databasesETL productsJMS message queuesMySQLTimesTenWindows 2000, 2003, XPLinuxSun SolarisHP NonStopHP-UXHP TRU64HP OpenVMSIBM AIXIBM z/OS.GoldenGate 10.4支持的主流数据库版本Oracle 8i (DML only)Oracle 9.1 and 9.2 (DML an

9、d DDL)Oracle 10.1 and 10.2 (DML and DDL)Oracle 11g (DML and DDL)DB2 UDB 8.x and 9.5 on Windows and UNIXDB2 UDB for OS/390 and z/OS 7.1 (until IBM end of service date)DB2 UDB for z/OS Version 8.1 and 9.1SQL Server 2000 and 2005 on MS-supported OS as a source or target.SQL Server 2021 on MS-supported

10、OS as a target only.Sybase 12.5.4 and 15 ASEMySQL versions 4.0 and 4.1.GoldenGate架构中关键的技术分布式松散耦合的进程架构初始化装载时不影响数据库运用可以在异构平台之间进展数据初始化装载可扩展性: 变化数据捕获API (VAM)客户化定制: User Exits, SQL callouts, Macros异步的数据变化传输只传输提交的数据DML, Metadata, DDL一致的 Trail 文件格式在异构平台之间交换数据可以设定数据转换规那么，设置数据和操作过滤条件(table, row, column)基于的事

11、务的批量操作.GoldenGate架构中关键的技术-续归档和审计功能Trail 文件备份审计 保管一切变化 (Insert all records)数据冲突的检测和处理机制: 用于双向数据传输双活的系统在目的数据库延迟运用目的端的数据基于事件驱动的根本架构e.g., 自动的主备机切换进程的自动定位支持动态回滚和基于时间点的数据恢复支持并行操作批量数据抽取和批量数据入库恢复.GoldenGate的中心竞争点Active-Active防止了资源浪费，提高系统利用率即时接纳在线迁移基于事务日志的数据抽取处置量大，负载小过滤配置并行可靠的数据传输Checkpoint机制，以便于发生错误时恢复基于TCP

12、/IP网络，对网络衔接要求低强大的异构支持无需停机的数据比较方案图形化的集中管理.Oracle GoldenGate 运用场景 .很多客户需求延续的实时数据降低IT系统的本钱博得业务系统运转的效率.数据复制的拓扑构造.Oracle GoldenGate 用例满足实时数据需求的企业级处理方案降低本钱降低风险实现杰出的运营.GoldenGate 处理方案.高可用性: 容灾与应急备份实现:快速恢复和切换最小化数据损失重新同步主备两端数据用途:在非方案性停机时坚持业务延续.高可用性: 减少方案内停机实现:保证业务零或者近似零停机滚动晋级降低业务中断带来的损失用途:保证系统/运用/数据库在晋级、移植和维

13、护期间业务的可用性.高可用性: 双业务中心Active-Active)实现:负载平衡，提高系统整体性能延续可用，快速的容灾接纳冲突检测和处置.数据仓库实时供应和ODI结合运用实现:数据仓库数据实时得到更新对源系统低影响用途:提升商务智能和信息分析才干实时可用的数据仓库.实时报表实现:将实时报表从主系统剥离，可根据客户需求定制显著提高主系统性能用途:实时报表提高系统性能和可用性.OGG与Oracle其他数据复制产品 .OGG在oracle数据复制产品中的定位Lantency延迟Transformation转换.Oracle Active Data GuardADG.Oracle GoldenGa

14、te.Oracle Data Integrator.GoldenGate与Streams的比较.Oracle StreamsOracle从9i开场推出streams，用于提供灵敏的复制和容灾处理方案。但是9i的streams配置相当的费事，少说也有十几个步骤，还容易出错。10gR2那么将整个配置过程封装在几个简单的PL/SQL过程中，使得配置过程大大的简化。但是实践的配置步骤还是一样的，Oracle只是利用这些PL/SQL过程先生成对应的脚本，然后再执行脚本进展配置。这个过程可以全自动完成，也可以先将脚本生成到某个指定的目录，我们根据需求修正脚本，然后再执行脚本进展配置，这样就灵敏又方便。St

15、reams的原理其实很简单，经过logmnr技术从oracle的log中解析出数据，然后传送到目的库并运用，从而将源库的数据复制到目的库。当然，复制可以是双向的，也可以是单向的。双向复制还需求思索数据冲突的问题。而多源复制其实是双向复制的根底上衍生而来的。.Oracle Streams整个的复制过程可以分成三个步骤：捕获(capture)，传播(propagation)和运用(apply)，利用高级队列(advance queue)来将这三个步骤的数据串起来，经过在步骤中定义不同的规那么(rule)来控制需求复制的数据。复制可以基于全库，基于表空间，基于用户或者基于表，提供了相当大的灵敏性。捕

16、获进程可以直接在源库捕获日志，也可以先将日志(归档日志或者联机日志)传送另外的库中进展捕获，这就是本地捕获(local capture)和异地捕获(downstream capture)。对于异地捕获，根据是传送归档日志还是联机日志，可以分为普通的异地捕获和实时异地捕获。日志的传送其实和DataGuard中是一样的机制。Oracle11g的streams还提供了同步捕获。.Oracle 数据集成平台.Oracle Enterprise Data Quality.Oracle Metadata Management.相关产品网站快速链接Oracle ADG主页面oracle/cn/databas

17、e/active-data-guard/overview/index.htmlOGG主页面oracle/technetwork/middleware/goldengate/overview/index.htmlOGG下载oracle/technetwork/middleware/goldengate/downloads/index.htmlOGG文档oracle/technetwork/middleware/goldengate/documentation/index.htmlODI主页面oracle/technetwork/middleware/data-integrator/overvie

18、w/index.htmlODI下载oracle/technetwork/middleware/data-integrator/downloads/index.htmlODI文档oracle/technetwork/middleware/data-integrator/documentation/index.html.Oracle GoldenGate实施架构 .Oracle GoldenGate 实施步骤.实施流程Oracle GoldenGate 工程实施大致流程检查操作系统和数据库能否满足Oracle GoldenGate 要求配置数据库及要复制的表， 使其满足Oracle GoldenG

19、ate要求启动Oracle GoldenGate Extract 进程捕获增量数据获取和记录数据库SCN，运用数据库工具完成到目的数据库的数据初始加载启动Oracle GoldenGate Replicat 进程，从记录的SCN号起开场同步增量数据.Step 1. Prepare the Environment预备环境.Step 1. Prepare the Environment预备环境Set up each system:Install Oracle GoldenGate software on source and target安装软件Configure and start Golden

20、Gate Manager on source and target配置并启动ogg管理器If heterogeneous source/target, generate source definitions and copy to target假设异构，生成源端定义并复制到目的端Prepare the database. For example:Ensure database access by GoldenGate确保数据库可被ogg访问Enable transaction logging启用事务日志.预备任务Oracle GoldenGate 检查操作系统及数据库假设操作系统是AIX 5.

21、3，须确保xlC/C+ 的版本是9.0或者以上.假设源数据库的版本是9iR1或者9iR2，确保参数_log_parallelism 或者 log_parallelism 的值为1.确认源数据库处于归档方式， 可用命令archive log list查看.确认源数据库undo_retention的值足够大，undo tablespace的空间足够多.确认源及目的数据库的open_cursors值足够大.检查源库redo log的Thread 数目.支持DDL：假设数据库的版本是10gR1，将_recyclebin设置为false；假设数据库的版本是10gR2或者以上，将recyclebin设置为

22、off.预备任务Oracle GoldenGate 数据库及表的设置在源和目的数据库为Oracle GoldenGate 创建数据库用户:create user goldengate identified by oracle default tablespace users temporary tablespace temp;grant dba, connect, resource to goldengate;翻开源数据库的supplemental log 开关:alter database add supplemental log data;alter system switch logfi

23、le;alter system archive log current;在源端，对于要复制的表样例:ggsci dblogin userid goldengate, password oracle add trandata dbaccadm.dconmsg假设复制表没有主键也没有独一索引，且字段数目超越32个， 那么需求手动将表一切的字段都参与supplemental log.在目的端， disable 复制表的触发器及cascade constraints.预备环境: 安装 - GoldenGate 目录DirectoryContentsdirchkGoldenGate checkpoint

24、 files（检查点文件）dirdatGoldenGate trail and extract files（trail和抓取文件）dirdefData definitions produced by DEFGEN and used to translate heterogeneous data（由DEFGEN生成的，用于解释异构数据的数据定义）dirpcsProcess status files（进程状态）dirprmParameter files（参数文件）dirrptProcess report files（进程报告）dirsqlSQL scripts（SQL脚本）dirtmpTempor

25、ary storage for transactions that exceed allocated memory（临时存储超过分配内存的事务）.Step 2. Change Capture变化捕获.Change Capture - Extract OverviewExtract can be configured to:Capture changed data from database logs根据数据库日志捕获变化的数据Distribute data from local trails to remote systems (data pump)根据本地trail文件把数据分发到远程主机C

26、apture data directly from source tables for initial data load直接从源端数据库表中捕获数据.捕获增量Oracle GoldenGate 捕获增量在数据初始化之前，在源端启动Extract来捕获增量数据Add extract Threads :将Threads设置为当前数据库真实的redo log Thread 数目， 不论其能否是RAC环境.Step 3. Initial Load.初始化Oracle GoldenGate 数据初始化SCN的意义数据初始化手段:EXP/IMPDATA PUMPTransportable Tablesp

27、ace (TTS)RMAN以上方法均可以指定SCN以上方法均可以不中断业务系统.初始化方法优点/缺点EXP/IMP优点：这种方法的好处是， 可以通过管道直接将数据导入到目标数据库， 这样做不需要额外的磁盘空间来存放导出文件。缺点：比较慢。DATA PUMP优点：导出与导入速度都非常快。缺点： 在源端及目标端都要有足够的空间来容纳导出文件，且需要将导出文件传送到目标端。Transportable Tablespace(TTS)优点：导出速度快， 使用RMAN TRANSPORT TABLESPACE并不需要将表空间置为read only.缺点：目标端的数据文件大小需要与与源端一致。RMAN优点：

28、导出速度快， 适合整库导出.缺点：如果数据库的版本是10g一下， 不支持跨平台；源端与目标端数据库版本一致，目标端只能通过数据库升级来升到高版本。.Step 4. Change Delivery变化交付.Change Delivery - Replicat OverviewReplicat can:Read data out of GoldenGate trails从trail文件中读取数据Perform data filtering执行数据过滤Table, row, operationPerform data transformation执行数据转换Perform database oper

29、ations just as your application performed them执行数据库操作，以运用程序的执行方式.加载Oracle GoldenGate Data Pump 和ReplicatOracle GoldenGate Data Pump 进程也是一个Extract进程.Data Pump 将Trail 文件送到远端远端可以不是目的端由于Data Pump 的义务较轻，从性能的角度出发， 可以思索在Data Pump这一侧做过滤和转换Replicat: 运用start replicat ., afterscn .可以对同一个Trail file启用多个Replicat，

30、但最好别超越四个.数据初始化(10G) 同构.数据初始化(10G) 异构.各模块引见 .各模块构造.ExtractCapture Extract的两个功能.ExtractCaptureDB变卦信息的获取1.ExtractCaptureDB变卦信息的获取2.ExtractCapture 双向复制双向复制场所的本卷须知为防止反复运用、应设置不捕获GoldenGateReplicat的SQL语句经过ExtractCapture的参数可指定GETAPPLOPS / IGNOREAPPLOPS指定捕获/忽略Replicat以外的更新数据库进程的动作GETREPLICATES / IGNOREREPLIC

31、ATES指定捕获/忽略Replicat对数据库的更新动作.各组件的构造.Collector 变卦信息的收发.Data Pump变卦信息的发送两种方式方式： 另外起动发送公用的Extract即Data Pump 先保管到本地的Trail文件然后发送方式：一个Extract兼Capture和Data Pump之职 从REDO日志获得信息然后直接向远端发送.Data Pump 多个目的发送 两种方式.各部件的构造.Replicat Replicat的功能Replicat的功能从Trail文件生成SQL语句在目的DB执行以变卦的行为单位生成SQL语句、执行基于主键或独一键和变卦前的值可选更新 主键或独

32、一键的值是在源端经过附加日志方式从日志中获得.各部件构造.Manager GoldenGate整体的监控/管理Manager的作用Trail文件的管理Trail文件的生成/删除进程的监控/管理定期监控进程进程的启动/停顿、再启动GoldenGate整体的监控/报表执行用户的命令.Manager GoldenGate整体的监控/管理Manager与各部件之间通讯UI Manager ： TCP/IPExtract/Replicat Manager本地 ：共享内存各进程情况如处置完的检查点等等都保管在共享内存，Manager查询后产生相关报表ExtractData Pump Manager远端：T

33、CP/IP.Oracle GoldenGate Capture.Oracle GoldenGate Delivery.Filter/Map&转换 .Filter/Map变换可以配置Filter/Map以及变换的部件Capture引荐Data PumpReplicat.Filter/Map变换可配置的Filter/Map变换表：以表为单位指定例：MAP scott.emp TARGET james.empMAP scott.* TARGET james.* 支持通配符列：仅指定特定的列例：MAP scott.emp TARGET james.emp COLS (empno, ename)MAP

34、scott.emp TARGET james.emp COLEXCEPT (salgrade)行：指定满足特定条件的行.Filter/Map变换可配置的Filter/Map变换2可以在特定操作UPDATE或者INSERT等等时来运用Filter条件中可指定GoldenGate的函数和宏例：MAP scott.emp TARGET james.emp WHERE (sal 100000); MAP scott.emp TARGET james.emp FILTER(ON UPDATE, COMPUTE (sal * 100) 100000);数据变换：可以对列进展映射和列值的变换数据变换可以利用

35、GoldenGate的函数和宏例：MAP hr.contact, TARGET hr.phone, COLMAP (USEDEFAULTS, name = cust_name, phone_number= STRCAT( “(, area_code, “), ph_prefix, “-, ph_number) );留意：不支持多字节的列名或文字串作为条件.函数主要函数条件判别函数IF, CASE, EVAL, VALONEOF 等 例：FILTER (IF (sal 100, sal, 0) 100);文字列/数値操作函数COMPUTE, STRCAT, STRCMP, STRLEN, STRFIND等 留意：不支持对多字节文字列进展操作 例：FILTER (STRLEN(ename ) 40);日期函数DATE, DATENOW等 例：FILTER (hiredate DATENOW);.GoldenGate Veridata .什么是 GoldenGate Veridata?“GoldenGate Veridata 是一个快速、低影响的数据比较处理