第一部分_GoldenGate及其工作原理

1、编辑编辑ppt1GoldenGate软件及工作原理介绍软件及工作原理介绍2公司目标公司目标 GoldenGate为客户提供为客户提供交易数据管理（交易数据管理（Transactional Data Management）解决方案解决方案. 有效帮助客户优化数据访问性能，提高交易数据的可访问有效帮助客户优化数据访问性能，提高交易数据的可访问性和可用性，满足关键业务的需要性和可用性，满足关键业务的需要Real-Time AccesstoReal-Time Information3公司简介公司简介历史及现状历史及现状 与多家著名厂商与多家著名厂商结为战略合作伙伴结为战略合作伙伴全球35个国家300

2、多客户， 2000多个安装广泛的客户基础广泛的客户基础始建于 1995在北美、欧洲、亚太、拉丁美洲设有分公司24x7 全球技术支持4交易数据管理交易数据管理Transactional Data ManagementTDM提供异构环境下交易数据的实时捕捉、变换、投递。提供异构环境下交易数据的实时捕捉、变换、投递。TDM 具有:实时性秒一级延迟异构环境支持在不同平台和数据库环境下复制数据以交易为单位复制维护交易一致性特点:高性能能够以低资源消耗完成每秒数千交易的复制可扩展开放的结构使客户适应各种异构数据平台可靠保证数据的连续可用5GoldenGate支持平台支持平台数据库数据库操作系统操作系统抽取

3、抽取: Oracle DB2 OS/390 DB2 UDB Microsoft SQL Server Sybase Enscribe SQL/MP SQL/MX Teradata投递投递: All listed above MySQL, Ingres and any ODBC compatible databases Windows 2000, 2003, XPLinuxSun SolarisHP-UXIBM AIXHP NonStopTRU64IBM z/OS, LUW6GoldenGate 解决方案解决方案高可用性与容灾高可用性与容灾活动备份无宕机运行Active-Active 层次化企业

4、数据实时数据集成实时数据集成数据仓库实时数据供给实时报表数据整合 7实时数据实时数据实时访问实时访问灾难恢复灾难恢复 灾难容忍灾难容忍 无间断运行无间断运行磁带备份 磁盘镜像 块复制 热备份 Active-Active硬件 存储 数据库 应用物理结构物理结构 数据数据 交易交易批处理批处理 即时复制即时复制 近似实时复制近似实时复制 实时复制实时复制脚本 ETL工具加脚本 EAI和ETL工具加脚本 GoldenGate TDMWeeks Days Hours Minutes / SecondsSub-secondsReal Time Threshold高可用性高可用性数据整合数据整合实时性要求

5、实时性要求8为什么选择为什么选择 GoldenGate TDM?消除批处理窗口消除批处理窗口方便实现整合流程方便实现整合流程低资源占用低资源占用实时获取数据实时获取数据基于日志的复制基于日志的复制对源系统影响小只捕捉数据变化只捕捉数据变化降低系统负荷无需额外编程保证交易完整性和一致性保证交易完整性和一致性可以保证在各种平台下数据的完整性和一致性编辑编辑ppt9GoldenGate TDM软件技术概览软件技术概览Transactional Data Management (TDM) Software Platform10TDM 工作原理工作原理: 模块化模块化 “积木积木”网络网络源数据库 目的

6、数据库双向复制队列文件队列文件: 暂存数据变化暂存数据变化.传输传输: 数据经过压缩和加密传送到目的地数据经过压缩和加密传送到目的地. Capture: 实时读取交易日志捕捉数据变化并可实现过滤实时读取交易日志捕捉数据变化并可实现过滤.Delivery:执行所需的数据变化，然后将数据变化提交到目的库.CaptureSource TrailTarget TrailSource TrailTarget TrailDeliverDeliverCapture11逻辑数据复制的几个重要问题（一）逻辑数据复制的几个重要问题（一）数据变化来源数据变化来源读取在线日志或归档日志在信息不足时与数据库交互- 数据

7、字典信息- 查询日志不足信息，例如大对象只复制提交交易如何标志记录的唯一性？如何标志记录的唯一性？Rowid- 逻辑复制源和目标的rowid是不一致的，除非自行为两端记录建立额外的rowid map主键- 实际应用中主要业务表均建立有主键- 唯一索引也可作为唯一标示- 无主键表可使用全部列作为唯一标示12逻辑数据复制的几个问题（二）逻辑数据复制的几个问题（二）oracle数据库附加日志数据库附加日志缺省状况下只记录变化记录的rowid及对应变化（前影像、后影像）为了能够在目标投递到对应的记录，需在日志中记录主键或唯一索引数据库级附加日志- SUPPLEMENTAL_LOG_DATA_MIN （

8、最小附加日志）- SUPPLEMENTAL_LOG_DATA_PK/UI- SUPPLEMENTAL_LOG_DATA_FK/ALL（10g）表级附加日志 GoldenGate建议方式- sqlplus alter table add supplemental log group- Ggsci add trandata ctais2.mytable /自动寻找PK/UI- Dba_log_groups和dba_log_group_columns- 每个log group不能超过32列，超过需要人工分组13逻辑数据复制的几个问题（三）逻辑数据复制的几个问题（三）目标端使用附加日志还原目标端使用附

9、加日志还原sql根据附加日志中的主键信息构筑where条件如果没有附加日志或者没有足够的列则无法执行update和delete操作，而insert不受影响主键变化要重新添加表的附加日志无主键表则列的增删均要重新添加表的附加日志CREATE TABLE tcustmer( cust_code VARCHAR2(4), name VARCHAR2(30), city VARCHAR2(20), state CHAR(2), PRIMARY KEY (cust_code) USING INDEX);For Record: (a,a,a,a)Update tcustmer set name=b;Ora

10、cle附加日志会记录cust_code列的值a到日志中；目标端根据cust_code=a构筑update 的sql语句；如果两端主键变为city，而没有重新添加附加日志，则目标端会根据自己的主键city建立附加日志，此时日志中没有该字段值，导致目标update失败如果修改表但没有修改主键，则附加日志不受影响14逻辑数据复制的几个问题（四）逻辑数据复制的几个问题（四）如何将数据装载到目标库？如何将数据装载到目标库？常规加载- 通过SQL装载直接加载- 通过数据块装载- 不利用空闲存储空间- 不检查外键等约束- 装载速度较快GoldenGate采用常规加载- 保证数据安全和一致性- 有效提高性能的

11、选项 合并小交易 拆分大交易 批处理的加速15单向复制单向复制报表、灾备双向复制双向复制立即接管点对点点对点负载均衡, 高可用性及容灾广播复制广播复制 数据分发集中复制集中复制数据仓库灵活的拓扑结构灵活的拓扑结构多级复制多级复制层次化企业数据16Data Pumps 与一对多复制与一对多复制Database Transaction LogsExtractProcessTrailExtractProcessTrailTrailTrailExtractProcessExtractProcess17GoldenGate Veridata快速数据对比方案快速数据对比方案能够快速设别和报告在线数据的差异

12、用途用途:降低数据差异带来的风险简便快捷的对比无需影响业务关键特性关键特性:支持大数据量对比支持在线状态的数据对比优秀的对比效率和速度可执行选择性对比可自动执行无需人工干预灵活的报表18GoldenGate Director能够使客户定义、配置和管理能够使客户定义、配置和管理GoldenGate TDM 各节点和进程，各节点和进程，监控运行状态监控运行状态优化系统管理优化系统管理关键特性关键特性:集中管理多个GG进程丰富的客户端和web界面提高可用性提供报警以及与第三方软件集成的接口实时获取GG进程信息对原系统无影响19典型案例典型案例20案例一：美案例一：美 国国 银银 行行超过五千八百家分

13、行及一万六千多部自动柜员机热 备 份 数 据 中 心 从 贯 穿 北 美 的 四 台 主 机 (HP NSK) 抓 取 数 据保 障 ATM 7X24小时可用热热 备备 份份 点点主主 数数 据据 中中 心心客客 户户客客 户户客客 户户客客 户户双向数据复制双向数据复制GoldenGate has helped the Bank of America accommodate growth.Michele Schwappach, Vice President and Senior Systems Manager21案例二：中华人民共和国海关总署l远距离容灾远距离容灾l低带宽低带宽l低延时低延时

14、l可随时接管的双业务可随时接管的双业务中心中心l快速业务切换快速业务切换22案例三：国家体育总局体彩中心lN+1N+1模式容灾模式容灾l各省市集中备份各省市集中备份l远距离远距离l低带宽低带宽编辑编辑ppt23GoldenGate安装及其组件安装及其组件24系统需求系统需求为获取高可用性，建议安装于共享阵列，可以随集群软件切换到备用节点为获取高可用性，建议安装于共享阵列，可以随集群软件切换到备用节点复制软件只需不到复制软件只需不到200M空间大小，考虑到需要缓存队列数据，建议保留相空间大小，考虑到需要缓存队列数据，建议保留相当于数据库归档日志量当于数据库归档日志量3-7天的存储空间天的存储空间

15、复制软件安装目录可位于任何位置复制软件安装目录可位于任何位置复制软件可使用现有系统用户或者建立专门系统用户，需满足一下条件复制软件可使用现有系统用户或者建立专门系统用户，需满足一下条件该用户具有为Oracle安装用户组成员，环境变量与Oracle运行用户一致，可访问Oracle数据库其内存限制应当满足数据复制要求，可以通过ulimit a输出察看信息，具体配置在/etc/security/limits 文件中。25双机环境下的理想配置方案双机环境下的理想配置方案正常运行状态备机接管状态26安装步骤安装步骤Unix下的安装步骤ftp .gz file to GoldenGate安装目录gzip

16、d *.gztar xvf *.tarldd ggsci./ggsci1.GGSCI CREATE SUBDIRS27数据库需求数据库需求复制用户可以使用现有或者新建用户，复制用户可以使用现有或者新建用户，DML复制要求权限如下：复制要求权限如下：源端：CONNECT/ALTER ANY TABLE/ALTER SESSION/CREATE SESSION /FLASHBACK ANY TABLE/SELECT ANY DICTIONARY/SELECT ANY TABLE/RESOURCE“目标端在源端基础上加以下权限：INSERT ANY TABLE/DELETE ANY TABLE/UP

17、DATE ANY TABLE;需要打开数据库级最小附加日志需要打开数据库级最小附加日志select SUPPLEMENTAL_LOG_DATA_MIN from v$database; ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 针对所有复制表打开表级附加日志针对所有复制表打开表级附加日志GGSCI add trandata select * from user_log_group_columns where table_name= ;超过32列无主键表需要手工添加附加日志：-Alter table add supplemental log group (column,.) always;28GoldenGate组件与目录结构组件与目录结构基本组件基本组件Manager