GoldenGate安装配置文档及概要使用说明

GoldenGate 软件安装部署文档软件安装部署文档 此方案为某客户的配置方案 具体参数可此方案为某客户的配置方案 具体参数可 以不考虑 请根据自己的实际情况修改 以不考虑 请根据自己的实际情况修改 1GoldenGate 部署方案部署方案 为GoldenGate 阵列上为 GoldenGate 划分 27G 存储空间 目录为 export home oracle ggs 以保存 7 10 天 GoldenGate 队列文件 保留目标数据库 初始化期间的增量数据 在目标数据库初始化完成后 追加增量数据 使主备 端数据库数据同步 2GoldenGate 软件安装配置步骤软件安装配置步骤 2 1 实施前准备实施前准备 a 阵列上为 GoldenGate 软件划分 100G 左右的存储空间 并创建文件系统 也可在现有文件系统中建立一个目录 GoldenGate 对于安装目录没有任 何限制 b 源数据库应当处于归档模式 并且建议保留 3 天以上的归档日志 c 源数据库是 RAC 环境 GoldenGate 可以只运行于单个节点 需要将其 它节点归档日志目录通过 NFS 共享出来 并装载到 GoldenGate 运行节 d GoldenGate 要求 RAC 各节点之间配置时钟同步 必须为各个节点配置 时钟同步服务 如 NTP 服务 e 关于 C 编辑器xlc runtime 9 0 version 和 Oracle 用户的环境变量设置 setenv PATH PATH setenv Sun Solaris LD LIBRARY PATH Example LD LIBRARY PATH lib路径 export LD LIBRARY PATH f 由双方工程师共同确定所需要复制的表以及划分复制通道 2 2 源端数据库及系统配置源端数据库及系统配置 a 在源端 创建 GoldenGate 系统用户 设置该用户环境变量 也可以采 用 oracle 用户运行 GoldenGate 建议采用 oracle 用户运行 GoldenGate 无需建立新用户 b 创建 GoldenGate 数据库用户 goldengate CREATE USER goldengate IDENTIFIED BY goldengate GRANT dba TO goldengate c 检查源端数据库是否为归档模式 若为非归档模式 将其改为归档模式 SQL archive log list d 检查源端数据库附加日志是否打开 SQL select supplemental log data min from v database 将数据库附加日志打开 SQL alter database add supplemental log data 切换日志以使附加日志生效 SQL ALTER SYSTEM ARCHIVE LOG CURRENT 2 3 源端源端 GoldenGate 软件配置软件配置 a 在指定位置建立 GoldenGate 安装目录 并确认该目录属于 oracle 用户 或新建的 GoldenGate 运行用户 b 通过 ftp 上传 GoldenGate 软件包道安装目录 并解压缩 gzip d gz tar xvf tar c 通过 ftp 上传 GoldenGate 许可文件 pw d 在安装目录下执行 ggsci 命令进入命令行界面 如能顺利进入 则证明 许可可用 e 在 ggsci 环境下创建 GoldenGate 子目录 GGSCI create subdirs f Mgr 进程配置 编辑 mgr 进程参数 GGSCI edit param mgr port 7809 启动 Mgr 进程 GGSCI start mgr Mgr is running g 在 GGSCI 命令行中登陆数据库 为需要复制的数据表添加 trandata 1 生成所有要复制表的增加附加日志的脚本 Sqlplus as sysdba spool trandata txt set head off set linesize 1000 set pagesize 1000 select add trandata owner table name from dba tables where owner EOMS spool off 2 执行 trandata txt 脚本 为要复制的表增加附加日志 Ggsci dblogin userid goldengate password goldengate Ggsci obey dirsql addtran txt 执行完毕通过下列 sql 检查 发现尚有部分表遗漏 select table name from all tables where owner and table name not in select distinct table name from dba log group columns where owner EOMS 通过以下 sql 生成对这些遗漏表的添加附加日志语句 set head off set linesize 1000 set pagesize 1000 select add trandata owner table name from all tables where owner and table name not in select distinct table name from dba log group columns where owner EOMS 将结果重新在 ggsci 中执行 再次通过前面语句查询 确认除去部分 大表 超过 32 列并无主键 外已经全部添加成功 3 对特殊的大于 32 列的无主键表进行二次处理 对于列长超过 32 列 无法直接添加 trandata 的数据表 根据脚本 大于 32 列表生成添加附加日志脚本 getAddTrandataImp txt 中的提示执行 1 4 步 以获取添加 trandata 的 sql 然后通过手工排除其中不复制的表 包 括 tmp 和 bak 开头以及物化试图日志 通过 sqlplus as sysdba 登陆到 oracle 执行获得的 sql 语句 4 检查 db log groups 看是否还有没有加上的附加日志 select table name from all tables where owner and t table name not in select distinct table name from dba log group columns where owner EOMS 确认所有需复制表添加附加日志完毕 h 抓取进程配置 添加 extbj 进程 从数据库日志中抓取有效数据 GGSCI add ext extbj tranlog begin now 添加本地队列 bj extbj 进程捕捉到的有效数据将写入本地队列 GGSCI add exttrail export home oracle ggs dirdat bj ext extbj megabytes 200 为 extbj 进程配置参数 GGSCI edit param extbj extract extbj userid goldengate password tranlogoptions altarchivelogdest instance ctais1 oralog1 exttrail export home oracle ggs dirdat bj dynamicresolution table EOMS i 启动 extbj 抽取进程 抽取有效数据 写入本地队列 保存数据 GGSCI start ext j 配置 dpebj 进程 添加 dpebj 进程 将本地队列的数据抽取出来 GGSCI add ext dpebj exttrailsource export home oracle ggs dirdat bj 添加远端队列 将 dpebj 进程捕捉到的数据将写入该队列 GGSCI add rmttrail export home oracle ggs dirdat bj ext dpebj megabytes 200 为 dpebj 进程配置参数 GGSCI edit param dpebj extract dpebj passthru REPORT AT 01 59 reportrollover at 02 00 rmthost 10 224 144 8 mgrport 7809 compress rmttrail export home oracle ggs dirdat bj dynamicresolution table EOMS k 确认网络连通和目标 mgr 已经启动后启动 dpesz dpekj 进程开始数据传 输 GGSCI start dpe 2 4 目标端数据库初始化目标端数据库初始化 本次目标端数据库初始化由 oracle 的工程师完成 在 oracle 工程师执行冷备份的同时 GoldenGate 工程师清除抽取进程并重 新执行配置 删除所有试运行期间的队列 GGSCI delete ext GGSCI add ext extbj tranlog begin now GGSCI add exttrail export home oracle ggs dirdat bj ext extbj megabytes 200 Ggsci quit Cd dirdat Rm rf 待备份执行完毕 数据库重新打开后立即执行如下命令启动抽取 进入正 常复制 GGSCI alter extbj begin now GGSCI start ext Ggsci info all 确认抽取进程运行正常 2 5 目标端系统及数据库配置目标端系统及数据库配置 a 目标端系统在 下建立 goldengate 目录 b 目标端系统使用 oracle 用户作为运行 GoldenGate 用户 未再建立新用 户 c 创建 GoldenGate 数据库用户 goldengate 由于一重集团使用冷备份初始化目标端 因此使用与源端相同的用户即可 d 目标端禁止外键和触发器 对一些 cascade delete 和 trigger 操作进行关闭处理 上传执行操作的 sql 脚本到 oradata goldengate dirsql 目录下 在当前目录 sysdba 用户登录 禁止外键 cd oradata goldengate dirsql sqlplus sql spool disableFKOut sql sql disableFK sql sql spool off sql exit vi disableFKOut sql 去掉 spool off 等无关语句 只留下 alter 语句 sqlplus sql spool disableFK out sql disableFKOut sql sql spool off vi disableFK out 验证各操作成功 禁止 trigger 操作 cd oradata goldengate dirsql sqlplus sql spool disableTrOut sql sql disableTriggers sql sql spool off sql exit vi disableTrOut sql 去掉 spool off 等无关语句 只留下 alter trigger disable sqlplus sql spool disableTr out sql disableTrOut sql sql spool off vi disableTr out 验证各操作成功 2 6 目标端目标端 GoldenGate 配置配置 a 通过 ftp 上传 GoldenGate 软件包 并解压缩 大连灾备中心的目录路径 为 oradata goldengate Gzip d gz Tar xvf tar b 通过 ftp 上传 GoldenGate 许可文件 pw c 运行 ggsci 进入 GGSCI 命令行界面 证明许可正常 d 创建子目录 GGSCI create subdirs e Mgr 进程配置 编辑 mgr 进程参数 GGSCI edit param mgr port 7809 DYNAMICPORTLIST 7840 7850 autostart er autorestart er retries 5 waitminutes 3 purgeoldextracts oradata goldengate dirdat usecheckpoints minkeepdays 7 启动 Mgr 进程 GGSCI start mgr Mgr is running f 投递进程配置 添加 repsz repkj 进程 从数据库日志中抓取有效数据 GGSCI add rep repsz exttrail oradata goldengate dirdat sz nodbcheckpoint GGSCI add rep repkj exttrail oradata goldengate dirdat kj nodbcheckpoint 编辑 repsz 进程参数 GGSCI edit param repsz replicat repsz setenv NLS LANG AMERICAN AMERICA ZHS16GBK userid goldengate password sqlexec Alter session set constraints deferred REPORT AT 01 59 reportrollover at 02 00 handlecollisions reperror default discard discardfile oradata goldengate dirrpt repsz dsc append megabytes 10 grouptransops 100 batchsql assumetargetdefs allownoopupdates dynamicresolution numfiles 3000 mapexclude CTAIS2 SHOULIXINXI mapexclude CTAIS2 JC GY SWWSWH map CTAIS2 SHOULIXINXI target CTAIS2 SHOULIXINXI keycols SHOU