GoldenGate安装实施最佳实践

议题安装实施准备√安装实施操作步骤配置日常复制错误处理安装信息收集收集信息（建议至少提前两周）测试环境，操作系统、数据库、网络等数据结构，包括表数量、是否存在无主键表、是否有不支持数据类型、是否有不支持操作（如direct

insert等）等系统需求、使用场景一定要验证OGG版本可用性！！！Metalink上面有很多edelivery上所没有的patch带宽估算根据峰值产生日志量估算带宽占用假设条件假设OGG队列与日志比例为1：4。如只复制部分表则此比例可以假设为更低。假设网络传输效率为0.7假设网络传输压缩比例为1：8。根据数据内容有所变化，一般字符数据较多时压缩比例较大，二进制对象压缩效率较低带宽估算算法以客户业务高峰期每小时产生40G为例，可以估算如下带宽=40G/3600（秒/小时）/

4(日志过滤比例)/8（压缩比率）*8（每字节8位）/0.7(网络传输效率)=4M实施准备实施文档准备拟定安装操作文档拟定初始化方案并与客户达成一致根据场景准备数据库脚本，如建立用户、赋予权限等准备OGG安装所需脚本，如add

trandata命令脚本、目标端禁止trigger和cascade

delete脚本等OGG参数文件，列出所有可能用到参数OGG命令，常用命令预先放在文本里验证参数、命令、脚本的可行性发现潜在的问题，及时寻求解决方案预订技术支持注意：OGG参数文件中所有关键字或“，（）”等分割符前后应当加入空格(半角！)，否则可能会被误认为连续的字符串，导致进程终止实施准备–系统设置（源和目标）建立GoldenGate运行用户需访问数据库的动态库、在线日志及归档日志使用oracle用户，也可为其创建新的系统用户将其加入到oracle安装用户所在组（一般为oinstall）。为GoldenGate运行用户配置内存限制分析和抽取交易数据需一定内存，需放宽GoldenGate运行系统用户对内存大小（memory）、文件大小(fsize)、DATA、STACK等参数的值，在系统允许的情况下尽量将参数设置为-1（ulimited），一般在/etc/security/limits文件中。RAC各节点配置时钟同步GoldenGate在单节点上对所有节点日志进行解析，为了保证其在各节点抽取数据顺序的一致性，需要在各个节点主机上配置时钟同步（例如在AIX下配置NTP服务）。实施准备–网络设置OGG所有源端必须能够访问其目标主机以下端口目标端OGG的Mgr端口（缺省为7809）目标端Mgr参数DYNAMICPORTLIST中定义的端口范围。如Mgr参数文件没有配置，则自动从7840开始递增，建议保留到7850DirectorServer必须能够访问其管理的OGG主机以下端口目标端OGG的Mgr端口（缺省为7809）目标端Mgr参数DYNAMICPORTLIST中定义的端口范围。如Mgr参数文件没有配置，则自动从7840开始递增，建议保留到7850受管理的OGG主机应当能够访问DirectorServer主机所有端口VeridataServer需访问需对比的数据库主机中VeridataAgent的Mgr端口VeridataAgent的DYNAMICPORTLIST中定义的端口（缺省为7840起）实施准备–存储空间（源和目标）为GoldenGate分配空间建议在共享阵列，可以在单节点失败后由其它节点接管，通过脚本可以与集群软件集成GoldenGate软件所需空间主要取决于队列的产生速度，一般建议为其保留相当于数据库1-3天归档日志量的存储空间。存储划分完后建立OGG安装目录并将该目录Owner设为OGG运行用户为数据库保留3-5天归档日志在重启时需要从上次读取日志重新开始长交易需要其开始时段的日志当前理论上可以通过脚本获取当前GoldenGate所需日志序列号，然后与RMAN等工具集成控制归档日志自动删除。在OGG后继版本会有所增强。实施准备–数据库（源）打开归档模式避免OGG重启无法找到对应日志配置parallelism（仅针对Oracle9i）将LOG_PARALLELISM参数设为1，OGG不支持大于1关闭recyclebin（仅针对DDL复制）Oracle10gR2andlater:将RECYCLEBIN初始化参数设置为OFF.Oracle10gR1:将_RECYCLEBIN初始化参数设置为FALSE.第二部分安装实施最佳实践安装实施准备安装实施操作步骤√配置日常复制错误处理OGG软件安装

（源和目标）上传和解压OGG软件检查安装目录Owner是否是OGG运行用户配置环境变量如使用Oracle运行用户一般无需调整如非Oracle用户则建议拷贝Oracle的profile文件，至少需配置如下环境变量PATHORACLE_SIDORACLE_HOMELD_LIBRARY_PATH(Solaris,Linux),LIBPATH(AIX),SHLIB_PATH(HPUX)配置完毕可以通过能否执行sqlplus进行初步验证使用ulimit–a检查内存等限制OGG软件安装-续（源和目标）执行ggsci,检查是否能够进入OGG命令行界面执行createsubdirs创建子目录执行editparammgr为manager配置参数,然后尝试启动mgr进程如以上步骤均能顺利执行,则表明初步安装成功.由于以上步骤并不影响生产库运行,可以在实施前几天提前完成.打开附加日志（源）以渐进模式打开附加日志第一步,在晚上或其他业务较空闲时段打开数据库级最小附加日志第二步,经过一段时间运行观察数据库最小附加日志对数据库是否有影响,观察日志量的增加第三步,同样选择空闲时段打开所需复制表的附加日志第四步,经过一段时间运行观察数据库是否有性能下降,归档日志量是否有明显增加如何降低附加日志影响（☆）排除一些应用的中间表尽量排除无主键和唯一索引表(记录全部列会导致日志量显著增加)或给他们加上主键创建OGG所需数据库用户（源和目标）OGG用户在源端所需权限(DML)GRANTCONNECTTOgoldengate;GRANTALTERANYTABLETOgoldengate;//用于添加表附加日志GRANTALTERSESSIONTOgoldengate;GRANTCREATESESSIONTOgoldengate;GRANTFLASHBACKANYTABLETOgoldengate;GRANTSELECTANYDICTIONARYTOgoldengate;GRANTSELECTANYTABLETOgoldengate;GRANTRESOURCETOgoldengate;目标端DML复制需所有源端权限加上GRANTINSERTANYTABLETOgoldengate;GRANTUPDATEANYTABLETOgoldengate;GRANTDELETEANYTABLETOgoldengate;如需复制DDL,则两端均需要sysdba权限grantsysdbatogoldengate;OGG最佳实践–宕机初始化完成前面所述的所有准备工作根据约定时间停止业务应用源端锁定除去OGG数据库用户以外其余所有用户停止Oracle内部的所有Job关闭数据库重新启动数据库配置OGG抽取进程和本地队列启动OGG抽取进程,验证抽取进程是否可以正常启动,主要是验证是否能正常读取日志观察是否有数据被抽取出来,如有则说明尚有其它连接在修改数据,需找出原因并停止停止OGG抽取进程可使用脚本记录部分主要表或所有表记录总数关闭数据库OGG最佳实践–宕机初始化(续一)源端使用RMAN/可传输表空间/BCV等方式将数据导出在源端打开数据库启动源端抽取进程(也可重新配置一遍,注意清除旧的队列)解开锁定的其它用户,恢复job启动应用观察数据抽取是否正常目标端将数据导入到目标库打开数据库解锁其它用户(如允许也可保持锁定状态防止修改数据)对比记录的源端数据库记录数与目标记录数是否相同,验证恢复完成禁止目标库Trigger禁止目标库中cascadedelete处理其它对象如删除或者重建物化视图等OGG最佳实践–宕机初始化(续二)源端配置DataPump和远程队列启动DataPump观察数据传输是否正常目标端配置Replicat注意目标端用户权限比源端多几个启动Replicat观察数据是否正常注:此时一般将reperr设置为abended模式(即默认模式)并配置discardfile参数,遇有错误进程可以立即中止,便于及时查找错误如Replicat速度跟不上队列增长速度,需进行Replicat拆分,具体方法见调优部分OGG最佳实践–基于SCN号的无宕机初始化前提条件客户具有能够将目标恢复到某一特定SCN号的备份/恢复工具RMAN(强烈推荐)Exp/imp操作步骤源端完成前面所述的所有准备工作配置OGG抽取进程和本地队列启动OGG抽取进程并记录开始时间查询数据库中当前交易最早的开始时间,直到该时间超过OGG抽取启动时间点查询和记录此时SCN号为最小所需SCN可每隔半小时或一小时重新查询SCN号和记录此时全库所有表或部分关键业务表中记录数OGG最佳实践–基于SCN号的无宕机初始化(续一)目标端使用备份/恢复工具恢复目标库到指定SCN号如果是RMAN可以边恢复边观察,直到恢复出来的SCN号和时间点大于记录的最小所需SCN号查询目标库中全部表或关键表记录,看其是否大致符合源端记录数源端使用logdump查找目标SCN的相邻SCN号可以在logdump中通过ggstokendetail显示SCN号注意:SCN号只存在于每个交易的第一条记录中注意:logdump没有命令定位相邻SCN,只能首先通过时间戳判定应该在某几个队列文件中,然后检查各个队列中第一个记录的SCN号,再根据二分发查找符合条件的SCN边界查找该位置之前小于该SCN号的若干条记录,其在目标端状态应为Insert:应当在目标端存在Delete:应当在目标端不存在Update:应当在目标端存在,但具体值可能与目标不符OGG最佳实践–基于SCN号的无宕机初始化(续二)源端查找该位置之后大于该SCN号的若干条记录,对其在目标端状态进行核实Insert:应当在目标端不存在Delete:应当在目标端存在Update:应当在目标端存在如通过上面几条验证,则证明目标确实精确恢复到指定SCN对目标端Trigger/CascadeDelete/物化视图等进行处理配置DataPump并启动数据传输目标端配置Replicat注:此时一般将reperr设置为abended模式(即默认模式)并配置discardfile参数,遇有错误进程可以立即中止,便于及时查找错误使用以下命令启动ReplicatStartmyrep,AFTERCSN<目标恢复到的CSN>观察数据复制是否正常Replicat使用数据库检查点Replicat的数据库检查点是可选的，但强烈建议采用文件检查点的读写与交易的提交是分离的数据库检查点可以与交易一起进行提交，可以更好的保证数据一致性使用数据库检查点的方法在OGG安装根目录下编辑GLOBALS文件加入一行指定检查点表：

CHECKPOINTTABLEgoldengate.checkpoint_tab重起Mgr进程，进入ggsci生成检查点表（该用户需要有建表权限）：

dbloginuseridgoldengate,passwordgoldengate addcheckpointtable添加Replicat时不要使用nodbcheckpoint，会自动使用预定义检查点表

addreprepda,exttrail/ggs/dirdat/da问题：GGSERROR516Extractread…可能原因是检查点表不存在或者表中该进程对应检查点行已损坏通过inforeplicat命令查看文件检查点，若无问题可以在OGG安装目录下使用convchk工具使replicat重启时重建检查点表中的检查点

convchk<groupname><schema>.<table>目标库常见特殊处理禁止目标端所有Trigger,防止次生数据产生禁止目标端所有cascadedelete引用,OGG复制过来的delete操作会跟自动删除产生冲突物化视图删除目标端无用的物化视图如目标端需要物化视图,则可以在目标端重建,避免使用OGG复制物化视图本身数据如需复制源端物化视图到目标物化视图,需参考相关手册注意:物化视图均包含有一个基表,在参数文件中使用*时需要通过tableexclude或者mapexclude排除第二部分安装实施最佳实践安装实施准备安装实施操作步骤配置日常复制错误处理√OGG最佳实践–配置数据复制错误处理一般只针对于目标端的Replicat进程常用参数reperrordefault,ABEND