GoldenGate基本原理、安装过程和基本维护

页脚页脚目录TOC\o"1-5"\h\z\o"CurrentDocument"一、GoldenGate介绍 3二、GoldenGate安装实施 5创建GoldenGate软件安装目录 5\o"CurrentDocument"GoldenGate的管理用户 5\o"CurrentDocument"安装GoldenGate软件 6\o"CurrentDocument"设置数据库归档模式 6\o"CurrentDocument"打开数据库的附加日志 7\o"CurrentDocument"开启数据库强制日志模式 7\o"CurrentDocument"创建GoldenGate管理用户 7\o"CurrentDocument"编辑GLOBALS参数文件 8\o"CurrentDocument"管理进程MGR参数配置 8\o"CurrentDocument"抽取进程EXTN参数配置 9\o"CurrentDocument"传输进程DPEN参数配置 9\o"CurrentDocument"建立OGG的DDL对象 11\o"CurrentDocument"数据初始化 12\o"CurrentDocument"容灾端管理进程MGR参数配置 14\o"CurrentDocument"编辑GLOBALS参数文件 15\o"CurrentDocument"容灾端复制进程REPN参数配置 15\o"CurrentDocument"创建复制进程repn 16\o"CurrentDocument"启动生产端传输进程和容灾端复制进程 16\o"CurrentDocument"测试场景 16三.三.GoldenGate基本运维命令 17页脚页脚四、常见故障排除 17页脚页脚一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑结构，GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。数据复制的拓扑结构单向复制备份、查询双向复制灾备、双业务中心点对点多业务中心广播应制数据分发数据仓库,N+1灾备多级复制单向复制备份、查询双向复制灾备、双业务中心点对点多业务中心广播应制数据分发数据仓库,N+1灾备多级复制层次化企业数据GoldenGate基本架构CTCF/IP)TransactionRsmote,ServerCoItectorDatabwweSourceTargetDatabaseRqplicatManagerCTCF/IP)TransactionRsmote,ServerCoItectorDatabwweSourceTargetDatabaseRqplicatManagerManagerOracleGoldenGate主要由如下组件组成ExtractDatapumpTrailsCollectorReplicatManagerOracleGoldenGate数据复制过程如下：利用抽取进程(ExtractProcess)在源端数据库中读取OnlineRedoLog或者ArchiveLog，然后进行解析，只提取其中数据的变化信息，比如口乂1操作——增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trailfile)中。再利用传输进程将队列文件(trailfile)通过TCP/IP传送到目标系统。目标端有一个进程叫ServerCollector，这个进程接受了从源端传输过来的数据变化信息，把信息缓存到GoldenGate队列文件(trailfile)当中，等待目标端的复制进程读取数据。GoldenGate复制进程(replicatprocess)从队列文件(trailfile)中读取数据变化信息，并创建对应的SQL语句，通过数据库的本地接口执行，提交到目标端数据库，提交成功后更新自己的检查点，记录已经完成复制的位置，数据的复制过程最终完成。二、GoldenGate安装实施创建GoldenGate软件安装目录在数据库服务器上创建文件系统：/u01/gg，作为GoldenGate的安装目录。GoldenGate的管理用户安装GoldenGate软件和维护GoldenGate软件时，可以使用系统上的oracle用户。GoldenGate安装目录的所有者必须是GoldenGate管理用户，本次实施过程中使用oracle用户作为GoldenGate管理用户，添加oracle用户的环境变量(在生产端和容灾端均要进行以下操作)：exportGG_HOME=/u01/ggexportLD_LIBRARY_PATH=$GG_HOME:$ORACLE_HOME/lib:/usr/bin:/libexportPATH=$GG_HOME:$PATH安装GoldenGate软件切换至ijoracle用户，将GG软件的压缩包存放到GoldenGate安装目录下，即/uOI/gg,将这个压缩包进行解压到GoldenGate安装目录下（在生产端和容灾端均要进行以下操作）：tar-zxvf*.gz进入到GoldenGate安装目录，运行GGSCI命令以进入GG界面（在生产端和容灾端均要进行以下操作）：cd/u01/gg./ggsci在GGSCI界面下创建子目录（在生产端和容灾端均要进行以下操作）：GGSCI>createsubdirs至此，GoldenGate软件安装完毕。设置数据库归档模式查看数据库的归档模式：SQL>archiveloglist;如果是非归档模式，需要开启归档模式：shutdownimmediate;startupmount;alterdatabasearchivelog;alterdatabaseopen;打开数据库的附加日志打开附加日志并切换日志(保证Onlineredolog和Archivelog一致)alterdatabaseaddsupplementallogdata;alterdatabaseaddsupplementallogdata(primarykey,unique,foreignkey)columns;altersystemswitchlogfile;开启数据库强制日志模式alterdatabaseforcelogging;创建GoldenGate管理用户在生产端和容灾端均要进行以下操作：--createtablespaceSQL>createtablespaceoggdatafile’$ORACLE_BASE/oradata/test/ogg01.dbf'size300M;--createtheuserSQL>createuseroggidentifiedbyoggdefaulttablespaceogg;--grantroleprivilegesSQL>grantresource,connect,dbatoogg;编辑GLOBALS参数文件切换至ijGoldenGate安装目录下，执行命令：cd/u01/gg./ggsciGGSCI>EDITPARAMS./GLOBALS--指定进行DDL复制的数据库用户，DML可不配置在文件中添加以下容：GGSCHEMAogg--指定的进行DDL复制的数据库用户CHECKPOINTTABLEogg.checkpoint利用默认的密钥，生成密文：GGSCI>encryptpasswordoggencryptkeydefaultEncryptedpassword:AACAAAAAAAAAAADAHBLDCCIIOIRFNEPB记录这个密文，将在以下进程参数的配置中使用。管理进程MGR参数配置PORT7839DYNAMICPORTLIST7840-7860--AUTOSTART*AUTORESTARTEXTRACT*,RETRIES5,WAITMINUTES3PURGEOLDEXTRACTS./dirdat/*,USECHECKPOINTS,MINKEEPDAYS7LAGREPORTHOURS1LAGINFOMINUTES30LAGCRITICALMINUTES45以下两句用于DDL,单独配置DML时，可不添加PURGEDDLHISTORYMINKEEPDAYS11,MAXKEEPDAYS14PURGEMARKERHISTORYMINKEEPDAYS11,MAXKEEPDAYS14在目标端配置GoldenGate软件复制进程Dbloginuseridogg,passwordoggAddcheckpointtableogg.checktable抽取进程EXTN参数配置Addextractextn,tranlog,beginnowAddexttrail./dirdat/na,extractextn,megabytes100EXTRACTextnsetenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)useridogg,passwordAACAAAAAAAAAAADAHBLDCCIIOIRFNEPB,ENCRYPTKEYdefaultREPORTCOUNTEVERY1MINUTES,RATEDISCARDFILE./dirrpt/discard_extn.dsc,APPEND,MEGABYTES1024DBOPTIONSALLOWUNUSEDCOLUMNWARNLONGTRANS2h,CHECKINTERVAL3mEXTTRAIL./dirdat/naTRANLOGOPTIONSEXCLUDEUSEROGGTRANLOGOPTIONSALTARCHIVEDLOGFORMAT%t_%s_%r.dbfFETCHOPTIONSNOUSESNAPSHOTTRANLOGOPTIONSCONVERTUCS2CLOBSTRANLOGOPTIONSaltarchivelogdestprimaryinstancetest/oradata/arch--TRANLOGOPTIONSRAWDEVICEOFFSET0DYNAMICRESOLUTION以下两句是配置DDL需要：DDLINCLUDEALLDDLOPTIONSaddtrandata,NOCROSSRENAME,REPORTtableQQQ.*;tableCUI.*;传输进程DPEN参数配置Addextractdpen,exttrailsource./dirdat/naAddrmttrail./dirdat/na,extractdpenEXTRACTdpenRMTHOST192.168.56.7,MGRPORT7839,compressPASSTHRUnumfiles50000RMTTRAIL./dirdat/naTABLEQQQ.*;TABLECUI.*;建立OGG的DDL对象$cd/u01/gg$sqlplus"/assysdba”SQL>@marker_setup.sqlEnterGoldenGateschemaname:oggaltersystemsetrecyclebin=off;SQL>@ddl_setup.sqlEnterGoldenGateschemaname:oggSQL>@role_setup.sqlGrantthisroletoeachuserassignedtotheExtract,Replicat,GGSCI,andManagerprocesses,byusingthefollowingSQLcommand:SQL>GRANTGGS_GGSUSER_ROLETO<loggedUser>where<loggedUser>istheuserassignedtotheGoldenGateprocesses.注意这里的提示：需要手工将这个GGS_GGSUSER_ROLE指定给extract所使用的数据库用户（即参数文件里面通过userid指定的用户），可以到sqlplus下执行类似的sql:SQL>GRANTGGS_GGSUSER_ROLETOogg;注：这里的ogg是extract使用的用户。如果你有多个extract，使用不同的数据库用户，则需要重述以上过程全部赋予GGS_GGSUSER_ROLE权限。运行以下脚本，使触发器生效：SQL>@ddl_enable.sql注：在生产端开启抽取前，先禁用DDL捕获触发器，调用ddl_disable.sql。数据初始化在初始化过程中，源数据库不需要停机，初始化过程分为三个部分：生产端开启抽取进程；生产端导出数据；容灾端导入数据；在生产端添加抽取进程、传输进程以及相应的队列文件,执行命令如下：〃创建进程EXTNGGSCI>addextractextn,tranlog,beginnowGGSCI>addexttrail./dirdat/na,extractextn,megabytes500〃创建进程DPENGGSCI>addextractdpen,exttrailsource./dirdat/naGGSCI>addrmttrail./dirdat/na,extractdpen,megabytes500在生产端启动管理进程：GGSCI>startmgr启用DDL捕获trigger：$cd/u01/gg$sqlplus“/assysdba”SQL>@ddl_enable.sql在生产端启动抽取进程：GGSCI>startEXTN在数据库中，获取当前的SCN号，并且记录这个SCN号：SQL>selectto_char(dbms_flashback.get_system_change_number)fromdual;603809在数据库中，创建数据泵所需目录并赋予权限：SQL>CREATEORREPLACEDIRECTORYDATA_PUMPAS'/u01';SQL>grantread,writeonDIRECTORYDATA_PUMPtoogg;在生产端利用数据泵导出数据：expdpogg/oggschemas='QQQ'directory=DATA_PUMPdumpfile=QQQ_bak_%Uflashback_scn=123456789logfile=expdp_QQQ.logfilesize=4096mexpdpogg/oggschemas='CUI'directory=DATA_PUMPdumpfile=CUI_bak_%Uflashback_scn=123456789logfile=expdp_CUI.logfilesize=4096mexpdpogg/oggschemas='test1'directory=DATA_PUMPdumpfile=test1_bak_%Uflashback_scn=603809logfile=expdp_QQQ.logfilesize=4096m把导出的文件传输到容灾端，利用数据泵将数据导入：Impdpogg/oggDIRECTORY=DATA_PUMPDUMPFILE=QQQ_bak_%Ulogfile=impdp_QQQ.logImpdpogg/oggDIRECTORY=DATA_PUMPDUMPFILE=CUI_bak_%Ulogfile=impdp_CUI.log容灾端管理进程MGR参数配置PORT7839DYNAMICPORTLIST7840-7860--AUTOSTARTER*--AUTORESTARTEXTRACT*,RETRIES5,WAITMINUTES3PURGEOLDEXTRACTS./dirdat/*,usecheckpoints,minkeepdays2useridogg,passwordAACAAAAAAAAAAADAHBLDCCIIOIRFNEPB,ENCRYPTKEYdefault编辑GLOBALS参数文件切换至ijGoldenGate安装目录下，执行命令：cd/u01/gg./ggsciggsci>EDITPARAMS./GLOBALS在文件中添加以下容：GGSCHEMAogg--指定的进行DDL复制的数据库用户容灾端复制进程REPN参数配置REPLICATrepnsetenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)useridogg,passwordAACAAAAAAAAAAADAHBLDCCIIOIRFNEPB,ENCRYPTKEYdefaultSQLEXEC"ALTERSESSIONSETCONSTRAINTS=DEFERRED"REPORTAT01:59REPORTCOUNTEVERY30MINUTES,RATEREPERRORDEFAULT,ABENDassumetargetdefsDISCARDFILE./dirrpt/repna.dsc,APPEND,MEGABYTES1024DISCARDROLLOVERAT02:30ALLOWNOOPUPDATESREPERROR(1403,discard)DDLINCLUDEMAPPEDDDLOPTIONSREPORTMAPEXCLUDEQQQ.T0417MAPQQQ.*,TARGETQQQ.*;MAPCUI.*,TARGETCUI.*;创建复制进程repn执行以下命令创建复制进程repn：GGSCI>addreplicatrepn,exttrail./dirdat/na,nodbcheckpoint启动生产端传输进程和容灾端复制进程GGSCI>startdpenGGSCI>startREPLICATrepnaftercsn123456789测试场景(1)在生产端数据库上，创建一表。（2）在生产端数据库上，修改这个表的数据。（3）在生产端数据库上，删除这表。三.GoldenGate基本运维命令（1）查看进程状态GGSCI>infoall——查看GG整体运行情况，比如进程Lag延时，检查点延时。GGSCI>info〈进程名〉——查看某个进程的运行状况，比如抽取进程正在读取哪个归档日志或者联机重做日志，传输进程正在传送哪一个队列文件，复制进程正在使用哪一个队列文件。GGSCI>info〈进程名〉showch——查看某个进程运行的详细信息。（2）查看进程报告GGSCI>viewreport〈进程名〉——报错时，从进程报告里获取错误信息。（3）在操作系统上，查看GoldenGate安装目录的使用率查看ogg目录是否撑满。四.Logdump工具使用五.Goldengate初级的性能优化BatchsqlInsertabend限制存使用颗粒度拆分六、goldengate版本升级七、goldengate双向复制八、生产库与容灾库之间的回切八、异构数据库之间的数据转换，数据过滤筛选四、常见故障排除故障（1）错误信息：OGG-00446Couldnotfindarchivedlogforsequence53586thread1underalternativedestinations.SQL〈SELECTMAX(sequence#)FROMv$logWHEREthread#=:ora_thread>.Lastalternativelogtried/arch_cx/1_53586_776148274.arc.,errorretrievingredofilenameforsequence53586,archived=1,use_alternate=0Notabletoestablishinitialpositionforsequence53586,rba44286992.处理办法：将缺失的归档日志从备份中恢复出来。如果依旧找不到所需归档日志，那么只能重新实施数据初始化。故障(2)错误信息：OGG-01154OracleGoldenGateDeliveryforOracle,repn.prm:SQLerror1691mappingDATA_USER.DMH_WJXXBtoDATA_USER.DMH_WJXXBOCIErrorORA-01691:unabletoextendlobsegmentDATA_USER.SYS_LOB0000083691c00014$$by1638