第三部分-GoldenGate常用参数

04二月2023GoldenGate参数概述所有的GoldenGate进程均有参数文件ManagerExtractReplicatUtilities所有参数均有缺省配置实际应用只需对小部分参数进行配置

所有参数文件均放在./dirprm目录下缺省通过进程名进行查找.04二月2023Manager参数MANAGER参数举例PORT7809DYNAMICPORTLIST7840-7850PURGEOLDEXTRACTS/ggs/dirdat/rt*,USECHECKPOINTSAUTOSTARTER*AUTORESTARTEXTRACT*,WAITMINUTES2,RETRIES5LAGREPORTHOURS1LAGINFOMINUTES3LAGCRITICALMINUTES5ParameterDescriptionAUTOSTART指定在mgr启动时自动启动那些进程.AUTOSTARTER*AUTOSTARTextractextszAUTORESTART指定在mgr可以定时重启那些进程。可以在网络中断等故障恢复后自动重起，避免人工干预.AUTORESTARTER*,WAITMINUTES5,RETRIES3DYNAMICPORTLIST指定GoldenGate可以使用那些端口接受extract发送过来的数据.DYNAMICPORTLIST7840-7850PORT制定GoldenGate的mgr进程使用哪个TCP/IP端口侦听请求.PORT7809MANAGERParameters–PortManagementMANAGERParameters–EventManagementParameterDescriptionLAGCRITICAL指定认为超过此时间即为严重错误的延迟最大值，如果延迟达到此时间值则会在ggserr.log里面写入一条error信息LAGCRITICALMINUTES10LAGINFO指定一个延迟时限，如果延迟达到此时间值则会在ggserr.log里面写入一条info信息LAGINFOMINUTES3LAGREPORT指定在ggserr.log中报告延迟的时间间隔.LAGREPORTHOURS1PURGEOLDEXTRACTS定义自动删除过时的队列以节省硬盘空间。一般按照两个规则来删除：首先，要满足检查点要求，没有使用过的队列不能删除，保证无数据丢失；其次，可以保留一定的天数。只有当已经使用过且超过设定的天数后的队列会被自动删除。purgeoldextracts/backup/goldengate/dirdat/*,usecheckpoints,minkeepdays704二月2023Extract参数Extract参数概览 抽取进程有以下方面参数:Checkpoint复制目标LocalSystemMultipleRemoteSystemsOnetomanyGoldenGateTrails数据源WhichTablesWhichRowsandColumnsWhichOperations数据影射和变换Extract参数文件举例–

日志抽取进程extractextszuseridgoldengate,password*******--REPORTAT01:59--reportrolloverat02:00--transmemorydirectory(/backup/goldengate/dirtmp,8G,4G),ram2G,transram500Mtranlogoptionsrawdeviceoffset0–-raw设备--warnlongtrans12h,checkintervals30mexttrail/backup/goldengate/dirdat/szdynamicresolutionnumfiles2000tableexcludectais2.TMP_*;tableexcludectais2.BAK_*;tableexcludectais2.MLOG$_*;tableexcludectais2.RUPD$_*;tableexcludectais2.KJ_*;--以第一个读到的参数为准tablectais2.*;Extract参数文件举例–

传输进程extractdpeszsetenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)passthruREPORTAT01:59reportrolloverat02:00transmemorydirectory(/backup/goldengate/dirtmp,8G,4G),ram2G,transram500M--threadoptionsiolatencydelay3000rmthost99.16.1.12,mgrport7809,compress

rmttrail/oradata/goldengate/dirdat/szdynamicresolutionnumfiles3000tablectais2.*;Extract–Table参数Syntax:TABLE<filename>[,WHERE(<wherecondition>)][,FILTER(<expression>)][,KEYCOLS(<keycolumnspecification>)][,COLS(<column>)|[,<column>])][,COLSEXCEPT(<column>)|[,<column>])][,FETCHCOLS(<column>)|[,<column>])][,FETCHCOLSEXCEPT(<column>)|[,<column>])][,SQLEXEC<clause>][,FETCHBEFOREFILTER][,SQLPREDICATE“WHERE<clause>”][,COLMAP(<columnmappingspecification>)][,<recordtypefilter>,<recordtypefilter>,…];注意：TABLE的结尾有一个分号。Extract参数（一）ParameterDescriptionCHECKPARAMS如果加入该参数，表示下次运行只是检查一下语法，并不实际运行进程。注意：该命令只能检查一些简单语法，并不能保证参数文件是完全正确的。COMMENT注释行，也可以用两个中划线--代替.--checkparams表示本行已经被注释掉EXTRACT定义抽取进程的名字OBEY可以将外部文件的内容包含到本参数文件中来。用于将一些可以重复利用的参数文件部分内容隔离出来，便于统一修改。Obeytables.txtTABLEEXCLUDE定义所需要排除的表。如果在table里面定义了使用通配符，那么可以使用该参数定义排除掉其中的部分表。如：tableexcludectais2.TMP_*;tableexcludectais2.TEMPTAB;Extract参数（二）ParameterDescriptionGETUPDATEAFTERS|IGNOREUPDATEAFTERS是否在队列中写入后影像，缺省复制GETUPDATEBEFORES|IGNOREUPDATEAFTERS是否在队列中写入前影像，缺省不复制GETUPDATES|IGNOREUPDATES是否复制update操作，缺省复制GETDELETES|IGNOREDELETES是否复制delete操作，缺省复制GETINSERTS|IGNOREINSERTS是否复制insert操作，缺省复制GETRUNCATES|IGNORETRUNCATES是否复制truncate操作，缺省不复制.Extract参数（三）ParameterDescriptionRMTHOST指定目标系统及其GoldenGateManager进程的端口号，也用于定义是否使用压缩进行传输。rmthost99.16.1.12,mgrport7809,compressRMTTRAIL指定写入到目标端的哪个队列。EXTTRAIL指定写入到本地的哪个队列。SQLEXEC在extract运行时首先运行一个sql语句。sqlexec"Altersessionsetconstraints=deferred"PASSTHRU禁止extract与数据库交互，适用于DataPump传输进程（dpeXX）。GETENV|SETENV针对extract进程设定系统环境变量。setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)ParameterDescriptionREPORT定义自动定时报告。REPORTAT01:59STATOPTIONS定义每次使用stat时统计数字是否需要重置。REPORTCOUNT报告已经处理的纪录条数统计数字。TLTRACE打开对于数据库日志的跟踪日志TRACE/TRACE2打开对GoldenGate进程的跟踪日志，一般用于调试。DISCARDFILE定义discard文件位置，如果处理中有纪录出错会写入到此文件中。discardfile/oradata/goldengate/repkj.dsc,append,megabytes100mExtract参数（四）ParameterDescriptionNUMFILES定义本extract为最大多少张表预留空间，缺省为500，超过500张表需要设定一个比实际表数略大的值。numfiles3000PURGEOLDEXTRACTS同mgr进程，可以设置自动删除队列，建议在mgr设置。REPORTROLLOVER设定切换一个日志的时间和间隔。reportrolloverat02:00TRANSMEMORY设定GoldenGate的抽取进程能够使用的内存大小。如下参数指定本进程最大只能占用2G内存，其中每个事务最大占用内存不能超过500M，如果超过则使用指定目录作为虚拟内存，该目录下的单个文件大小为4G，最多只能在该目录下占用8G空间作为缓存：transmemorydirectory(/backup/goldengate/dirtmp,8G,4G),ram2G,transram500MExtrac参数（五）Extrac参数（六）ParameterDescriptionDBOPTIONS指定对于某种特定数据库所需要的特殊参数。[SOURCEDB,]USERID,PASSWORD指定所要登陆的数据库名称，用户名和密码。对于oracle无需指定sourcedb，直接指定用户名和密码即可。Useridgoldengate,passwordgoldengateTRANLOGOPTIONS指定在解析数据库日志时所需要的特殊参数。例如，对于裸设备，可能需要加入下列参数：tranlogoptionsrawdeviceoffset0WARNLONGTRANS指定对于超过一定时间的长交易可以在ggserr.log里面写入警告信息。例如，每隔30分钟检查一次长交易，对于超过12个小时的进行告警：--warnlongtrans12h,checkintervals30m04二月2023Replicat参数Replicat参数概览 提供如下方面参数:Checkpoint数据影射关系Optionalrow-levelselectioncriteriaOptionalcolumnmappingfacilitiesOptionaltransformationservicesOptionalStoredProcedureorSQLqueryexecution错误处理机制其它可选参数Replicat参数举例replicatrepszsetenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)useridgoldengate,password*****sqlexec"Altersessionsetconstraints=deferred"REPORTAT01:59reportrolloverat02:00--handlecollisionsreperrordefault,discarddiscardfile/oradata/goldengate/dirrpt/repsz.dsc,append,megabytes10--grouptransops100--batchsqlassumetargetdefsallownoopupdatesdynamicresolutionnumfiles3000--mapexcludeCTAIS2.JC_GY_SWWSWH--mapCTAIS2.SHOULIXINXI,targetCTAIS2.SHOULIXINXI,keycols(SHOULIBIANHAO);MAPctais2.*,TARGETctais2.*;

Replicat–MAP参数MAP<sourcetable>,TARGET<targettable> [,EXCEPTIONSONLY] [,COLMAP(<columnmappingspecification>)] [,KEYCOLS(<columnlist>)] [,WHERE(<wherecondition>)] [,FILTER(<expression>)];注意map语句必须以一个分号结束；Replicat命令（一）ParameterDescriptionCHECKPARAMS检查参数语法然后停止。COMMENT注释行。REPLICAT定义进程名称。replicatrepszUSERID指定登陆目标数据库的用户名和密码。Useridgoldengate,password123456OBEY将外部文件包含到参数文件中。ParameterDescriptionASSUMETARGETDEFS假定两端数据结构一致使用此参数。SOURCEDEFS假定两端数据结构不一致，使用此参数指定源端的数据结构定义文件。该文件需要由GoldenGate工具产生。MAPEXCLUDE用于使用在map中使用*匹配时排除掉指定的表，类似于于源端的tablexclude。mapexcludeCTAIS2.JC_GY_SWWSWHMAPctais2.*,TARGETctais2.*;GETDELETES|IGNOREDELETES是否复制delete操作，缺省为复制。GETUPDATES/IGNOREUPDATES是否复制update操作，缺省为复制。Replicat命令（二）ParameterDescriptionGETINSERTS|IGNOREINSERTS是否复制insert操作，缺省为复制。GETUPDATEAFTERS|IGNOREUPDATEAFTERS是否读取后影像，缺省为读取。GETUPDATEBEFORES|IGNOREUPDATEBEFORES是否读取前影像，缺省为不读取。GETTRUNCATES|IGNORETRUNCATES是否复制truncate操作，缺省为不复制。allownoopupdates允许执行无实际变化的update。例如，updatea=a会纪录一条update，但是没有后影像，无法正确构筑where语句。Replicat命令（三）