Goldengate配置手册全文

目录

1综述3

1.1目的3

1.2原那么4

20GG设计原那么4

2.10GG的版本及下载4

2.2GoldenGate运行用户4

2.3为GoldenGate运行用户配置环境变量4

2.4网络设置4

2.5GoldenGate安装位置5

2.6OGGDDL复制5

2.7OGG数据复制链路构造5

2.8OGG进程命名规那么6

281总述6

2.8.2主Extract进程命名规刃陷6

2.8.3本地队列命名规那么7

2.8.4DataPumpExtract进程命名规那么7

2.8.5本地队列命名规那么8

2.8.6Replicat进程命名规那么8

2.9OGG进程数量设计9

2.9.1主Extract进程设计9

2.9.2DataPump进程设计10

2.9.3Replicat进程削10

3GG实施步骤12

3.1准备12

3.2创立运行GoldenGate的用户12

3.3安装GoldenGatel3

3.4添加变量13

3.5增加附加日志14

3.6OGG源端配置14

361MGR进程参数模板14

3.6.2主Extract进程参数模板15

3.6.3DataPump传输进程参数模板17

3.7OGG目标端配置19

3.7.1安装GoldenGatel9

3.7.2添加变量19

3.7.3MGR进程配置19

3.7.4数据入库Replicat进程参数模板20

3.8启动GoldenGate进程22

381启动源端管理进程22

3.8.2启动目标端管理进程22

3.8.3启动源端抽取进程22

3.8.4启动源端传输进程23

3.8.5启动目标端入库进程23

4GG初始化说明23

4.1数据库说明23

4.2数据库信息23

4.3Goldengate同步内容23

4.3.1个税内部Goldengate进程说明23

4.3.2与外部其他系统Goldengate进程说明23

4.4附件错误!未定义书签。

1综述

1.1目的

本文档作为实施人员在使用OracleGoldenGate数据复制时作为详细设计的指导性标

准。

1.2原那么

在实施整个工程过程中实现各进程命令的标准化，并提供规划期s复制链路的设计原那

么。

2OGG设计原那么

2.1OGG的版本及下载

AIX系统下目前安装的是ggs_AIX_ppc_orallg_64bit.tar。

Linux64位系统目前安装的是fbo_ggs_Linux_x64_orallg_64bit.tar。

版本都为1121.0.3。

2.2GoldenGate运行用户

国网直接使用oracle运行用户运行OGG,完全遵循Oracle已有用户属组和权限。

2.3为GoldenGate运行用户配置环境变量

确保为oracle和OGG运行用户配置动态库路径。确保Oracle数据库的运行库

(<ORACLE_HOME>/lib)添加到操作系统的动态库环境变量中：LD_LIBRARY_PATH

(Solaris,Linux),LIBPATH(AIX),SHLIB.PATH(HPUX)。

2.4网络设置

OGG只需要复制两端的IP地址之间能够建立TCP连接。

防火墙添加策略参考?防火墙策略申请表？〔目前版本要填写两份，保证策略是双向的〕

即可。

2.5GoldenGate安装位置

由于是测试环境，当前并没有产生归档，检查当前OGG空间充足，用于OGG本身的

安装以及缓存数据队列，可以参照以下原那么配置OGG安装位置:

•一个数据库上有多个Oracle实例同样安装一套GoldenGate;

•OGG安装位置统一为/Golgengate目录

2.6OGGDDL复制

日常复制中，麻B么上不建议翻开DDL复制。因为：

1DDL的捕捉是通过源端建立Trigger来实现的，会对源数据库产生性能影响，尤其是

对于业务量大的业务系统；

2由于两端的数据库存储构造和对象等不可能完全一致，源端能够执行的DDL语句到

了目标端不一定能够执行成功，为此翻开DDL复制需要较大的维护工作量;

3源端数据库发生DDL变化时,可以通过在目标端同样打补丁的方式予以解决，而不

通过DDL复制。

如确因业务需求需要考虑翻开DDL复制，可以采取在业务较闲阶段翻开DDL复制的

Trigger观察其对业务系统影响,如没有性能上的较大降低，可以考虑保存DDL复制。需

实时对于业务系统进展监控，观察其在业务顶峰期是否正常。DDL复制建议只复制最小的

集合，如table、index、createuser等。

2.7OGG数据复制链路构造

OracleGoldenGate数据复制的链路构造如以下图所示:

1）源端首先配置一个主Extract进程，负责从数据库日志中解析数据,然后将数据写

入到本地队列；

2）源端再配置一个DataPumpExtract,用于将本地队列经日网络传输到目标端的

远程队列；

3）目的端配置replicat进程，负责将传输到目标的队列文件写入数据库。

2.8OGG进程命名规那么

2.8.1总述

■OGG的进程命名遵循规那么

1）长度不超过8;

2）只建议包含字母和下划线，不建议使用数字和其它特殊字符。

■OGG的队列命名遵循规那么

队列名称包含绝对路径或相对路径，以及作为标识的两个字母，如./dirdat/rt和

/Goldengate/dirdat/rt均可,建议使用相对路径。

2.8.2主Extract进程命名规那么

主Extract的命令建议格式如下：

e+源端数据属性或对应数据库缩写十目标数据库+[extract序列号]

其中

1）前面的一个字母e表示本进程为主Extract,负责抽取数据库日志；

2）下划线左边是源端复制的数据属性或者数据对应的源端数据库缩写，下划线右

边对应目标数据库的缩写；

3）由于两个库之间可能有多个复制进程，在这就添加一个Extract序列号以示区

别。

举例：

egs_zj9,ehxJqO,phxJk7

具体进程数量请参考下节的介绍。

2.83本地队列命名规那么

本地队列命名建议格式如下：

<oggpath>/dirdat/xx

或

./dirdat/xx

建议尽量采用相对路径格式后面的两位字母一般为本地队列定义为g+一个标识字母,

标识字母可以根据extract进程确定,有助于显式地将extract进程与队列联系起来。

例如：

./dirdat/ga

2.8.4DataPumpExtract进程命名规那么

DataPumpExtract的命名建议格式如下：

P+源端数据属性或对应数据库缩写+目标数据库+[extract序列号】

其中

1）dpe表示本进程为datapumpextract,以与主extract区分开。

2）后面几位命名要求严格与extract对应，即extract如果是egs_zj9,那么对应

的datapump进程命令为pgs_zj9,以便于识别那个dpe与哪个ext进程对

应。

2.8.5本地队列命名规那么

本地队列命名建议格式如下：

<oggpath>/dirdat/xx

或

./dirdat/xx

建议尽量采用相对路径格式，后面的两位字母一般远程队列定义为r+一个标识字母，

标识字母保持与本地队列一致。

例如，

本地队歹i」./dirdat/ga,远程队歹山/dirdat/ra。

2.8.6Replicat进程命名规那么

Replicat的命名建议格式如下：

r+源端数据属性或对应数据库缩写,“二+目标数据库+［投递序列号］

其中

1）前面一个字母r表示本进程为replicat进程，负责向数据库投递数据;

2）下划线左边是源端复制的数据属性或者数据对应的源端数据库缩写，下划线右

边对应目标数据库的翁写；

3）如果一个队列数据较多，需要拆分为多个replicat,那么可以在后面加上1-2

位阿拉伯数字的序列号以示区别。

以下为一个复制链路的命名例如，其中有一个extract和一个datapump和三个

replicat:

Extract:

ezsy_gsl

本地队列：

./dirdat/zg

DataPumpExtract:

pzsj,gsl

远程队列：

./dirdat/rg

Replicat:

rzsj_gsl

2.9OGG进程数量设计

2.9.1主Extract进程设计

OracleGoldenGate的Extract进程处理能力根据主机、操作系统、内存、磁盘10等

因素会有所不同，但其总体处理能力较强，请参照以下原那么设定其数量：

1）对于每个数据库实例至少需要一个单独的extract;

2）各进程之间应当分别负责不同的数据库实例、schema.业务表集合，并且各进程

之间尽量实现负载均衡。

2.9.2DataPump进程设计

仅一条：

1)DataPump与主Extract必须----对应。

2.93Replicat进程设计

Replicat进程设计原那么如下：

1)每个远程队列至少有一个replicat负责；

2)每个replicat进程能够处理的队列大小附艮据系统配置、数据库性能、数据构造如

表是否有主键和索引等而定，一般需要经过一段时间实际运行方可获得可靠数据。

相对extract而言，replicat的处理能力要差很多，经常需要将一个trail拆分为多

个replicat并行处理。

3)Replicat如需拆分,按照schema,业务所涉及表范围、表名称前缀等方法进展依

次拆分,经常需要屡次拆分方能到达最正确效果。可以查看源端extract的报告或

者使用stats命令找出变化较频繁的表，为一个或几个这些大数量级表单独配置投

递进程。

以下为Ttrail拆分为多个replicat的例如：

Extract例如:

EXTRACTextgb

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

EXTTRAIL./dirdat/gb

Dynamicresolution

■■这里共有两个schema

tableUCR_UIF1.*;

tableUCR_UEC*;

DataPump与Extract类似，略。

Replicat例如：

replicatrepgbp

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

Dynamicresolution

--本replicat负责一个schema

mapUCR_UIF1.*targetUCR_UIF1.*;

replicatrepgbt

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

Dynamicresolution

--本replicat负责另一个schema中的一张大表

MapUCR_UECTF_O_SELFSERVICE_STATEttarget

UCR_UEC.TF_O_SELFSERVICE_STATE;

rep/icatrepgbu

setenv(NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

USERIDgoldengate,PASSWORDXXXX

dynamicresolution

一本replicat负责另一个schema中除去上述大表勺卜的所有表

MAPEXCLUDEUCR_UEC.TF_O_SELFSERVICE_STAT

mapUCR_UEC.*targetUCR_UEC.*;

3GG实施步骤

3.1准备

a.为GoldenGate软件戈吩目录为/Goldengate,存储空间充足；

b.数据库必须处于归档模式，建议保存10天的归档日志；

c.不同厂商之间数据同步由双方工程师共同确定所需要复制的表以及划分复制通道。

d.为GoldenGate防火墙开端口7809,7840-7850〔在源和目标端〕

3.2创立运行GoldenGate的用户

1）在源端采用ORACLE用户运行GoldenGate

2）创立GG安装位置：/Goldengate

3）创立GoldenGate数据库用户ggs

$sqlplus/assysdba

SQL>createuserggsidentifiedbyXXXX;

SQL>grantconnect,resource,dbatoggs;

SQL>exit;

4）检查源端数据库是否为归档模式，假设为非归档模式，将其改为归档模式

SQL>archiveloglist;

5）检直源端数据库附加日志是否翻开

SQL>selectsupplemental_log_data_minfromv$database;

a）将数据库附加日志翻开

SQL>alterdatabaseaddsupplementallogdata;

b）切换口志以使附加口志生效

—SQL）Altersystemswitchlogfile;

Select*fromv$transaction

3.3安装GoldenGate

通过sftp上传GoldenGate软件包道安装目录，并解压缩

tar-xvf*.tar

在ggsci环境下创立GoldenGate子目录，createsubdirs

Shell>ggsci

GGSCI>CREATESUBDIRS

GGSCI>EXIT

3.4添加变量

vi.bash_profile

exportGG_HOME=/Goldengate

exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:\$GG_HOME:\$LD_LIBRARY_PATH

3.5增加附加日志

在GGSQ命令行中登陆数据库，为需要复制的数据表添加trandata

a）执行完毕通过以下sql检查，查看那些表已经添加了附加日志：

Infotradataschema.table

b）如果发现尚有局部表未添加附加日志,需有手工添加，例：

Ggsci>dbloginuseridggsfpasswordXXXX

如果该表有主键：

Ggsci>addtrandataschema.table

Ggsci>addtrandataschema.table

—Ggsci>addtrandataschema.*

3.6OGG源端配置

现在以一条完整的链路为例，详细演示各进程的配置方法。

3.6.1MGR进程参数模板

GGSCI>editparammgr

--Manager使用的端口

port7809

DYNAMICPORTLIST7840-7850

•■自动启动所有的Extract进程

-AUTOSTARTEXTRACT*

一自动重启所有的Extract,每隔2分钟重试,重试次数5次

AUTORESTARTEXTRACT*,RETIES5,WAITMINUTES2

一每隔1小时检查延迟报告

-LAGREPORTHOURS1

一每隔30分钟检查延迟，如果超过延迟阀值，将写入错误日志

-LAGINFOMINUTES30

--延迟阀值45分钟

-LAGCRITICALMINUTES45

3.6.2主Extract进程参数模板

当前源端IP：100.12.XXX.XXXSID:bjscgshxl

为egs_^9进程配置参数：

GGSCI>editparamegs_zj9

—Extract进程名

EXTRACTegs_zj9

一设置环境变量

SETENV(ORACLE_SID="bjscgshxl")

SETENV(NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

■■GoldenGate用户名、密码

useridggs,passwordXXXX

--捕获Truncate操作

GETTRUNCATES

REPORTAT01:59

REPORTROLLOVERAT02:00

TRANLOGOPTIONSCONVERTUCS2CLOBS

EXTTRAIL./dirdat/xt

NUMFILES3000

EOFDELAYCSECS30

GETTRUNCATES

tranlogoptionsasmusersys@asm,asmpasswordXXXX

--动态解析表名

DYNAMICRESOLUTION

DBOPTIONSALLOWUNUSEDCOLUMN

FETCHOPTIONSNOUSESNAPSHOT

FETCHOPTIONSSUPPRESSDUPLICATES

FETCHOPTIONSFETCHPKUPDATECOLS

WARNLONGTRANS3H,CHECKINTERVAL3M

TABLEGS_HX.CS_FYKCBZ

TABLEGS_HX.DM_DJ_BGDJXM;

>添加egs_zj9进程，从数据库日志中抓取有效数据

GGSCI(HYGSDBDQ03)11>addextractegs_zj9,tranlog,threads2,begin

now

GGSCI(HYGSDBDQ03)14>addexttrail./dirdat/xt,extractegs_zj9,megabytes100

A检杳配置情况：

GGSCI>INFOEXTTRAIL*

GGSCI>STARTEXTRACTegs_zj9

GGSCI>V正WREPORTegs_zj9

3.63DataPump传输进程参数模板

对应的抽取进程为egs_zj9

为对相应的抽取进程配置相应的传输进程：

GGSCI>editparampgs_zj9

—DataPump进程名称

EXTRACTpgs_zj9

•一设置环境变量

SETENV(ORACLE_SID="bjscgshxl")

SETENV(NLS_LANG=AMERICAN_AMERICA.AL32UTF8)

REPORTAT01:59

REPORTROLLOVERAT02:00

FLUSHCSECS30

NUMFILES3000

EOFDELAYCSECS30

--目标机器IP和端口

RMTHOST100.12.98.XX,MGRPORT7809,TCPBUFSIZE100000,

TCPFLUSHBYTES300000

-队-列文件在目标端的存放位置

rmttrail./dirdat/zf

-采-用pass-through模式处理表

PASSTHRU

-动-态解析表名

DYNAMICRESOLUTION

一要复制的表清单

TABLEGS_HX.*;

>添加pgs_zj9进程,将本地队列的数据抽取出来

GGSCI(HYGSDBDQ03)33>addextractpgs_zj9,exttrailsource./dirdat/xt

>添加远端队列，将pgs_zj9进程捕捉到的数据将写入该队列

GGSCI(HYGSDBDQ03)34>addrmttrail,/dirdat/rt,extractpgs_zj9,

megabytes100

>检查配置情况

GGSCI>STARTEXTRACTpgs_zj9

GGSCI>INFOEXTRACTpgs_zj9

3.7OGG目标端配置

3.7.1安装GoldenGate

通过sftp上传GoldenGate软件包道安装目录，并解压缩

tar-xvf*.tar

在ggsci环境下创立GoldenGate子目录,createsubdirs

Shell>ggsci

GGSCI>CREATESUBDIRS

GGSCI>EXIT

3.7.2添加变量

在oracle用户的.bash_profile文件中添加：

vi.bash_profile

exportGG_HOME=/Goldengate

exportLD_LIBRARY_PATH=$ORACLE_HOME/lib:\$GG_HOME:\$LD_LIBRARY_PATH

3.73MGR进程配置

GGSCI>editparammgr

■•Manager使用的端口

port7809

DYNAMICPORTLIST7840-7850

一自动启动所有的Extract进程

-AUTOSTARTEXTRACT*

--自动重启所有的Extract,每隔2分钟重试，重试次数5次

AUTORESTARTEXTRACT*,RETRIES5,WAITMINUTES2

-每隔1小时检查延迟报告

LAGREPORTHOURS1

一每隔3分钟检查延迟，如果超过延迟阀值，将写入错误日志

LAGINFOMINUTES3

■•延迟阀值5分钟

LAGCRITICALMINUTES5

3.7.4数据入库Replicat进程参数模板

当前目标端IP:100.12.XX.XX

SID:bjsczsjl

GGSCI>editparamsrgs_zj9

--Replicat进程名称

replicatrgs_zj9

SETENV(ORACLE_SID="bjsczsjl")

SETENV(NLS_LANG=AMERICAN_AME