安装规范_数据库_Oracle11g_Goledengate实施及数据初始化方案v10(725)

1、Oracle Goldengate实施方案版本：i.o2016年5月修订历史记录日期版本修订说明作者2016年5月20日*初稿李瑜目录一、东航期货CTP系统GoldenGate部署设计方案4*系统基本信息调查表42. CTP系统数据库情况53. GoldenGate 基础设计5*源端数据库主机和存储要求5*.目标端数据库主机要求6专输网络要求6“数据库设计6*进程设计7二、实施影响 8三、生产端数据库0GG配置9* *.创建运行GoldenGate的用户8* *.检查源端数据库是否为归档模式8* *检查源端数据库附加日志是否打开8* *开启数据库强制日志模式9* *添加环境变量10* *.安装

2、新版本goldengate软件10* *安装 sequence 支持10* *.添加表级附加日志10* *.管理进程mgr参数配置11* *.抽取进程EXTRACT参数配置11* *.传输进程DATAPUMP参数配置13*.检查进程运行情况144 .源库到目标库的初始化15*导出/导入初始化的实施流程155 .灾备端goldengate配置 17* *.创建运行goldengate的用户16* *.禁用目标库的trigger和外键约束16* *.禁止目标库job守护进程17* *安装 GoldenGate17* *配置18* *复制进程replicat参数配置18*.开始投递进程，复制进程，进

3、行同步19六.实施过程需要注意的地方 21一、东航期货CTP系统GoldenGate部署设计方案*系统基本信息调 查表3.2指标源端目标端硬件型号待查待查操作系统Li nux_86_64Linux_86_64主机名dbserver2DB1IP*Oracle版本* (64bit)* (64bit)系统高可用性单节点生产备机单节点同城异地灾备机数据文件存储管理ASM文件系统当前数据文件大小430G数据文件路径+DATA/ctp/datafiIe/u02/oradata/ctpzb数据备份大小约 119G数据库模式归档非归档字符集ZHS16GBKZHS16GBK归档日志路径/u02/arch一OGG

4、版本* (Mbit)* (64bit)OGG安装目录/u02/goldengate/u02/goldengateOGG 端口78397839OGG动态端口7840-78507840-7850OGG管理用户goldengategoldengate进程名称EXTYADPEYAREPYAA2. CTP系统数据库情况信息内容说明数据量大约119G备份集需要复制Schema'REPORT', 'HISTORYSETTLEMENT', 'RISK', 'FBEXCHANGEHISTORY'.'FBTRANSFERHI STORY

5、9;FBEXCHANGE', 'FBTRANSFER', 'NGESSYNC', 'RECOVERY'SYNC','OPERATION', 'SETTLEMENT'共12个用户需要排除的表*_tbcommand*_currdridentity*_currdridentity共三张表3. GoldenGate基础设计*.源端数据库主机和存储要求1. GoldenGate数据库灾备系统，对源端数据库主机的资源占用很小，主要如下:资源数量设计安装节点一节点在源端安装GoldenGate。CPU每个抽取进程

6、<1%Go I denGate数据复制的原理是对数据库的日志采用优化的日 志扫描算法进行扫描，对源端CPU占用率非常低。内存每个抽取进程<1GGoldenGate对内存的需求取决于系统大长事务的数量以及并 发的数据增量。如果大长事务特别多，那么建议内存适当增 力口。建议每个GoldenGate设置1G内存，运行过程中如果因 为大长事务的原因导致内存需求加大，GoldenGate会自动把 内存交换到磁盘上去。存储源端：403G已经使用145G*数据库设计*.源端数据I数量 库要求和设*.源端数据 库要求和设数量设计*目L* 11| 业_ 标端数据库主 机要求2.资源数量设计安装节点单

7、机采取单机+ASM管理数据文件CPU每个入库进程1%CTP系统灾备目标系统上的CPU都可供GoldenGate使用，为了加快数据入库，建议采用多入库进程的方式来完成数据入库工作。内存每个入库进程1GGoldenGate对内存的需求取决于并发的数据增量。由于目标端有 很多优化参数，在目标段入库进程对内存的需求并不高。一般建 议也设置为1G存储323G目前上海金桥灾备端/u02/goldengate存储为323G。考虑到初始化时间较长，产生的队列文件较多，建议空间尽量留大一点。*传输网 络要求3.资源数量设计网络传输带宽带宽约4Mbps对于现有的带宽是完全能够满足CTP系统的数据异地容灾同步。计4

8、.资源数据库附加日志打开需要在数据库级别打开附加日志，最小附加日志级别就可以表附加日志打开在GoldenGate中添加和打开表一级的附件日志DDL复制关闭*.目标端数 据库要求和 设计资源数量设计Trigger关闭为了避免数据反复插入，需要禁用目标端的Trigger外键关闭为了加快数据入库速度，建议禁用外键DDL复制关闭进程设计*.源端 GoldenGa te Manager 进程设计5.资源数量设计Manager1自动清除过期无效trail文件以及定期删除DDL复制日志，自动 启动以及自动启动抽取、投递进程。*.源端 数据库抽 取、投递 进程设计 资源数量设计Extract1数据库的Sche

9、ma中没有大事务，则需要一个进程即可。DataPump1每个extract使用一个datapump来对应往目标段传送数据。*.目标 段端 GoldenGa te Manager 进程设计 资源数量设计Manager1自动清除过期无效trail文件以及定期删除DDL复制日志，自动 启动以及自动启动抽取、投递进程。*.目标 端入库进 程设计资源数量设计REPLICAT1为加快入库进度，减少lag延时，增加入库进程。（依据内存来定）*进程配置列表抽取进程传输进程入库进程备注1Extyadpeyarepyaa二、实施影响实施期间，若数据库已经开启归档模式则不会影响系统的正常业务运作。三、生产端数据库O

10、GG配1*.创建运行GoldenGate的用户6.创建运行GoldenGate的用户1）在源端采用ORACLE用户运行GoldenGate2）安装位置：/u02/goldengate3）创建GoldenGate的数据库用户goldengate（统一用户名为goldengate）SQL>createtab I espacego Idengatedatafi Ie1+DATA/ctp/datafi le/goIdengate. dbf1 size 5000M;SQL>create user goldengate identified by "goIdengateH defau

11、lt tablespace goldengate temporary tablespace TEMP;GRANT CONNECT TO goldengate;GRANT ALTER ANY TABLE TO goldengate;GRANT ALTER SESSI ON TO go Idengate;GRANT CREATE SESSI ON TO goldengate;GRANT FLASHBACK ANY TABLE TO goldengate;GRANT SELECT ANY DI CT IONARY TO goldengate;GRANT SELECT ANY TABLE TO gol

12、dengate;GRANT RESOURCE TO goldengate;GRANT SELECT ANY TRANSACT I ON TO goldengate;* .检查源端数据库是否为归档模式7. SQL>archive log list;SQL>shutdown immed i ate;SQL>startup mount;SQL>aI ter database archivelog;SQL>aI ter database open;SQL>aIter system switch logfi Ie;*.检查源端数据库附加日志是否打开8.使用以下sql语

13、句检查数据库附加日志的打开状况:SQL> Select SUPPLEMENTAL_LOG_DATA_MIN, SUPPLEMENTAL_LOG_DATA_PK, SUPPLEMENTAL_LOG_DATA_UI, SUPPLEMENTAL_LOG_DATA_FK,SUPPLEMENTALLOG DATA ALL from v$database;SUPPLEME SUP SUP SUP SUPNONO NO NO NO未打开，需要更改。打开附加日志并切换日志(保证Online redo log和Archive log一致) alter database add supplemental l

14、og data ;a Iter system switch Iogf i Ie; 注：打开最小附加日志即可 再查看状态SQL> Select SUPPLEMENTALLOGDATA_MIN.SUPPLEMENTAL LOG DATA PK.SUPPLEMENTAL LOG DATA UI, SUPPLEMENTAL LOG DATA FK. SUPPLEMENTAL_LOG_DATA_ALL from v$database;SUPPLEME SUP SUP SUP SUPYESNO NO NO NO未打开，需要更改。确保al I columns的附加日志关闭；如果all columns的

15、附加日志打开的话，则需要使用以下语句予以关闭： alter database drop supplemental log data (ALL) columns;如果出现问题，可以通过以下语句进行回退:alter database drop supplemental log data (pr imary key, unique, foreign key) co Iumns;alter database drop supplemental log data ; alter system switch logfi Ie;* .开启数据库强制日志模式9. alter database force lo

16、gging;添加环境变量10. 编辑oracle用户.bash_profile文件，加入以下内容:export GG_H0ME=/u01/goIdengate/ctpexport LD _LIBRARY PATH =$GG_ HOME:$ORACLE HOME/1ib:/usr/bin* .安装新版本goldengate软件*. 通 过 ftp 上 传 GoldenGate 软件包 (p22575475_1121032_Linux-x86-64)到安装目录/uOl/goldengate, 并用oracle用户解压缩11. unzip p22575475_1121032_Linux-x86-64

17、tar -xvf fbo_ggs_Linux_x64_ora11g_64bit. tar* *.在goldengate安装目录执行命令：/ggsci* *在ggsc i环境下创建GoldenGate运行时目录GGSCI>create subdirs* *安装sequence支持12. cd /u02/goldengatesqlplus / as sysdbaSQL>sequence. sqISQL>GRANT EXECUTE on goldengate. updateSequence TO go Idengate;SQL> ALTER TABLE sys. seq$ A

18、DD SUPPLEMENTAL LOG DATA (PR I MARY KEY) COLUMNS;* .添加表级附加日志13. 添加表级附加日志GGSCI > dblogin user id goldengate. password goldengate Successfully Iogged into database.使用Goldengate的Obey工具以行来执行命令GGSCI >obey . /di rprm/addtrandata. txt(注：该脚本已排除不需要同步的三张表)SaddtrandatiL txt添加完之后需要检查确认，因为表比较多，建议一个个用户分开执行G

19、GSCI> info trandata REPORT. *i nfotrandataHISTORYSETTLEMENT.*i nfotrandataRISK.*i nfotrandataFBEXCHANGEHISTORY. *i nfotrandataFBTRANSFERH1 STORY. *i nfotrandataFBEXCHANGE. *i nfotrandataFBTRANSFER.*i nfotrandataNGESSYNC.*i nfotrandataRECOVERY.*i nfotrandataSYNC. *i nfotrandataOPERATION.*i nfotran

20、dataSETTLEMENT.* .管理进程mgr参数配置14. GGSCI> edit params mgr一配置基本参数区域PORT 7839DYNAMICPORTLI ST 7840-7850AUTORESTART EXTRACT *, RETRIES 5, WAITMINUTES 3PURGEOLDEXTRACTS ,/dirdat/*, USECHECKPOINTS, MINKEEPDAYS 3一初始化过程中，屏蔽此参数，等初始化之后再重新配置自动删除策略一配置DDL参数区PURGEDDLHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10, FREQUE

21、NCYMINUTES 30PURGEMARKERHISTORY MINKEEPDAYS 7, MAXKEEPDAYS 10一配置一般日志信息区域LAGREPORTHOURS 1LAG INFOMINUTES 30LAGCRITICALM INUTES 45注：配置完毕之后源端尝试启动mgr进程，再尝试停止mgr进程，保证启停没有 问题。本次东航期货配置参数详见附件txt文本。*.抽取进程EXTRACT参数配置*.查询是否有事务等待15. select count(*) from v$transaction;返回0时执行以下步骤；否则，等待事务完成或回滚事务。ggsci > dblogin

22、 user id goldengate. password goldengate*.抽取进程参数配置GGSCI>edit params extya一基础参数区EXTRACT extyaSETENV (NLS_LANG="AMERI CAN AMER ICA. ZHS16GBK") user id goldengate. password goldengateREPORTCOUNT EVERY 1 MINUTES. RATEDISCARDFILE ./dirrpt/extya. dsc, APPEND, MEGABYTES 1000WARNLONGTRANS 2h. C

23、HECK INTERVAL 3mEXTTRAIL ./dirdat/laDYNAMICRESOLUTIONDBOPTIONS ALLOWUNUSEDCOLUMNFETCHOPTIONS NOUSESNAPSHOT一DDL参数区域，所有复制对象，屏蔽对象在源端体现。INCLUDEINCLUDEINCLUDEINCLUDEINCLUDEINCLUDEINCLUDEEXCLUDEMAPPED MAPPED MAPPED MAPPED MAPPED MAPPED MAPPED OPTYPEOBJTYPE OBJTYPE OBJTYPE OBJTYPE OBJTYPE OBJTYPE OBJTYPE C

24、OMMENT'TABLE' & 'INDEX' & 'SEQUENCE' & 'VIEW' & ,PROCEDURE1 & 'FUNCTI ON' & ,PACKAGE' &ddl&excludeHsync.t_tbcommandH &excludeHsync. t_currdr identity" &exclude“settlement.-currdr identity" &i ncludeal 1

25、objname1IREPORT. *n &i ncludeal 1objname1IHISTORYSETTLEMENT.*"i ncludeal 1objname1IRISK. &i ncludeal 1objname(IFBEXCHANGEH1 STORY. *"i ncludeal 1objname(IFBTRANSFERH1 STORY. *"i ncludeal 1objnameFBEXCHANGE. *H &i ncludeal 1objnameIFBTRANSFER. *H &i ncludeal 1objnameING

26、ESSYNC. *" &i ncludeal 1objname1IRECOVERY. *" &i ncludeal 1objname1ISYNC. *u &i ncludeal 1objnameatOPERATION.*" &i ncludeal 1objnameiiSETTLEMENT. *n &DDLOPTIONS addtrandata REPORT 一对象范围区域 TABLEEXCLUDE sync. t_tbcommand; TABLEEXCLUDE sync. t_currdr identity; TABLEEX

27、CLUDE t_currdr identity;-tab Ieobey ./di rprm/source_tabIes. txt注：关于本次东航期货extract进程配置参数详见附件txt文本内容。source_tables. txt*.传输进程DATAPUMP参数配置16. GGSCI> edit params dpeya一基本参数区域EXTRACT dpeyaPASSTHRURMTHOST 10. 69. 11.26, MGRPORT 7839NUMFILES 5000DYNAMICRESOLUTI ONRMTTRAIL ./di rdat/ra一对象区域TABLEEXCLUDE s

28、ync. t_tbcommand;TABLEEXCLUDE sync.t_currdr identity;TABLEEXCLUDE t_currdr identity;ddl &exclude "sync.ttbcommandH & exclude "sync.t_currdridentity" & exclude "settIement. t_currdridentity" &i ncI udeal Iobjname "REPORT. *" &i ncI udeal Iobjname

29、 "HISTORYSETTLEMENT. *" &i ncI udeal Iobjname ”RISK.*" &i ncI udeal Iobjname ”FBEXCHANGEHISTORY. *" &i ncI udeal Iobjname ”FBTRANSFERHISTORY. *" &i ncI udeal Iobjname ”FBEXCHANGE. *" &i ncI udeal Iobjname ”FBTRANSFER. *" &i ncI udeal Iobjnam

30、e ”NGESSYNC. *" &i ncI udeal Iobjname ”RECOVERY. *" &i ncI udeal Iobjname ”SYNC. &i ncI udeal Iobjname ”OPERATION.*" &i ncI udeal Iobjname ”SETTLEMENT. *" &-tab Ieobey . /di rprm/source_tabIes. txt本次东航期货配置参数详见附件txt文本。针对DDL操作:安装DDL对象：SQL> marker_setup说明：均指定用

31、户 goldengateSQL> ddl_setup说明：11. 1. 1.2需要手 动输入ogg. INITIALSETUP. yesSQL> role_setupSQL> grant GGS_GGSUSER_ROLE to goldengate;SQL> ddl_enabIeSQL> marker_status. sqI注1：执行dbmspool包将在数据库中创建DBMS_SHARED_POOL包，之后ddl_pin 包需要用到SQL> ?/rdbms/adm i n/dbmspooI. sqIPackage created.Grant succeede

32、d.View created.Package body created.注 2:执行 ddl_pin. sql 通过 dbms_shared pool, keep 存储过程将 DDLReplication相亲对象keep在共享池中，以保证这些对象不要RELOAD,提升 性能。SQL> ddl_pin. sql oggPL/SQL procedure *pleted.PL/SQL procedure *pleted.PL/SQL procedure *pleted.* .检查进程运行情况17. GoldenGate mgr 进程、ext ya 进程和 dpeya 进程应该为 RUNNING

33、状态；GGSCI>start mgr GGSCI>start extya GGSCI>info al I四.源库到目标库的初始化注：如果是采用RMAN或者第三方的磁盘镜像软件的方式恢复目标库，SCN 在备份完成或镜象完成后取SCN；如果是用exp/imp或expdp/impdp逻辑备份初 始化，在备份前取SCN。可用RMAN备份等物理方式备份数据库；或exp/imp (expdp/impdp)方式逻 辑备份数据库。并将备份还原到目标数据库，并恢复到提定的SCN。“导出/导入初始化的实施流程18. 如果源库不是很繁忙，且数据量不是特别大，也可以直接通过exp/imp(expdp

34、/impdp)方式恢复目标库，方法如下：*.源库 undo_retent ion 参数修改生产数据库的undo_retention参数，时间设置尽量大于exp的时间：如果undo表空间 不充足，适量增加undo表空间的大小：*.获取源库SCNSQL> select to_char(current_scn) from v$database;TO_CHAR(CURRENT_SCN)1103069404*.按SCN导出数据源库exp出数据，此过程使用flashback_scn参数，具体的sen数值就是激活完成后取的sen： $exp appusr/appusr f i Ie=/orabacku

35、p/appusr.dmp fIashback scn=1103069404 log=/orabackup/expappuser. log*,目标数据库创建表空间在目标数据库创建和源数据库同名并空间致少相同的表空间。*.创建目标端用户在目标数据库中创建appusr用户，并授予和源库相同的权限和角色。SQL>create user appusr identified by xxxx default tablespace appdatal temporary tablespace temp;*备份到目标主机*.把exp的数据imp到目标数据库$imp appusr/appusr buffer=

36、104857600 file=/orabackup/appusr.dmp full=y ignore=y log=/orabackup/imp_appuser.log*.确认数据已成功导入到目标数据库五.灾备端goldengate配置*.创建运行goldengate的用户*.在灾备端采用oracle用户运行GoldenGate*安装位置：/u02/goldengate*恢复出来默认已经有goldengate用户，如没有则需要创建GoldenGate 数据库用户 goldengate19. SQL> create tablespace goldengate datafile '+D

37、ATA'size 5000M autoextend on next 64M maxsize unlimited;SQL> create user goldengate identified by goldengate default tablespace goldengate temporary tablespace TEMP profiIe DEFAULT;SQL> GRANT CONNECT TO GOLDENGATE;GRANT ALTER ANY TABLE TO GOLDENGATE;GRANT ALTER SESSI ON TO GOLDENGATE;GRANT

38、 CREATE SESSI ON TO GOLDENGATE;GRANT FLASHBACK ANY TABLE TO GOLDENGATE;GRANT SELECT ANY DI CT IONARY TO GOLDENGATE;GRANT SELECT ANY TABLE TO GOLDENGATE;GRANT RESOURCE TO GOLDENGATE;GRANT1NSERT ANY TABLETO GOLDENGATE;GRANTUPDATE ANY TABLETO GOLDENGATE;GRANTDELETE ANY TABLETO GOLDENGATE;GRANTCREATE AN

39、Y INDEXTO GOLDENGATE;GRANTSELECT ANY TRANSACT 1 ON TO GOLDENGATE;* .禁用目标库的trigger和外键约束20. select，alter table ' owner I " Itable_name|disable constraint |constraint_nameI I' /from dba_constra i ntswhere constraint type in ('R') andowner i n ('RISK','FBEXCHANGEHISTORY,

40、'FBTRANSFERHISTORY','FBEXCHANGE,'FBTRANSFER','NGESSYNC,'RECOVERY','SYNC,'OPERATION','SETTLEMENT', 'REPORT', 'HISTORYSETTLEMENT') order by status,owner;seIect 'alter trigger '|owner|'. '|tr i gger_name|' disable;&

41、#39; from dba_tr i ggers where owner in in ('RISK','FBEXCHANGEHISTORY','FBTRANSFERHISTORY','FBEXCHANGE,'FBTRANSFER','NGESSYNC,'RECOVERY','SYNC,'OPERATION','SETTLEMENT', REPORT', 'HISTORYSETTLEMENT')order by status, owner

42、;，禁止目标库job守护进程21. SQL>alter system set job_queue_processes=0 scope=both sid=' ;*.安装 GoldenGate22. 通过ftp上传GoldenGate软件包到安装目录/u02/go 1 dengate,并用 oracle 用户解压缩在ggsci环境下创建GoldenGate子目录 GGSCI>create subd i rs配置23. GGSCI>edit params mgrPORT 7839DYNAMICPORTLI ST 7840-7850AUTORESTART EXTRACT *,

43、 RETRIES 5, WAITMINUTES 3-PURGEOLDEXTRACTS . /di rdat/*. usecheckpoints, minkeepdays 3LAGREPORTHOURS 1LAG INFOMINUTES 30LAGCRITI CALM INUTES 45本次东航期货配置参数详见附件txt文本。* .复制进程replicat参数配置24. GGSCI> dblogin userid goldegate, password goldengateGGSCI> add checkpointtable go Idengate. checktab Ie ggsc

44、i> edit params repyaa REPL I CAT repyaa setenv (NLS_LANG:AMER ICAN_AMERICA. ZHS16GBK) USERID goldengate, PASSWORD goldengate REPORT AT 01:59REPORTCOUNT EVERY 30 MINUTES, RATEREPERROR DEFAULT, ABEND DBOPTIONS DEFERREFCONST assumetargetdefsDISCARDFILE ./dirrpt/repyaa. dsc. APPEND. MEGABYTES 1000 DI

45、SCARDROLLOVER AT 02:30 GETTRUNCATES ALLOWNOOPUPDATES 一DDL参数区域 需要屏蔽的操作类型在此区域屏蔽 -DDL错误过滤 DDLERROR <error1> IGNORE -tab Ie-obey . /di rprm/map_tabIes_repyaa. txt (此处根据系统硬件来设置)其它repl icat进行配置同上。本次东航期货配置参数详见附件txt文本。添加复制进程（添加几个由硬件决定）ggsc i > ADD REPL 1 CAT repyaa,EXTTRAIL ./dirdat/ra,checkpointtablego 1dengate. checktab Ie ggsci> ADD REPL 1 CAT repyab.EXTTRA1L