DSG RealSync维护手册

1、1您将了解到您将了解到RealSync简单介绍RealSync安装指南RealSync配置指南RealSync初始化同步RealSync日常维护说明2RealSync 简单简单介绍介绍3RealSync工作原理工作原理Archived logRedo LogQUEUE源端缓存队列源端缓存队列QUEUE目标端缓存队列目标端缓存队列ROWID MappingTable用于快速的定位用于快速的定位更新删除操作更新删除操作TransactionsXF1 FormatOCI4目标数据库处于open状态，可用于数据查询、报表、数据抽取等按需复制，指定需要复制的表，而不一定是必需整个数据库复制源系统和目标系

2、统可异构操作系统和oracle版本RealSync系统特点系统特点5DML Insert Update DeleteRealSync支持的支持的DML操作类型操作类型6 执行setup程序1.Please choice setup Directory, default is Current Directory /dsg:2.Please choice the Agent Type 1-Source , 2-Target :1 注： 这里是进行目标端安装选择 23.Please input Source Dbpsd port,default port is 50000:40024.Please

3、input Source Vagentd port,default port is 50001:40005.Please input Source Monitor port,default port is 50111:40116.Please input Archive log interval,default is 12:7.Are you want to install elib and bin programy/n:y注：必须选择yDS端端realsync安装安装7 执行setup程序1、 Please choice setup Directory, default is Current

4、 Directory /dsg:2、 Please choice the Agent Type 1-Source , 2-Target : 注： 这里是进行目标端安装选择 23、 Please input Target Vagentd port,default port is 50001:40004、 Please input Target Verify port,default port is 50011:40115、 Please Please input Archive log interval,default is 12:6、 Please input the number of pa

5、rallel loader process:4 首次全同步时目标端的最大并发装载线程数7、 Are you want to install elib and bin programy/n:y注：必须选择yDT端端realsync安装安装8DS安装后的目录结构安装后的目录结构$DBPS_HOMEbin$VCFS_HOME(default:vcfsa)$XLDR_HOME(default:rmp)logscripts9 scripts目标：所有脚本所在目录 $VCFS_HOME：保存系统进程信息 $XLDR_HOME： 数据装载之前的缓存队列和装载控制信息 Rowid mapping文件 源数据库

6、的数据字典文件 bin目录：执行文件所在目录DT端：目录和文件用途说明端：目录和文件用途说明10Start_vagentd：启动脚本Stop_vagentd：停止脚本check：检查复制进程是否已经正常启动clean_vagentd ：删除realsync的所有工作信息Start_verify：初始化比对进程脚本Check_verify：检查比对进程是否已经正常启动注：注：clean_vagentd脚本只有在必须作重新全同步的时候才脚本只有在必须作重新全同步的时候才能使用，否则将造成很大的破坏性。能使用，否则将造成很大的破坏性。Scripts目录的重要脚本说明目录的重要脚本说明11RealSy

7、nc 配置指南配置指南12DS端：$cd $DBPS_HOME$./start_vagentdDT端：$cd $DBPS_HOME$./start_vagentd启动进程启动进程13 源端正常进程启动状态oracledbmain-1 scripts$ ./check dsg 19758 1 0 01:55 00:00:00 /dsg/bin/dbpsd 4002 dsg 19765 1 0 01:55 00:00:00 /dsg/bin/vagentd 4000 dsg 19767 19765 1 01:55 00:12:05 /dsg/bin/vagentd 4000 dsg 19766 1

8、 0 01:55 00:00:00 /dsg/bin/sender -tseq 1 dsg 8570 19766 0 02:56 00:00:23 /dsg/bin/sender -tseq 1 dsg 19759 1 0 01:55 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.vagentd /dsg/log/archivelog/log.vagentd_archlog 43200oracle 19763 1 0 01:55 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.sender /ds

9、g/log/archivelog/log.sender_archlog 43200如何判断进程启动是否正常如何判断进程启动是否正常14 目标端正常进程启动的状态oracledbback-1 scripts$ ./check dsg 30048 1 0 01:55 00:00:00 /dsg/bin/vagentd 4000 dsg 30051 30048 0 01:55 00:00:20 /dsg/bin/vagentd 4000 dsg 30046 1 0 01:55 00:00:00 /dsg/bin/loader -s -qno 0 1 dsg 30049 30046 0 01:55 0

10、0:00:17 /dsg/bin/loader -s -qno 0 1 dsg 30050 30047 0 01:55 00:00:44 /dsg/bin/loader -s -qno 1 1 dsg 30047 1 0 01:55 00:00:00 /dsg/bin/loader -s -qno 1 1 dsg 30052 1 0 01:55 00:00:00 /dsg/bin/loader -s -qno 2 1 dsg 30058 30052 0 01:55 00:00:12 /dsg/bin/loader -s -qno 2 1 dsg 30061 1 0 01:55 00:00:00

11、 /dsg/bin/loader -s -qno 3 1 dsg 30062 30061 0 01:55 00:00:13 /dsg/bin/loader -s -qno 3 1 dsg 30053 1 0 01:55 00:00:00 /dsg/bin/loader -r -qno 0 1 dsg 30057 30053 0 01:55 00:07:37 /dsg/bin/loader -r -qno 0 1 dsg 30045 1 0 01:55 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.r0 /dsg/log/archivelog/l

12、og.r0_archlog 43200如何判断进程启动是否正常如何判断进程启动是否正常15Host注册： 注册系统中参与复制的vagent进程所在的IP地址和PORT号DATABASE注册： 注册参与复制的oracle系统的参数信息配置内容配置内容16$ cd $DBPS_HOME/bin$ ./vmanVMAN connect :4002Connected.DBPS user root/dbpsAuthenticatedSYNC:/menu进入进入vman界面和配置菜单界面和配置菜单17选择选择menusystemhostAdd HID: 1 输入一个输入一个HOST ID，不能重复，不能重

13、复 Host Name: 6 HA,RAC环境源端设置成浮动环境源端设置成浮动IP 单机环境数据服务器的单机环境数据服务器的IP地址地址 Agent Port: 2688 4000 vagentd启动所用端口号启动所用端口号 Enabled: Y Host 注册注册注：需要重复为每个vagent进程增加一个host配置18选择选择menusystemdatabaseAdd: DBID: 1 输入一个输入一个DATABASE ID，不能重复，不能重复 Data Source Type: 1 数据库类型：目前只支持数据库类型：目前只支持oracle Host Name: 19

14、6 RAC环境源端设置成环境源端设置成localhost 单机环境数据服务器的单机环境数据服务器的IP地址地址 DB Name: sgetest 数据库名称，一般取数据库名称，一般取SID DB User: dsg 数据库中的用户数据库中的用户 DB Password: dsg 数据库中用户的密码数据库中用户的密码 OS Owner: 取空取空 OS Group: 取空取空 SID: sgetest 数据库数据库SID TNS Name: ORACLE_HOME: /home/oracle/oracle/product/9.2.0 数据库数据库Home目录目录 TNS Adm

15、in: DataBase 注册注册注：需要重复为每个database增加一个配置19SYNC:/cd dbsSYNC:/dbs ls sgetest.1 sgedb.2 列出系统中配置过的所有数据库SYNC:/dbs cd sgetest.1 进入查看第1个数据库SYNC:/dbs/sgetest.1 cd schemasSYNC:/dbs/sgetest.1/schemas ls MDSYS OUTLN REALSYNC SH SYS SYSTEM WKPROX 显示该数据库中的所有schemasCheck configuration注：如果不能正确显示schemas，则几个原因：vagen

16、td未启动oracle未启动host和database参数配置错误20RealSync 初始化全同步初始化全同步21DS端：$cd $DBPS_HOME/config/修改mapping.ini文件：文件格式如下：源端用户1 目标端用户1real_where= in (USER1）and not in (xxx)full_where= in (USER1)黄金所Mapping.ini文件：sgeora sgereal_where= in (SGEORA) and not in(xxx)full_where= in(SG

17、EORA)配置相应的复制配置相应的复制mapping文件文件22导入表结构约束过程函数等其它数据库对象导入表结构约束过程函数等其它数据库对象 首次数据同步前，需要先从源导出数据然后导入到目标端DS端： $cd $DBPS_HOME/bin/$./vman vmandict注：注：dict为一个文件名，该文件名可起成任何一个名字，该文件通常被放为一个文件名，该文件名可起成任何一个名字，该文件通常被放在在bin目录下目录下 dict文件的内容如下： set dict 1.1 -owner SGEORA -triggers n -statistics none -map “SGEORA SGE -f

18、ile SGEORA 23 DS端： $cd $DBPS_HOME/bin/$./vman vmanvm注：注：vm为一个文件名，该文件名可起成任何一个名字，该文件通常被放在为一个文件名，该文件名可起成任何一个名字，该文件通常被放在bin目录下目录下 vm文件的内容如下：connect :4002user root/dbpsset ds 1 -itvl 3 -state startset dt 1.1 -tgt db 2 -xf1 y -state startset dm 1.1 -cfg -sync ftcqIM4发起首次初始化同步发起首次初始化同步24RealSync 日常维护操作日常维护

19、操作25 检查进程是否存在 如何启动和停止进程 检查log日志是否出错 删除realsync归档日志 检查队列是否累积 进行数据一致性比较 强制全同步 检查目标端oracle数据库工作状态日常维护工作日常维护工作26 目标端正常进程启动的状态oracledbback-1 scripts$ ./checkoracle 30048 1 0 01:55 00:00:00 /dsg/bin/vagentd 4000oracle 30051 30048 0 01:55 00:00:20 /dsg/bin/vagentd 4000oracle 30046 1 0 01:55 00:00:00 /dsg/b

20、in/loader -s -qno 0 1oracle 30049 30046 0 01:55 00:00:17 /dsg/bin/loader -s -qno 0 1oracle 30050 30047 0 01:55 00:00:44 /dsg/bin/loader -s -qno 1 1oracle 30047 1 0 01:55 00:00:00 /dsg/bin/loader -s -qno 1 1oracle 30052 1 0 01:55 00:00:00 /dsg/bin/loader -s -qno 2 1oracle 30058 30052 0 01:55 00:00:12

21、 /dsg/bin/loader -s -qno 2 1oracle 30061 1 0 01:55 00:00:00 /dsg/bin/loader -s -qno 3 1oracle 30062 30061 0 01:55 00:00:13 /dsg/bin/loader -s -qno 3 1oracle 30053 1 0 01:55 00:00:00 /dsg/bin/loader -r -qno 0 1oracle 30057 30053 0 01:55 00:07:37 /dsg/bin/loader -r -qno 0 1oracle 30045 1 0 01:55 00:00

22、:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.r0 /dsg/log/archivelog/log.r0_archlog 43200如何判断进程启动是否正常如何判断进程启动是否正常27 源端正常进程启动状态oracledbmain-1 scripts$ ./checkoracle 19758 1 0 01:55 00:00:00 /dsg/bin/dbpsd 4002oracle 19765 1 0 01:55 00:00:00 /dsg/bin/vagentd 4000oracle 19767 19765 1 01:55 00:12:05 /dsg/b

23、in/vagentd 4000oracle 19766 1 0 01:55 00:00:00 /dsg/bin/sender -tseq 1oracle 8570 19766 0 02:56 00:00:23 /dsg/bin/sender -tseq 1oracle 19759 1 0 01:55 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.vagentd /dsg/log/archivelog/log.vagentd_archlog 43200oracle 19763 1 0 01:55 00:00:00 /dsg/bin/arch_va

24、gentd_dsg /dsg/log/log.sender /dsg/log/archivelog/log.sender_archlog 43200如何判断进程启动是否正常如何判断进程启动是否正常28 源端如何启动和停止进程 cd /dsg/scripts/ ./stop_vagentd ./start_vagentd ./check 目标端如何启动和停止进程 cd /dsg/scripts/ ./stop_vagentd ./start_vagentd ./check如何正常启动和停止进程如何正常启动和停止进程29 检查源端log日志是否出错cd /dsg/logtail f log.vag

25、entdgrp# size seq# bsz nab flg dup TH Next-SCN 2007/08/16 15:09:58 3 204800 15635 512 134216 8 1 1 0 xffffffffffff 15635.133893.012 1228800 5570 512 1185569 8 1 2 0 xffffffffffff 5570.1185537.02007-08-16:15:09:58: processing rba 5570.1185537.02007-08-16:15:09:58: processed returned on rba 5570.11855

26、69.0 SCN 0 xca7c.75730001 in 2007-8-16:15:09:56 (U:0:0,C:1:110) 11-I 10-D 50-U 0-DDL 红色时间表示源端数据库交易操作时间蓝色时间表示源端分析此交易的时间两者相减可以得出源端分析滞后的时间检查检查log日志是否出错日志是否出错30 检查目标端log日志是否出错 cd /dsg/log tail f log.r0 Loader: 1.xf1 2007-06-12:17:31:41: 19556-I 0-D 0-U 0-DDL (2086 ms) Loader: 2.xf1 2007-06-12:17:31:41:

27、0-I 19556-D 0-U 0-DDL (2086 ms) Loader: 3.xf1 2007-06-12:17:31:41: 0-I 0-D 0-U 19556-DDL (2086 ms) 红色部分表示：目标端装载相应xf1文件的编号蓝色部分表示：目标端装载此xf1文件的系统时间紫色部分表示：此xf1文件的具体操作的类型及相应的个数 绿色部分表示：装载此xf1花费的时间检查检查log日志是否出错日志是否出错31 定期删除DSG的归档日志 源端清除日志 cd /dsg/log/archivelog rm * 目标端清除日志 cd /dsg/log/archivelog rm *定期删除定

28、期删除DSG的归档日志的归档日志32 进入源端队列目录 $cd $DBPS_HOME/rmp/ $ls ltr *.xf1如果有大量的.xf1文件存在，则说明源端有了大量的累积队列，累积的原因可能在于： 源端发送程序(sender)进程不存在 源端发送出错 网络中断 目标端接收程序（vagentd）进程不存在检查源端发送队列文件检查源端发送队列文件33 进入目标端实时队列目录 $cd $DBPS_HOME/rmp/real0/ $ls ltr *.xf1如果有大量的.xf1文件存在，则说明目标端有了大量的累积队列，累积的原因可能在于： 目标端装载进程出错 目标端oracle故障网络中断 目标端

29、资源繁忙 目标端需要装载数据的表被其他应用程序lock检查目标端队列文件检查目标端队列文件34 DT：重新启动verify相关进程$cd $DBPS_HOME/scripts/ -进入目标端的realsync目录$./start_verify -初始化比对环境停止目标端已经运行的verify进程$./check_verify -检查比对进程是否正常启动 DS：发起比较$cd $DBPS_HOME/bin比较全部用户$./verify单独比较某个用户$./xexp dsg/dsg owner SGEORA check to_db:0:4001:dsg/dsg 如何进行一致性

30、比较如何进行一致性比较35 初始化复制环境起停进程登录到目标端主机 cd /dsg/scripts/./stop_vagentd 停止复制进程./clean 初始化复制环境，注意日常情况下使用此命令会使复制中断./start_vagentd登录到源端主机 cd /dsg/scripts/./stop_vagentd 停止复制进程./clean 初始化复制环境，注意日常情况下使用此命令会使复制中断 ./start_vagentd如何进行首次的初始化同步操作如何进行首次的初始化同步操作36 发起全同步操作登录到源端主机 cd /dsg/bin/./vmanVMAN vm即可正常发起全同步操作如何进

31、行首次的初始化同步操作如何进行首次的初始化同步操作37 全同步过程中源端的日志监控登录到源端主机 cd /dsg/log/tail -f log.vagentdrz 1.63% 20MB (R9: 3.33,C1:16.58,W1: 0.05,P:1.66,T:0,E:651)wr 2.44% 30MB (R9: 3.33,C5:11.37,W1: 0.06,P:2.00,T:0,E:1010)rw 3.25% 40MB (R9: 3.33,C2:11.51,W2: 0.04,P:2.22,T:0,E:1411)通过日志可以详细观察到源端读取的百分比（ 1.63% ）、已经抽取的大小（ 20MB ）、读取速度（ R9: 3.33），压缩比（C1:16.58），写速度（W1: 0.03），平均速度（P: 1.66）