DSGRealsync管理维护办法

1、DSG RealSync 操作治理手册 2012/1/14DSGdata Inc.目 录 TOC o 1-3 h z HYPERLINK l _Toc314305611 1RealSync工作原理 PAGEREF _Toc314305611 h 4 HYPERLINK l _Toc314305612 1.1原理概论 PAGEREF _Toc314305612 h 4 HYPERLINK l _Toc314305613 1.2日志抓取（Data Capture） PAGEREF _Toc314305613 h 5 HYPERLINK l _Toc314305614 1.3日志分析（Analyze

2、） PAGEREF _Toc314305614 h 5 HYPERLINK l _Toc314305615 1.4交易合成（Synthesize） PAGEREF _Toc314305615 h 6 HYPERLINK l _Toc314305616 1.5交易传输 PAGEREF _Toc314305616 h 7 HYPERLINK l _Toc314305617 1.6数据装载 PAGEREF _Toc314305617 h 8 HYPERLINK l _Toc314305618 2realsync支持列表 PAGEREF _Toc314305618 h 10 HYPERLINK l _

3、Toc314305619 2.1首次全同步 PAGEREF _Toc314305619 h 10 HYPERLINK l _Toc314305620 2.2复制关系维护 PAGEREF _Toc314305620 h 10 HYPERLINK l _Toc314305621 2.3DML操作复制支持 PAGEREF _Toc314305621 h 10 HYPERLINK l _Toc314305622 2.4DDL操作复制支持 PAGEREF _Toc314305622 h 12 HYPERLINK l _Toc314305623 2.5常见的不支持操作及处理方式 PAGEREF _Toc3

4、14305623 h 14 HYPERLINK l _Toc314305624 3各复制端口一览表 PAGEREF _Toc314305624 h 16 HYPERLINK l _Toc314305625 4软件部署结构讲明 PAGEREF _Toc314305625 h 19 HYPERLINK l _Toc314305626 5发起全同步并启动复制 PAGEREF _Toc314305626 h 20 HYPERLINK l _Toc314305627 6realsync目录和文件结构讲明 PAGEREF _Toc314305627 h 23 HYPERLINK l _Toc3143056

5、28 6.1源端安装目录讲明 PAGEREF _Toc314305628 h 23 HYPERLINK l _Toc314305629 6.1.1config目录重点文件讲明 PAGEREF _Toc314305629 h 23 HYPERLINK l _Toc314305630 6.1.2scripts目录中的文件讲明 PAGEREF _Toc314305630 h 23 HYPERLINK l _Toc314305631 6.1.3bin目录重点文件讲明 PAGEREF _Toc314305631 h 24 HYPERLINK l _Toc314305632 6.1.4log目录重点文件讲

6、明 PAGEREF _Toc314305632 h 24 HYPERLINK l _Toc314305633 6.1.5rmp目录重点文件讲明 PAGEREF _Toc314305633 h 25 HYPERLINK l _Toc314305634 6.2目标端安装目录讲明 PAGEREF _Toc314305634 h 25 HYPERLINK l _Toc314305635 6.2.1scripts目录重点文件讲明 PAGEREF _Toc314305635 h 25 HYPERLINK l _Toc314305636 6.2.2bin目录重点文件讲明 PAGEREF _Toc314305

7、636 h 26 HYPERLINK l _Toc314305637 6.2.3log目录重点文件讲明 PAGEREF _Toc314305637 h 26 HYPERLINK l _Toc314305638 6.2.4rmp目录重点文件讲明 PAGEREF _Toc314305638 h 26 HYPERLINK l _Toc314305639 7realsync日常维护 PAGEREF _Toc314305639 h 28 HYPERLINK l _Toc314305640 7.1进程检查 PAGEREF _Toc314305640 h 28 HYPERLINK l _Toc3143056

8、41 7.1.1数据复制的进程检查 PAGEREF _Toc314305641 h 28 HYPERLINK l _Toc314305642 7.2如何停止和启动进程 PAGEREF _Toc314305642 h 29 HYPERLINK l _Toc314305643 7.2.1源端进程的停止 PAGEREF _Toc314305643 h 29 HYPERLINK l _Toc314305644 7.2.2源端进程的启动 PAGEREF _Toc314305644 h 29 HYPERLINK l _Toc314305645 7.2.3目标端进程的停止 PAGEREF _Toc31430

9、5645 h 30 HYPERLINK l _Toc314305646 7.2.4目标端进程的启动 PAGEREF _Toc314305646 h 30 HYPERLINK l _Toc314305647 7.3日志监控 PAGEREF _Toc314305647 h 31 HYPERLINK l _Toc314305648 7.3.1源端日志分析监控 PAGEREF _Toc314305648 h 31 HYPERLINK l _Toc314305649 7.3.2目标端装载日志 PAGEREF _Toc314305649 h 34 HYPERLINK l _Toc314305650 7.4

10、队列累积查看 PAGEREF _Toc314305650 h 36 HYPERLINK l _Toc314305651 7.4.1源端日常是否xf1积压 PAGEREF _Toc314305651 h 36 HYPERLINK l _Toc314305652 7.4.2目标端日常是否xf1积压 PAGEREF _Toc314305652 h 37 HYPERLINK l _Toc314305653 7.5如何进行重新全同步 PAGEREF _Toc314305653 h 37 HYPERLINK l _Toc314305654 7.5.1停止并清空源端的realsync程序只需执行full_s

11、ync_ds.sh PAGEREF _Toc314305654 h 37 HYPERLINK l _Toc314305655 7.5.2停止并清空目标端的realsync程序秩序执行full_sync_dt.sh PAGEREF _Toc314305655 h 40 HYPERLINK l _Toc314305656 7.5.3重新启动源端的realsync程序只需执行start_dsg.sh PAGEREF _Toc314305656 h 41 HYPERLINK l _Toc314305657 7.5.4重新启动目标端的realsync程序只需执行start_dsg_dt.sh PAGER

12、EF _Toc314305657 h 42 HYPERLINK l _Toc314305658 7.5.5确认全同步差不多结束同时进入到实时同步时期 PAGEREF _Toc314305658 h 42 HYPERLINK l _Toc314305659 7.6如何修改日志分析间隔 PAGEREF _Toc314305659 h 45 HYPERLINK l _Toc314305660 7.7维护需要过滤的DDL操作 PAGEREF _Toc314305660 h 45 HYPERLINK l _Toc314305661 7.7.1过滤DDL操作的意义 PAGEREF _Toc31430566

13、1 h 45 HYPERLINK l _Toc314305662 7.7.2支持的过滤操作种类 PAGEREF _Toc314305662 h 45 HYPERLINK l _Toc314305663 7.8日常需要删除的一些文件 PAGEREF _Toc314305663 h 48 HYPERLINK l _Toc314305664 7.8.1检查磁盘阵列的剩余空间 PAGEREF _Toc314305664 h 48 HYPERLINK l _Toc314305665 7.8.2删除源端realsync的文件 PAGEREF _Toc314305665 h 48 HYPERLINK l _

14、Toc314305666 7.8.3删除目标端realsync的文件 PAGEREF _Toc314305666 h 49RealSync工作原理原理概论RealSync技术是针对数据库提供了基于逻辑的交易复制方式。该方式通过直接捕获源数据库的交易，将数据库的改变逻辑复制到目标系统数据库中，实现源系统和目标系统数据的一致性。如上图所示，RealSync在数据源（Data Source，简称DS）端和数据目标端（Data Target端，简称DT）分不安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发觉改变及时对目标数据库进行更新。当应用系统在Data Source

15、端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时猎取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据通过格式转化生成XF1数据格式，并实时通过网络传送到Data Target系统。Data Target系统的RealSync Agent接收数据库包，通过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易。日志抓取（Data Capture）RealSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle R

16、edo Log来猎取Data Source端的交易类型及数据的。RealSync Agent在推断Data Source端的Oracle系统是否有新的交易产生时是通过定期检查oracle提供的视图中记录的当前SCN号来推断的，如此幸免每次检都通过读取log文件来推断否有新的交易产生时造成的系统阻碍。在确认有新的交易产生时，能够同时获得当前的Redo Log 组，以及最新日志在日志文件的最新位置。RealSync Agent模块依照这些信息将上次抓取时记录的日志位置与本次读取的最新位置之间的Log读取并加以分析。然后将这些数据保存在Online Log Cache文件中，等待下一步作交易合成处理

17、。RealSync的优势：与其他类似日志复制产品相比，RealSync对日志进行分析，得到交易信息再进行传送；而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作Recover， 如此一来，不仅传送数据量大，而且目标端数据库不能打开。日志分析（Analyze）Oracle数据库的所有更改都记录在日志中，其中记录了对数据库中的每一个变化。当我们需要了解数据库中所作的交易时，一个最有效有用而又低成本的方法确实是分析Oracle数据库的日志文件。RealSync Agent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都

18、大大提高，要紧体现在系统性能的优化上，大幅度提高日志分析的速度，使得关于高并发业务系统的复制成为可能。按照RealSync的日志分析设计目标，每秒能够分析的日志量达到10M/s。RealSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成XF1格式的表达方式。XF1格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。交易合成（Synthesize）通过ORACLE RED

19、O LOG分析的交易指令存在如下的几个特点：（1）这些指令是交叉出现的，属于一个交易（Transaction）的多条SQL指令是非连续存储的，多个交易的SQL之间是相互穿插的；（2）Redo log中记录了所有的commit的交易以及没有commit的交易；因此，为了提高系统的可操纵性、保证逻辑完整性、幸免数据丢失，最好将复制的最小单位为一个交易（Transaction），而不是以单个SQL指令为复制单位，如此在Data Target端的交易装载更加容易操纵。同时，关于复制的数据而言，只有那些Commit的数据关于Data Target端系统是有意义的，而关于那些Rollback的数据无需复制

20、到Data target系统上。因此RealSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进行交易整合后以交易（Transaction）为单位进行复制，同时只复制COMMIT的交易。如上图所示，在Online Log Cache文件中，包括Commit的交易，没有Commit的交易和Rollback的交易。交易合成模块首先按照交易序号对SOL语句进行划分，每个交易包含多条SOL语句。然后，以交易为单位进行处理，将差不多Commit的交易，传至传输处理模块；将未提交的交易保存在本地，一旦通过日志得知保存的未提交交易已提交，立立即该交易发送到传输处理模块；对Rollback的交易作丢

21、弃处理。RealSync的优势：RealSync是以交易为单位进行传输的，而不是以SOL语句为单位进行传输的，更容易保证数据的一致性和完整性。交易传输RealSync技术为了保证数据传输的安全、可靠，在传输处理上作了专门的处理与支持:（1）数据在传输之前首先存入Data Source端的Cache，传输进程（sender）从Cache中读取交易数据封装为TCP/IP数据包传送给Data target端的vagentd进程。（2）在data target端，vagentd进程在收到传输的交易数据包后，首先存入Queue，然后由Load进程从Queue中严格按照交易的顺序装载交易信息。如上图所示，

22、负责传输的进程（sender）从本地队列中按照先进先出的原则抓取需要传输的交易，将交易数据封装成一个数据包后通过TCP/IP协议传递给对端系统。在封装的数据包的包头部分描述了包的大小。对端系统在同意到传来的数据包后，首先依照包头描述的包大小进行传输的合法性检查，推断是否传输完整。数据装载在传统的复制技术中，常用的数据装载方式是采纳Oracle 的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。这种方式在通用性上专门好，但关键在于性能问题特不突出。SQL语句的执行需要通过parse、plan、格式转换等过程，造成大量的系统开销。尤其是update和Delte操

23、作的大量Where子句操作需要进行复杂的查询定位任务，从而导致装载性能低下，对处理能力的要求比生产系统的还高。DSG RealSync在设计之初就定位于电信级大数据量系统的应用，因此在装载性能上进行了大幅度的改善，使得装载端的性能和处理能力需求降至最低。在其中DSG RealSync采纳了两个关键的技术提高了装载速度：（1）采纳XF1数据格式的装载；（2）采纳Rowid mapping的方式实现快速定位；XF1（DSG Extend Format）格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达

24、格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达方式。Oracle数据库系统在设计上提供了4个层次的接口，其中包括User层，SQL层，Transformation层和I/O层。其结构为：USERUSERSQLTransformationI/O在这四层当中，当采纳SQL接口进行数据装载时，调用的是User层，而DSG RealSync通过XF1数据格式装载时，调用I/O层直接将数据通过Oracle的最底层函数写入系统中，因此DSG RealSync在装载层上有一定优势；关于交易中的操作，存在着大量的Where子句操作，在采纳标准SQL语句执行这些操

25、作时，系统需要首先定位目标记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得特不庞大。DSG RealSync工具不采纳该方式实现装载数据的定位，而是通过ROW Mapping的方式实现记录的快速定位：当RealSync从源端Log文件中读取交易数据时，将获得该交易对应记录的所在位置，用rowid表示为rowid_ds；当该交易在目标端装载时，系统不翻译为Where子句，而是去通过保存在目标端的row mapping表获得对应目标端该记录的所在位置rowid，记录为rowid_dt。从而在目标端装载时通过rowid能够直接定位于该数据需要写入的位

26、置。幸免了大量的索引查找时刻。每条记录的row mapping信息是在该记录执行insert操作、sql loader或首次批量同步时建立起来的。RealSync的优势：DSG扩展格式XF1(DSG Extend Format)是RealSync产品的一个核心技术，是一种最高效率表示ORACLE记录的数据格式，该格式只需要通过最小的转换过程就能够装载到ORACLE数据库中，同时装载效率特不高。无需标准SQL语句执行的复杂过程加快装载速度关于Update，Delete等带Where子句的交易，能够大幅度提高装载速度realsync支持列表首次全同步（1）指定复制对象 指定需要复制的user 指定

27、需要复制的表 指定哪些表需要复制 指定哪些表不需要复制（2）不停业务的首次全同步（3）指定表的重新全同步复制关系维护（1）添加新表到复制任务（2）删除某些表的复制任务（3）添加新的用户到复制任务（4）删除某个用户的复制任务DML操作复制支持（1）支持的DML操作类型 Insert； Update； Delete；（2）支持对Truncate Table操作复制（3）支持DIRECT PATH LOADING在Logging模式下批量装载数据的复制 sqlldr direct=y impdp insert into /*+ APPEND */（4）提供ROWID Mapping模式的映射关系（支

28、持Unique key和非unique key的表的复制）（5）支持的DATA TYPES： CHAR DATE NUMBER LONG VARCHAR VARCHAR VARCHAR2 NCHAR NVARCHAR2 FLOAT LONG LONG RAW BLOB CLOB ROWID（6）支持的Table 类型 Table with partitions Table with chainedrows（7）支持Insert all操作insert all when 1=1 then into ts_test_nokey values (id , name,addr,info,sysdate

29、,systimestamp,num) when id=1000 then into ts_test values(id+1,name,addr , info,sysdate,systimestamp,num) select * from ts_test ;（8）支持Merge操作begin for i in 1.1000 loop if mod(i,3)=0 then insert into ts_test values( i , 测试|i , 中上海, 1, sysdate, systimestamp , i/200) ; end if ; end loop ; commit ; for i

30、 in 1.1000 loop merge into ts_test a using dual b on (a.id = i) when matched then update set name=测试|to_char(sysdate,yyyymmdd) when not matched then insert values ( i , 测试|i , 中上海, 1, sysdate, systimestamp , i/200) ; end loop ; commit ;end;DDL操作复制支持（1）系统支持的DDL操作Objects typeOperate type备注tablesCreate

31、 tableDrop tableTruncate tableAlter table:column_clauses:add_column_clausesmodify_column_clausesdrop_column_clauserename_column_clauseconstraint_clauses:ADD constraintsMODIFY constraintsDrop constraintsalter_table_partitioning:add_table_partitiondrop_table_partitiontruncate partition indexesCreateAl

32、terDropviewsCreateAlterDropsequencesCreateAlterfunctionsCreateAlterDropproceduresCreateAlterDroppackagesCreate packageCreate package bodyAlter packageDrop packageDrop package bodygrantalter databaseuserCreate userAlter userDrop userroleCreate roleAlter roleDrop rolecreate bodydirectoryCreate directo

33、ryDrop directoryprofileCreate profileAlter profileDrop profiledblinkCreate dblinkAlter dblinkDrop dblinkrevoke（2）支持的DDL操作配置可在以上支持的DDL中进行一些DDL是否复制的配置，包括： database level 的DDL过滤，可指定role,user,dblink，profile等database级的操作是否需要同步 USER level的DDL过滤：可指定user级下的重要操作是否需要同步，例如可指定所有的drop table等大破坏性的操作都不能被复制。 TABLE

34、LEVEL的ddl过滤：可指定某些重要表的TRUNCATE TABLE,DROP TABLE等大破坏性操作不被复制。常见的不支持操作及处理方式不支持的对象类型ClusterContextIOT TABLEORGANIZATION EXTERNAL tableNESTED TABLEXML TABLEDIRECTORYBITMAP INDEXDomain indexesLibraryType/type bodyUser defined typeBFILE以上对象或者数据类型DSG Realsync临时没支持，但假如应用中的确用到了这些对象，DSG将承诺立即支持，因为这些对象的数据差不多分析到了，

35、只只是是过滤了而已。不支持的database级的常见操作alter database add tablespacealter database add datafilealter system 不支持的schema下的对象操作关于nologging的table上执行的如下操作：insert /*+append*/, impdp, sqlldr direct=y；关于不支持的操作，只需要对这些表或整个schema进行一次全同步就能够把数据全部复制过去。各复制端口一览表生产系统容灾系统复制内容口腔医院复制IP:130.1.10.19安装路径：/oracle/realsync登录用户名：oracle

36、Dbpsd port：60000Vagentd port：60001IP：130.1.31.8安装路径：/oracle/realsync登录用户名：oracleVagentd port：60001DSG DSGXXKLOG XXKLOGOUTPBILL OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABADMINIST

37、RATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTPDOCTME

38、DADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE本地复制IP：130.1.10.18IP：130.1.10.6DSG DSGXXKLOG XXKLOGOUTPBILL OUTPBILLMHIS MHISNURSING NURSINGJJFORM JJFORMPRODUCTKEY PRODUCTKEYCPR CPRBONUS BONUSTOAD TOADAPPINFACE APPINFACEEXAMLABINTFACE EXAMLABINTFACEECONSTAT ECONSTATLAB LABAD

39、MINISTRATOR ADMINISTRATORITF_BALJ ITF_BALJPHARMACY PHARMACYEQUIPMENT EQUIPMENTINSURANCE INSURANCEINPBILL INPBILLSYSHIS SYSHISOUTPADM OUTPADMPACS PACSINQUIRE INQUIREPHYEXAM PHYEXAMSURGERY SURGERYBLDBANK BLDBANKINPADM INPADMLOGIN LOGINHCMS HCMSACCT ACCTORDADM ORDADMCOMM COMMEXAM EXAMTJ TJOUTPDOCT OUTP

40、DOCTMEDADM MEDADMINFECT INFECTWIRELESS WIRELESSMEDREC MEDRECINTERFACE INTERFACE安装路径：/sharedisk/realsync安装路径：/dsg/realsync登录用户名：oracle登录用户名：oraclevagentd port：50001vagentd port：50001dbpsd port：50000软件部署结构讲明如上图所示，RealSync在生产数据库(source)上和备份系统端(target)分不安装Agent进程，Source端的vagent进程对ORACLE日志进行监控，发觉改变及时对目标数

41、据库进行更新。当应用系统在Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时猎取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据通过格式转化生成XF1数据格式，并由发送进程sender实时通过网络传送到Target系统。Target系统的vagentd进程接收数据库包，通过校验码检查，确认正确的数据库包后，由装载进程loder调用Oracle函数按照交易的先后顺序在Target系统中执行该交易。dbpsd进程为治理操纵进程，该进程是在作系统配置和发起全同步时使用的，该进程一般安装在生产系统上。

42、vman程序为配置终端，该终端通过dbpsd进程治理source和target上的vagentd程序。发起全同步并启动复制发起全步的方式确实是在bin目录下执行vm文件。源端的全同步rac2 /sharedisk/realsync/bin$ cat vmconnect : 50000user root/dbpsset ds 1 -itvl 3 -state startset dt 1.1 -tgt db 2 -xf1 y -state startset dm 1.1 -cfg -sync ftcqiM6rac2 /sharedisk/realsync/bin$ ./vmanvmanvmset

43、dm过程的日志信息set dm过程是realsync软件中进行数据的导出和导入过程，该过程分为源端导出过程和目标端装载过程。导出过程的日志在源端的log/log.vagentd文件中，在导出过程中的日志信息如下：Log.vagentd日志内容（全同步过程中）$ cd log$ tail f log.vagentd$r 0.18% 13MB (R9: 4.44,C1: 0.00,W5: 0.00,P: 4.44,T:0,E:1) TIME:Thu Dec 15 23:14:55 2011/*开始抽取表，显示百分比（0.18%），差不多抽取的大小（13MB），读取速度（R9:4.44），压缩速度（

44、C1: 0.00，写速度（W5: 0.00），平均速度（P: 4.44），总共耗时（E:1ms）*/INFO: CR-POOL initialized! CR_POOL size: 1000, eliminate algorithm : 1(FIFO) xexp TBCS.SUBS_PRODUCT P_R_20 .(PID:26945 ReaderID:2)Performance report is disabledDetail Performance report is disabled2012-01-14:23:15:01, 0 sequence save to cachegrp# siz

45、e seq# bsz nab flg dup TH Next-SCN 2011/12/15 23:15:0110 4192256 21014 1024 1283568 8 1 1 0 xffffffffffff 21014.1283083.014 4192256 15840 1024 1668169 8 1 2 0 xffffffffffff 15840.1667573.0线程、日志大小、seq号、标志位、块大小、下一块、标志位（8为当前日志）假如出现以上信息表明全同步过程正常开始。log.s0,log.s1,log.s2,log.s3是全同步过程中目标端的日志执行tail -f log.s0

46、日志不断变化同时无错误提示表明目标端装载正常。$ cd log$tail f log.s0IPC_KEY=0 x630106cdCHECK_MEMLEAK is turned offEntering XF1ToOracleLoader(pid:17379, sem_no:8). .Loader: 0.xf1 2012-01-14:12:16:38: TRUNCATE TABLE ODS.SUBSCRIBER_1 .Truncate OK2012-01-14:12:16:38: 0-I 0-D 0-U 2-DDL(0 ms)Loader: 1.xf1 DP: handler size: 0, a

47、llocated 16384KB, maxrows one time 10242012-01-14:12:16:38: 1-I 0-D 0-U 0-DDL(0 ms)Loader: 2.xf1 Mapping TBCS. SUBSCRIBER - ODS. SUBSCRIBER_1ODS SUBSCRIBER_1 1 rows1 rows mapped如何推断全同步过程顺利完成全同步过程的完成分为两个时期：源端导出过程完成和目标端装载过程完成。源端导出过程完成的标志：源端导出过程都打印在log.vagentd日志中，在该日志的导出完成后会看到如下信息：= Summary of DBPS Exp

48、ress Export = Tables 6 (36) Rows 835752820 Extents 16272 Zip Level 1 To Read 4800.00MB Read 130176.00MB CR Read 0.00MB XF1 117434.39MB XF1 Zipped 33602.50MB (71.39%) Elapsed 00:32:59.579(1979.579s) =当看到以上的全同步导出统计信息时，可认为源端的导出差不多结束目标端装载过程完成的检查：目标端的装载是有多个队列共同完成的，因此我们需要监测几个队列下都差不多完成了。检查一：检查目标端的log.s*日志中

49、差不多没有新的任务在执行。检查二：检查目标端的rmp/sync0,sync1,sync2队列中差不多没有任何xf1文件。$ cd rmp$ls sync*sync0:cfg.loadernosync1:cfg.loadernosync2:cfg.loaderno当目标端装载完成全同步的数据后，将自动进入到实时同步时期，我们能够通过查看目标端的log.r0观看系统是否差不多自动进入到了实时同步时期：$ cd log$tail f log.r0Loader: 1.xf1 2011-12-16:03:31:41: 6-I 0-D 0-U 0-DDL(2086 ms)Loader: 2.xf1 201

50、1-12-16:03:31:41: 0-I 0-D 6-U 0-DDL(2086 ms)Loader:3.xf1 2011-12-16:03:31:41: 0-I 6-D 0-U 0-DDL(2086 ms)Loader: 4.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 5.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)Loader: 6.xf1 2011-12-16:03:31:41: 56-I 0-D 0-U 0-DDL(2086 ms)realsync目录

51、和文件结构讲明源端安装目录讲明安装完成的目录结构如下：rac2 /sharedisk/realsync$ ls -lrt total 128drwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 indexdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 softdrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:12 expdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:12 scriptsdrwxr-xr-x 3 dsg oinstall 96 Dec 15 21:21

52、 logdrwxr-xr-x 2 dsg oinstall 8192 Dec 15 21:24 vcfsddrwxr-xr-x 2 dsg oinstall 96 Dec 15 21:52 configdrwxr-xr-x 4 dsg oinstall 8192 Dec 19 12:00 bindrwxr-xr-x 3 dsg oinstall 32768 Dec 20 15:16 rmpdrwxr-xr-x 3 dsg oinstall 8192 Dec 20 15:16 vcfsarac2 /sharedisk/realsync$Scripts目录：所有脚本所在目录$VCFS_HOME：该

53、环境变量一般设为vcfsa，用以保存系统运行状态，如log读取的位置，uncommitted交易、统计信息$XLDR_HOME：该环境变量一般设为rmp，用以保存数据传输之前的缓存队列和传输操纵信息bin目录：执行文件所在目录Vcfsd目录：系统配置信息，由dbpsd进程使用config目录重点文件讲明mapping.ini：set dm命令中用到的映射关系文件。ddl.ini：对DDL操作过滤进行设置的配置文件。scripts目录中的文件讲明start_vagentd：启动realsync进程的脚本。stop_vagentd：停止realsync进程的脚本。clean_vagentd：删除r

54、ealsync工作过程中的所有的中间状态。注：clean_vagentd脚本只有在必须作重新全同步的时候才能使用，否则将造成专门大的破坏性。check：检查realsync所有启动的进程命令。bin目录重点文件讲明bin目录为所有执行文件和vm文件的存放地点vagentd：日志分析程序。sender：数据发送程序。dbpsd：服务程序。vman：字符菜单治理工具。vm：全同步执行批处理文件。其他命令均为DSG公司的工具程序，是为了检查问题时所使用的工具，用户可不必掌握。log目录重点文件讲明log目录存放了所有的进程日志文件：log.vagentd：日志分析过程的log文件。log.sende

55、r：发送过程的log文件。log.dbpsd：dbpsd进程的log文件。archivelog目录：该目录下为历史的log.vagentd和log.sender文件，这些文件可随时删除。rmp目录重点文件讲明源端rmp目录存放了所有发送的队列信息*.xf1文件：为sender发送的队列文件2.cfg.senderno：sender队列的操纵文件目标端安装目录讲明DSG /dsg/realsync$ ls -lrt total 32568drwxr-xr-x 2 dsg dba 96 Dec 15 21:07 indexdrwxr-xr-x 2 dsg dba 96 Dec 15 21:07 i

56、mpdrwxr-xr-x 2 dsg dba 96 Dec 15 21:07 softdrwxr-xr-x 3 dsg dba 96 Dec 15 23:14 vcfsadrwxr-xr-x 2 dsg dba 1024 Dec 16 13:46 scriptsdrwxr-xr-x 3 dsg dba 1024 Dec 16 16:44 logdrwxr-xr-x 2 dsg dba 96 Dec 19 09:35 configdrwxr-xr-x 4 dsg dba 1024 Dec 19 12:01 bindrwxr-xr-x 9 dsg dba 1024 Dec 19 18:15 rmp

57、dsgbasua1:/dsg/etlplus$Scripts目录：所有脚本所在目录$VCFS_HOME：该环境变量一般设为vcfsa，用以保存系统运行状态， $XLDR_HOME：数据装载之前的缓存队列和装载操纵信息Rowid mapping文件源数据库的数据字典文件bin目录：执行文件所在目录scripts目录重点文件讲明start_vagentd：启动realsync进程的脚本。stop_vagentd：停止realsync进程的脚本。clean_vagentd：删除realsync工作过程中的所有的中间状态。注：clean_vagentd脚本只有在必须作重新全同步的时候才能使用，否则将造

58、成专门大的破坏性。check：检查realsync所有启动的进程命令。bin目录重点文件讲明bin目录为所有执行文件和vm文件的存放地点vagentd：日志分析程序。loader：装载进程。其他命令均为DSG公司的工具程序，是为了检查问题时所使用的工具，用户可不必掌握。log目录重点文件讲明log目录存放了所有的进程日志文件：log.vagentd：数据接收过程的log文件。log.s0、log.s1、log.s2、log.s3：全同步过程中的装载日志文件。log.r0：增量复制过程中的装载日志文件。archivelog目录：该目录下为历史的log.r0，这些文件可随时删除。rmp目录重点文件

59、讲明目标端的rmp目录存放了特不重要的队列信息和rowid mapping信息。DSG /dsg/realsync/rmp$ ls -lrt total 428830drwxr-xr-x 2 dsg dba 96 Dec 15 23:14 verifydrwxr-xr-x 2 dsg dba 96 Dec 15 23:14 rowiddrwxr-x 2 dsg dba 115712 Dec 16 01:49 sync1drwxr-x 2 dsg dba 131072 Dec 16 04:22 sync2-rw-r-r- 1 dsg dba 711558 Dec 16 13:38 err_dum

60、p-rw-r-r- 1 dsg dba 2 Dec 16 13:38 idx.sync-rw-r-r- 1 dsg dba 1386 Dec 16 13:41 cfg.objs-rw-r-r- 1 dsg dba 1386 Dec 16 13:41 cfg.objs.old-rw-r-r- 1 dsg dba 6 Dec 16 16:44 cfg.syncdrwxrwxrwx 8 dsg dba 1024 Dec 16 16:44 imp_crmdb11drwxr-x 2 dsg dba 126976 Dec 16 16:44 sync0-rw-r-r- 1 dsg dba 2 Dec 16