高级复制_学习文档.doc

学习文档高级复制学习文档深圳九鼎新创科技有限公司 2010年10月文档信息文挡名称作者QQ邮件高级复制学习文档文档修订记录编号修订内容简述修订日期修订前版本号1完成高级复制学习文档初稿2010-12-242010-12-24深圳九鼎新创科技有限公司目录一引言5二高级复制前期要求13三配置复制环境141创建复制环境流程142创建复制站点162.1设置站点概要162.2设置master站点172.3设置物化视图站点233创建master组294创建部署模板384.1部署模板的概念384.2在创建部署模板之前384.3创建部署模板394.4打包部署模板用于安装455创建物化视图组505.1创建物化视图组概要505.2创建物化视图组516配置冲突解决方案626.1冲突解决方案前的准备626.2创建一个用于update冲突的解决方案626.3创建一个用于唯一性冲突的解决方案766.4创建一个避免删除冲突的解决方案806.5使用动态所有权避免冲突836.6审核成功解决冲突86四复制环境的管理和监控887管理master复制环境887.1变更master定义站点887.2增加一个新的master站点897.3从master组中移除一个master站点1077.4更新数据字典注释1097.5使用程序复制1098管理物化视图复制环境1138.1刷新物化视图1138.2变更物化视图组的master站点1138.3删除物化视图组和对象1148.4管理物化视图日志1218.5使用导出导入完成物化视图站点的脱机实例化1248.6为物化视图组使用组owner1319管理复制对象和队列1379.1修改复制对象1379.2修改表但不复制修改1389.3在复制表中转换LONG到LOB1409.4确认修正复制表的差异1419.5管理延迟事务队列1449.6管理错误队列14710监控复制环境14910.1监控master复制环境14910.2监控物化视图站点15510.3监控管理请求15910.4监控延迟事务队列16110.5监控错误队列16510.6监控复制环境的性能167五高级复制常使用的包：17111DBMS_REPCAT17111.1CREATE_MASTER_REPGROUP17111.2CREATE_MASTER_REPOBJECT17111.3GENERATE_REPLICATION_SUPPORT17211.4ADD_MASTER_DATABASE17211.5RESUME_MASTER_ACTIVITY17311.6SUSPEND_MASTER_ACTIVITY17312DBMS_DEFER_SYS17312.1SCHEDULE_PUSH17312.2SCHEDULE_PURGE174一 引言从一个物化视图的实验开始。1. 简单的通过DBLINK和物化视图完成异库的表同步。ORACLE for WINDOWSORACLE for LINUX将10g上的表同步到9i上的物化视图上。定时快速刷新，物化视图的查询语句为2张基表的普通连接。10g上的用户是liaody9i上的用户是ldy这一同步的方向是单向的，仅为从10g同步到9i，在10g上操作，在9i上的物化视图仅是只读。1.1. 基表没有主键10g上的2张表，表连接通过前6个字段连接。表上没有主键，也没有索引。SQL desc qrw01; 名称 是否为空? 类型 - - - ID NUMBER A1 CHAR(10) A2 CHAR(10) A3 CHAR(10) A4 CHAR(10) A5 CHAR(10) OTHER1 CHAR(10) OTHER2 CHAR(10) OTHER3 CHAR(10)SQL desc qrw02; 名称 是否为空? 类型 - - - ID NUMBER A1 CHAR(10) A2 CHAR(10) A3 CHAR(10) A4 CHAR(10) A5 CHAR(10) B1 CHAR(10) B2 CHAR(10) B33 CHAR(10)快速刷新需要在这2张表上建立物化视图日志create materialized view log on liaody.qrw01 with rowid;create materialized view log on liaody.qrw02 with rowid;在9i上建立dblink，在9i上可以通过这个dblink访问到10g上的前面2张表。Create public database link rep_ora10g CONNECT to liaody identified by liaody using ora10g;SQL select count(*) from qrw01rep_ora10g; COUNT(*)- 2000SQL select count(*) from qrw02rep_ora10g; COUNT(*)- 9000在9i上创建一个物化视图，由于基表的物化视图日志是基于rowid的，所以创建的物化视图查询语句中也需要包含rowid。创建基表在远程数据库上的物化视图，有一些限制，例如：1. 不能创建ON COMMIT子句的物化视图。2. 建立refresh fast类型的物化视图需要主键。3. 远程数据库基表需要预计算的物化视图，只能建立REFRESH FORCE 或 REFRESH COMPLETE的物化视图。不能建立快速刷新的物化视图。4.创建这个物化视图，其中包含了START WITH和NEXT，这样建立之后，会自动建立1个刷新物化视图的job，频率就是设置的5分钟(5/1440)。要确保job_queue_processes参数大于0，job才会正常执行。CREATE MATERIALIZED VIEW LDY.rep_ora10g_tabrefresh FORCE ON DEMANDSTART WITH TO_DATE(25-11-2010 15:20:00,dd-mm-yyyy hh24:mi:ss) NEXT SYSDATE + 5/1440WITH ROWIDAS select q1.rowid q1rowid,q2.rowid q2rowid,q1.id,q1.other1,q1.other2,q1.other3,q2.b1,q2.b2,q2.b33 from qrw01rep_ora10g q1,qrw02rep_ora10g q2 where q1.id=q2.idand q1.a1=q2.a1and q1.a2=q2.a2and q1.a3=q2.a3and q1.a4=q2.a4and q1.a5=q2.a5;创建之后的，该物化视图的信息，物化视图的刷新方式是FORCE，首次刷新是完全刷新。select owner,mview_name,master_link,refresh_method,last_refresh_type,last_refresh_date from dba_mviews;OWNER MVIEW_NAME MASTER_LINK REFRESH_ LAST_REF LAST_REFRESH_DATE- - - - - -LDY REP_ORA10G_TAB REP_ORA10G FORCE COMPLETE 2010-11-25 15:15:175分钟后物化视图刷新了，但是仍旧是完全刷新。OWNER MVIEW_NAME MASTER_LINK REFRESH_ LAST_REF LAST_REFRESH_DATE- - - - - -LDY REP_ORA10G_TAB REP_ORA10G FORCE COMPLETE 2010-11-25 15:20:27完全刷新不需要用到物化视图，所以在完全刷新之后，10g库上的物化视图日志没有清除。尝试将10g库上的2个物化视图日志删除，9i库上的完全刷新依然正常。1.2. 基表上有主键重新建立2张表，2张表都包含主键，用存储过程生成数据。create table liaody.qrw03(id number primary key,a1 char(10),a2 char(10),a3 CHAR(10),a4 CHAR(10),a5 CHAR(10),other1 CHAR(10),other2 CHAR(10),other3 CHAR(10);create table liaody.qrw04(id number primary key,a1 CHAR(10),a2 CHAR(10),a3 CHAR(10),a4 CHAR(10),a5 CHAR(10),b1 CHAR(10),b2 CHAR(10),b3 CHAR(10);beginfor i in 1.1000 loopinsert into qrw03 values (i,dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2);commit;end loop;end;/declarevarsql varchar2(200);CURSOR mycur isselect id,a1,a2,a3,a4,a5from qrw03;beginfor varsql in mycur loopinsert into qrw04 values (varsql.id,varsql.a1,varsql.a2,varsql.a3,varsql.a4,varsql.a5,dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2);insert into qrw04 values (varsql.id+1000,varsql.a1,varsql.a2,varsql.a3,varsql.a4,dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2);insert into qrw04 values (varsql.id+2000,varsql.a1,varsql.a2,varsql.a3,varsql.a4,dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2),dbms_random.string(u, 2);commit;end loop;end;/在qrw03和qrw04表上建with primary key的物化视图：create materialized view log on qrw03 with primary key;create materialized view log on qrw04 with primary key;在9i库上建立快速刷新物化视图仍然是报错，和前面一个例子一样。根据yangtingkun的帖子：/4227/viewspace-68996对于预计算的物化视图，基表是不能包括远端表的。那么就没有任何办法将预计算的物化视图快速刷新到远端了吗？也并不是没有办法，但是这个方法与建立预计算的初衷可能并不一致。那就是，在基表所在数据库建立快速刷新的预计算物化视图，在利用物化视图复制将预计算物化视图复制到远端数据库。使用这个方法的缺点是大部分的工作量全部有基表所在站点承担，除了物化视图日志增加的负载，还包括了建立、刷新大量的预计算物化视图的负载，以及预计算物化视图日志的负载，而对于基表站点本身来说，预计算物化视图是没有实际的作用的。不过，这种方法毕竟解决了预计算物化视图不能快速刷新到远端站点的问题。如果基表所在数据库的负载较轻的话，是可以考虑这个方案的。SQL CREATE MATERIALIZED VIEW LDY.rep_ora10g_tab02 2 refresh fast ON DEMAND 3 START WITH TO_DATE(25-11-2010 15:58:00,dd-mm-yyyy hh24:mi:ss) NEXT SYSDATE + 1/1440 4 WITH PRIMARY KEY 5 AS 6 select q1.rowid q1rowid,q2.rowid q2rowid,q1.id, 7 q1.other1,q1.other2,q1.other3,q2.b1,q2.b2,q2.b3 8 from qrw03rep_ora10g q1,qrw04rep_ora10g q2 9 where q1.id=q2.id;where q1.id=q2.id *ERROR at line 9:ORA-12015: cannot create a fast refresh materialized view from a complex query复杂物化视图不能快速刷新，会降低网络性能。可以建立子查询的快速刷新物化视图，但是只有1张表的字段内容，这个是一个简单的物化视图：带子查询的物化视图，为了达到快速刷新的能力，必须是主键物化视图。CREATE MATERIALIZED VIEW LDY.rep_ora10g_tab03refresh fast ON DEMANDSTART WITH TO_DATE(26-11-2010 11:13:00,dd-mm-yyyy hh24:mi:ss) NEXT SYSDATE + 1/1440WITH PRIMARY KEYAS select * from qrw03rep_ora10g q1 where exists(select * from qrw04rep_ora10g q2 where q1.id=q2.idand q1.a1=q2.a1and q1.a2=q2.a2and q1.a3=q2.a3and q1.a4=q2.a4and q1.a5=q2.a5);带子查询的物化视图为了能达到快速刷新的能力，必须满足许多约束条件，具体如下： 必须是主键物化视图； 物化视图日志必须包括某些在子查询中出现的列； 如果子查询是多对多或一对多查询，连接列中非主键的部分必须包括在物化视图日志中，多对一子查询没有这个约束； 子查询必须是肯定条件，比如，你可以使用 EXISTS，但是不能使用 NOT EXISTS； 子查询必须使用 EXISTS 连接到嵌套层（nested level） ，不能使用 IN； 每张表只允许一个 EXISTS表达式； 连接表达式必须采用精确匹配或等于连接； 在子查询中，每张表只能被连接一次； 在嵌套层（nested level）中，每张表必须有主键存在； 嵌套层（nested level）只能参考比它高的层中的表； 子查询可以包含 AND 操作，但是每个 OR 操作只能连接“能确定一条记录”的列，子查询中多个 OR 运算可以通过 AND 连接； 子查询中的所有表必须在同一个主体站点或主物化视图站点中。 1.3. 利用1.1中的2张表，在10g数据库上建立一个快速刷新的物化视图，然后再将该物化视图同步到9i数据库上。再建回qrw01和qrw02上的物化视图日志create materialized view log on liaody.qrw01 with rowid;create materialized view log on liaody.qrw02 with rowid;在10g上建立快速刷新的物化视图，每1分钟刷新一次。create materialized view qrw_mv01refresh fastwith rowidon demand START WITH TO_DATE(25-11-2010 16:55:00,dd-mm-yyyy hh24:mi:ss) NEXT SYSDATE + 1/1440asselect q1.rowid q1rowid,q2.rowid q2rowid,q1.id,q1.other1,q1.other2,q1.other3,q2.b1,q2.b2,q2.b33 from qrw01 q1,qrw02 q2 where q1.id=q2.idand q1.a1=q2.a1and q1.a2=q2.a2and q1.a3=q2.a3and q1.a4=q2.a4and q1.a5=q2.a5;每隔1分钟，自动快速刷新SQL select count(*) from qrw_mv01; COUNT(*)- 7010SQL delete qrw02 where rownum commit;提交完成。SQL select count(*) from qrw_mv01; COUNT(*)- 7010SQL select count(*) from qrw_mv01; COUNT(*)- 6910上次执行采用的是快速刷新，同时查看物化视图日志，内容也已经清除。SQL select owner,mview_name,master_link,refresh_method,last_refresh_type,last_refresh_date from all_mviews;OWNER MVIEW_NAME MASTER_LINK REFRESH_ LAST_REF LAST_REFRESH_D- - - - - - -LIAODY QRW_MV01 FAST FAST 2010-11-25 16:57:14在物化视图qrw_mv01上建立一个with rowid的物化视图日志：create materialized view log on liaody.qrw_mv01 with rowid;在9i数据库上建立这个物化视图的快速刷新物化视图：依然不能建立on commit的物化视图：SQL CREATE MATERIALIZED VIEW LDY.rep_ora10g_tab02 2 refresh fast ON commit 3 WITH rowid 4 AS 5 select * 6 from qrw_mv01rep_ora10g;select * *ERROR at line 5:ORA-12054: cannot set the ON COMMIT refresh attribute for the materialized view建立1个延迟快速刷新的物化视图CREATE MATERIALIZED VIEW LDY.rep_ora10g_tab02refresh fast ON DEMANDSTART WITH TO_DATE(25-11-2010 15:58:00,dd-mm-yyyy hh24:mi:ss) NEXT SYSDATE + 1/1440WITH rowidAS select *from qrw_mv01rep_ora10g;在9i上会快速刷新10g的那张物化视图，并且那张物化视图的物化视图日志也会被清空。SQL select owner,mview_name,master_link,refresh_method,last_refresh_type,last_refresh_date from dba_mviews;OWNER MVIEW_NAME MASTER_LINK REFRESH_ LAST_REF LAST_REFRESH_DATE- - - - - -LDY REP_ORA10G_TAB02 REP_ORA10G FAST FAST 2010-11-25 16:16:38从上面的实验可以看出，单纯使用物化视图去同步表有很多限制。使用高级复制的话，可以复制多种对象，如表、索引、存储过程、触发器等。而且可以在多个站点间相互同步，同步或异步复制。下面开始高级复制的内容。二 高级复制前期要求高级复制使用内部触发器来捕捉对象变化，生成RPCs(remote procedure calls)，高级复制可以在不同平台不同ORACLE版本之间实现为了正确地侦测复制冲突，Oracle必须能够找到在不同的站点之间对于相关行的唯一标示。这就要求在复制环境中，每个表都必须有主键，如果没有主键，那么也必须指定多个字段的组合来作为唯一标示。一个可更新的物化视图，就是物化视图的更新可以推回基表，需要是主键物化视图，就是基表包含主键。配置高级复制环境，需要设置参数GLOBAL_NAMES为TRUE。GLOBAL_NAMES指定了DBLINK是否要求和被连接的数据库具有相同的名称。如果GLOBAL_NAMES为false，则不执行检查。如果使用或计划使用分布式处理，Oracle建议设置该参数为true，确保在同一个网络环境中连接和数据库名的命名一致。数据的global_name具有域名，相同域名之间才能进行复制。其他还需要设置一些相关参数，如job_processes等，满足需求。三 配置复制环境1 创建复制环境流程在开始之前，需要考虑一些问题。1. 设计需要复制的数据库对象。2. 设置与复制相关的一些参数。3. 决定是需要创建一个多主站点的复制环境，还是一个物化视图复制环境，或者是这2种类型混合环境。4. 决定如何配置需要的调度连接。5. 决定如何配置调度purge6. 决定是使用串行传播还是并行传播。7. 如果使用并行传播，还需要决定并行度。8. 如果要创建物化视图环境，需要决定是否使用部署模板来创建物化视图。9. 分析该环境是否可能存在冲突，如果存在冲突，决定使用哪种冲突解决方法。10. 为复制环境配置安全策略。11. 决定复制环境的长期有效性。2 创建复制站点2.1 设置站点概要建立复制环境，需要设置站点加入这个复制环境，下面2个图分别对比了多主站点复制和物化视图站点。这里的例子涉及以下数据库：orc1.worldorc2.worldorc3.worldorc4.worldorc5.worldmv1.worldmv2.world其中mv2.world的物化视图是基于mv1.world的物化视图。2.2 设置master站点设置master站点的流程：下面一步一步配置3个主站点环境，orc1.world、orc2.world、orc3.world。在配置之前，需要保证它们之间的网络和ORACLE NET正常。设置orc1.world以下步骤完成在orc1.world master站点上的设置。步骤1通过SYSTEM用户连接到orc1.world站点。CONNECT SYSTEM/MANAGERorc1.world步骤2创建一个复制管理员账号：CREATE USER repadmin IDENTIFIED BY repadmin;步骤3给复制管理员账号分配权限，执行GRANT_ADMIN_ANY_SCHEMA存储过程，分配创建和管理复制环境的权限。BEGIN DBMS_REPCAT_ADMIN.GRANT_ADMIN_ANY_SCHEMA ( username = repadmin);END;/如果想要repadmin帐号可以在所有复制的表上建立物化视图日志，还需要分配COMMENT ANY TABLE 和LOCK ANY TABLE权限给它：GRANT COMMENT ANY TABLE TO repadmin;GRANT LOCK ANY TABLE TO repadmin;如果repadmin帐号连接到复制管理工具，还需要分配SELECT ANY DICTIONARY权限：GRANT SELECT ANY DICTIONARY TO repadmin;步骤4注册传播者传播者负责传播延迟事务队列到其他master站点上。BEGIN DBMS_DEFER_SYS.REGISTER_PROPAGATOR ( username = repadmin);END;/步骤5注册接收者。接收者用来接收其他master站点传播的延迟事务队列。BEGIN DBMS_REPCAT_ADMIN.REGISTER_USER_REPGROUP ( username = repadmin, privilege_type = receiver, list_of_gnames = NULL);END;/步骤6在master站点上调度purge。为了保持延迟事务队列的大小，便于check。需要purge成功完成的延迟事务。SCHEDULE_PURGE存储过程自动地purge，执行该存储过程必须使用复制管理账号。CONNECT repadmin/repadminorc1.worldBEGINDBMS_DEFER_SYS.SCHEDULE_PURGE (next_date = SYSDATE, interval = SYSDATE + 1/24, delay_seconds = 0);END;/步骤7创建代理master站点用户。如果准备基于master站点创建物化视图站点，需要创建一个代理master站点用户，对应物化视图站点的用户。创建代理物化视图管理员：代理物化视图管理员用于物化视图站点的物化视图管理员在目标master站点上处理任务。CONNECT SYSTEM/MANAGERorc1.worldCREATE USER proxy_mviewadmin IDENTIFIED BY proxy_mviewadmin;BEGIN DBMS_REPCAT_ADMIN.REGISTER_USER_REPGROUP ( username = proxy_mviewadmin, privilege_type = proxy_snapadmin, list_of_gnames = NULL);END;/如果希望在物化视图站点的物化视图管理员可以使用复制管理器工具完成管理操作，需要分配SELECT_CATALOG_ROLE 权限。GRANT SELECT_CATALOG_ROLE TO proxy_mviewadmin;如果不使用复制管理器工具，那么并不需要给proxy_mviewadmin用户分配权限。但是，如果需要使用复制管理器工具，需要在执行REGISTER_USER_REPGROUP存储过程之前分配权限。创建代理刷新用户。代理刷新用户用于物化视图站点的刷新用户在目标master站点上处理任务。CREATE USER proxy_refresher IDENTIFIED BY proxy_refresher;GRANT CREATE SESSION TO proxy_refresher;GRANT SELECT ANY TABLE TO proxy_refresher;以上7个步骤完成了在orc1.world站点上的设置，完成了上面步骤之后还需要在orc2.world和orc3.world站点上的设置。配置orc2.world和orc3.world站点配置方法与配置orc1.world相同。在master站点之间创建调度连接以下步骤完成在各master站点之间的调度连接创建。步骤1在master站点之间创建dblink。Dblink提供了分布式机制，允许不同站点之间复制数据。在创建私有dblink之前，必须先创建用于每个私有dblink的公有dblink。私有dblink要创建在复制管理员账号下。CONNECT SYSTEM/MANAGERorc1.worldCREATE PUBLIC DATABASE LINK orc2.world USING orc2.world;CREATE PUBLIC DATABASE LINK orc3.world USING orc3.world;CONNECT repadmin/repadminorc1.worldCREATE DATABASE LINK orc2.world CONNECT TO repadmin IDENTIFIED BY repadmin;CREATE DATABASE LINK orc3.world CONNECT TO repadmin IDENTIFIED BY repadmin;CONNECT SYSTEM/MANAGERorc2.worldCREATE PUBLIC DATABASE LINK orc1.world USING orc1.world;CREATE PUBLIC DATABASE LINK orc3.world USING orc3.world;CONNECT repadmin/repadminorc2.worldCREATE DATABASE LINK orc1.world CONNECT TO repadmin IDENTIFIED BY repadmin;CREATE DATABASE LINK orc3.world CONNECT TO repadmin IDENTIFIED BY repadmin;CONNECT SYSTEM/MANAGERorc3.worldCREATE PUBLIC DATABASE LINK orc1.world USING orc1.world;CREATE PUBLIC DATABASE LINK orc2.world USING orc2.world;CONNECT repadmin/repadminorc3.worldCREATE DATABASE LINK orc1.world CONNECT TO repadmin IDENTIFIED BY repadmin;CREATE DATABASE LINK orc2.world CONNECT TO repadmin IDENTIFIED BY repadmin;步骤2定义每个dblink的调度，创建调度连接。使用SCHEDULE_PUSH存储过程定义调度连接。该调度连接决定了多长时间传播延迟事务队列到其他master站点。需要为第一步中建立的每一个dblink都执行一次SCHEDULE_PUSH过程。即使在使用了Oracle的异步复制机制，也可以配置连续的调度连接，实时复制。下面调度连接的例子是一个连续复制。CONNECT repadmin/repadminorc1.worldBEGIN DBMS_DEFER_SYS.SCHEDULE_PUSH ( destination = orc2.world, interval = SYSDATE + (1/144), next_date = SYSDATE, parallelism = 1, execution_seconds = 1500, delay_seconds = 1200);END;/BEGIN DBMS_DEFER_SYS.SCHEDULE_PUSH ( destination = orc3.world, interval = SYSDATE + (1/144), next_date = SYSDATE, parallelism = 1, execution_seconds = 1500, delay_seconds = 1200);END;/CONNECT repadmin/repadminorc2.worldBEGIN DBMS_DEFER_SYS.SCHEDULE_PUSH ( destination = orc1.world, interval = SYSDATE + (1/144), next_date = SYSDATE, parallelism = 1, execution_seconds = 1500, delay_seconds = 1200);END;/BEGIN DBMS_DEFER_SYS.SCHEDULE_PUSH ( destination = orc3.world, interval = SYSDATE + (1/144), next_date = SYSDATE, parallelism = 1, execution_seconds = 1500, delay_seconds = 1200);END;/CONNECT repadmin/repadminorc3.worldBEGIN DBMS_DEFER_SYS.SCHEDULE_PUSH ( destination = orc1.world, interval = SYSDATE + (1/144), next_date = SYSDATE, parallelism = 1, execution_seconds = 1500, delay_seconds = 1200);END;/BEGIN DBMS_DEFER_SYS.SCHEDULE_PUSH ( destination = orc2.world, interval = SYSDATE + (1/144), next_date = SYSDATE, parallelism = 1, execution_seconds = 1500, delay_seconds = 1200);END;/2.3 设置物化视图站点设置物化视图站点的流程：设置mv1.worldmv1.world站点为master物化视图站点，mv2.world基于该站点。在设置物化视图站点之前，需要先确保网络和ORACLE NET。以下步骤完成在mv1.world站点上的设置。步骤1在物化视图站点上使用system用户连接。CONNECT SYSTEM/MANAGERmv1.world步骤2创建物化视图站点用户。在物化视图站点，必须创建以下用户：1. 物化视图管理员。2. 传播用户3. 刷新用户4. 接收用户(如果该站点作为master站点为其他物化视图服务，如mv1.world)创建物化视图管理员。物化视图管理员负责创建和管理物化视图站点。执行GRANT_ADMIN_ANY_SCHEMA存储过程，可以分配物化视图管理员适当的权限。C