下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、ogg 复制进程预防延迟解决方案二、小交易合并:哪些表会产生大量的小事务,放到一个进程中,使用小交易合并参数,控制每一次提交事务中的 sql 语句的数量,从而达到优化 的目的。grouptranspos 500三、并行处理与进程拆分:拆分粒度:(1)可以通过 schema 进行区分,每个复制链路负责一个或多个 schema;(schema 下的表太多,不适合这种拆分)(2)也可以根据表进行分割,每个进程负责不同表的集合;(可以进行这种拆分)(3)对于同一个表也可以通过Range拆分为几个进程同时处理。例如:(可以进行这种拆分,尤其对于这个表上存在大交易,大量事务) Replicat 1:MAP
2、 sales.acc t, TARGET sales.acc t, FILTER (RANGE (1, 2);Replicat 2:MAP sales.acc t, TARGET sales.acc t, FILTER (RANGE (2, 2);进程拆分的注意事项(1)各进程间没有同步机制,应尽量确保同一交易事务涉及表在一个进程。(2)单个extract进程可处理日志一般为30-50G/小时,单个replicat进程一般只能处理1G队列/小时,可采用一个extract对多个replicat 的模式。(3)由于ext rac t在cat ch up (追赶)模式需要读取归档日志,速度慢且耗费资
3、源高,建议ext rac t 一旦出现较大延迟则立即进行拆分保证抽取一致性由于OGG的Extract性能较高,可以使用尽量少的Extract完成抽取(1个),多个抽取进程之间以业务或Schema进行区分,单个Extract抽 取出来的队列中可以保证交易的一致性和先后顺序。尽量保证投递一致性(1)如单个Replicat无法满足一个队列投递数据要求,可以根据表进行分割,每个进程负责不同表的集合,尽量保证同一业务涉及表放在一个 Replicat中,可以保证一致性;(需临时禁止表间的外键链接保证Replicat可进行拆分)(2)对于同一个表也可以通过Range拆分为几个进程同时处理,Replicat拆
4、分可能临时造成各进程间不同步,但是多个Replicat性能会得到很大 提高,可以保证数据复制始终是实时的当源端出现灾难后,由于Extract可以保证源端抽取时数据的一致性,而目标端多Replicat读取的是同一个队列,当它们应用队列数据完毕 后是可以达到数据一致的而在 Goldengate 的 Pump 进程把这些日志传送到容灾端以后,由于容灾端的机器配置一般不如生产端的高。再加上与 Replicat 相比 Extract 本身的入库速度就比较慢。这会导致日志在容灾端大量的堆积, Replicat 出现延时。这就需要对 GoldenGate 的 Replicat 进程进行拆分,来增加入 库的速
5、度。拆分也有一定限度,不可以无止境的去拆分。因为每个Replicat都会占用系统的内存资源,而且会占用CPU资源。所以如果拆分太多的Replicat, 把系统的内存消耗完了以后,反而会导致入库的速度理慢。在拆分的时候要根据实际情况进行有效的拆分。四、示例:STEP 1:停止要拆分的进程stop repyaSTEP 2:查看要拆分进程的SEQNO和RBA号info repya 或 send repya,statusSTEP 3:为要新的进程编辑参数文件,这里叫做repyb edit params repybSTEP 4:添加repyb进程组,并为其添加trail文件add replicat repyb , exttrail . /dirdat/yb checkpointtableSTEP 5:修改repyb的指针和repya相同 alter repyb , extseqno 1 extrba 117945STEP 6:再次确认repya和repyb的指针已经修改到一致状态。info repyainfo repybSTEP: 一定要记住要把repya中拆分repyb中的表排除掉,否则会有重复数据。 edit params repyatableexclude scott .deptSTEP:启动 repya 和 repyb。 start rep*到这里goldengate就把比较慢的
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论