Oracle容灾备份实时备份 数据迁移应用实践

1、iStream DDS Oracle数据库复制软件介绍 DDS实时复制软件的技术体系 DRS逻辑备份与恢复 DDS解决方案与案例 DDS产品特点 技术交流SQL透明压缩传输redo logShare memoryDisk生产数据库 OCIShare memoryDiskSQL复制数据库 IP网络DTFPTRACKPMONSPMSGSPRECVSPCOMMPCLEANSHM-SYS系统参数以及状态信息PMERGESHM-MEM 交易信息交换区域Redo log Blocks共享内存区后台进程Msg.log磁盘缓存目 标数据库操作指令PTRACK跟踪到redo log增量信息，将其写入共享内存，并

2、通知 PMERGE 进行处理，PTRACK同时将此数据包写入缓存目录以便后续进程没有成功处理或系统其它异常情况时，这些数据能够恢复并重新进行处理。PMERGE收到PTRACK的通知，将收到的数据包进行各种必要的处理，生成处理后的数据包，将新数据包写入共享内存，并通知PCOMM 进行处理。PCOMM 收到PMERGE的通知，将收到的数据包发送到目标端系统，如果发送不成功（目标系统未启动、网络故障），将数据包写入缓存目录 。PCLEAN清道夫进程，负责将缓存中不再需要的文件删除掉。PPUTPMONTPMSGTSHM系统运行状态以及参数Msg.log磁盘缓存后台进程目标数据库操作指令PMONT负责建

3、立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态；PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到日志文件msg.log中；PRECVT负责接收界面发送来的管理命令并执行，接收增量数据包，装载历史数据；PPUT负责装载历史、增量信息到数据库中,做数据验证；PRECVTPCLEAN共享内存区delete from xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxcommitc

4、ommitupdate xx set xx where xxupdate xx set xx where xxrollbackMemoryTrackprocessInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxcommitInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set

5、 xx where xxxcommitMergeprocessMergeprocess 以交易为单位传输，保证数据的一致性和完整性 rollback的DML放弃处理Redo log生产数据库生产数据库复制数据库复制数据库datafiledatafileRedo logArchive logDDSDDSApplydatafile 步骤1：批量数据初始化同步 （快照方式与直接读取数据文件） 步骤2：增量数据实时更新 （支持裸设备、文件系统、OCFS）InstanceSGAShared poolSGA压缩传输压缩传输目标系统目标系统源系统源系统CommprocessCommprocessTrackp

6、rocessPUTprocess两端都设置磁盘缓存，交易文件按照交易顺序传输在网络中断、系统宕机、数据库shutdown等故障情况下，仍能保证复制数据的连续性等目标端确认写入磁盘后才删除源端数据对象过滤对象过滤Sys系统表系统表Table复制复制Schema复制复制Schema复制复制Table复制复制 表级复制 组级复制(多表) 用户级复制TablePartition TableTemporary TableIOTViewSequenceIndexProcedureFunctionPackageSynonymTriggerRolePrivilegeUDTMaterialized View 支

7、持异构平台，硬件可自由选择存储系统异构 DAS、NAS、SAN、IPSAN服务器异构 IBM aix、HP hpux、SUN solaris、Linux WindowsOracleOracleOracle Where 方式复制优点：源端目标段相互切换方便缺点：同步速度慢 rowid方式复制优点：同步速度快 缺点：源端目标段相互切换需做全同步 灵活的复制方式单向1:1复制,可实现完全复制和选择性复制N:1复制,可实现海量数据整合，集中(N无限制)1:N复制,可实现数据分发、筛选、迁移（N无限制）支持双向复制（where模式）OracleOracleOracleOracleOracleOracle

8、OracleOracleOracle Data Rollback Server 利用DDS产生的过程文件进行数据库回滚和前滚 重现数据库的历史状态，审计、查询、恢复单表回滚全部数据回滚交易系统DB容灾系统DBDDS软件0.dtf.bak1dtf.bak。100.dtf.bak101.dtf.bak。1000.dtf.bak10001.dtf.bak。10019.dtf10020.dtfDTF列表恢复交易数据库恢复时刻恢复数据回复同步时刻DRS truncate误操作给用户带来巨大损失 利用传统技术如何恢复？ DRS自动“保存”数据 保存时间通过配置参数指定Truncate table xxRe

9、name XX to XXCreate table XXXXXXXX 传统容灾技术的局限传统容灾技术的局限不能支持异构环境，产品选择余地小，成本不可控；在传输方面对带宽和距离的限制颇多；系统部署时间长、步骤复杂、对生产系统影响较大；容灾切换存在一定的风险； iStream DDSiStream DDS容灾方案特点容灾方案特点 支持异构硬件平台和异构操作系统环境 传输数据量小，带宽要求低，距离无限制 数据可以复用，可获更多投资回报 容灾切换没有风险1生产生产容灾容灾234距离距离100100公里公里1生产生产容灾容灾距离距离无限制无限制同城灾备数据库同城灾备数据库 Linux AS4U4 Ora

10、cle 10g异地灾备数据库异地灾备数据库Oracle 10g2个节点个节点RAC Linux AS4U4集中交易数据库集中交易数据库 Oracle 10G 2个节点个节点RACIBM AIX5L本地复制本地复制100M带宽带宽总部福州总部福州福州同城营业部灾备机房福州同城营业部灾备机房10M上海上海单实例Linux 10g单实例Linux 10g本地容灾查询2个节点IBM AIX5LDDS本地复制1000M带宽合肥总部总部机房2M同城营业部灾备机房 关键系统数据迁移的难点关键系统数据迁移的难点必须长时间停止业务交易用于导出导入数据；过长的业务中断时间，可能是几小时，也可能是几天；7*24运行

11、的业务系统如何迁移？ iStream DDS数据迁移优势数据迁移优势实时数据迁移，无需暂停业务交易；只有系统割接需要停止交易，分钟级；支持异构硬件、操作系统平台迁移；支持Oracle数据库不同版本之间的迁移；5节点节点Linux 10g RAC4节点节点Linux 10g RAC本地容灾查询本地容灾查询单实例单实例Linux 10g5公里公里DDS复制复制10M带宽带宽DDS本地复制本地复制1000M带宽带宽应用查询应用查询应用效果： 已经集中的用户量100万左右 实时复制过程中交易系统主机CPU占用率5% 本地数据复制平均延迟26秒 异地系统平均延迟48秒。 总部总部同城营业部灾备机房同城营

12、业部灾备机房 复制数据库实时打开 原来在生产系统上的操作可以转移到复制系统支持数据查询支持数据抽取支持数据回滚到历史时间点查询数据库查询数据库10g单实例单实例HP UINX 11.23容灾数据库容灾数据库10g单实例单实例HP UINX 11.23集中交易数据库集中交易数据库Oracle10g 2个节点个节点RAC HP UINX 11.23DDS本地复制本地复制1000M带宽带宽上海总部上海总部同城营业部灾备机房同城营业部灾备机房100公里公里 10M 建立企业第二数据中心 支持硬件及操作系统异构环境 支持不同的Oracle版本 支持数据过滤及筛选 支持本地或远程部署 支持数据源数据库数量

13、可达256个Oracle10gOracle9iOracle10gOracle9iOracle10g各地市生产交易库各地市生产交易库AIXAIX（oracleoracle为为10g 10g 或或9i)9i)主交易主交易2 2各县生产交易库各县生产交易库AIX(AIX(oracleoracle为为10g 10g 或或9 9i)i)主交易主交易1 1AIX10gAIX10g加加 HACMPHACMP异地容灾机房异地容灾机房DDSDDS复制复制DDSDDS复制复制多对一：容灾、查询、实时多对一：容灾、查询、实时监控等多种用途有效结合监控等多种用途有效结合应用查询应用查询，webweb实时监控实时监控源

14、端源端节点节点数总数总共为共为204204台台容灾查询容灾查询端只安装端只安装l l了一个数了一个数据库与一据库与一套套DDSDDS目标目标端软件端软件IBM IBM 小型机（小型机（AIXAIX）+ +Oracle 10gOracle 10g主交易主交易5959IBM PC SERVERIBM PC SERVER（LinuxLinux）+ +Oracle 10gOracle 10g主交易主交易1414IBM PC SERVER(Linux)+IBM PC SERVER(Linux)+Oracle 10g RACOracle 10g RAC异地容灾机房异地容灾机房DDSDDS复制复制DDSDDS复制复制多对一：容灾、查询、实时多对一：容灾、查询、实时监控与警综平台测试等多种监控与警综平台测试等多种用途有效结合用途有效结合应用查询应用查询，webweb实时监控实时监控源端主机分源端主机分别放在各地别放在各地市，共九台市，共九台机器机器, ,总数总数据量约为据量约为1.8TB1.8TB容灾查询容灾查询端只安装端只安装l l了一