Oracle容灾备份实时备份+数据迁移应用实践

1、 Oracle:实时备份、 数据迁移应用实践iStream DDS Oracle数据库复制软件介绍1概要DDS实时复制软件的技术体系DRS逻辑备份与恢复DDS解决方案与案例DDS产品特点技术交流2DDS技术架构传输进程 sSQL数据查询透明压缩传输采集进程分析进程 s业务系统交易合成 sredo logShare memoryDisk生产数据库 接收进程 s交易装载 sOCIShare memoryDiskSQL复制数据库 IP网络DTF3源端体系结构PTRACKPMONSPMSGSPRECVSPCOMMPCLEANSHM-SYS系统参数以及状态信息PMERGESHM-MEM 交易信息交换区域

2、Redo log Blocks共享内存区后台进程Msg.log磁盘缓存目 标数据库操作指令PTRACK跟踪到redo log增量信息，将其写入共享内存，并通知 PMERGE 进行处理，PTRACK同时将此数据包写入缓存目录以便后续进程没有成功处理或系统其它异常情况时，这些数据能够恢复并重新进行处理。PMERGE收到PTRACK的通知，将收到的数据包进行各种必要的处理，生成处理后的数据包，将新数据包写入共享内存，并通知PCOMM 进行处理。PCOMM 收到PMERGE的通知，将收到的数据包发送到目标端系统，如果发送不成功（目标系统未启动、网络故障），将数据包写入缓存目录 。PCLEAN清道夫进程

3、，负责将缓存中不再需要的文件删除掉。4目标端体系结构PPUTPMONTPMSGTSHM系统运行状态以及参数Msg.log磁盘缓存后台进程目标数据库操作指令PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态；PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到日志文件msg.log中；PRECVT负责接收界面发送来的管理命令并执行，接收增量数据包，装载历史数据；PPUT负责装载历史、增量信息到数据库中,做数据验证；PRECVTPCLEAN共享内存区5数据库日志分析技术的概念6delete from xx where xxupdate x

4、x set xx where xxupdate xx set xx where xxupdate xx set xx where xxupdate xx set xx where xxcommitcommitupdate xx set xx where xxupdate xx set xx where xxrollback事务合成 transaction mergeMemoryMerge完整交易TrackprocessInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set x

5、x where xxxupdate xx set xx where xxxcommitInsert into xx values xxdelete from xx where xxxupdate xx set xx where xxxupdate xx set xx where xxxcommitMergeprocessMergeprocess 以交易为单位传输，保证数据的一致性和完整性 rollback的DML放弃处理Redo log翻译DML7批量同步和增量复制生产数据库复制数据库datafiledatafileRedo logArchive logDDSDDSApplydatafile步

6、骤1：批量数据初始化同步 （快照方式与直接读取数据文件）步骤2：增量数据实时更新 （支持裸设备、文件系统、OCFS）InstanceSGAShared poolSGA压缩传输8目标系统源系统缓存队列和传输保证CommprocessCommprocessOKTrackprocessPUTprocess两端都设置磁盘缓存，交易文件按照交易顺序传输缓存队列缓存队列在网络中断、系统宕机、数据库shutdown等故障情况下，仍能保证复制数据的连续性等目标端确认写入磁盘后才删除源端数据9选择性复制对象过滤Sys系统表Table复制Schema复制Schema复制Table复制表级复制组级复制(多表)用户级

7、复制TablePartition TableTemporary TableIOTViewSequenceIndexProcedureFunctionPackageSynonymTriggerRolePrivilegeUDTMaterialized View10支持异构平台支持异构平台，硬件可自由选择存储系统异构 DAS、NAS、SAN、IPSAN服务器异构 IBM aix、HP hpux、SUN solaris、Linux Windows装载传输读取OracleOracleOracle11完善的复制方式Where 方式复制优点：源端目标段相互切换方便缺点：同步速度慢 rowid方式复制优点：同

8、步速度快 缺点：源端目标段相互切换需做全同步12灵活复制方式灵活的复制方式单向1:1复制,可实现完全复制和选择性复制N:1复制,可实现海量数据整合，集中(N无限制)1:N复制,可实现数据分发、筛选、迁移（N无限制）支持双向复制（where模式）OracleOracleOracleOracleOracleOracleOracleOracleOracle13什么是DRS？Data Rollback Server利用DDS产生的过程文件进行数据库回滚和前滚重现数据库的历史状态，审计、查询、恢复单表回滚全部数据回滚交易系统DB容灾系统DBDDS软件0.dtf.bak1dtf.bak。100.dtf.b

9、ak101.dtf.bak。1000.dtf.bak10001.dtf.bak。10019.dtf10020.dtfDTF列表恢复交易数据库恢复时刻恢复数据回复同步时刻14DRSDRS恢复truncate的表truncate误操作给用户带来巨大损失利用传统技术如何恢复？DRS自动“保存”数据保存时间通过配置参数指定Truncate table xxRename XX to XXCreate table XXXXXXXX15解决方案1 - 数据库实时远程容灾传统容灾技术的局限不能支持异构环境，产品选择余地小，成本不可控；在传输方面对带宽和距离的限制颇多；系统部署时间长、步骤复杂、对生产系统影响较

10、大；容灾切换存在一定的风险；iStream DDS容灾方案特点 支持异构硬件平台和异构操作系统环境 传输数据量小，带宽要求低，距离无限制 数据可以复用，可获更多投资回报 容灾切换没有风险1生产容灾234距离100公里1生产容灾距离无限制16兴业证券同城灾备数据库 Linux AS4U4 Oracle 10g异地灾备数据库Oracle 10g2个节点RAC Linux AS4U4集中交易数据库 Oracle 10G 2个节点RACIBM AIX5L本地复制100M带宽总部福州福州同城营业部灾备机房10M上海17合肥华安 期货单实例Linux 10g单实例Linux 10g本地容灾查询2个节点IB

11、M AIX5LDDS本地复制1000M带宽合肥总部总部机房2M同城营业部灾备机房18解决方案2 - 跨平台无缝数据迁移关键系统数据迁移的难点必须长时间停止业务交易用于导出导入数据；过长的业务中断时间，可能是几小时，也可能是几天；7*24运行的业务系统如何迁移？iStream DDSiStream DDS数据迁移优势实时数据迁移，无需暂停业务交易；只有系统割接需要停止交易，分钟级；支持异构硬件、操作系统平台迁移；支持Oracle数据库不同版本之间的迁移；19广发证券 应用案例5节点Linux 10g RAC4节点Linux 10g RAC本地容灾查询单实例Linux 10g5公里DDS复制10M

12、带宽DDS本地复制1000M带宽应用查询应用效果： 已经集中的用户量100万左右 实时复制过程中交易系统主机CPU占用率5% 本地数据复制平均延迟26秒 异地系统平均延迟48秒。 总部同城营业部灾备机房20解决方案3 - 分担生产数据库负载复制数据库实时打开原来在生产系统上的操作可以转移到复制系统支持数据查询支持数据抽取支持数据回滚到历史时间点21中银国际证券查询数据库10g单实例HP UINX 11.23容灾数据库10g单实例HP UINX 11.23集中交易数据库Oracle10g 2个节点RAC HP UINX 11.23DDS本地复制1000M带宽上海总部同城营业部灾备机房100公里

13、10M22解决方案4 - 企业多节点数据集中建立企业第二数据中心支持硬件及操作系统异构环境支持不同的Oracle版本支持数据过滤及筛选支持本地或远程部署支持数据源数据库数量可达256个Oracle10giStream DDSOracle9iOracle10giStream DDSOracle9iOracle10g23河北财政多对一应用案例各地市生产交易库AIX（oracle为10g 或9i)主交易2各县生产交易库AIX(oracle为10g 或9i)主交易1AIX10g加 HACMP异地容灾机房DDS复制DDS复制多对一：容灾、查询、实时监控等多种用途有效结合应用查询，web实时监控源端节点数总共为204台容灾查询端只安装l了一个数据库与一套DDS目标端软件24吉林公安 多对一应用案例IBM 小型机（AI