DSG某商场容灾系统方案

1、某商场容灾系统建议方案迪思杰（北京）数码技术有限公司2009年9月目 录1.项目背景32.用户环境43.方案设计54.原理概述65.技术标准85.1日志抓取（Data Capture）95.2日志分析（Analyze）105.2交易合成（Synthesize）115.3交易传输125.4数据装载136.技术指标167.推荐采用“RealSync产品”197.1为什么推荐RealSync产品197.2RealSync容灾系统架构218.实施运维方式说明239.售后服务方式说明249.1DSG售后服务宗旨与策略249.2DSG售后服务内容249.3DSG售后服务流程2510.DSG Realsyn

2、c部分国内用户261. 项目背景唐山百货大楼集团是河北商贸龙头型企业，始建于1984年，集团下设10个分公司，8个子公司，2个专业总公司，1个物流公司。 经营面积30万平方米，经营25万种商品，企业总资产12亿元。2009年实现销售40亿元。本项目中realsync同步的是唐山百货最核心的卡库数据库。2. 用户环境卡库数据库：aix5.2 oracle10g 数据量30G左右灾备端数据库：linux oracle10g运行结果全同步（存量数据数据同步）时间：数据同步20分钟左右，含多张千万级的表。实时增量延迟：3秒以内运行一个月，每日清算表，生产库和灾备库数据完全一致。灾难演练测试（模拟灾难发

3、生），DSG同步数据库可成功接管业务。3. 方案设计网络拓扑图如下： POS机通过POS终端连接POS库，POS库从卡库中提取卡的信息; 灾难发生时，可以把POS库直接连接到DSG灾备库，查询卡的信息，同时POS机和终端也可以通过POS库访问卡库.4. 原理概述DSG是全球领先的数据与存储管理软件提供商，提供优秀的数据管理软件和数据备份、灾难恢复、数据抽取共享、数据归档检索和一体化管理平台在内的解决方案。DSG公司拥有对Oracle数据库复制的核心技术掌握，其推出的复制产品家族RealSync是通过对Oracle Log日志进行分析获取跟踪源系统的交易指令。该软件在生产系统上的每个oracle

4、系统和dc系统上安装一个agent，该agent通过对oracle log的分析抽取实时增量数据，并将这些增量数据传送到灾备中心上。灾备中心的每个服务器上也需要安装agent，用于接收从生产中心传输来的交易指令，并将这些交易指令装载到灾备中心的数据库上复制系统包括两个部分组成： DS: Data Source端，即源系统端； DT：Data Target端，即目标系统端。（1）源端和目标端各安装一套DSG的realsync软件，只要进行一些简单的配置就可以完成从首次初始化到实时增量同步的整个过程，并且实现无需停掉生产系统业务而完成整个实时数据复制容灾功能。（2）DSG Real实时分析orac

5、le的Online Redo Log 生成压缩的xf1文件自动发送到目标端等待装载。（3）通过的定制filter功能，来根据用户需要不复制一些危险的DDL操作比如drop table truncate table 。（4）目标系统收到xf1指令后保存到目标系统的缓存队列，由于RealSync只分析online redo log中的有用信息，所以一般需要传输的xf1文件只是oracle redo log的1/5，这样大大降低了网络的负载，从而更好的减少了数据延迟。（5）目标系统的loader进程从本地队列中读取数据装载到目标端oracle系统上，装载过程中通过DSG独有Rowmapping技术进

6、行数据一致性的检测，从而部分保证生产端和容灾端数据的一致性。（6）整个延迟在Oracle RAC模式下正常情况下为35秒中，最长延迟不超过10秒，即RPO10。（7）目标端数据库处于实时打开状态，如果源端出现灾难，整个RTO时间只是应用准备的时间。而且在没有接管生产系统业务的情况下容灾端数据库不仅可以用来容灾还可以用来将OLTP应用、报表和查询应用分离；提高每个系统效率，降低资源争用和消耗，从而更有效的利用现有设备。（8）整个分析、传输、装载过程全程监控，如果出现错误及时提示用户，方便用户及时发现问题解决问题。5. 技术标准目前此类软件没有相应的技术标准，因此特将RealSync软件的原理展示

7、给大家，作为评判的标准。示意图：如上图所示，RealSync在Data Source端和Data Target端分别安装Agent进程，Source端的Agent进程对ORACLE日志进行监控，发现改变及时对目标数据库进行更新。当应用系统在Data Source端向数据库进行任何操作时时，这些信息都将在Redo Log中保存，RealSync Agent通过对实时获取的Log日志进行分析，获得本次操作的交易指令和交易数据，然后将这些交易指令和交易数据经过格式转化生成DXF数据格式，并实时通过网络传送到Data Target系统。Data Target系统的RealSync Agent接收数据库

8、包，经过校验码检查，确认正确的数据库包后，调用Oracle函数按照交易的先后顺序在Data Target系统中执行该交易。5.1日志抓取（Data Capture）RealSync对数据的抓取是通过安装在Data Source端的Agent模块定时分析Oracle Redo Log来获取Data Source端的交易类型及数据的。RealSync Agent在判断Data Source端的Oracle系统是否有新的交易产生时是通过定期检查Oracle Controle file中记录的当前SCN号来判断的，这样避免每次检都通过读取log文件来判断否有新的交易产生时造成的系统影响。在Contro

9、le file中确认有新的交易产生时，可以同时获得当前的Redo Log 组，以及最新日志在日志文件的最新位置。RealSync Agent模块根据这些信息将上次抓取时记录的日志位置与本次读取的最新位置之间的Log读取并加以分析。然后将这些数据保存在Online Log Cache文件中，等待下一步作交易合成处理。l RealSync的优势：与其他类似日志复制产品相比，RealSync对日志进行分析，得到交易信息再进行传送；而其他类似产品不对日志作分析，传送全部日志，然后在目标端通过日志作Recover， 这样一来，不仅传送数据量大，而且目标端数据库不能打开。5.2日志分析（Analyze）O

10、racle数据库的所有更改都记录在日志中，其中记录了对数据库中的每一个变化。当我们候需要需要了解数据库中所作的交易时，一个最有效实用而又低成本的方法就是分析Oracle数据库的日志文件。RealSync Agent中集成了DSG的优秀日志分析功能，该功能完全不同于oracle提供的Logminer日志分析工具，在性能和功能上都大大提高，主要体现在系统性能的优化上，大幅度提高日志分析的速度，使得对于高并发业务系统的复制成为可能。按照RealSync的日志分析设计目标，每秒能够分析的日志量达到10M/s。RealSync通过对日志的分析，得到该数据库中的每个SQL指令，并将这些SQL指令生成DXF

11、（DSG Extend Format）格式的表达方式。DXF格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富能够表达的各种数据类型。5.2交易合成（Synthesize）通过ORACLE REDO LOG分析的交易指令存在如下的几个特点：（1）这些指令是交叉出现的，属于一个交易（Transaction）的多条SQL指令是非连续存储的，多个交易的SQL之间是相互穿插的；（2）Redo log中记录了所有的commit的交

12、易以及没有commit的交易；所以，为了提高系统的可控制性、保证逻辑完整性、避免数据丢失，最好将复制的最小单位为一个交易（Transaction），而不是以单个SQL指令为复制单位，这样在Data Target端的交易装载更加容易控制。同时，对于复制的数据而言，只有那些Commit的数据对于Data Target端系统是有意义的，而对于那些Rollback的数据无需复制到Data target系统上。所以RealSync在复制过程中不是复制每个SQL语句，而是对抓取的数据进行交易整合后以交易（Transaction）为单位进行复制，同时只复制COMMIT的交易。如上图所示，在Online Lo

13、g Cache文件中，包括Commit的交易，没有Commit的交易和Rollback的交易。交易合成模块首先按照交易序号对SOL语句进行划分，每个交易包含多条SOL语句。然后，以交易为单位进行处理，将已经Commit的交易，传至传输处理模块；将未提交的交易保存在本地，一旦通过日志得知保存的未提交交易已提交，立即将该交易发送到传输处理模块；对Rollback的交易作丢弃处理。l RealSync的优势：RealSync是以交易为单位进行传输的，而不是以SOL语句为单位进行传输的，更容易保证数据的一致性和完整性。5.3交易传输RealSync技术为了保证数据传输的安全、可靠，在传输处理上作了特殊

14、的处理与支持:（1） 数据在传输之前首先存入Data Source端的Cache，传输进程（Export Process）从Cache中读取交易数据封装为TCP/IP数据包传送给Data target端的Import进程。（2）在data target端，Import进程在收到传输的交易数据包后，首先存入Queue，然后由Load进程从Queue中严格按照交易的顺序装载交易信息。如上图所示，负责传输的进程（Export Process）从本地队列中按照先进先出的原则抓取需要传输的交易，将交易数据封装成一个数据包后通过TCP/IP协议传递给对端系统。在封装的数据包的包头部分描述了包的大小。对端系

15、统在接受到传来的数据包后，首先根据包头描述的包大小进行传输的合法性检查，判断是否传输完整。5.4数据装载在传统的复制技术中，常用的数据装载方式是采用Oracle 的SQL接口，通过Insert、Update、Delete等SQL语句实现数据的装载。这种方式在通用性上很好，但关键在于性能问题非常突出。SQL语句的执行需要经过parse、plan、格式转换等过程，造成大量的系统开销。尤其是update和Delte操作的大量Where子句操作需要进行复杂的查询定位任务，从而导致装载性能低下，对处理能力的要求比生产系统的还高。DSG RealSync在设计之初就定位于电信级大数据量系统的应用，因此在装

16、载性能上进行了大幅度的改善，使得装载端的性能和处理能力需求降至最低。在其中DSG RealSync采用了两个关键的技术提高了装载速度：（1）采用DXF数据格式的装载；（2）采用Rowid mapping的方式实现快速定位；(一) 用DXF数据格式的装载：DXF（DSG Extend Format）格式是DSG公司的专有技术，该技术是DSG公司用来表达SQL指令的方式，该数据格式能够通过DSG的专有转换算法能够直接转换为ORACL的内部数据表达格式，从而在分析和转载时需要最小的转化，提高分析和装载速度，减少资源占用、丰富sql语句的表达方式。Oracle数据库系统在设计上提供了4个层次的接口，其

17、中包括User层，SQL层，Transformation层和I/O层。其结构为：在这四层当中，当采用SQL接口进行数据装载时，调用的是User层，而DSG RealSync通过DXF数据格式装载时，调用I/O层直接将数据通过Oracle的最底层函数写入系统中，所以DSG RealSync在装载层上有一定优势；(二) Row mapping实现快速定位对于交易中的操作，存在着大量的Where子句操作，在采用标准SQL语句执行这些操作时，系统需要首先定位目标记录所在的数据文件的位置信息，这将带来大量的索引查询开销，当并发执行数千条指令时，系统的开销将变得非常庞大。DSG RealSync工具不采用

18、该方式实现装载数据的定位，而是通过ROW Mapping的方式实现记录的快速定位：当RealSync从源端Log文件中读取交易数据时，将获得该交易对应记录的所在位置，用rowid表示为rowid_ds；当该交易在目标端装载时，系统不翻译为Where子句，而是去通过保存在目标端的row mapping表获得对应目标端该记录的所在位置rowid，记录为rowid_dt。从而在目标端装载时通过rowid能够直接定位于该数据需要写入的位置。避免了大量的索引查找时间。每条记录的row mapping信息是在该记录执行insert操作、sql loader或首次批量同步时建立起来的。l RealSync的

19、优势：DSG扩展格式DXF(DSG Extend Format)是RealSync产品的一个核心技术，是一种最高效率表示ORACLE记录的数据格式，该格式只需要经过最小的转换过程就能够装载到ORACLE数据库中，并且装载效率非常高。n 无需标准SQL语句执行的复杂过程n 加快装载速度n 对于Update，Delete等带Where子句的交易，可以大幅度提高装载速度6. 技术指标序号项目技术规格要求1基本功能要求1、 支持对文件数据的同步，包括应用程序、图像数据、音视频数据、网站文件等；2、 支持Oracle、Sybase、SQL等数据库的交易复制，且灾备数据库始终处于Open状态；3、 软件L

20、icense需满足10个物理CPU的许可，无需绑定主机；2兼容性要求1、 数据复制软件应支持主流操作系统：Linux、HP-UNIX、Sun Solaris、IBM AIX、Windows；2、 支持HA和RAC模式；3技术指标要求系统资源占用少，保证主机的正常运行；1、 源端CPU占用小于5；内存占用小于800M；2、 目标端CPU占用小于5；内存占用小于200M； 3、 复制数据延迟平均值10s以内；4初始化要求 在初始化同步过程中，业务不能停止；初始化过程中不需要人工干预； 支持BCV，SRDF，RMAN，DBP等全同步方式 支持200-800GB数据的全同步时间1小时左右完成； 支持异

21、构平台下的首次数据初始化同步； 支持跨数据库版本之间数据库的初始化同步操作；5选择性复制1、 可以支持用户级别，表级别复制2、 指定条件进行数据复制3、 指定列进行数据复制4、 指定分区进行数据复制5、 指定表空间进行数据同步复制6数据库的容灾功能要求1、 支持一对一，双向，一对多，多对一，和级联复制；2、 支持数据转换、数据拆分及分发；3、 支持从多个数据库中同一类型表的记录整合到一个表中去；4、 支持对列的数据进行转换，包括列映射、增/删除列、列转换5、 支持DML操作复制、支持SEQUENCE、函数、存储过程、视图、同义词、索引、应用包、用户等数据库对象进行复制；6、 支持没有PK/UK

22、字段的表的复制、并无需打开或修改数据库参数，可定义并过滤不需要复制的事务；7、 支持按照schema方式设置复制关系，无需单表设置复制关系，支持不同源和目标端在不同的schema名情况下的复制；8、 支持中文汉字内码，符合双字节编码；支持DXF数据格式的装载；支持Rowid mapping的方式实现数据快速定位； 7故障应对能力1、 在遇到系统错误引起的复制中断时，例如硬件故障、数据库故障、网络中断或延迟，分级存储机制能完好的保存已经合成的交易信息，避免数据丢失，直到系统故障解决，恢复从队列传输的中断点开始；2、 系统需提供数据比对功能，如果发现不一致情况后能够提供便利的单表以及单用户的数据修

23、复工作，要求操作简单，修复速度快，且修复过程中不影响业务正常运行；3、 生产灾备切换后，支持快速的增量回切、全量回切功能；8管理监控功能要求提供中文操作界面；复制软件需提供统一的管理监控功能，能实现对复制软件的运行状态、运行日志、系统配置等方面进行统一的管理及监控；系统软件应具有故障的监视和诊断能力，出现不正常情况时，应能及时识别并发出告警信息；9审计功能（可选功能）审计功能：通过分析Oracle数据库的日志对数据库操作进行监控，主要功能：1)根据审计策略记录数据库操作；2)对违规操作进行报警和留痕；3)展示审计报表和数据库操作全貌；4)跟踪并回溯数据库操作历史；5)提供用户操作分析功能和对象

24、操作分析功能；6)提供对错误数据的在线修复建议；7)提供按各种条件和粒度查询数据库操作的功能；8)提供用户权限管理功能。9)提供报表和统计数据的转储和打印功能审计效率：不低于5万笔操作/秒(但依环境而异)支持操作系统：AIX、HP-UX、Solaris、Linux、Tru64等审计存储空间：数据库日志量/3*保留天数资源占用：CPU 3%，内存 400MB，对网络基本无影响。10归档功能（可选功能）归档功能：按照客户要求将使用频度低的数据一次性(从数据库文件读取)或者连续归档(分析数据库日志)到目标数据库中，并在源端进行数据清理，从而减少源库数据量，提升系统效率，分担系统压力。产品特点：1)快

25、速、高效一次性归档历史数据；2)目标数据库完全可用，可读可写；3)可以跨操作系统平台和数据库版本复制；4)可实时归档数据，秒级延迟；5)实时归档与增量实时同步一体化实现；6)归档数据压缩，压缩率3-5:1;7)支持全库或者部分数据复制；8)支持断点续传；9)提供数据核对/修补内置功能。归档模式：1对1、多对1复制对象类型：表数据复制可选范围：单表、多表、用户11数据回切功能支持复制软件双中心切换时间较短，操作简单12服务要求1、原厂负责首次安装调试、现场培训及售后服务，并出具一年现场7X24响应、4小时到现场、软件免费升级的服务承诺；2、服务报价需包含原厂20个现场人天，无节假日限制，并由原厂

26、出具证明；3、如有不符，可拒绝投标产品，做废标处理。7. 推荐采用“RealSync产品”要建立查询数据库的关键技术，就是数据库的实时复制。在本方案里，dsg推荐采用realsyc产品，该产品目前在业内应用范围广泛，主要实现如下功能：(一) 业务负载分担由于复制的第二数据中心的数据处于实时可读取状态，数据库处于OPEN状态，从而实现系统业务模块的重新部署。通过第二数据中心实现对核心系统的业务模块进行负载分担，将那些只对数据进行读取操作的模块都迁移到第二数据中心上来，主要包括： 提供业务查询； 提供统计报表运行； 提供数据抽取； 提供其他系统的数据访问接口；这样作将达到两个好处： 提高数据访问的

27、效率，提高外围系统部署的灵活性； 提高核心系统的运行效率，提高核心系统运行的稳定和可靠性；(二) 核心业务的灾备平台通过数据同步建立灾备中心可以实现对业务关键数据的容灾及保护，在不影响生产数据库性能的同时为生产数据库在本地或异地建立一份准实时镜像，以保证在生产数据库发生灾难时可使用容灾数据库进行业务接管和数据恢复。7.1为什么推荐RealSync产品我们建议采用DSG RealSync软件的原因在于：1. 复制目标数据库处于OPEN状态、数据是实时的、可以支持实时数据库访问RealSync维护的容灾数据库在数据复制过程中始终处于打开状态，客户可通过打开的Oracle数据库提供数据查询、报表和E

28、TL抽取等功能，实现业务分担；满足此次本商场提供的业务需求。2. 支持不同硬件平台之间的复制RealSync技术是逻辑级的数据复制技术，因此对于生产系统和目标系统来说，其硬件平台可以属于不同的厂商、不同的型号，亦可采用不同的操作系统等等。它的优点在于：一方面，在系统建设时，为用户提供硬件平台的灵活选择空间；同时，提供了在同一解决方案架构下，实现企业不同平台上的多个信息系统的统一复制的支持。如此次营销系统的数据复制是从hp unix到ibm aix的异构复制，dsg能够很好的满足这类需求。3. 按需复制，满足业务需求，降低存储成本和网络成本根据本商场建设查询平台的业务需求，很多情况下，仅仅对需要

29、的数据表信息进行复制，realsync软件完全可以支持这类需求，这样也可以减轻复制的压力、减少存储和网络带宽的成本。4. 对生产系统的低干扰性DSG实时数据复制技术不需要通过任何数据库的引擎来获取变更数据，而是通过数据库自身的信息获取源系统上的改变并传送给目的系统，这不会对生产系统造成性能影响。5. 提供不停业务的首次全同步功能和单表修复功能RealSync还提供目标端系统数据初始装载功能支持，将主系统上的已有存量数据，在不中断业务的情况下平滑的装载到目标数据库上。这是realsync软件独有的功能。6. 支持长距离复制、更低的网络带宽要求和运行成本目前Realsync 是全球同类方案中要求最

30、低的，交易级复制软件仅需要在网络上传输的量为oracle redo log的1/3，一方面比oracle DG的带宽要求低，当然更远远低于磁盘阵列、卷文件、虚拟存储复制所需要的带宽。7. 作为容灾系统的补充，提供可靠的应急切换，避免物理错误的复制打开的Oracle数据库确保在业务切换时数据库一定可以打开接管业务，避免了数据库可能无法启动的风险；DSG Realsync是基于交易指令的复制，因此对于那些产生坏块，或者是文件被破坏等操作将不会在目标系统重现。7.2RealSync容灾系统架构在灾备系统中安装oracle数据库引擎，在业务数据库上安装Realsync Server端程序，在灾备系统上安装Realsync Agent端程序，可以在线实时的将主业务数据库上的数据复制到异地灾备系统中。灾备系统不仅提供数据库容灾备份需求，而且能够分担主业务数据的查询报表等工作，大大减轻主业务数据库系统压力。8. 实施运维方式说明该产品方案的实施运营方式，以及实施运营需要注意问题的说明。9. 售后服务方式说明9.1 DSG售后服务宗旨与策略v 树立以客户为中心的工作作风、以客户需求为导向、以客户满意为衡量一切工作的准绳；v 迪思杰公司不断的扩大自己的服务网络，增加市场和服务人员，使得各地