iStream容灾备份解决方案

1、1目录1ISTREAM 数据库复制系统技术实现方案数据库复制系统技术实现方案.31.1 项目概述项目概述.31.2iStream 产品简介产品简介.41.2.1 iStream 软件的设计原则和基本架构. iStream 软件的整体架构. iStream 软件源端体系架构图. iStream 软件目标端架构.61.2.2 iSteam 软件使用的关键技术. 日志分析技术简介 .61.2.3 iStream 软件的运行环境. 操作系统和数据库版本支持. iStream 支持的数据类型列表.71.2.4

2、 iStream 软件为用户提供的解决方案. 提高系统可用性 . 灾难恢复. 分担交易业务 . 业务数据分发 . 配合业务交易，容灾系统完全恢复交易. 交易数据库移植 .121.3 数据实时复制方案数据实时复制方案.131.3.1 系统方案设计原则与目标.131.3.2 系统方案逻辑架构图.141.3.3 系统方案拓扑图 .151.3.4 系统方案 iStream 技术与功能.152项目实施计划项目实施计划.162.1 项目实施前的准备项目实施前的准备.162.1.1 操作系统准备工作.162

3、.1.2 数据库准备工作 .162.1.3 源端数据库参数 log_buffer 相关参数的修改.172.1.4 目标端灾备数据库环境准备.172.1.5 源端表空间扩充 .172.1.6 网络准备工作 .182.2 iStream 软件实施计划表软件实施计划表.183用户及管理员培训方案用户及管理员培训方案.1923.1 iStream 软件原理介绍软件原理介绍.193.2 iStream 软件安装培训内容软件安装培训内容.193.2.1 安装前的准备 . 操作系统相关准备 . 数据库的相关准备工作 .203.2.2 安装与配置 . 源端

4、软件安装与配置 .203.3 iStream 软件维护介绍软件维护介绍.233.3.1 调整 map.233.2.2 调整目标端 .243.2.3 同步的性能调整 .273.2.4 数据比对 .283.2.5 增量同步的性能调整.283.2.6 高可用性的配置 .30A）源端高可用性的配置.30B）目的端高可用性的配置.30C）出现不能继续装载的处理.313.2.7 装载 DML 错误的处理方式.313.3 系统应急培训系统应急培训 .323.3.1 应急切换操作 .323.3.2 日志维护指南 .333.4 iStream 软件培训安排软件培训安排.334售后服务及相应承诺售后服务及相应承诺

5、.344.1 九桥软件服务体系简介九桥软件服务体系简介 .344.2 九桥技术服务内容九桥技术服务内容.344.3 技术服务期内服务响应承诺技术服务期内服务响应承诺.344.4 支持方式支持方式.344.5 九桥服务联系方式九桥服务联系方式.345ISTREAM 软件应用案例列表及介绍软件应用案例列表及介绍.345.1 iStream 软件案例列表软件案例列表.345.2 证券行业典型案例介绍证券行业典型案例介绍.3431 1iStreamiStream 数据库复制系统技术实现方案数据库复制系统技术实现方案1.1 项目概述在企业信息化进程不断加快的今天，保持业务的持续性是企业用户进行数据存储时

6、必须考虑的重要方面。灾难的出现，可能导致生产停顿、客户满意度降低，企业的竞争力会因此大打折扣。震惊世界的“9.11” 事件发生后，全世界都看到了金融、电信等行业用户在灾难中的巨大损失。在灾难后如何快速、正确地恢复业务系统就成为摆在企业面前的一个难题。金融证券是我国国计民生的最重要环节之一，同样面临着如何应对灾难，以求防患于未然。在业务日新月异的今天，信息技术部门格外看重证券实时交易软件系统的数据保护。试想一下，如果证券系统的数据遭遇灾难而不能恢复的话，业务将无法正常运行，那么将造成重大的无法弥补的损失。因此，信息系统的安全性和抗灾难能力直接关系到证券公司，乃至国家的切身利益，尽可能地保证系统的

7、安全性是必须重点考虑的。一个先进的、完善的灾备系统将全力的保护证券业务系统的稳定运行，让证券公司在业务飞速发展的同时没有后顾之忧。现在，我们很欣喜的看到，XX在整合业务系统的同时就考虑了灾备平台的建设，并对灾备系统高度重视。iStream 是新一代数据库逻辑复制软件。利用数据库日志在线跟踪、分析技术，将生产数据库的交易信息以事务为单位，通过异步的方式，实时的传递、装载到目标数据库中，以达到源端、目标端复制数据保持同步的目的。软件不依赖硬件的复制能力，支持多种系统平台，具有部署简单、复制速度快、交易延迟时间短的特点；能够支持所有系统平台，跨多种Windows/Linux操作系统和大型机平台、不同

8、Oracle版本之间的交易复制。并且复制的目标数据库为在线打开状态，可以随时复用。因此，非常适合于异构热容灾、 数据迁移、数据实时复制等领域。 本方案根据XX系统数据库灾备方面的规划需要，着重考虑合理地设计和建设基于Oracle数据库的数据灾备需求的解决方案，满足证券系统业务的连续性和高可用性的要求。此外，随着业务的不断深入以及市场竞争的需要，数据应用成为另一个业内的热点。在本方案中将向用户介绍，以iStream 数据复制系统（下简称iStream）为核心的企业第二数据中心和查询应用平台，将如何高效的利用交易数据，快速的查询、分析数据。41.2 iStream 产品简介 1.2.1 iStre

9、am 软件的设计原则和基本架构软件的设计原则和基本架构iStream 使用经典计算机编程语言 C 语言来编写，整个软件架构软件采用模块化设计，与 Oracle 数据库的设计原则相似，采用多进程模式进行抓取和装载，每个进程负负责特定任务。 iStream 软件的整体架构软件的整体架构主要工作流程：1. iStream 首先完成历史数据复制，历史数据即使首次同步时数据库原有的数据，历史数据同步完成之后开始增量同步。2. 源端软件相应的 ptrack 进程跟踪抓取数据库中的在线日志（redolog） ，对实时变化的交易数据日志进行快速抓取3. 在 share memory 中使用 pm

10、erg 进程过滤分析，并合成传输文件，三分之一的日志将被抓去放到缓存队列中，然后将文件压缩，压缩比例为大于 9：1，使用 pcomm 进程将文件通过网络传输到目标端4. 目标端将接受传输文件，按照相应的交易顺序装载入库。在此期间，目标端数据库始终处于 open 状态，可以进行准实时的数据查询工作。 iStream 软件源端体系架构图软件源端体系架构图源端进程介绍： DDS_PMONS负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出进程并报告状态DDS_PMSGS负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件 msg.log中。DDS_PRE

11、CVS负责接收界面发送来的管理命令并执行,同时也负责全同步时历史数据的复制。DDS_PTRACK负责跟踪数据库redo log动态增量信息，并抓取变化的redo log块。DDS_PMERGE负责将DDS_PTRACK 抓取量信息进行分析、过滤、合成交易文件。DDS_PCOMM负责将DDS_PMERGE 合成的交易文件发送到目标端DDS_PCLEAN负责将 DDS_PMERGE和DDS_PCOMM没有成功处理的数据包提交进行处理 iStream 软件目标端架构软件目标端架构目标端进程介绍：DDS_PMONT负责建立共享内存、信号灯、消息队列，监控系统其它进程的状态，重起异常退出

12、进程并报告状态DDS_PMSGT负责收集其它所有进程报告的各种错误信息，将错误信息存放到文件 $DDS_DATA/msg.log中DDS_PRECVT负责接收界面发送来的管理命令并执行，并接收交易文件到指定的目录中； DDS_PPUT负责将装载历史、增量信息到数据库中，并记录相关信息。也负责数据的比对。 1.2.2 iSteam 软件使用的关键技术软件使用的关键技术 日志分析技术简介日志分析技术简介iStream软件是直接通过读取Oracle日志来分析出交易内容，而不是通过数据库表来得到，这样将不依赖数据库本身的数据内容而直接得到交易信息。从而大大加快了合成交易文件的速度。日志分

13、析技术流程如下图：71.2.3 iStream 软件的运行环境软件的运行环境 操作系统和数据库版本支持操作系统和数据库版本支持iStream 软件支持所有主流操作系统以及 Oracle 数据库版本之间的跨平台跨数据版本复制，内容详见下表： Oracle 版本操作系统平台9i 10g11gRACASMAIX 5LAIX 6L HP-UX 11i(PA-RISC) HP-UX 11i(IA-64) Solaris8/9/1（SPARC）RHEL4/5（x86）SLES9(x86) SLES10(x86) WINDOWS2003/2008/xp iStream 支持的

14、数据类型列表支持的数据类型列表支持总项目支持总项目支持项目支持项目支持内容支持内容备注备注tabletableInsert/update/delete数据准确数据准确（DMLDML 部分）部分）PartitionPartition tablestablesInsert/update/deleteTableTableCreate/truncate/dropcolumnscolumnsAdd/modify/dropconstraintsconstraintsAdd/modify/dropindexesindexesCreate/alter/dropviewsviewsCreate/alter/dr

15、opsequencessequencesCreate/alter/dropfunctionsfunctionsCreate/alter/dropPackage(Package( body)body)Create/alter/dropproceduresproceduresCreate/alter/dropTriggerTriggerCreate/alter/dropSynonymSynonymCreate/dropCreate/drop数据准确数据准确（DDLDDL 部分）部分）RoleRoleGrant/revokeBlob/clob/long/bfileNumber/ TIMEOracle

16、Oracle 自带类自带类型型Char/varchar2/nvarchar2ISTREAM支持所有Oracle 自带数据类型数据类型数据类型用户定义类型用户定义类型USER DEFINED TYPE操作系统平台操作系统平台Hp/ibm/solaris/linux/windowsOracle9i/10G/11G归档/非归档平台方面平台方面OracleOracleFile/lv/ocfs/asm一对一 or 一对多 or 多对一 or 组合同步模式同步模式双向同步9同步方式同步方式只全同步 or 增量 or 组合交易回退交易回退表的dml/truncate/drop单表同步单表同步增量过程中，单表

17、全同步支持在线初始支持在线初始化化首次同步允许有交易。特性特性同步对象同步对象用户、表、组网络中断网络中断断点续传，无人工干预健壮性健壮性目标端停止复目标端停止复制软件制软件断点续传1.2.4 iStream 软件为用户提供的解决方案软件为用户提供的解决方案 提高系统可用性提高系统可用性iStream 软件可以帮助用户提高交易系统Oracle数据库的可用性，无论是执行计划内停机（如系统升级、备份）还是遇到非计划故障引起的宕机（例如硬件故障、灾难、人为错误等），iStream 都能尽量减少业务切换的时间，提高可用性。能够最大限度地减少数据丢失、经济损失以及生产力的降低。 下图表示交

18、易系统切换后，业务交易在容灾系统上继续执行的示例。 灾难恢复灾难恢复对于大部分公司而言，容灾是一项巨大的工程，意味着高额的资金投入和人力成本。受到传统复制技术的限制，容灾必须拥有专用的硬件支持、专用的传输链路、容灾距离以及系统平台等诸多的限制。此外由于传统容灾系统的不能时时使用的特性，导致不但风险不能评估，而且巨大的投入也可能得不到任何回报。 iStream 使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的Oracle交易异步复制，是一种高效且低成本的数据库容灾方式。iStream 使用标准的IP网络进行通讯，容灾端的Oracle数

19、据库可以部署在本地或远程容灾中心，距离没有限制。此外，由于复制的目的端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，iStream 能够支持前端应用程序快速、无缝的切换到容灾数据库。与其它基于磁盘或文件系统的物理复制技术相比，不但省略了漫长的数据库recovery和启动时间，而且能够保证100%的切换成功率。 当源端应用系统数据库在恢复正常使用后，可以通过iStream 将容灾端数据再次复制到源端数据库中，从而达到互为容灾的目的。 下图表示，交易系统恢复正常后，容灾系统数据复制到原交易系统上的示例。 分担交易业务分担交易业务iStream 逻辑交易复制技术

20、保证了目的端数据库始终处于可用状态，因此对于iStream 所复制的schema只能做只读应用之外，新创建的shema不会对复制本身产生任何影响，对于即席查询、报表处理、数据备份、统计分析等业务或应用都可以放在复制的11目标数据库上进行处理。 多种应用也不必在同一个交易数据库上争夺处理资源和时间窗口。生产系统运行和维护的压力得以释放，提高了稳定性，而不同的应用在分布的数据库上也可以进行有针对性的优化。 下图表示在容灾系统做业务查询、报表处理、数据备份、统计分析等应用的示 业务数据分发业务数据分发iStream 能够完成企业范围内的数据分发，从交易数据生产库实时复制到一个或多个本地

21、或异地的数据库中。iStream 支持多种数据分发拓扑结构，一对一、一对多、多对一、级联复制以及组合的数据分发模式。数据分发是一种典型的通过部署多服务器、多数据库来分担负载，提高响应速度的企业应用模式。下图表示交易系统的业务数据同时分发到不同目标端的示例。 配合业务交易，容灾系统完全恢复交易配合业务交易，容灾系统完全恢复交易iStream 在每提交一个合成的交易文件后，都会在目的端共享内存中记录最后一个完成装载的交易的源端提交时间。并且通过iStream提供的工具可以将共享内存显示出来，以方便不同需求。对于交易系统有严格交易记录的系统，配合iStream目标端提供的源端记录交

22、易提交时间可以达到完全恢复全部交易的目的。这种情况，只有在特殊情况下，才会使用。 下图表示iStream如何配合做全部交易恢复的示例 交易数据库移植交易数据库移植在交易系统数据库移植过程中，经常会面临两个问题： 即新系统和源系统os平台或数据库平台不同系统切换一段时间过程中，某种原因导致新交易系统部分交易无法正常运行，这个时候就需要将交易系统切换到原来的交易系统上，而如何将切换后的交易及时同步到原来的交易系统上，是用户在做交易数据库系统移植时所面临的一个难题。针对这两种情况，iStream针对这种进行了合理的解决方式，如下图所示：iStream本身支持异构跨平台方式，对于源端

23、和目标端os和db版本不同的情况均能够支持。14iStream 将新交易系统同步的切换后，变化的数据及时的同步到旧交易系统上，这样就可以保持两边数据的一致性。从而在交易切换时能够满足后台交易数据一致性的需求。1.3 XX 数据实时复制方案1.3.1 系统方案设计原则与目标系统方案设计原则与目标目前在主机房服务器处理周边业务系统，备机房服务器除用于备份之外，还可以作为业务查询，报表查询分析等功能，以满足用户的多种需要。通过iStream数据复制软件，建立了一个独立的查询数据库，在不影响生产系统性能的同时，为查询及报表业务提供了一个与生产系统同步的数据源。可根据查询业务的特点，对数据库的业务特点配

24、置进行选择，最大程度的优化了查询业务的性能，起到了很好的负载均衡作用。完成生产服务器到查询服务器的数据同步工作.1.3.2 系统方案逻辑架构图系统方案逻辑架构图灾备数据库生产数据库主应用业务系统2iStream实时复制XX数据实时同步项目部署图数据实时同步项目部署图中间件14业务查询356具体逻辑步骤如下：1. 交易流水正常入库。箭头 1 所示：152. 数据多点实时复制，箭头 2，6 所示。至此形成整体综合的单向，反向，双向复制模式：一对一(1:1),将通过网络实时的将数据备份到目标端。以满足用户的灾备，实线 3 所示可以实现分担交易，进行业务查询，报表查询，分析等功能。3. 当红线 4 生

25、产库出现故障宕机时，此时主应用业务系统切换到灾备系统，虚线 5 所示，进行主应用业务系统的操作。4. 当生产库修复正常之后，灾备数据库系统通过虚线 6 所示实时反向复制到生产库系统，达到数据恢复到主生产库中。此时：复制模式为一对一（1:1） ，但数据源端暂时为灾备库（虚线箭头 1,5,6 工作） ，箭头 5 所示，等灾备数据库同步到主生产库完成后，业务切换到主生产库，恢复到最初状态。5. 此主备的切换过程速度相当快，而对交易流水录入系统影响为秒级。1.3.3 系统方案拓扑图系统方案拓扑图备份数据库备份数据库Linux Oracle 10g生产数据库生产数据库Linux Oracle 10g远程

26、实时复制远程实时复制业务生产业务生产系统系统备份备份系统系统主应用业务系统主应用业务系统业务查询业务查询1.3.4 系统方案系统方案 iStream 技术与功能技术与功能iStream 使用逻辑数据容灾技术，传递的是交易信息，因此传输数据量很小，保证了在低带宽环境下实现低延迟的 Oracle 交易异步同步，是一种高效且低成本的数据库容灾方式。iStream 使用标准的 TCP/IP 协议进行通讯，容灾端的 Oracle 数据库可以部署在本地或远程容灾中心，距离没有限制。16iStream 功能方面，由于同步的目标端数据库始终处于打开状态，因此，当生产数据库遇到计划内或非计划停机时，iStrea

27、m 能够支持前端应用程序快速的切换到容灾数据库。与其它基于磁盘或文件系统的物理同步技术相比，不但省略了漫长的数据库recovery 和启动时间，而且能够保证 100%的切换成功率，在支持生产系统的热容灾方面的基础上还支持业务分担，数据分发与集中，数据迁移，支持双向同步.172 2项目实施计划项目实施计划2.1 项目实施前的准备实时 iStream 数据库复制系统之前，需要用户配合一些准备工作，具体内容如下：2.1.1 操作系统准备工作操作系统准备工作1 源端、目标端 rac 模式iStream 软件只需安装在 rac 其中的一个节点上，可在共享存储上划分出文件系统作为 iStream 软件的安

28、装目录，大小在 50G 至几百 G，可根据日常业务量调整， 文件系统可建成 ocfs 类型、也可建成普通类型，区别如下：Ocfs 文件系统：当出现主机单点故障时可以在 rac 其他节点直接启动软件。2 普通文件系统：当出现主机单点故障时需要手工将 iStream 所在的文件系统手动mount 到 rac 的其他节点上，然后在启动软件。3 源端、目标端非 rac 模式从 vg 或分区磁盘中划分文件系统作为 iStream 软件的安装目录，大小在 50G 至几百G，可根据日常业务量调整空间大小注：源端、目标端软件介质大小 10M 左右，由源端传输到目标端的 dtf 文件的缓存大小应根据日常业务量大

29、小和 DRS 数据回滚功能时间长短而定，具体可与九桥软件工程实施人员沟通协调。总原则为尽量为 iStream 单独划分文件系统，不要和 oracle 数据库数据文件、oracle 安装目录、根目录等共存在同一个文件系统上。2.1.2 数据库准备工作数据库准备工作1 源端在线日志组设定a)数据库为非 asm 实例数据库在线日志组个数至少在 3 组以上，如果数据库为 rac 模式，则每个 rac 实例在线日志组个数都不少于 3 组。b)数据库为 asm 实例Asm 实例模式下，源端在线日志组需满足每个在线日志组必须有一个成员在非 asm磁盘组中（raw 设备或共享文件系统中）c)当数据库为归档模式

30、时：18在 rac 模式下，需要将 rac 上的每个节点能够访问其他节点归档文件（可采用ocfs 共享文件系统或 nfs 文件系统方式实现）d)当数据库为非归档模式：此时需要将数据库的在线日志组个数尽量增加至 6-8 组。2.1.3 源端数据库参数源端数据库参数 log_buffer 相关参数的修改相关参数的修改在源端，Oracle9i、 10g、11G 的 logfile 并行动态参数进行的调整。Oracle10G、11G（一般需要修改）的调整方式如下：以“SYS”用户身份查询隐藏参数_log_parallelism_max 是否为 1，是则不需要修改，反之要修改SQL col ksppin

31、m for a20SQL col ksppstvl for a10SQL col ksppdesc for a40SQL SELECT ksppinm, ksppstvl, ksppdescFROM x$ksppi x, x$ksppcv yWHERE x.indx = y.indxAND ksppinm like _log_para%;SQL alter system set _log_parallelism_max=1 scope=spfile;修改后要重启所有节点实例Oracle9i(一般不需要修改)的调整方式如下：以“SYS”用户身份查询 log_parallelism 是否为 1，是

32、则不需要修改，反之要修改SQLshow parameter log_parallelismSQLalter system set log_parallelism=1 scope=spfile;修改后要重启所有节点实例2.1.4 目标端灾备数据库环境准备目标端灾备数据库环境准备iStream 软件实施复制灵活，一般多以表或用户为单位进行实时复制，目标端数据库安装完毕后，需要创建相应的用户及表空间（尽量保持与源端一致） 。2.1.5 源端表空间扩充源端表空间扩充当源端数据量较大时（单表体积较大时） ，可能在全同步时会由于 undo 表空间不足19产生全产生快照太老的错误，导致全同步操作失败，因此要

33、酌情扩充 undo 表空间。具体情况可与 iStream 工程人员协商。2.1.6 网络准备工作网络准备工作确保网络由 TCP/IP 协议联通（可传传送接受文件为标准） ，可通过 SSH 等手段，也可源端到目标端单向连接。iStream 所使用的网络端口也要开放。具体实现可与 iStream 工程人员协商。2.2 iStream软件实施计划表项目步骤项目步骤所需时间所需时间备注备注售前测试2 天正式环境下安装2 天灾备演练2 天软件培训3 天上线验收2 天后期监控1 天因合同签订时间无法确定，故只提供每项进度所需时间203 3用户及管理员培训方案用户及管理员培训方案3.1 iStream 软件

34、原理介绍主要讲述 iStream 数据库复制系统的工作原理。3.2 iStream 软件安装培训内容3.2.1 安装前的准备安装前的准备 操作系统相关准备操作系统相关准备1 创建 iStream 操作系统用户在同步的源端和目的端操作系统上创建新的系统用户来安装 iStream 软件，也可以直接使用已有的 Oracle 数据库安装用户来安装 iStream 软件。如果是 RAC 模式，则需要在 iStream 安装节点创建即可。新建用户必须属于 dba 和 oinstall 组（即跟 oracle 同一个组） ，具有访问 Oracle数据库和调用 Oracle 库函数能力。不建议使

35、用 root 用户安装 iStream。具体操作方法需咨询系统管理员或 DBA。2 用户的环境变量设置iStream 用户的配置文件需要有如下环境变量，并且确保这些变量生效。DDS_HOME 为 iStream 执行程序路径；DDS_DATA 为 iStream 配置文件和缓存程序路径；具体路径请由使用者根据情况自行设置。其余为 Oracle 相关环境变量，由数据库管理员指定。以下配置实例以 oracle10 为例。export ORACLE_BASE=/oracle10export ORACLE_HOME=/oracle10/product/10.2export ORACLE_SID=rac

36、1export NLS_LANG=AMERICAN_AMERICA.AL32UTF8export ORA_NLS10=$ORACLE_HOME/nls/dataexport LD_LIBRARY_PATH=$ORACLE_HOME/libexport SHLIB_PATH=$ORACLE_HOME/lib21export DDS_HOME=/tmp/dds/binexport DDS_DATA=/tmp/dds/dsexport PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ DDS_HOME:.ulimit -c unlimited源端和目的端数据库的 nls

37、 要一致，否则会导致乱码的情况出现。不同 shell 的修改配置文件如下：bash$ vi /.bash_profileksh（包括其它的 sh）:$ vi /.profile对于安装 iStream 软件的用户具体使用的是哪个 sh，请查看/etc/passwd 文件。3 磁盘空间要求a)源端运行空间要求：iStream 每天产生的合成文件总量跟操作数据类型、交易数据量有关，大约为每天日志产生量的 1/3 左右。具体空间要求跟缓存文件保存策略有关系，使用者可以根据具体的策略事先划分缓存空间。b)目的端运行空间要求：目的端的缓存文件每天的缓存空间跟源端相同,也跟缓存文件处理后是否删除的机制有关

38、系。使用者可以具体的策略事先划分缓存空间。 数据库的相关准备工作数据库的相关准备工作1 在 Oracle 数据库中创建 DDS 用户。2 在 Oracle 数据库中创建视图。3 修改 Oracle 附加日志配置参数。4 RAC 模式下数据库连接配置（如本地安装，无需配置） 。5 .Log_buffer 参数的调整。3.2.2 安装与配置安装与配置 源端软件安装与配置源端软件安装与配置1 创建安装目录在同步源端的操作系统上，用 iStream 软件的安装用户创建两个目录：22a) 执行程序目录执行程序目录对应 iStream 操作用户环境变量下的$DDS_HOME 参

39、数；b) 脚本及缓存目录。脚本及缓存目录对应 DDS 操作用户环境变量下的$DDS_DATA 参数。2 执行程序文件的安装iStream 采用目前绿色安装模式，即拷贝然后通过脚本执行的模式。将程序执行文件拷贝到$DDS_HOME 目录下，解压后即可。参考以下操作命令：$gzip2 d hpunix2.13.1_3.tar.gz2$tar xvf hpunix2.13.1_3.tar$ls -l bin-rwxr-xr-x 1 oracle dba 283057 Feb 13 10:38 crc-rwxr-xr-x 1 oracle dba 1623780 Feb 13 10:38 dds_pp

40、ut-rwxr-xr-x 1 oracle dba 732900 Feb 13 10:38 dds_ptrack-rw-r-r- 1 oracle dba 51395 Feb 14 08:48 versions-rwxr-xr-x 1 oracle dba 115593 Feb 13 10:38 vshms-rwxr-xr-x 1 oracle dba 88819 Feb 13 10:38 vshmt-rwxr-xr-x 1 oracle dba 430926 Feb 13 10:37 vshow不同版本和不同环境下的文件名及其用户等显示信息有些差别。3 创建参数目录及文件利用 iStream

41、 提供的命令 dds_conf 来创建源端参数目录和文件。执行前请确认同步源端和目的端相关的主机的 IP 地址，规划使用的端口号，Oracle用户，日志归档目录等信息。参考以下操作命令：$ dds_confWhich Side do you want to configure: S - Source T - Target Please Select(Q-QUIT)(DEFAULT:S): S #须选择 S,才能配置后面的参数#How many MERGE-Processes 23 Please Select(0-QUIT)(132)(DEFAULT:2):2How many COMM-Proc

42、esses Please Select(0-QUIT)(132)(DEFAULT:2): 2How many msg.log preserved Please Select(q-QUIT)(050)(DEFAULT:0): 5Please Input User/Passwd for login into ORACLE DataBase, It must OK when using sqlplus, If RAC, Multi-LoginUserPasswd is separated by :(colon), For Examples: system/manager system/manager

43、rac1:system/abcrac2(DEFAULT:system/manager): system/managerdb1:system/managerdb2 #RAC 环境需要能够登录到每个实例#Please Input Authority String For this System(DEFAULT:dds/dds): dds/ddsHow many seconds to query change each time(0-QUIT)(00)(DEFAULT:2): 1Size(MB) of Share Memory (0-QUIT)(210)(DEFAULT:4): 6Size(MB)

44、of message log (0-QUIT)(5100)(DEFAULT:100): 10TCP Port of Source System(0-QUIT)(00)(DEFAULT:8203): 8203Size(MB) each read(0-QUIT)(510)(DEFAULT:5): 5Size(KB) each read addtional(q-QUIT)(04096)(DEFAULT:0): Trace SEQUENCE (DEFAULT:1): 1Trace PROC/FUNC/PACK (DEFAULT:1): 1 Trace VIEW (DEFAULT:1): 1Trace

45、Privilege (DEFAULT:1): 1 Trace Synonym (DEFAULT:0): 1Trace Index (DEFAULT:0): 1Trace Trigger (DEFAULT:0): 1Is RedoLOG in OCFS (DEFAULT:0): 0Is DBF in ASM (DEFAULT:0): 0Additional Log Path (DEFAULT:): /arch1Additional Log Path (DEFAULT:): /arch2Additional Log Path (DEFAULT:): 24Config: - $DDS_DATA/co

46、nfig/tgt.cfg -TgtID (0-QUIT)(14)(DEFAULT:1): 1Target IP : 1 #目的端 ip 地址#TCP Port of Target System(0-QUIT)(00)(DEFAULT:8204): 8204 TgtID (0-QUIT)(14)(DEFAULT:2): Target IP : Config: - $DDS_DATA/config/map.cfg -Please edit configure file /templv/lhs/data/config/map.cfg也可以直接选择源端，然后通过 vi 来修改配置

47、参数文件和脚本。配置完成后，配置参数和脚本如下：$ls $DDS_DATAconfig ddstart ddstop ddclean vs map_start$ls $DDS_DATA/configgrp.CFG0 map.cfg map.cfg.bak map.cfg.old mapnot.CFG0 pid.web setup.sql sys.cfg tgt.cfg3.3 iStream 软件维护介绍3.3.1 调整调整 map涉及内容主要为：1 增加 map使用前提：a)已有的 map.cfg 文件中的 map 已经同步完毕，增量同步已经开始。b)新增加的 map 在交易系统中已经存在，并

48、且至少有一个 table 存在。调整过程如下： a)在源端编辑同步映射文件 $DDS_DATA/config/map.cfg。增加 map 对应条目,如下例：增加 2,3,4 三个用户级同步b) 在目标端编辑目标系统配置文件 $DDS_DATA/config/tgt_map.cfg，增加源端新增加的 map 所对应的条目，对应的 map 名称相同，或者直接设置为 DB 即可。c)分别重启源端和目标端的 iStream 软件，以便 iStream 把新的配置信息读25进内存d)验证，在源端通过 info map 查看新增加 map 对应关系是否成功：e)同步新增加的 map: 2. 删除 map

49、这里的删除 map，删除该 map 的同步操作。使用前提：1 该 map 在源端$DDS_DATA/config/map.cfg 文件中已经存在。2 该 map 已经做完全同步。3 调整过程如下：a)在源端编辑同步映射文件 $DDS_DATA/config/map.cfg，删除 map 对应行。b)在目标端编辑目标系统配置文件 $DDS_DATA/config/tgt_map.cfg，删除map 对应行。c)分别重启源端和目标端的 iStream 软件，以便 iStream 把新的配置信息读进内存d）在原端通过 info map 查看删除 map 对应关系是否成功。3.2.2 调整目标端调整目

50、标端描述：本功能针对调整目标节点增加目标节点、删除目标节点以及调整源端、目标端节点 IP 时的操作过程。1 增加目标节点 对于增加一个目标节点后，同步对象同原有的同步对象相同的操作，建议配置完成后，重新进行全同步。使用前提：A 现有的 map 已经做完全同步。操作描述：a)在源端编辑目标配置文件$DDS_DATA/config/tgt.cfg,增加相应的目标条目， #tgtID NextSendNo NextSaveNo Communication-Param26# 1 0 0 TCP :82041 0 0 TCP 65:82042 0 0 TCP

51、66:8204 b)调整 map.cfg 文件# define the mapping# Fields description# 1. map_id ( must0, if mapid info target e)新增加的目标节点上配置相应的$DDS_DATA 和$DDS_HOMEf)对新增加的 map 进行同步操作g)新增加的目标结点同步完成后（含索引） ，停止 dds 进程，修改 put 目录下的putfile.fno，第一列为最小的 dtf 序列号，第二列为最大的 dtf 序列号1。重新启动 dds 进程。如果两个目标端同步的 map 有相同部分，在后增加的 map

52、 全同步完成后，最好将 map 合并，这样将大大降低源端资源的占用，如下示利：停止源端 dds1 1 USER RUN AA2 1 USER RUN BB3 2 USER RUN AA4 2 USER RUN BB更改后，如下：1 1,2 USER RUN AA2 1,2 USER RUN BB启动源端 dds。282 删除目标端使用前提：A、 源端对于的 map 已经正常同步。B、 源端 map 同时同步到多个目标端。操作过程如下：1、在源端编辑目标配置文件$DDS_DATA/config/tgt.cfg 和$DDS_DATA/config/map.cfg，删除相应的行。2、并重启源端 dd

53、s 软件即可.3 修改目标端 IP使用前提：A、 源端对于的 map 已经正常同步。操作过程如下：1、止源端同步进程，在源端编辑配置文件$DDS_DATA/config/tgt.cfg，修改相应的行。2、停止目标端进程，在目标端编辑配置文件$DDS_DATA/config/tgt.cfg，修改COMM_PARAM TCP::8204 相应的行。3、重启源端、目标端 dds 软件。4 修改源端 IP使用前提：A、 源端对于的 map 已经正常同步。操作过程如下：1、停止源端同步进程，修改$DDS_DATA/config/sys.cfg，修改 COMM_PARAM TCP:1

54、:8203 相应的行。2、停止目标端同步进程，在目标端编辑配置文件$DDS_DATA/config/tgt.cfg，修改 SOURCE TCP::8203 相应的行。3、并重启源端、目标端 dds 软件。3.2.3 同步的性能调整同步的性能调整描述：本功能针对首次同步和增量同步时如何调整同步、装载速度。1 首次同步的性能调整29在初始化同步时，可增加参数 nreader 来指定初始化同步数据的并发进程数，在多cpu 系统中，采用多路并行数据同步能够大幅提高初始化的速度，系统最大支持 16 个并发。需要将 nreader 参数的数量跟目的端$DDS_DA

55、TA/ddstart 脚本中的 dds_pput 1 行数相同。使用前提：A、源端 DDS_DATA 目录的参数配置完成，进程正常启动。B、目的端 DDS_DATA 目录的参数配置完成。iStream 支持并行同步来达到增加同步、装载速度的目的，下面以 4 个并行同步为例。调整过程：1、 目的端$DDS_DATA 目录下的 ddstart 文件中的 dds_pput 1 增加致 4 行。2、 动目的端 ddstart 脚本。3、 源端通过 ddsplus 进行操作，比如：map start id=1 method=s nreader=4在目的端的会产生 his0、his1、his2、his3

56、四个目录。通过目的端的 msg.log日志可以看到有 4 个进程在并行装载。3.2.4 数据比对数据比对描述：本功能针对源端 map 和目标端 map 对于的表记录进行静态数据比较的功能。使用前提：全同步正常结束，增量同步已经开始。最好在数据业务较少时进行此功能操作。比对数据原理如下：1、将源端数据通过 odmp 工具将所要比对的数据导出到所要比对的目的端主机上，具体存放在目的端的$DDS_DATA/chk0 目录下。2、通过 dds_pput 工具，将导入到目的端的数据同目的端的数据库内相关数据进行比较，比较结果放在目的端的$DDS_DATA/chk0 目录下的 verify.txt 文件中

57、。3、数据比对只针对表结构及其内容。303.2.5 增量同步的性能调整增量同步的性能调整增量同步过程中，若目标端装载过程中，出现了有大量的资源空间：cpu、内存、io空闲的情况，则并发装载可提高装载速度，从而减少同步延迟时间。对于并行装载之间的数据之间，不能出现依赖关系，否则将有可能会影响并行装载的正确性，这一点需要并行装载配置时针对不同的业务关系做相应的调整。在增量同步时，可修改目的端的$DDS_DATA/config/tgt_que.cfg 来指定初始化同步数据的并发进程数，在多 cpu 系统中，采用多路并行数据同步能够大幅提高初始化的速度，系统最大支持 8 个并发。需要将$DDS_DAT

58、A/config/tgt_que.cfg 中的（第一列的）最大数量1 后的数目跟目的端$DDS_DATA/ddstart 脚本中的 dds_pput 行数相同。以下案例中，以 4 个并发为例。A）全同步之前的调整配置过程：1、源端进程正常启动,首次同步未开始。2、目的端 DDS_DATA/config/tgt_que.cfg 文件的参数配置完成。3、将目的端$DDS_DATA 目录下的 ddstart 文件中的 dds_pput 1 增加至 4 行4、启动目的端进程。当源端有增量交易数据产生时，在目的端的会产生 put0、put1、put2、put3 四个目录。通过目的端的 msg.log 日

59、志可以看到有 4 个进程在并行装载。B）增量过程中增加并行数量的调整以 1 个装载增加到四个并行装载为例配置过程：1、 全同步已经完成，目的端全部装载完成。2、 端进程停止3、 目的端 put0 目录下所有的 dtf 文件装载完毕。4、 目的端 DDS_DATA/config/tgt_que.cfg 文件的参数配置完成。5、 将目的端$DDS_DATA 目录下的 ddstart 文件中的 dds_pput 1 增加至 4行。6、 在$DDS_DATA 目录下创建 put1、put2、put3 目录，将$DDS_DATA/put0 目录下的 putfile.fno 文件分别拷贝到 put1、pu

60、t2、put3 目录下。7、 启动源端、目的端进程。通过目的端的 msg.log 日志可以看到有 4 个进程在并行装载。31C）增量过程中减少并行数量的调整以 4 个并行装载增加到 2 个并行装载为例配置过程：1、 全同步已经完成，目的端全部装载完成。2、 端进程停止3、 目的端 put0、put1、put2、put3 目录下所有的 dtf 文件装载完毕。4、 目的端 DDS_DATA/config/tgt_que.cfg 文件的参数配置完成。5、 将目的端$DDS_DATA 目录下的 ddstart 文件中的 dds_pput 1 增加至 2行。6、 启动源端、目的端进程。通过目的端的 ms