XXX数据迁移方案

XXXX核心系统主机升级/存储升级/系统迁移工程数据迁移方案本次系统迁移的目标是在4小时停机维护时间内完成数据在两个数据中心RAC环境内的迁移，两地数据中心之间通过1000Mbps的以太网链路互联。我们在本方案中建议以下三种方式实现Oracle数据库的数据迁移：RMANBackup/Restore通过全备份、增量备份实现数据迁移实现方式简单，迁移本钱较低需要较长的停机维护时间OracleDataGuard迁移通过建立Active-Standby的模式运行实现数据自动复制，通过switchover的方式实现主备中心的切换，实现数据迁移需要主-备中心使用相同效劳器硬件平台借助第三方工具〔QuestSharePlex〕迁移通过建立Active-Standby的模式运行实现数据自动复制，通过switchover的方式实现主备中心的切换，实现数据迁移支持异构平台需要第三方工具支持，本钱较高RMANBackup/Restore迁移正式迁移前使用RMAN全备份源数据库，通过1000Mbps网络将备份数据传输至目标数据中心，通过RMANrestore将数据库在目标端恢复。每天增量备份数据库，将增量备份数据通过1000Mbps网络传输至目标数据中心，通过RMANRestore将每天的增量数据恢复。正式迁移开始时，中断源数据库的客户端访问连接，通过RMAN增量备份数据库，将增量备份数据通过1000Mbps网络传输至目标数据中心，将源数据库最后的增量局部在目标数据库恢复。该方法恢复数据库实现方式简单，不需要对源数据库进行设置变更，不影响源数据库的正常运行；但该方式迁移数据库需要较长的迁移周期，同时需要安排一定的停机时间，以保证数据的完整迁移。OracleDataGuard迁移DataGuard方案是在新主机存储设备划分好、操作系统和数据库软件安装完毕之后，通过在新的磁盘阵列上创立与原有的数据库一样的卷组(VolumeGroup，简称VG)，接着再在各个VG内创立与原有数据库完全一致的逻辑卷(LogicalVolulne，简称LV)，归档日志所在目录以及oracle的bdump、cdump和udump必须和原有的数据库相应目录设置成一致。然后在原有数据库上做全库的RMAN备份，再在新的磁盘阵列上利用RMAN备份生成的文件做新的数据库的恢复，并且将新的数据库一直处于managedrecovery状态，在此状态下，原有数据库上生成的归档日志，可以在新的数据库上应用，以保证新的数据库与原有的数据库不断同时。在需要进行测试的时候，可以先将新的数据库做一次RMAN备份，然后将新的数据库至于open状态，新数据库就可以进行交易验证测试了。验证测试完成之后，将新的数据库再次恢复，此时恢复采用的文件为新数据库叩即前所做的RMAN备份的文件，然后再和迁移前的数据库通过应用归档日志保持不断同时。当执行数据库正式切换时，将迁移前的数据库所在的应用全部正常关闭，保证不再有新的数据库记录产生，然后插入相应的验证数据，再连续切假设干个归档日志，保证在线联机日志中不再保存任何数据，将生成的所有归档日志全部在新的磁盘阵列所在的数据库上进行应用，然后将新的数据库至于翻开状态，这样新的数据库就能正常对外提供效劳了。DataGuard的迁移流程如以下图所示。DataGuard方案所使用的软件、工具和命令均为安装了Oracle10g企业版所自带，不再需要另行购置。流程的实施具有一定难度，尤其还要保证不影响现有的系统的正常运行。DataGuard整个实施流程中涉及到的所有命令的学习和掌握都需要一定的时间，生产数据库和新数据库之间的归档日志如何自动传输以及归档日志如何自动在新数据库上进行应用，都需要认真考虑解决方案。DataGuard方案不能对现有的数据库做表空间大小的优化调整，它只能保持新数据库所有的数据文件和现有的数据库数据文件完全一致。但由于采用该方案，之前的数据库信息可以提前同时，在正式切换时，需要同时的数据比拟少，因而导致停业的时间比拟短。在DataGuard的三种模式中选择最大性能模式，可以尽可能地减少对现有生产数据库的性能影响。借助第三方工具〔QuestSharePlex〕迁移此方式和2.2节OracleDataGuard的方法和原理是一样的。以下图所示为SharePlexforOracle的根本结构：数据捕获SharePlexforOracle由捕获进程来收集发生变化的数据，捕获进程驻留在源系统上，自动读取Oracle的在线日志文件。这种读操作是从操作系统的角度来完成的，而不是通过数据库。通过将日志文件作为获取变化信息的源泉，Quest可以完成数据的复制而不会给生产系统带来额外的开销。由于Oracle将所有的事物变化记录到日志中并使用日志文件进行系统恢复，因此ShareplexforOracle可以通过解析日志文件保障数据的一致性。捕获进程连续监控日志文件用以捕捉变化信息。当日志文件中出现一条新记录时，SharePlex判断其是否属于被复制对象，如果是，那么SharePlex为该条记录参加用于决定此记录将被发向那个主机的地址信息并将包含地址信息的记录存放到自己的队列中，存储队列存在于数据库之外。发生改变的数据被立即处理并被发送到目标系统中而不等待提交或回滚动作的完成，因为等待提交或回滚完成将带来延迟。当提交或回滚信息被写入日志文件时，它们也将被发送到目标系统中，从而在目标系统中完成相对应的操作。捕获进程具有如下特点：捕获进程从Oracle日志文件中读取信息，因此复制过程不会给生产数据库实例带来性能问题；只有发生改变的数据被传输，而不是日志文件中的全部信息，因此SharePlex的网络负载非常小；尽管需要在Oracle数据库中安装少量的对象用来存储有关复制的一些根本信息，但源数据库不需要参与到数据捕获和传输过程中；SharePlex的捕获进程不但可以读取在线的日志文件，而且可以读取归档日志，甚至当归档日志文件被移动到其它设备上时，SharePlex会发出提示信息。正是这种能力极大地增强了系统的冗余功能。例如，如果捕获进程由于某种原因被停止，当它重新启动后数据同时不会受到影响；数据传输SharePlexforOracle在基于TCP/IP协议的网络环境完成源和目标系统之间的数据传输。其相关的进程确保数据的正确接收和网络数据包的正确顺序，从而提供网络传输冗余，确保数据的完整。整个数据传输过程无需其它的中间件。应用数据应用进程将传送到目标系统中的信息转化为SQL语句，然后发送给Oracle执行。SharePlex能够实现精确复制的一个重要原因就是其能保证从源数据库到目标数据库的Oracle读一致性，不但按顺序复制事务，而且也复制上下文信息，将源数据库中发生变化的全部事务信息都复制到目标数据库中。尽管企业从规划设计良好的业务系统中收益，但也不得不面临数据库升级和平台迁移这一挑战。如从Oracle9i升级到11G，从HP平台前移动AIX平台等等呢个。SharePlex可确保在进行以上工作时正常的事务处理得以继续进行。源系统的功能不受到任何影响，SharePlex只捕捉迁移过程中发生变化的事务并将它们排队保存。当迁移工作结束后，这些被保存的事务将被应用到新系统中并进行数据同时工作。一旦数据同时后，用户活动会有非常短暂的停顿，在此瞬间将完成系统的切换动作。方案收益异构平台的迁移及数据库升级基于SharePlex对复制平台异构的支持，SharePlex的系统迁移方案，完全可以实现跨平台的数据库迁移或数据库版本的升级。例如：用户可以平滑的实现HP平台下Oracle9i到AIX平台下Oracle11G的数据库升级，没有任何限制。极大地降低了停机时间以往的数据库迁移或升级，大局部情况下只能使用EXP/IMP的方式完成，必然造成较多的停机时间，这对现今越来越要求高可用性的7*24小时系统来说，几乎是不可接受的。SharePlex通过使用中间机，及数据变化的即时复制等技术，使停机时间从几小时甚至几天，缩短到几分钟，最大程度的满足了用户的需求。建立了风险回退机制通常的数据库升级或迁移都存在着一定的风险，如数据库与应用程序兼容问题等，如果升级后出现未预料到的问题，或升级失败，那么需要能够迅速切换到原有的系统，以保证系统的正常运行。通过SharePlex设计方案，整个迁移过程都是可控的，原有生产环境保存，升级过程中失败直接启用原有生产系统即可。SharePlex完成系统的升级或迁移后，可以建立一条由新系统到旧系统的复制链路，将新系统上的数据变化复制回旧系统。此时，如果新系统出现意外情况，应用不仅可以迅速的切换到原有的系统，也防止了切换过程中的数据损失，保证了系统的平稳过渡。迁移方案比照RMAN迁移DataGuardSharePlex难易程度较为容易有一定难度需要专业软件停机时间较长较短较短实施额外费用无无需购置软件授权需要调整现有数据库设置否是否迁移周期长短短平台要求建议同构平台同构平台无要求通过上述三种数据迁移方案的比拟和本次系统迁移的要求，我们建议采用OracleDataGuard的方式来实现Oracle数据库的数据迁移。迁移数据校验业务验证方案业务验证方式是数据迁移验证的核心，由于迁移流程中从小到大、从易到难会经历内部测试、预演和正式切换三个实施阶段，而这三个阶段分别需要业务的验证。由于系统业务交易的数量太多，而业务验证时间和参与验证机构的数量各有不同，业务验证不可能面面俱到，不可能涵盖每一笔交易，因此需要根据每个阶段的测试目的，根据业务系统的交易类别和交易重要性，在不同的测试阶段，选择不同的测试机构和机构数量，制定每个阶段可行的业务验证案例。在内部测试阶段，业务验证主要是测试数据迁移后应用能否正常交易，因此该阶段的测试侧重的是业务交易的可用性和核心交易的正确性，由于中间业务测试环境已经搭建，所以在内部测试阶段增加中间业务类的测试。预演阶段是正式切换的预先演习。由于内部测试已经测试了较为完整的交易流程，预演的目的主要是验证实际生产前台环境的可用性，另外预演测试还能起到对新主机数据库一个压力测试作用。在正式切换阶段，所有的验证交易均为真实的操作，之前两个阶段的交易只在测试环境有效，在生产环境中是不存在的，而正是切换后，迁移后的数据库就转为了新的生产数据库，此时的交易验证要尽可能的详细，必须包含所有核心交易，尤其是与外围系统有业务交易往来的交易，能测的都需要尽可能得测到。外围系统验证如果存在以订票系统为核心的外围系统，并且这些外围系统有些是需要通过业务交易与核心系统的应用和数据库打交道，有些是不需要通过业务交易直接在数据库层面或者其他层面与核心系统进行交互，基于此，可以对所有外围系统进行分析，将不需要通过业务交易验证就可以验证新旧数据库数据迁移是否正常的系统进行筛选，列出各外围系统与核心系统的关联性，并提供可行的外围系统验证方法，从而提高数据迁移验证的准确性，减少业务交易验证的工作量。技术验证方案Oracle数据库迁移的技术特性是在通过RMAN恢复数据库后，不断应用迁移，前数据库生成的归档日志而这些归档日志记录的就是使得原有数据库的数据内容进行改变的每一条语句。再由于归档白志记录的每条语句的顺序，就是每条语句被执行的顺序，换句话说，就是执行每条语句的时间顺序。根据以上分析，技术验证的方法可以考虑通过在特定的时间在原有的数据库中插入特定的内容，当数据迁移完成后，在新的数据库中查找插入的特定内容是否存在，如果不存在，迁移肯定有问题，如果存在，那么在一定程度上可以证明数据的一致性。基于以上的分析，再加上现有生产数据库的备份方式，，备份前，必须将应用和数据库正常关闭，因此在技术验证的时间点，考虑在生产数据库上建立一张验证表，说明为verify--tab，该表字段为日期和时间字段，每天备份数据库之前，在verify--tab中插入一条记录，该记录的内容为插入该条记录的日期和时间，具体精确到年、月、日、小时、分钟、秒。由于该验证记录是在数据库关闭前产生的最后一条记录，如果新的数据库上同时结束后正常翻开后，能在新的数据库的验证表verify--tab中查找到同样的当日插入验证记录，并且新数据库的告警日志altertSID.log文件中没有任何出错信息，那么可以肯定迁移前后新旧数据库的内容是保持完全一致的。为了进一步验证迁移前后数据的一致性，还可以考虑将数据库中与应用相关的、重要的数据库表的记录数和某些字段的求和进行统计。我们可以通过执行相应的SQL命令获得整个数据库中一共有多少记录。当然，这个数据的获得应该在应用正常关闭后数据库正常关闭前获得，然后将这两个数据记录下来。在数据迁移完成后，在新的数据库中同样执行相同的命令，也能得到两个数据，将前后两次所得到的活期账户数和活期账户余额求和两个数进行比照，如果两个数都分别完全一致，那么从另一个角度也能说明迁移前后新旧数据库数据的一致性。完整性和可用性验证相比照拟简单，只要迁移后的新数据库能正常翻开，并且架构在数据库之上的应用能正常启动，不会报由于数据库的问题导致应用不可用，并且新数据库的告警日志altertSID.log文件中没有任何出错信息，那就可以肯定迁移后的新数据库是完整的、可用的。数据迁移的验证是一个非常重要的内容，通过验证可以确定新旧数据库内容是否一致，可以确定新的数据库的完整性和有效性。

效劳协议效劳内容本工程主要包括了XXXX股份有限公司电信机房迁移工程涉及的效劳器、存储、SAN交换机、虚拟化软件等硬件设备、相关软件以及系统集成方案详细设计、实施、培训、技术支持与效劳等内容。本工程系统集成效劳的具体内容如下：完本钱工程中标采购设备的总体设计及工程实施方案的设计。完本钱工程中标采购设备的安装、调试及相关软件的集成效劳。完本钱工程中涉及到的系统升级、平台迁移和数据迁移的实施工作，确保在停机时间内可以平滑升级。编制与本工程相关的各种工作文档、技术文挡、测试记录和工作记录，并在工程验收完成后全部提交给甲方备案。为甲方有关信息系统管理人员及相关人员提供相关设备的技术、维护等相关培训。工程实施工作小组1工程经理XXX工程经理IBMP系列认证VCP虚拟化认证OCP数据库认证2工程指导XXXORACLE专家3效劳器工程师XXXIBMP系列认证OCA数据库认证4存储工程师XXXIBMP系列认证5数据库工程师XXXIBMP系列认证OCP数据库认证

工程进度方案T0+5T0+15T0+20T0+25T0+30T0+35T0+45T0+50T0+70准备阶段产品订货到货验收设备上架硬件平台联调数据迁移演练系统测试数据库正式迁移系统整体测试/割接工程初验工程终验注：T0为工程启动时间产品订货约10天实际实施时间约20天，同时进行系统测试

工程分工界面XXXX职责：任务一工程准备目标：协助XXXX检查实施环境条件。任务描述：协助XXXX前期的实施准备工作，提交有关现场安装环境要求的文档，协助完成现场环境的准备，检查并确认XXXX设备安装环境是否已具备实施要求。在XXXX的协助下，完本钱次工程的需求调查，为工程实施进行深化设计和前期准备。现场勘查任务说明：对施工现场进行实地环境和准备情况勘察。结合现场情况访谈用户，对主机、存储、光纤网络、IP网络需求进行深入了解和细化。结合业务特点，了解现有系统运行环境。实地勘察完上述地点后，在五个工作日内对该地发现的问题和建议进行汇总整理，以报告的形式提交给甲方。交付件:?现场勘察报告?完成标准：乙方完成上述工作，提交交付件，本任务即视为完成。任务二制定详细设计方案及实施方案目标：为XXXX工程具体实施确定深化实施方案。任务描述：制定深化设计方案。制定系统实施方案。制定系统测试方案。制定系统验收方案。交付件：?SOW手册?、?深化设计方案?、?系统实施方案方案?、?验收方案?完成标准：乙方完成上述工作，提交交付件，本任务即视为完成。任务三设备到货、现场验收目标：催促厂商设备生产及发货，确认到货设备符合合同约定。任务描述：催促厂商设备生产及发货。制定设备验收方案。在到货现场，对硬件设备和软件进行检查并记录设备S/N号。交付工程：设备现场验收文档完成标准：乙方完成上述工作，提交交付件，通过客户审核，甲方本任务即视为完成。任务四系统安装调试、数据迁移目标：在XXXX现场完成硬件设备和软件的安装、配置和调试。任务描述：数据库效劳器安装，调试存储设备安装、调试效劳器和存储系统互联新平台RAC环境搭建系统测试和迁移方案论证、演练数据迁移交付工程：?系统集成完工报告〔FAT〕?、?工程SOP手册?、?系统测试报告?、?系统终验报告?完成标准：乙方完成上述工作，提交交付件，通过客户审核，甲方本任务即视为完成。XXXX职责：l，XXXX应同集成商进行系统整体设计，规划及技术标准的制定；2，XXXX应配合集成商的分工界面及工程实施方案，提供适宜的机房环境、传输电路和与电信的互连互通；3，XXXX应在采纳集成商的各项建议后，对集成商的行为做出有效的约束，以保证工程的顺利实施：4，XXXX应根据双方确认的技术标准与合作界面对集成商负责的局部进行验收，并检验集成商的工作进度；5，为保证工程的顺利运行，XXXX应在故障发生的1小时之内计时以书面形式通知集成商；6，XXXX负责整个系统的验收。7，设备到货后XXXX可提供存放地点，但不保证其平安性。集成商和XXXX应保持及时充分的沟通，本着协作的精神，共同保证工程的顺利实施。为了保证本工程按照XXXX的要求按期、按质地完成工程建设，建议由贵方牵头，由集成商协助，成立工程工程总协调小组，实施统一的工程协调会制度。实施细节如下：l，建立工程总协调小组，统一协调各方技术标准、工程进度等实施问题。2，工程总协调小组的具体运作，应该有明确的、含工程全程的实施方案和要求。内容有：工程总协调小组的组织结构及职责定义；工程总协调小组的成员名单；统一的工程进度及协调会制度；工程简报制度；工程文档标准。

工程验收方案工程验收包括工程结束时交付系统的验收，也包括工程执行过程中的集成产品交付、工程阶段成果交付等的验收。应该讲，工程验收贯穿于工程的全过程。以下从工程验收组织、验收内容、验收标准、工程交付物以及验收文档，五个方面说明本工程的工程验收。一、验收组织由业主方、我方〔如果业主需要可以外聘专家〕组成验收小组，负责对工程进行全面的验收。也可以在合同专用条款中明确是否委托第三方进行验收，没有约定第三方的，由业主负责验收，每次验收均应在五个工作日完成。二、验收内容测试及验收在此次工程验收中，甲乙双方需要对工程中所提供的产品型号进行验收。验收过程中，将提交验收方案、验收测试报告。在产品交付验收后，我方会将产品全部技术文件、资料、及测试、验收报告等文档聚集成册交付XXXX股份有限公司。在验收中测试的程序包括：测试方案及程序包括以下几项：a〕测试的说明及测试的目的；b〕测试结果记录的说明；c〕观察、测试结果的硬件产品及程序；d〕测试进度表；e〕使用的软件程序清单及说明。有关的测试结果要以书面报告的形式由投标人提交，内容包括：测试的系统功能；测试的系统性能等。设备验收我方应提前二天通知业主做好验收准备。在指定的交货地点组织验收应随货物向客户交付相关的备件、工具、使用说明书及相关资料。设备验收是工程重要环节，主要设备清点及加电测试，具体包含内容如下：设备的品牌、规格、数量、质量、资料。设备是全新的、未使用过的，采用的是最正确材料和第一流的工艺。设备的质量、规格和性能等符合合同规定的质量、规格和性能要求。验收合格后，业主应向我方出具加盖公章的?货物质量验收单?。验收不合格的，业主有权拒收。我方应在5个工作日内按约如数更换到位，并保证验收合格。逾期交货按违约处理。如果检测结果证明确有质量问题，我方应无条件退货，检测费用由我方承当，并承当因此逾期交货的违约责任。如果检测结果证明没有质量问题，业主应无条件接受货物，检测费用由业主承当，我方不再承当因此逾期交货的违约。三、工程最终验收工程阶段验收完成后，系统进入试运行期。系统经过试运行稳定运行后，由XXXX主管部门组织最终评估审查的方式进行最终验收。工程最终验收包含，系统功能测试，系统性能测试、工程绩效分析、工程实施文档检查等工作，全方位对工程实施结果进行测试和检查，确保到达系统设计要求。工程最终验收合格后，双方代表签署“最终验收报告〞、“最终验收报告〞的签署即代表工程系统集成工作全部完成。四、验收标准设备验收标准设备的品牌、规格、数量、质量、规格和性能及资料满足合同要求；设备是全新的、未使用过的；系统验收标准将XXXX招标文件，我公司投标文件、我公司针对本工程的深化设计与施工设计及