应用和大数据迁移方案设计

应用和数据迁移方案因为xxx生产作业是二十四小时不间断运作，所以要求系统能连续运行，并具备很高安全可靠性，用户希望在以最小系统停机时间完成生产系统迁移工作。此次系统迁移工作最大风险点和难点在于在有限停机时间内完成数据库迁移工作。数据库迁移处理思绪xxx数据库系统数据量较大，而且应用系统可用性要求极高，所以此次升级要求在有限停机时间内，最大程度降低风险、数据库业务在新主机和存放系统上能够正常运行。为了尽可能降低业务系统停机时间，确保数据库迁移工作顺利完成，我们基于以往实施数据库迁移成功案例(1.1T数据量，迁移时间不超出15分)，经过严格数据库迁移测试，提出了采取数据库Dataguard技术数据迁移。采取数据库Dataguard技术数据迁移特点：对业务影响小，switchover到新主机时间小于10分钟一旦新数据库出现问题能够方便回切到原来数据库，不丢失差异数据采取数据库Dataguard技术数据迁移主要步骤以下：在新主机上安装Oracle9i数据库软件在新主机上配置Dataguard数据库(物理standby)利用DataGuard技术，主数据库不停将新产生数据库归档日志传输到新主机并将这些归档日志应用到standby数据库，实现主备数据库之间数据同时系统割接期间只需将新主机上standby数据库切换为主数据库即可（switchover时间小于10分钟）一旦新系统上数据库运行出现问题只需将数据库切换回原来主机上即可，不会丢失任何数据数据库升级处理思绪数据库升级基本出发点确保企业生产及业务系统运行安全性、连续性克服原有系统缺点吸收适用系统新特征迁移工作必定包括到数据库系统扰动，所以降低对于正常业务系统冲击，确保它连续性和安全性是第一个出发点，数据库系统是业务系统基础，认真准备和设计数据库迁移是开始第一步。迁移到更新版本工作也是纠正原有系统内含错误良好机会，这个标准一样也适合于任何软件系统和硬件设备。数据库迁移方式从Oracle9i到Oracle10G迁移有三种方式：使用export和import优点：经过导出和导入方式对数据库存放结构进行重整有利于降低数据库碎块缺点：对于超出150G以上数据库，采取exp/imp方式停机时间很长使用Migrate脚本优点：速度快，通常在30分钟内能完成脚本升级缺点：一旦升级后就无法回退使用Migrate向导工具（DBUA）优点：速度快，通常在30分钟内能完成脚本升级缺点：一旦升级后就无法回退,容错性较差我们综合考虑了数据库规模、停机时间、升级风险和以往成功案例后，我们提议采取数据库升级脚本方式直接升级迁移后数据库,项目实施计划实施步骤为了降低项目实施风险，我们提议将整个系统迁移和升级项目拆分为五个阶段：准备阶段准备阶段需要完成搭建新系统环境，是整个系统迁移项目成功基石，主要工作包含安装操作系统、系统参数调整、存放及LVM设计和规划、MS/SG规划和实施等测试阶段因为数据库升级采取脚本直接在生产库上实施，所以完备细致测试工作是整个项目成功是否关键，在测试阶段我们需要达成以下目标：验证迁移方案可行性处理迁移测试过程中碰到错误依照测试结果调整迁移过程对整个系统迁移过程做深入优化数据库迁移阶段为了尽可能降低系统停机时间数据库迁移工作，我们计划采取Oracle9iDataguard技术：将数据库热备份恢复到新主机，配置主备节点数据库归档日志同时，系统割接时候只需做switchover操作将新节点上备用数据库角色切换为主数据库即可。数据库迁移到新节点后将应用系统也切换到新数据库，在新系统上运行一段时间，假如发觉新节点上数据库或主机出现问题，能够方便回切到原来数据库，不丢失任何数据。数据库升级阶段数据库升级因为直接在生产数据库上执行升级脚本，一旦升级失败对业务影响较大，所以其实施前提是：测试阶段数据库升级测试成功对升级风险有预判和应急方法整个数据库升级时间在用户可接收范围内在数据库升级前必须有个最新、可用数据库全备份数据库迁移升级后工作数据库迁移升级后工作包含数据库全备份、主机和数据库性能监控等实施计划依照以上步骤整理该项目实施计划表格以下：时间工作内容负责单位配合单位准备阶段系统环境调研天玑科技xxx新主机系统盘做mirror天玑科技安装HPDP备份软件天玑科技双机HPMC/SG规划及配置天玑科技主机系统参数、卷组、文件系统及数据库配置参数检验天玑科技测试阶段实施Dataguard数据库迁移天玑科技应用测试HPMC/SG双机切换测试天玑科技实施数据库升级测试天玑科技应用测试HPMC/SG双机切换测试天玑科技数据库迁移阶段数据库全备份天玑科技在新主机上创建dataguardphysicalstandbydb天玑科技配置datagurad使得主备数据库之间归档日志同时天玑科技停应用xxx生产数据库切换为physicalstandbydb天玑科技在新主机原physicalstandbydb切换为主数据库天玑科技应用系统测试及相关应用连接数据库配置修改天玑科技MC/SG切换测试天玑科技DataProtector数据库备份配置天玑科技系统上线天玑科技数据库升级阶段Oracle9i数据库全备份及数据库软件备份天玑科技数据库升级前检验天玑科技数据库参数调整天玑科技停应用xxx运行数据库升级脚本天玑科技编译数据库无效对象天玑科技重启数据库，应用系统测试天玑科技DataProtector数据库备份配置天玑科技HPMC/SG切换测试天玑科技系统上线天玑科技数据库升级后工作主机性能监控天玑科技数据库性能监控天玑科技Oracle10g数据库全备份天玑科技系统迁移应急策略系统迁移实施前异常假如在规划时间点之前没有完成实施准备阶段任务，实施时间顺延，在确保准备工作就绪前提下才进行实施工作。天玑科技将在该项目开始实施前进行全方面性系统软、硬件健康检验，确保在项目实施前系统完好。系统迁移实施过程中异常此次系统迁移实施标准是确保系统在规划实施时间段之外能够正常运行。为确保系统在发生硬件或软件故障时能够及时得到技术响应，需要协调各相关人员到位。在实施过程中操作步骤具备可逆性，确保以外发生时候可将系统快速回退到最初状态。系统和数据在实施前都做最新备份。因为在正式数据库迁移之前，已经做过测试迁移工作，应该能够估算出迁移大约所需时间。假如因为一些不可测原因造成迁移过程异常迟缓或终止，数据库升级所需时间超出原定时间，我们能够快速将数据库系统恢复到最初状态。系统迁移实施后异常因为该项目实施过程中，只有在确认了Oracle数据库迁移成功而且Oracle9i成功升级到10G成功后，才打开对数据库数据增加、删除、修改等数据库变更操作，不然全部表空间均设置为readonly状态（或者经过调整Websphere中间件，停顿对后端数据库写操作方便限制成功迁移、升级之前Oracle数据库变更），所以，系统迁移实施后异常情况下，因为迁移前后均不包括到数据库数据变更，严格来说能够简单经过恢复原环境节点负担中间件连接即可恢复为原有环境。另首先，前期充分测试也是对该应急方法保障性测试。风险分析及对策分析经过天玑科技多年以来专业服务项目实施经验，我们提议xxx在该项目标实施过程中应把风险管理贯通整个项目，天玑科技充分考虑了可能造成项目失败全部原因和预防方法，以及发生时管理方法，以此作为该项目标风险躲避方案。风险种类不可控制风险重大政策出台，影响企业发展；重大社会事件发生自然灾难造成机房，机器在升级过程中受损可控制风险随意变更项目目标、范围、时间；随意调用项目人员，使其没有足够参加时间；不能及时决议、及时确认项目阶段汇报；不恪守项目纲领要求。可能风险数据库版本升级带来与应用不兼容，包含性能方面和功效方面数据库版本升级带来现有硬件不兼容，比如带库数据库版本升级带来现有软件不兼容，比如备份软件，监控软件数据库版本升级带来管理人员培训需要以上从系统各个方面简单描述了各种类型风险，详细风险及防范方法将经过下面依据升级工作生命周期阶段性分析来详细描述，将涵盖可能产生各方面风险。风险分析及防范方法我们依照以往数据库Oracle9i到Oracle10G升级成功经验，对于xxx改造项目实施过程中可能出现以下风险点及提出了对应应对方法：风险一：直接在生产库上升级风险使用脚本升级方式，也就意味着最终正式升级只能是在产品库上直接进行，那么不论之前做过何种测试，都可能因为意外原因造成升级失败（比如升级过程中意外断电，硬件发生意外损坏等），升级失败就可能意味着生产库不可用。防范方法稳妥备份策略是升级工作后备军。只要有有效数据库备份，就能够胆大心细地进行升级工作。而现在帐务数据库在无锡新区有异地备份容灾库，这更是一个有力确保，让升级工作无后顾之忧。风险二：生产库恢复时间风险假如升级失败，那么可能需要恢复生产库以应对第二天业务，因为移动数据量很大，即使是使用增量备份方法也需要最少恢复一天归档日志，那么假如万一升级出现问题，能否在升级窗口期内完成数据库恢复是一个风险。防范方法稳妥备份策略不但仅包含备份效率，一样也包含恢复效率，一个只能备份而无法在要求时间内恢复备份策略是不合格，也是没有意义。所以一样，制订有效备份策略同时进行同比数据量恢复测试是必要风险防范方法。风险三：数据库服务器之间版本不一致风险在一段时间内，Oracle9i和Oracle10g将同时存在于数据库系统中，各个系统之间存在着不一样版本数据库数据交互现象，可能产生数据不兼容情况。防范方法详细考虑升级先后次序，哪套系统先升级，哪套系统后升级。尽可能使有数据交互系统在同一时刻进行升级。假如无法做到同一时刻升级，那么需要进行升级测试和升级预演，确保在测试环境中不一样版本数据库之间交互是没有问题。风险四：客户端和服务端版本不一致风险客户端（Websphere中间件）和服务端（Oracle10G）一样在一段时间内存在着版本不一致现象，服务端可能无法正常处理客户端请求，而客户端也可能无法正常接收服务端数据。防范方法对于可能存在客户端和服务器端版本问题，在升级之前必须有测试环境进行全方面测试，将普通功效问题在测试环境中就给予处理，尽可能降低产品环境中升级风险。对于已知故障，能够按照天机科技对应故障处理方法，经过Patch和设置Event来防止产生CoreDump。风险五：Failover风险对于网卡不支持单机多网卡之间Failover，以往网卡Failover设置需要改动。防范方法提议使用操作系统功效将多块网卡捆绑为一个NIC设备，以此防止网卡单点故障。风险六：升级Pro*C程序版本风险在新版本数据库下可能无法正常编译；假如无法正常编译，需要原开发人员技术支持，不过原开发人员可能因为人员变动而无法找到；假如需要其它开发人员修改，需要确保源代码还存在，而且同时要考虑现任人员修改能力。防范方法对于这么情况只有经过测试才能确认是否兼容，尽可能详尽地进行升级测试和升级预演是防范问题出现在产品环境中必要伎俩。风险七：不升级Pro*C程序版本风险旧版本Pro*C连接新版本数据库可能会出现非预测错误结果或者低下应用性能。（需要确认xxx应用系统是否采取该选项）防范方法在Oracle顾问参加某项目中，客户就直接使用9i版本Pro*C程序连接Oracle10g数据库，取得了跟以往一样功效和性能。不过因为Pro*C程序多样性，所以必须慎重测试。对于这么情况也只有经过测试才能确认是否兼容，尽可能详尽地进行升级测试和升级预演是防范问题出现在产品环境中必要伎俩。风险八：疲劳操作风险升级工作比较担心，高强度工作也轻易使人疲劳，而在担心和疲劳状态下，是比较轻易产生人为失误。防范方法升级工作必须由最少2人协同完成；按照升级预演文档仔细操作；重大命令必须有协同工作人员确认之后才能够输入；完善备份让升级工作无后顾之忧。风险九：执行计划稳定性风险Oracle10g在创建完数据库之后会产生一个自动定时搜集数据库对象统计信息Schedule，默认是在周一到周五天天晚上10点以及周六凌晨0点，对于执行计划已经比较稳定产品环境来说，天天搜集统计信息是没有必要，同时还存在可能改变执行计划隐患。防范方法禁用统计信息自动搜集。加强性能监控。风险十：HighVersionCount风险因为Oracle10.2.0.3对于cursor是否能够重用安全性检验加强，所以在Cursor_sharing=SIMILAR或者FORCE系统中，可能会产生同一SQL大量Version，将会严重影响应用性能。防范方法完善测试应用功效和性能。风险十一：并行性能风险对于在表或者索引上定义了并行度情况，对于xxx系统这么负载较大OLTP系统，可能会因为并行进程大量占用资源而造成数据库性能急剧下降。防范方法在升级之后需要仔细检验表和索引并行度，提议将全部并行度都设置为1。假如确实需要并行，那么经过在程序中指定parallelhint来实现并行。风险十二：RMANCatalog风险10gR2RMANCatalog跟9iCatalog有差异，继续使用旧版本RMANCatalog会造成RMAN命令错误。防范方法在升级完数据库之后立刻升级RMAN