上海电信ODS系统数据库升级项目测试方案

F、/ .[ ▲、/A********************************上海电信ODS系统

数据库升级测试方案2010-12-16第1章项目概述上海电信ODS系统作为上海电信MBOSS信息整合项目的一个重要组成部分，存储上海电信的运营数据，包含客户、产品、计费和资源（业务资源）主题域，支撑上海电信的客户经理和管理层所需的经营和客户数据的分析和统计工作。自2004年上线运行以来，新业务的涌现以及电信需求的不断增加要求ODS系统不断向前发展。而现有的系统从硬件环境和数据库环境等各方面，都已经不能满足用户对于该系统的需要，主要存在的问题包括：口数据库版本过低，ORACLE原厂商将停止保修口服务器老化，维保费用高昂目前上海电信ODS系统数据库服务器使用的是IBMP5-590和P5-690小型机，590和690耗电量巨大，原厂商的设备维保费用高昂，如果继续使用上述服务器用于生产环境，从成本角度，是不经济的，从节能角度，是不环保的，从性能角度看，IBMP5的性能远不如P6。基于以上因素，上海电信购买了两台满配的P6-570,计划用于替换先前的ODS数据库服务器，通过硬件的升级，从而进一步提高系统的稳定性和用户响应速度。1.1本文目的本文主要是对上海电信 系统数据库升级项目的实施方案描述，对项目实施中的涉及系统的迁移及扩容等提供依据。本文读者上海电信 系统数据库升级项目相关人员，包括上海电信IT部和理想公司相关人员。1.3参考资料升级对周围系统的要求ODS数据库软件Oracle从原先9i升级到11g后，ODS其它软件也需要进行相应版本升级，才能支持Oracle11g。目前ODS的生产软件对Oracle的支持与否已经得到厂商的正式回复，简述如下：报表展现工具：Businessobjects(BO)目前版本不支持Oracle11g目前使用版本：enterprisell.O?ReleaseI和ReleaseII需要升级到的版本：BusinessObjectsXIR3(servicePacket3.1)QLinkView(QV)目前版本支持Oracle11g。但仍需测试。ETL开发工具：Informaitca目前版本不支持Oracle11g目前使用版本：InformaitcaPowerCenter851需要升级到的版本：InformaitcaPowerCenter861BO、QV和Informaitca是ODS部门IT开发的主要工具，是维持ODS生产经营的重要基础。这些工具的升级，需要谨慎和细致的测试工作。由于这三个工具紧密结合数据库，所以测试工作必须在Oracle升级完成后展开，测试步骤见第2章。BO和Informaitca升级后的新版本软件需要有硬件服务器来运行。建议配置两台服务器，一台给BO,—台给Informaitca。新版本Informaitca服务器的配置建议参考现有ETL服务器配置，如下：新版本BO服务器的配置建议参考现有ETL服务器配置，如下:第2章上海电信ODS数据库升级测试方案2.1测试方案流程★测试前准备工作：（1） 各类迁移或受升级影响的程序的统计整理，整改。统计采用自主申报和无主认领

相结合的方式展开。首先让ODS各个小组将各自负责的程序按照模板上报，由DBA审核。第二步是对无主程序的认领。具体见SP/function/Package程序的迁移小节的描述信息。（2） 搭建Oracle11g的测试环境。具体步骤见《》（3） 新建ETL测试环境（版本：InformaitcaPowerCenter861）、新建BO测试环境（版本：BusinessObjectsXIR3），准备QV测试环境。（4） 把ODSPD上的程序迁移部署到该测试环境中，然后复制原数据库的生产数据的一部分到测试数据库环境中（5） 在ETL测试环境部署受升级影响的ETL进程（6） 在BO,QV测试环境部署相关程序★测试步骤：OraclellG数据库升级测试（1） 在新环境测试迁移的Oracle程序。（2） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（3） 在新环境对Oracle程序进行大数据量加载的性能测试，若性能测试不合格，查找原因并予以解决。（4） 在ETL测试环境测试受升级影响的ETL进程。（5） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（6） 大数据量性能测试，若性能测试不合格，查找原因并予以解决。（7） 在BO,QV测试环境运行测试程序。（8） 在BO,QV测试环境，IT或业务部门查看报表是否正常。若不正常，则查找原因并予以解决。（9） Oracle11G数据库升级测试完毕OraclellG数据库升级完毕后：InformaitcaPowerCenter861升级测试（1） 在ETL新环境测试和部署在Oracle11G数据库升级阶段未测试过的ETL进程。（2） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（3） InformaitcaPowerCenter861升级测试完成。BusinessObjectsXIR3（ServicePack3.1）升级测试（1） 在BO新环境测试和部署在Oracle11G数据库升级阶段未测试过的BO进程。（2） 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（3） BusinessObjectsXIR3（ServicePack3.1）升级测试完成。• 测试方案流程示意图：程序的迁移、修改和验证SP/function/Package程序的迁移所有的SP/function/Package程序由程序员填写迁移申请表申请表记录下列信息：申请人、申请日期、SP/function/Package的名称、环境（用户名）、项目组、程序用途（业务背景、逻辑等）、程序源表、程序目标表、程序上线日期、程序运行时间点、程序运行周期。EDA架构师团队对所有申请的SP/function/Package进行审核审核的内容包括：该SP/function/Package是否还有效,无效的SP/function/Package将不迁移,但由DBA做好备份；该SP/function/Package是否符合EDA的代码规范；该SP/function/Package是否需要变更运行环境；该SP/function/Package是否需要做其他修改。审核通过的该SP/function/Package由DBA发布到新的服务器上审核不通过的该SP/function/Package,给出整改意见，整改通过后发布♦无人认领SP/function/Package的处理DBA整理出所有没有人提出迁移申请的SP/function/Package，提交EDA架构师团队做第1步分析，是否该SP/function/Package是否有效；如果认定有效，则由DBA发布，并指定程序负责人；如果认定无效，群发给EDA所有人员公示1周，若还无人认领，则作为无效SP/function/Package处理；如果认定有效但需要做修改，则指定程序负责人，给出整改意见，整改通过后发布。SP/function/Package程序的修改EDA架构师团队审核不通过的SP/function/Package，给出整改意见，提交程序负责人进行整改；整改过程需要按照EDA的代码规范执行；程序负责人在接到整改通知后1天内提交整改计划给EDA架构师团队审核，审核通过后，按计划进行整改；整改后并通过验证后，由DBA提交。SP/function/Package程序的验证•如果有必要，程序需要编写测试稽核脚本。用以比对程序迁移后是否正常和准确的运行。♦功能验证功能验证验证3点：程序是否能正常运行；程序执行结果是否与预期的一致。如通过稽核脚本的测试。报表数据是否得到业务部门的确认。♦能力验证验证应用程序是否能够达到预期的执行效率；验证应用程序是否会耗费大量的资源；♦验证方式验证工作由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；拟态验证，在同一计划时间内运行的程序，也在同一时间内验证；程序负责人提供理论结果，验证人验证结果是否正确；程序的修改和验证ETL程序的的迁移同SP/function/Package程序的迁移。•ETL程序的修改在测试环境，所有链接原ODS服务器ETL程序都应更改为新的服务器链接；ETL程序的验证♦功能验证如果有必要，程序需要编写测试稽核脚本。用以比对程序迁移后是否正常和准确的运行。功能验证验证3点程序是否能正常运行；程序执行结果是否与预期的一致。如通过稽核脚本的测试。业务部门确认报表数据正确。♦能力验证验证应用程序是否能够达到预期的执行效率；验证应用程序是否会耗费大量的资源；♦验证方式验证工作由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；拟态验证，在同一计划时间内运行的程序，也在同一时间内验证；程序负责人提供理论结果，验证人验证结果是否正确；报表语义层的修改和验证BO程序的迁移同SP/function/Package程序的迁移。BO报表语义层的修改在测试环境，链接到原ODS数据库的BO语义层的数据库链接做修改BO报表语义层的验证验证工作同ETL程序，由EDA基础维护组和业务单位共同完成;验证工作同时兼顾功能验证和能力验证；程序负责人提供理论结果，验证人验证结果是否正确；报表程序修改和验证QV报表程序的迁移同SP/function/Package程序的迁移。QV报表程序修改从原ODS服务器上抽取数据到QV服务器上的程序将链接改为新服务器QV报表程序验证验证工作同ETL程序，由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；程序负责人提供理论结果，验证人验证结果是否正确；2.6测试计划（草案）任务名子任务名开始时间天数结束时间参与单位数据库升级功能测试与验证新建 测试服务器（ ）部、理想新建测试服务器（ ）部、理想在 测试服务器部署测试程序。如将程序数据源连新环境。（共 多个）3部、理想在测试服务器部署测试程序。如将程序数据源连新环境。2部、理想在测试服务器部署测试程序，如将程序数据源连新环境。2部、理想在 测试环境部署原 的 存储过程、函数（共 多个）3部、理想存储过程、函数的测试运行6部、理想进程数据稽核。（数据比对脚本的运行和比对结果分析）10部、理想原 的 存储过程、函数的修改和再测试2部、理想测试程序运行5部、理想

测试程序的数据比对脚本的运行和结果分析10部、理想测试程序的修改和再测试3部、理想测试程序运行3部、理想报表查看和业务单位确认3部、理想、业务单位程序的修改和再测试确认3部、理想、业务单位测试程序运行3部、理想报表查看和业务单位确认3部、理想、业务单位程序的修改和再测试确认3部、理想、业务单位数据库升级性能测试与验证存储过程、函数的在大数据量下的测试2部、理想程序在大数据量下的测试2部、理想性能调优3部、理想版本升级测试与验证部署老环境程序5部、理想运行3部、理想测试和验证和修改。7部、理想版本升级测试与验证部署老环境程序5部、理想运行3部、理想测试和验证和修改。7部、理想、业务单位第3章Oracle\ETL\BO\QV程序统计模板程序3.1.1程序列表模板见《oracle进程统计.xls》程序3.2.1程序列表模板见《ETL进程统计.xls》程序3.3.1程序列表模板主题报表名称报表类型需求提出部门业务部门联系人业务部门联系电话报表计划启用日期报表停用日期报表展现系统备注

统计口径补充说明频率追溯期限部门联系人开发部门需求提出部门联系人需求审核部门联系人需求提出单位部门联系电话开发部门联系电话需求提出部门联系电话需求审核部门联系电话报表实际启用日期操作状态开发部门需求审核部门访问路径工单编号日报表刷新时间权限3.3.2数据实例见《BO、QV进程统计.xls》第4章系统恢复预案为避免因系统迁移失败给上海电信业务所造成的影响，确保业务的正常开展，我们必须做好两手准备，一方面要对系统迁移方案进行严密的分析、论证，并严格进行测试、模拟，加大各级人员的培训力度，而且只有在所有准备工作就绪，对于数据库迁移日期选定在连续1-2天节假日前的凌晨进行，一切准备完备的基础上进行数据迁移，确保平滑成功地移植。另一方面必须做好迁移不成功时的恢复方案，使业务生产能平滑恢复到原系统进行，保障业务的正常开展。数据库迁移失败的恢复预案如在数据库迁移过冲中出现数据库迁移失败的情况，直接将旧的数据库系统投产即可，没有需要恢复的数据。由于旧的数据库系统启用，等到故障排除后，又须做一次数据库迁移，这时相当于前次的系统迁移。第5章项目难点及风险Oracle数据库系统升级是一项机遇和风险并存的系统工程,对现有系统的全面了解和评估，升级需求的分析，合理的升级技术方案设计是升级项目的基础。由于ODS系统为在用的生产系统，因此整个升级过程必须十分慎重，科学的升级方法论指导和项目有计划的实施是升级的重要保障。并可能出现的问题，需采取预防措施，尽可能减少风险的发生。下表列举了升级过程中可能存在的风险以及应对和监控措施。序号可能遇到的风险风险等级可能造成的后果风险规避方法升级中遇到无法解决的错误，如升级程序遇到u高升级失败1尽早搭建和生产环境致的测试环境预先在测试环境演练升级全过程对于升级中发生的每一种错误找到解决办法；2预先制定可靠的系统回退方案，一旦升级失败，可采取快速回退，保障生产业务系统不受影响。升级耗用的时间超过计划停机时间高业务系统运营延误1在测试环境升级演练中估算生产环境所需的升级时间适当调整升级方案和计划。）升级前进行预演，保障升级最终方案的可行性。数据库新老特性不致，导致应用运行不正常高升级