上海电信ODS系统数据库升级项目测试方案V

1、上海*电信 ODS 系统 数据库升级测试方案*2010-12-16第 1章 项目概述上海电信 ODS 系统作为上海电信 MBOSS 信息整合项目的一个重要组成部分， 存储上海电信的运营数据，包含客户、产品、计费和资源（业务资源）主题域，支 撑上海电信的客户经理和管理层所需的经营和客户数据的分析和统计工作。自 2004 年上线运行以来，新业务的涌现以及电信需求的不断增加要求 ODS 系 统不断向前发展。而现有的系统从硬件环境和数据库环境等各方面，都已经不能满 足用户对于该系统的需要，主要存在的问题包括：数据库版本过低，ORACLE原厂商将停止保修服务器老化，维保费用高昂目前上海电信ODS系统数据

2、库服务器使用的是IBM P5-590和P5-690小型机，590 和 690 耗电量巨大， 原厂商的设备维保费用高昂， 如果继续使用上述服务器 用于生产环境，从成本角度，是不经济的，从节能角度，是不环保的，从性能角 度看， IBM P5 的性能远不如 P6。基于以上因素，上海电信购买了两台满配的 P6-570，计划用于替换先前的ODS 数据库服务器，通过硬件的升级，从而进一步提高系统的稳定性和用户响应速度。1.1 本文目的本文主要是对上海电信 ODS系统数据库升级项目的实施方案描述， 对项目实施中的涉及系统的迁 移及扩容等提供依据。1.2 本文读者上海电信ODS系统数据库升级项目相关人员，包括

3、上海电信IT部和理想公司相关人员。1.3 参考资料1.4 Oracle 升级对周围 IT 系统的要求ODS数据库软件 Oracle从原先9i升级到11g后，ODS其它软件也需要进行相应版本升级，才能支持 Oracle 11g。目前ODS的生产软件对 Oracle的支持与否已经得到厂商的正式回复，简述如下：报表展现工具： Businessobjects (BO)目前版本不支持 Oracle 11g目前使用版本： enterprise11.0? Release I 和 Release II需要升级到的版本： Business Objects XI R3 (service Packet3.1 )QL

4、inkView (QV )目前版本支持 Oracle 11g 。但仍需测试。ETL 开发工具：Informaitca目前版本不支持 Oracle 11g目前使用版本： Informaitca PowerCenter 851需要升级到的版本：Informaitca PowerCenter 861BO、QV和Informaitca是ODS部门IT开发的主要工具，是维持 ODS生产经营的重要基础。这些 工具的升级，需要谨慎和细致的测试工作。由于这三个工具紧密结合数据库，所以测试工作必须在 Oracle 升级完成后展开，测试步骤见第 2 章。BO 和 Informaitca 升级后的新版本软件需要有硬

5、件服务器来运行。建议配置两台服务器，一台给 BO，台给 Informaitca。新版本Informaitca服务器的配置建议参考现有ETL服务器配置，如下：IBM pSeries 670 16CPU/64GB新版本B0服务器的配置建议参考现有ETL服务器配置，如下：IBM x445 8CPU/32GB第 2章 上海电信 ODS 数据库升级测试方案2.1 测试方案流程测试前准备工作：（ 1） 各类迁移或受升级影响的程序的统计整理，整改。统计采用自主申报和无主认领相结合的方式展开。首先让ODS各个小组将各自负责的程序按照模板上报，由DBA审核。第二步是对无主程序的认领。具体见”SP/functio

6、n/Package 程序的迁移 ”小节的描述信息。（2） 搭建 Oracle 11g 的测试环境。具体步骤见（3）新建ETL测试环境（版本：Informaitca PowerCenter 861 ）、新建BO测试环境（版 本： Business Objects XI R3） ，准备 QV 测试环境。（4）把ODSPD上的程序迁移部署到该测试环境中，然后复制原数据库的生产数据的一部分到测试数据库环境中（5）在ETL测试环境部署受升级影响的ETL进程（6）在 BO， QV 测试环境部署相关程序测试步骤：Oracle11G 数据库升级测试（ 1 ） 在新环境测试迁移的 Oracle 程序。（ 2 ）

7、 运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（3）在新环境对Oracle程序进行大数据量加载的性能测试，若性能测试不合格， 查找原因并予以解决。（4） 在ETL测试环境测试受升级影响的ETL进程。（5）运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（6）大数据量性能测试，若性能测试不合格，查找原因并予以解决。（7）在 BO， QV 测试环境运行测试程序。（8） 在BO，QV测试环境，IT或业务部门查看报表是否正常。若不正常，则查找 原因并予以解决。（9）Oracle11G 数据库升级测试完毕Oracle11G 数据库升级完毕后：Informaitca Pow

8、erCenter 861 升级测试（1 ）在ETL新环境测试和部署在 Oracle11G数据库升级阶段未测试过的ETL进程。（ 2 ）运行测试完后，数据比对。若数据比对未通过，查找原因 并予以解决。（ 3） Informaitca PowerCenter 861 升级测试完成。Business Objects XI R3（Service Pack 3.1）升级测试（1） 在BO新环境测试和部署在 Oracle11G数据库升级阶段未测试过的BO进程。（ 2）运行测试完后，数据比对。若数据比对未通过，查找原因并予以解决。（ 3）Business Objects XI R3（Service Pack

9、 3.1） 升级测试完成。测试方案流程示意图：2.2 SP/function/Package 程序的迁移、修改和验证SP/function/Package 程序的迁移所有的 SP/function/Package 程序由程序员填写迁移申请表申请表记录下列信息：申请人、申请日期、 SP/function/Package 的名称、环境（用户名） 、项目组、 程序用途（业务背景、逻辑等） 、程序源表、程序目标表、程序上线日期、 程序运行时间点、程序运行周期。EDA 架构师团队对所有申请的 SP/function/Package 进行审核审核的内容包括：该 SP/function/Package 是否

10、还有效，无效的 SP/function/Package 将不迁移， 但由 DBA 做好备份；该 SP/function/Package 是否符合 EDA 的代码规范；该 SP/function/Package 是否需要变更运行环境；该 SP/function/Package 是否需要做其他修改。审核通过的该 SP/function/Package 由 DBA 发布到新的服务器上审核不通过的该 SP/function/Package ，给出整改意见，整改通过后发布 无人认领 SP/function/Package 的处理DBA整理出所有没有人提出迁移申请的SP/function/Package，

11、提交EDA架构师团队做第 1 步分析，是否该 SP/function/Package 是否有效；如果认定有效，则由DBA发布，并指定程序负责人；如果认定无效，群发给 EDA 所有人员公示 1 周，若还无人认领，则作为无效 SP/function/Package 处理； 如果认定有效但需要做修改，则指定程序负责人，给出整改意见，整改通过 后发布。SP/function/Package 程序的修改EDA 架构师团队审核不通过的 SP/function/Package ，给出整改意见，提交程序负责人进行整改；整改过程需要按照 EDA 的代码规范执行；程序负责人在接到整改通知后 1 天内提交整改计划给

12、 EDA 架构师团队审核，审核通过后，按计划进行整改；整改后并通过验证后，由 DBA 提交。SP/function/Package 程序的验证如果有必要， 程序需要编写测试稽核脚本。 用以比对程序迁移后是否正常和准确 的运行。功能验证功能验证验证 3 点：程序是否能正常运行；程序执行结果是否与预期的一致。如通过稽核脚本的测试。 报表数据是否得到业务部门的确认。能力验证验证应用程序是否能够达到预期的执行效率；验证应用程序是否会耗费大量的资源；验证方式验证工作由 EDA 基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；拟态验证，在同一计划时间内运行的程序，也在同一时间内验证； 程

13、序负责人提供理论结果，验证人验证结果是否正确；2.3 ETL 程序的修改和验证ETL 程序的的迁移同 SP/function/Package 程序的迁移。ETL 程序的修改 在测试环境，所有链接原 ODS服务器ETL程序都应更改为新的服务器链接；ETL 程序的验证功能验证如果有必要，程序需要编写测试稽核脚本。用以比对程序迁移后是否正常和准确的运行。功能验证验证 3 点程序是否能正常运行；程序执行结果是否与预期的一致。如通过稽核脚本的测试。业务部门确认报表数据正确。能力验证验证应用程序是否能够达到预期的执行效率； 验证应用程序是否会耗费大量的资源； 验证方式验证工作由 EDA 基础维护组和业务单

14、位共同完成；验证工作同时兼顾功能验证和能力验证； 拟态验证，在同一计划时间内运行的程序，也在同一时间内验证； 程序负责人提供理论结果，验证人验证结果是否正确；2.4 BO 报表语义层的修改和验证BO 程序的迁移同 SP/function/Package 程序的迁移。BO 报表语义层的修改在测试环境，链接到原 ODS数据库的BO语义层的数据库链接做修改BO 报表语义层的验证验证工作同ETL程序，由EDA基础维护组和业务单位共同完成;验证工作同时兼顾功能验证和能力验证；程序负责人提供理论结果，验证人验证结果是否正确；2.5 QV报表程序修改和验证QV报表程序的迁移同 SP/function/Pac

15、kage 程序的迁移。QV报表程序修改从原ODS服务器上抽取数据到QV服务器上的程序将链接改为新服务器QV报表程序验证验证工作同ETL程序，由EDA基础维护组和业务单位共同完成；验证工作同时兼顾功能验证和能力验证；程序负责人提供理论结果，验证人验证结果是否正确；2.6测试计划（草案）任务名子任务名开始时间天数结束时间参与单位数据库升级功能测试与验证新建 ETL 测试服务器(Informaitca PowerCenter 861)2011-1-332011-1-5IT部、理想新建 BO测试服务器(Business Objects XI R3)2011-1-332011-1-5IT部、理想在ETL

16、测试服务器部署测试ETL程序。如将程序数据源连新环境。（共800多个）2011-1-632011-1-8IT部、理想在BO测试服务器部署测试程序。如将程序数据源连新环 境。2011-1-622011-1-7IT部、理想在QV测试服务器部署测试程序，如将程序数据源连新环 境。2011-1-622011-1-7IT部、理想在oracle11g测试环境部署原 ODSP啲oracle存储过程、函数（共3000多个）2011-1-632011-1-8IT部、理想oracle存储过程、函数的测试运行2011-1-862011-1-13IT部、理想oracle进程数据稽核。（数据比对脚本的运行和比对结 果分

17、析）2011-1-8102011-1-17IT部、理想原ODSPD勺oracle存储过程、函数的修改和再测试2011-1-1822011-1-19IT部、理想ETL测试程序运行2011-1-2052011-1-26IT部、理想ETL测试程序的数据比对脚本的运行和结果分析2011-1-21102011-1-30IT部、理想ETL测试程序的修改和再测试2011-2-1032011-2-12IT部、理想B0测试程序运行2011-2-1332011-2-15IT部、理想B0报表查看和业务单位确认2011-2-1432011-2-16IT部、理想、业务单位B0程序的修改和再测试，确认2011-2-183

18、2011-2-20IT部、理想、业务单位QV测试程序运行2011-2-2232011-2-24IT部、理想QV报表查看和业务单位确认2011-2-2632011-2-28IT部、理想、业务单位QV程序的修改和再测试，确认2011-3-132011-3-3IT部、理想、业务单位数据库升级性能测试与验证oracle存储过程、函数的在大数据量下的测试2011-3-422011-3-5IT部、理想ETL程序在大数据量下的测试2011-3-622011-3-7IT部、理想ORACLE生能调优2011-3-832011-3-11IT部、理想ETL版本升级测试与验证部署老环境程序2011-6-852011-

19、6-22IT部、理想运行2011-6-2332011-6-25IT部、理想测试和验证和修改。2011-6-2672011-7-2IT部、理想BO版本升 级测试与 验证部署老环境程序2011-7-352011-7-7IT部、理想运行2011-7-832011-7-10IT部、理想测试和验证和修改。2011-7-1172011-7-17IT部、理想、业务单位第3章OracleETLBOQV程序统计模板3.1 SP/function/Package 程序3.1.1程序列表模板用户对象名字类型3.1.2数据实例见oracle进程统计.xls3.2 ETL程序3.2.1程序列表模板服务器名字目录work

20、flow 名称3.2.2数据实例见ETL进程统计.xls3.3 BOQV 程序3.3.1程序列表模板主题报表名称报表类型需求提出 部门业务部门 联系人业务部门 联系电话1报表计划 启用日期1报表停用日期'报表展现 系统备注统计口径补充说明1STATE频率追溯期限1IT部门联 系人（开 发部门）需求提出部门联系人'需求审核部门联系人'需求提出 单位'IT部门联系电话（开发部 门联系电话）需求提出 部门联系 电话需求审核 部门联系 电话报表实际 启用日期1操作状态开发部门1需求审核部门访问路径BSS工单编号日报表刷新时间权限3.3.2数据实例见BO、QV进程统计.x

21、ls第 4章 系统恢复预案为避免因系统迁移失败给上海电信业务所造成的影响，确保业务的正常开展， 我们必须做好两手准备，一方面要对系统迁移方案进行严密的分析、论证，并严格 进行测试、模拟，加大各级人员的培训力度，而且只有在所有准备工作就绪，对于 数据库迁移日期选定在连续 1-2 天节假日前的凌晨进行，一切准备完备的基础上进 行数据迁移，确保平滑成功地移植。另一方面必须做好迁移不成功时的恢复方案， 使业务生产能平滑恢复到原系统进行，保障业务的正常开展。数据库迁移失败的恢复预案如在数据库迁移过冲中出现数据库迁移失败的情况，直接将旧的数据库系 统投产即可，没有需要恢复的数据。由于旧的数据库系统启用，等

22、到故障排除后，又须做一次数据库迁移，这时相当于前次的系统迁移。第5章项目难点及风险Oracle数据库系统升级是一项机遇和风险并存的系统工程，对现有系统的全面 了解和评估，升级需求的分析，合理的升级技术方案设计是升级项目的基础。由于 ODS系统为在用的生产系统，因此整个升级过程必须十分慎重，科学的升级方法论 指导和项目有计划的实施是升级的重要保障。并可能出现的问题，需采取预防措施， 尽可能减少风险的发生。下表列举了升级过程中可能存在的风险以及应对和监控措 施。序号可能遇到的风险风 险 等 级可能造成的后果风险规避方法1升级中遇到无法解决的错误， 如升级程序遇到Bug。高升级失败1）尽早搭建和生产环境一致的测试环境 ，预先在测 试环境演练升级全过程，对于升级中发生的每一种 错误找到解决办法；2） 预先制定可靠的系统回退方案，一旦升级失败， 可采取快速回退，保