江苏移动BOSS容灾备份系统建设情况汇报

江苏移动通信有限责任公司 江苏移动 BOSS容灾备份系统 建设情况汇报 江苏移动通信有限责任公司 江苏移动通信有限责任公司 第 2 页 汇报提纲 项目建设背景 项目建设目标 第一阶段建设方案 第一阶段工程建设情况 第一阶段建设经验总结 第二阶段建设思路 江苏移动通信有限责任公司 第 3 页 项目建设背景 按照集团公司统一部署，江苏公司于 2003年 9月底完成BOSS集中化改造工程， BOSS集计费、营业、帐务、客服等各功能于一体的综合业务支撑平台，是保证市场经营活动正常开展，提高服务水平和市场竞争力的重要工具。 保证业务服务和支撑的连续性，在 BOSS系统发生不可抗拒故障发生时，保证客户满意度、服务质量、公司信誉等不受影响成为业务支撑工作当务之急。 2003年 6月底集团公司批复江苏公司作为 BOSS容灾备份项目试点省份。 江苏移动通信有限责任公司 第 4 页 汇报提纲 项目建设背景 项目建设目标 第一阶段建设方案 第一阶段工程建设情况 第一阶段建设经验总结 第二阶段建设思路 江苏移动通信有限责任公司 第 5 页 项目建设目标 为 BOSS系统抵御重大故障和灾难，我公司积极探索 BOSS容灾备份系统，并作为集团公司第一个远程 BOSS容灾系统试点工程，容灾中心设置在无锡市，距南京 BOSS生产中心超过 200公里（传输距离超过 230公里）。 江苏移动通信有限责任公司 第 6 页 为降低项目实施风险 ， 设立分阶段建设目标 . BOSS关键应用系统容灾，总结容灾系统建设技术和管理经验 BOSS系统 BOSS容灾备份 第一阶段工程 实现关键应用系统的异地容灾备份 BOSS容灾备份 第二阶段工程 承担部分应用功能、各分公司个性化统计分析、系统测试等 为第二阶段容灾建设积累技术和管理经验 两个中心负荷分担和互为灾备 充分发挥容灾系统设备资源利用率和效益 最终实现关键应用系统容灾备份和负荷分担两个业务运营中心 项目建设目标 江苏移动通信有限责任公司 第 7 页 汇报提纲 项目建设背景 项目建设目标 第一阶段建设方案 第一阶段工程建设情况 第一阶段建设经验总结 第二阶段建设思路 江苏移动通信有限责任公司 第 8 页 总体方案 根据 BOSS系统的特点 ,按照三层体系结构进行建设 ,采用多种技术混合的容灾方案 ,分别从应用 、 主机 、 存储 、 网络 、物理等 5个层次实现从生产中心到容灾中心的 IT映射 。 第一阶段 RTO和 RPO指标 计费 、 帐务 、 客服 （ 营业 ） RTO 指标 = 4 小时； RPO=0小时 。 第一阶段建设方案 江苏移动通信有限责任公司 第 9 页 第一阶段建设方案 第一阶段项目 投资情况 项目立项金额为 1.8亿元人民币 ， 其中第一阶段金额为 1.3亿元人民币 ， 第二阶段 5000万人民币 。 江苏移动通信有限责任公司 第 10 页 第一阶段建设方案 BOSS（南京） BOSS容灾备份系统（无锡） SAN 接入层 业务逻辑层 核心数据层 SAN 接入层 业务逻辑层 核心数据层 采集点、漫游结算中心、营业厅、网上营业厅、银行、 HLR/AUC、 1860/1861、秘书台、经营分析系统 业务数据状态同步 接入冗余切换及业务处理能力冗余 江苏移动通信有限责任公司 第 11 页 BOSS系统 容灾备份技术方案选择 计费 集中采集 应用软件 计费应用 应用软件 计费数据库 数据库和应用软件相结合 帐务 客服 (营业 ) 帐务应用服务器 应用软件 帐务客服数据库 智能存储系统 Multi-HOP远程复制 业务逻辑和接入 应用软件 查询数据库 数据库和应用软件相结合。 第一阶段建设方案 江苏移动通信有限责任公司 第 12 页 第一阶段建设方案 接入层 中间层 帐务应用层 计费 网间结算 报表系统 核心数据层 异步 同步 银行 /邮储 BOSS南京中心 接入层 中间层 帐务应用层 计费 核心数据层 应天西路 转换点 应用级容灾 应用级容灾 应用级容灾 应用级容灾 虎踞路 81号 无锡中心 江苏移动通信有限责任公司 第 13 页 BOSS计费系统容灾拓扑图 计费 数据库 计费应用 服务器 通过 FTAM、FTP协议传输原始话单文件 集中采集 服务器 批价后清单文件发送给帐务 复制 数据库 漫游数据 通信服务器 以文件方式传输省际、国际漫游话单 MSC Gateway SCP/SSP SMC ISMG 帐务客服 数据库 帐务应用 服务器 数据源 计费 数据库 计费应用 服务器 集中采集 服务器 帐务客服 数据库 帐务应用 服务器 漫游数据 通信服务器 原始文件同步 基于应用的水平和垂直同步 基于数据库复制技术实现关键表同步 生产中心 容灾中心 江苏移动通信有限责任公司 第 14 页 BOSS帐务客服系统容灾方案 统计分析 服务器 计费应用 服务器 查询 数据库 帐务客服 数据库 计费 数据库 帐务应用 服务器 银行、邮储 HLR/AUC 营业厅 1860/1861 秘书台 网上 营业厅 一级BOSS HLR容灾 银行前置 统一接口 Web接入 查询应用 客服应用 帐务客服 数据库 查询 数据库 帐务应用 服务器 银行前置 统一接口 Web接入 查询应用 客服应用 批价后话单文件、应用软件同步 基于智能存储数据库同步 软件同步 统计分析 服务器 计费应用 服务器 计费 数据库 生产中心 容灾中心 查询话单同步是通过对批价后话单文件重新入库实现，在线线保留 2 1个月。 江苏移动通信有限责任公司 第 15 页 智能存储系统 Multi-HOP数据复制示意图 图例： 主机 SAN交换机 磁盘阵列 FiberChannel通道 (FC) 南 京 应 天 西 路 生 产 中 心南 京 虎 踞 路 8 1 号 转 换 点无 锡 容 灾 中 心4 套 帐 务 客 服 数 据 库同 步 方 式异 步 方 式R 1R 2 B C VB C VR 2C - B C V4 套 帐 务 客 服 数 据 库f c _ s w 1 1 f c _ s w 1 2f c _ s w 2 3 f c _ s w 2 4f c _ s w 0 1f c _ s w 0 2江苏移动通信有限责任公司 对容灾系统管理功能而言， 最关键是什么？ 能够在灾难发生时，能够顺利切换，并且满足RTO、 RPO指标。 为了完成这个目标要做到 A)根据 BOSS系统特点，选择合适的切换模式 B)操作比较方便，特定人员经过培训后，能将复杂的 BOSS系统切换到容灾中心。 强化系统管理功能设计 容灾备份系统管理功能介绍 江苏移动通信有限责任公司 第 17 页 系统管理 容灾管理软件功能结构图 系统监控 BOSS BOSS DR运维电子工作流 任务调度 配置管理 演习及导 航 模拟演示 切换导航 切换演习 同步 &稽核 应用发布通知 江苏移动通信有限责任公司 系统管理功能 切换导航 人性化的切换、演习、模拟演示导航 各类角色可以根据提示一步步操作 最大化自动化操作，少量人工的简单判断 可以配置各步骤的依赖关系预留人工操作（例如外部接口的联系人名单） 江苏移动通信有限责任公司 容灾系统管理功能 切换导航 a) 总负责人启动导航 b) 总负责人根据本次切换切换分配角色 c) 相关角色负责人会收到短信通知 d) 角色负责人进入系统，签到 e) 总负责人通过界面可以看到各个角色的签到和任务执行状态。 f) 角色负责人如果遇到某个步骤执行失败，可以选择强制跳过该步骤，不会影响整个切换。 g) 总负责人可以选择是否中止切换导航。 江苏移动通信有限责任公司 第 20 页 切换导航 切换过程监控 江苏移动通信有限责任公司 第 21 页 切换导航 切换角色状态 江苏移动通信有限责任公司 第 22 页 切换导航 任务总图 江苏移动通信有限责任公司 第 23 页 切换导航 操作员操作界面 江苏移动通信有限责任公司 第 24 页 切换报告 切换总结可以打印、另存为本地文件。 切换导航 切换报告 江苏移动通信有限责任公司 第 25 页 系统管理功能 同步 &稽核 对数据的同步方式 EMC Multi Hop-zwdb 应用同步分发 清 单 MV 系 统管理配置数据 人工数据维护 清 单库 对应用和配置的同步 &稽核方式 文件同步 &稽核 目录同步 &稽核 数据库信息稽核 江苏移动通信有限责任公司 第 26 页 同步 &稽核告警 江苏移动通信有限责任公司 第 27 页 定期组织实施演习 通过演习验证预案中的流程和应急措施的正确性和可用性；通过演习使各类人员熟悉流程与操作步骤 ， 加强操作人员之间的配合 ， 提高处理效率；通过演习发现流程 、人员配合等各方面的问题并加以改进 ， 以利于今后的应急处理 。 为此 ， 我们制定了BOSS备份系统备份恢复演习 、BOSS容灾系统演习等计划 。 演 习 环 境 准 备演 习 正常 ？核 查 、 修 正演 习 规 划流 程 演 习 回 退 流 程评 估 演 习 对业 务 影 响发 布 修 改 后演 习 规 划 文 档开 始结 束制 定 演 习 回 退 流 程触 发 演 习 场 景执 行 演 习 规 划总 结 演 习 经 验 ， 修改 演 习 规 划否是江苏移动通信有限责任公司 第 28 页 汇报提纲 项目建设背景 项目建设目标 第一阶段建设方案 第一阶段工程建设情况 第一阶段建设经验总结 第二阶段建设思路 江苏移动通信有限责任公司 第 29 页 2003年 6月底，我公司正式启动 BOSS容灾备份系统项目各项准备工作，进行项目可行性研究和技术论证。 2003年 10月完成可研 ,并开始正式启动项目的应用软件采购、主设备国际招标、机房配套工程建设等工作。经过 7个月软件开发、系统测试努力，于 6月份投入容灾切换演习阶段。 第一阶段工程建设情况 江苏移动通信有限责任公司 第 30 页 机房及配套设备改造 设备安装 软件开发 DCN网改造 智能存储系统 Multi-HOP调测 系统切换演习测试 第一阶段工程建设情况 江苏移动通信有限责任公司 第 31 页 机房及配套设备改造 1. 机房装修： 2003年 10月开始机房装修，到 2003年底全部完成。 2. 高低压配电改造： 为 BOSS容灾系统新建一套高低压配电系统， 2003年 10月开始， 2004年 2月完工，开始给容灾系统供电。 3. UPS及空调安装： 新建一套 250KVA的 UPS系统，新增 9台 5万大卡机房专用空调。 第一阶段工程建设情况 江苏移动通信有限责任公司 第 32 页 应用软件开发 软件开发阶段 开始日期 结束日期 需求分析（容灾、 BOSS调整） 1月 10日 2月 20日 总体设计（容灾、 BOSS调整） 2月 10日 3月 10日 详细设计 3月 1日 3月 31日 编码和单元测试 4月 1日 5月 15月 集成测试、联调 5月 15日 6月 15日 设备安装情况 2月份开始共用三个月时间完成无锡容灾中心及南京同城点小型机、磁盘阵列、网络设备的安装、加电、系统安装配置，完成传输链路调试。 第一阶段工程建设情况 江苏移动通信有限责任公司 第 33 页 DCN网络改造 1、 南京 BOSS系统与无锡容灾中心之间新建 8条 155M传输用于容灾系统与 BOSS系统的 DCN骨干网连接 。 2、 各市分公司各新建 2条 155M传输用于市公司与容灾系统的 DCN骨干网连接 。 3、 DCN网改造后全省 DCN骨干网已成网状 ， 既用于容灾系统 ， 又构成迂回路由 ， 消除了单点故障 。 第一阶段工程建设情况 江苏移动通信有限责任公司 第 34 页 苏州 无锡 常州 南通 泰州 扬州 盐城 徐州 南京 宿迁 淮安 连云港 镇江 省中心 81号 12016 CISCO12008 FOUNDRY8000 无锡 BOSS容灾中心 155M 新增 155M 100M 1000M 新增 1000M 应天西路 BOSS生产中心 CISCO12016 FOUNDRY8000 BOSS容灾系统网络规划 江苏移动通信有限责任公司 第 35 页 智能存储 Multi-HOP调测情况 4月底之前完成南京两个节点之间及南京与无锡之间的 Fiber Channel通道调测工作 。 5月初开始进行 SRDF调试 ， 到 5月底四个数据库的 SRDF复制调试工作全部完成 。 第一阶段工程建设情况 江苏移动通信有限责任公司 第 36 页 系统切换演习测试 1、 5月中下旬进行了三轮全系统切换测试，与生产系统进行数据对比，寻找系统存在的问题，总结经验，为回切做准备。 2、 6月份进行了一个帐务数据库的切换回切演习测试，系统在无锡容灾中心运行一周后回切成功。 3、 7月份完成其余帐务数据库的切换回切演习测试及计费系统的切换回切测试，全部成功。 第一阶段工程建设情况 江苏移动通信有限责任公司 第 37 页 汇报提纲 项目建设背景 项目建设目标 第一阶段建设方案 第一阶段工程建设情况 第一阶段建设经验总结 第二阶段建设思路 江苏移动通信有限责任公司 第 38 页 一 、领导重视 该项目建设得到集团公司和省公司领导的大力支持，保证各类项目资源、工程实施按照预期计划进行，公司领导多次参加技术方案论证、切换演习等工作。 第一阶段建设经验总结 江苏移动通信有限责任公司 第 39 页 第一阶段建设经验总结 二、公司成立内部虚拟项目组，由规划技术部、工程建设部、信息技术中心、物资供应部、无锡分公司及相关人员组成。在各部门密切配合强化工程管理、传输调度及时大大提高工程设施效率，为系统联测争取了时间，创造有利的条件。 主要职责分工如下： 规划技术部承担可研和项目立项工作 工程建设部承担配套设备、主设备的工程设计和现场管理。 信息技术中心是项目实施部门，承担技术方案论证、项目实施和系统维护管理。 物资供应部负责软件设备采购、合同签订等工作。 无锡分公司承担工程现场管理、系统维护管理工作。 江苏移动通信有限责任公司 第 40 页 三、有效控制项目风险 方案选型阶段 针对 EMC Multi-HOP、数据库复制效率进行模拟功能测试。 方案实施阶段 提前 4个月进行 BOSS系统优化，有效降低系统负荷，及时分析存在的性能风险，并提出解决方案。 切换演习阶段 固化切换、回切流程，制定切换失败应急方案，尽量避免演习测试对生产系统影响。 第一阶段建设经验总结 江苏移动通信有限责任公司 第 41 页 四、创新建设 BOSS应急系统，应对突发故障，解决 BOSS容灾备份系统切换盲点，与 BOSS容灾系统和备份系统形成三位一体的业务支撑系统保障体系。 积极建设 BOSS应急系统，可在 3分钟内接管和恢复业务，以填补容灾切换系统障恢复时间和系统维护时间里的系统服务盲点。同时，主要定位就是将手工的应急流程变为自动的，提高服务水平，提高重大故障的应变能力，保证 7x24小时都有一套计算机系统为外部用户、为内部的经营服务部门服务。 第一阶段建设经验总结 江苏移动通信有限责任公司 第 42 页 五、演习测试准备细致，对生产系统影响较小 容灾备份系统与 BOSS系统密切相关，在进行演习测试前，制定详细演习步骤、流程，做好风险分析，拟定应急处理流程和实施步骤。同时，设计开发了容灾切换、演习、模拟演示等导航界面，固化切换、回切流程及操作步骤。 共进行各类切换、回切测试演习累计近 20次，没有一次影响 BOSS的正常运行。 第一阶段建设经