中国移动NGBOSS基础设施总体规划

2006 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice NGBOSS 基础设施总体规划 NGBOSS基础设施规划 一、基础设施规划概述 基础设施 基础设施规划 NGBOSS基础设施规划 本文档内容结构 二、基础设施规划 三、基础设施规划总结 基础设施 基础设施 是指信息技术在企业中应用所要求的软硬件承载。一般来说可以包括： 计算、存储、网络等物理设备； 使这些物理设备的工作起来所需要的设备管理软件； 和业务无关的数据库等通用软件； 基础设施 基础设施规划 基础设施规划 是指合理规划和安排各项信息化基础设施，使之形成良好的 IT环境，让各种业务解决方案、应用系统和数据都能在上面实现有效运作， 包括： 基础设施规划 网络规划 包括数据流量及约束条件分析、网络选型、拓扑结构设计、网络安全方案、网络建设方案等 硬件规划 包括服务器、存储设备、网络设备 软件规划 包括操作系统软件、数据库软件等软件的规划 NGBOSS基础设施规划 总体规划（定性） 各部分规划设计（定量） 输入： NGBOSS规划对基础设施的要求 基础实施的技术发展 中国移动的一般现状 输出： 针对四个方面方向性的： 接入层规划 数据中心规划 枢纽网规划 业务可持续规划 NGBOSS的项目规模要求实施性规划必然是分成几个部分；一般会分成一级，省级（ 31个），枢纽网等几部分来进行 因地制宜的规划 输入： 总体需求性规划对该部分的要求 各省各部分具体需求和现状 输出： 针对每一个部分，具体可实施的： 网络规划 硬件规划 软件规划 本文档内容结构 NGBOSS基础设施规划总结 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 NGBOSS基础设施概述 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 NGBOSS基础设施规划 一、基础设施规划概述 二、基础设施规划 规划输入和规划原则 接入层规划 枢纽网规划 数据中心规划 业务可持续规划 三、基础设施规划总结 中国移动基础设施主要问题 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 中国移动基础设施的主要问题资源孤岛 机房设施 数据网络 服务器 服务器 服务器 服务器 客服系统 BOSS 经分 DSMP /MISC 市场部 业务运营支撑部 数据部 存储网络 存储网络 存储网络 服务器 BOMC 存储网络 存储网络 中国移动基础设施的主要问题资源闲置和不足 问题： 服务器的平均使用率低于 30%，但仍有服务器无法满足其服务水平目标 大量未能利用的处理能力 处理能力不足的服务器 0% 20% 40% 60% 80% 100% 所有服务器 Intranet 中国移动基础设施的主要问题接入安全 NE BOSS BOMC OA 客服 Internet 远程办公 / 收发邮件 / 浏览网页 远程办公 / 网上客服 远程操作 / 网上营业 / 互联网业务 还有其他的？ 问题 1： 从 Intranet 到 Internet 的通道有多条，这些通道的安全性各不相同，从而造成了一定的安全隐患 问题 2： 对于从 Intranet 到 Internet 的通道缺乏统一数据监控，无法应用统一的安全策略，也很难进行事后审计 NGBOSS对基础设施的要求 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施 的要求 客户运营支撑产品运营支撑产品运营支撑产品运营支撑客户运营支撑产品运营支撑产品运营支撑枢纽及管理架构模式NGBOSS对基础设施的要求枢纽网 NGBOSS的规划中设计客户运营和产品运营分离，让产品资源在全网为各个客户运营实体所共享，实现产品“一处建成，全网可用”的的效果。这个效果的实现要求建议个覆盖和连接中国移动所有业务运营支撑系统的核心枢纽网 问题 1： 现在中国移动有 31 个省级运营实体，枢纽网如何建设？ 问题 2：全网统一运营对枢纽网的带宽、性能、稳定性的要求？ real-time near real-time offline/history NGBOSS对基础设施的要求数据构架 问题 1： SID对大容量 /并发（ 4000万以上用户）的访问和读写稳定性和一致性的要求如何满足？ 问题 2：如何应对移动业务处理的周期性高峰的问题？ 问题 3：中国移动的业务还在快速发展，如何保证系统扩容的平滑性？ 问题 4：对于这样的关键系统的业务可持续性如何支持？ 融合计费帐务 同一平台下实现在线计费和离线计费是融合计费系统的发展目标和趋势。当技术条件能够满足在线计费不会影响离线计费正常生产情况下，优先考虑采用此方案 问题： 实时信控 /扣费参与用户服务使用流程，对实时计费系统的电信级稳定性（ 7*24）和处理性能（ 200ms以下）有较高要求 网管 /网元 /业务平台 /合作伙伴服务提供系统 客户帐户 产品定价 批价引擎 （正算） 实时 批价引擎 （正算 /反算） 实时计费网关 帐务处理 余额管理 （实时） 采集预处理 内存数据库 OCS 帐 /清单数据库 计费预处理 在线处理 Usage 使用记录 NGBOSS对基础设施的要求融合计费 基础设施的技术趋势 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 基础设施的技术趋势 NGDC 封闭 , 基于大型机 单一供应商 专门的技术和技能要求 有限的互连和网络能力 静态的生产环境部署 技术差异形成的孤岛 (依赖于 OS/运行架构 ) 专用的服务器以及应用运行环境 多操作系统，多运行架构的数据中心环境 主要通过 IT整合技术来降低复杂性和成本 模块化的可重新部署的硬件 (blades) 运营管理自动化 在可重新配置和持续扩展，同时无需重新连线 将 IT作为公用、共享的服务来运行(如共享开发测试环境 ) 动态分配并使用资源 过去的数据中心 独立计算系统 现在的数据中心 烟囱式基础设施 新一代数据中心 (NGDC) 共享的基础设施 应用 服务器 / 存储 应用 1 应用 2 应用 3 服务器 服务器 服务器 SAN 应用 1 应用 2 应用 3 共享存储 (SAN) 共享服务器池 SAN SAN 基础设施的技术趋势 NGDC的关键技术是“虚拟化” 自动化 虚拟化 安全 系统平台和 支持服务 传统数据中心 新一代数据中心 关键支持因素 高成本 烟囱式 IT 低成本 共享池 IT 24x7自动运行 电源和冷却 统一管理 工业标准 高伸缩性 IT支持服务 高能效比的计算方式 内置安全机制和主动式安全防护 资源的池化和优化，容易共享 根据业务需要自动调整资源分配 统一的基础设施管理 （综合）虚拟化技术和环境 基础设施的技术趋势 NGDC是基础设施的发展方向 池化共享 ： 企业拥有的 计算资源其实已经比较丰富，但是没有被充分利用，通过虚拟化技术实现池化共享是比较经济的方式 单机高能 ： 高性能单点计算的发展已经到了相对平缓的阶段，技术革命的周期相对较长；单机的大容量高性能计算通常都非常昂贵 趋势 通过对这些分散的计算资源进行“池化共享”，形成企业级数据中心，是基础设施建设的技术驱动力 NGBOSS基础设施规划原则 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 基础设施规划的原则 中国移动基础设施 主要问题 基础设施的 技术趋势 NGBOSS对基础设施的要求 解决资源孤岛问题，综合利用资源 接入通道统一，接入管理统一 建设核心枢纽网，并提供符合业务需求的带宽和性能 对海量数据，高并发，以及周期性高峰压力具有处理能力 具有高可扩展性适应业务发展需求 拥有极高的业务可持续性，包括安全容灾等方面 OCS系统具有电信级可用性，稳定性和实时性 发展 NGDC是基础设施发展的方向 接入层 数据中心 枢纽网 业 务可 持 续 原则的输入来源 原则（由问题或要求转化） 在规划的哪一部分覆盖 接入层 规化 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 接入层 现状和要求 接入方式要求多样化 GPRS Internet (VPN) DDL专线 接入终端各有不同 移动营业厅、骨干代理网点会采用“瘦客户机” 流动营业厅、农村服务站等会采用 PC 大客户销售经理会采用便携式笔记本 统一的接入安全管理 统一入口 /出口 统一出入认证 统一监控 统一安全策略管理 统一（事后）审计 现状 1 现状 2 要求： 接入层 统一安全网关 USG(1) 自有营业厅 流动营业厅 代理商 大客户经理 农村营业点 Internet Intranet Unified Security Gateway VPN 专线 GPRS 访问Internet 移动人员与合作伙伴 接入层 统一安全网关 USG(2) Intranet Unified Security Gateway WAP 客户 自服务 WWW Internet Portal SMS WAP SMS intranet 统一安全网关 IDS服务器 防火墙 /VPN 防火墙 /VPN IDC IDS服务器 网站 防火墙 /VPN IDS服务器 H I T A C H I 策略管理中心 证书和鉴权中心 口令和认证中心 访问控制中心 内容安全管理 日志管理中心 审计和响应控制 中心 备份和恢复 Internet 防火墙 防火墙 合作伙伴 / Extranet 内容过滤 / 防病毒网关 BOSS服务器 OA服务器 防火墙 系统和网络加固 接入层 统一安全网关 USG (3) 接入层 通过 USG实现统一通道统一管理 接入通道统一，接入管理统一 原则 手段 效果 通过“统一安全网关” USG，就能做到接入通道的统一，并且统一管理接入的安全： 预设防火墙 事中监控 事后审计 USG作为移动人员，合作伙伴，一级客户接入支撑运营系统的唯一通道，能够有效的实现： 统一出入认证 统一监控 统一安全策略管理 统一审计 数据中心规划 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 数据中心 总体构架规划 虚拟化技术环境 访问级 Access Tier 应用级 Application Tier 数据级 Data Tier 服务器池 Servers Pool 交易型 存储 OLTP 数据共享 存储 SID/ODS 数据分析 存储 OLAP 存储网络 Storage Area Network 数据备份 存储 BackUp 智能管理中心 统一管理视图 Information Dashboard 自动化，监控以及安全 Automation , Monitoring & Security 虚拟化资源管理 Virtualized Resource Mngt 数据中心 总体构架规划说明 应用负载被封装在独立的 虚拟服务器环境 中运行 应用只需要安装一次就能在整个数据中心内任何服务器上运行 资源可被 自动或手动分配给所需要的应用负载 在必要情况下，应用负载会被 自动或手动转移到资源更充足或可靠性更高的虚拟服务器上 数据中心提供的资源的服务能力不为某一个应用而建。宏观上服务于所有企业应用，微观上会为不同能力要求的应用提供相适应的资源 数据中心 总体构架规划说明（续 1） 访问级 Access Tier 应用级 Application Tier 数据级 Data Tier 服务器池 Servers Pool 服务器池 服务器池是服务器的计算资源接受请求和输送结果的接口环境。服务器池提供实现自动化资源分配机制的工具；包括对于不同应用的服务器“级”自动选择和服务器组的负载均衡。 访问级 访问级服务器群通常用作Web服务器， Mail服务器，文件服务器，打印服务器等； 访问级服务器群的特点是对计算速度的要求较低，要求有一定的冗余和可扩展型。I/O，内存的要求视服务的具体规模和要求而定。 应用级 应用级服务器群通常作为ERP/SCM, CRM, BI 等应用程序和中间件的承载； 应用级的服务器的特点是对计算速度的要求非常高，它们通常要求处理大量的复杂的业务逻辑，同时要求有较高的 I/O和内存。 数据级 数据级服务器群通常作为客户数据和交易数据等核心数据库处理需求的承载； 数据级服务器群作为最高端的服务器组，具有非常高的处理性能，具有非常高的 I/O带宽和非常高性能的内存。 数据中心 总体构架规划说明（续 2） 交易型 存储 OLTP 数据共享 存储 SID/ODS 数据分析 存储 OLAP 存储网络 Storage Area Network 数据备份 存储 BackUp 存储网络 存储网络是存储资源接受输入输出存储数据的接口环境。存储网络提供实现自动化资源分配机制的工具；提供对于数据的透明访问层，提供自动化的数据安全和备份工具。 交易型存储 交易型存储设备群主要应用于交易型数据等实时性要求非常高的数据的存取； 交易型存储设备群的特点是存取速度非常快，I/O吞吐能力非常高，稳定性非常好。 数据共享存储 数据共享存储设备群主要应用于 SID/ODS等需要大量读取的数据； 数据共享存储设备群的特点是读取速度非常快，并发处理能力非常好，I/O吞吐能力非常高，稳定性非常好。 数据分析存储 数据分析存储设备群主要应用于 OLAP，数据挖掘等需要海量存储的数据； 数据分析存储设备群的特点是存储容量非常巨大，而对 I/O，并发处理的要求相对不会那么高。 数据备份存储 数据备份存储设备群主要应用于数据备份，包括廉价磁盘备份和磁带备份等； 数据备份存储设备群的容量非常巨大，但是对读写和吞吐的要求非常低。 数据中心 总体构架规划说明（续 3） 智能管理中心 统一管理视图 Information Dashboard 自动化，监控以及安全 Automation , Monitoring & Security 虚拟化资源管理 Virtualized Resource Mngt 智能管理中心 智能管理中心是提供数据中心智能化管理能力的基础平台，它提供于虚拟化技术环境的信息采集和数据交换界面。 统一管理视图 提供给数据中心管理人员统一的用户界面，用图形化视图展示数据中心运行状况的所有信息。 自动化，监控以及安全 这里是智能管理中心的规则配置中心，自动化处理，监控报警和安全策略的配置均在此处实现。 虚拟化资源管理 虚拟化技术环境，存储虚拟化和服务器虚拟化的管理中心，负责诸如资源的增减的管理 数据中心 NGBOSS总体构架规划与基础设施层次模型的映射 智能管理中心 服务器池 存储网络 虚拟化技术环境 基础设施层次模型 NGBOSS数据中心规划模型 NGBOSS数据中心规划模型在基础设施层次模型上的映射 数据中心业务流程在基础设施层的映射（示意 1） 查询余额信息 用户 数据中心业务流程在基础设施层的映射（示意 2） 修改套餐信息，缴费，充值 用户 数据中心业务流程在基础设施层的映射（示意 3） 实时计费 客户和产品数据（准）实时同步到内存数据库 用户 数据中心业务流程在基础设施层的映射（示意 4） 数据在一般情况的流向首先会以交易数据形式产生，其中客户产品等核心信息变成共享信息，随之成为进行数据分析所用的原始信息，交易数据并不都变成共享数据，也可以直接变成分析数据，所有数据最后均变成历史数据进入数据备份存储 数据中心建设数据中心的考虑维度 机房准备 (Site preparation) 为数据中心提供基础机房环境 网络集成 (Network integration) 为数据中心提供基础网络环境 服务器与存储 (Server/Storage)服务器与存储得设计、部署与整合 安全 (Security) 为数据中心提供必要得安全保障 IT管理 (IT management) 建立保障数据中心运行的管理体制与流程 数据生命周期 保证数据以合理的方式存储，可被查询。 容灾与业务持续 (BC/DR) 提供面临重大灾害与保障业务持续运行的措施 服务外包 (Out-Sourcing) 提供整体或部分信息系统和运营的外包服务 Out-Sourcing Network integration Security ILM 数据中心建设 IT management Site preparation Server Storage BC/DR 数据中心 虚拟化，层次化，智能化优势来满足业务需求 虚拟化 技术是 NGBOSS规划的数据中心的基础和核心（也是 NGDC的核心内容）。 4) 它解决了资源孤岛的问题，能够充分利用起企业已有的基础设施 ， 5) 为应付周期性性能压力提供了可能 ， 6） 虚拟化也提供了高度的容错能力，并且具有很好的可扩展性，对各个硬件组件也具有很好的可替换性 智能化 高安全，智能化和自动化是数据中心的必然趋势，也是 NGDC的重要特征。智能化提供了管理人员的管理界面，能够配置自动化规则，监控及安全策略，从而大大降低了人力负担，提高了管理效率 层次化 各种企业应用的对基础设施的会有不同要求。层次化就能满足各种应用的个性需求。比如， 1） 对于海量数据，存储网络中有数据分析存储来加以满足 ， 2) 对于高并发的处理请求，数据级服务器群能够很好的满足性能要求，针对高性能读写，或高性能读取，存储网络都能相应的支持 , 3) 对于 OCS超高速的处理要求，可通过在数据级服务器内存建立内存数据库的方式解决，稳定性方面，数据级服务器足以满足 OCS的要求 数据中心 原则 手段 效果 按照 NGDC的发展方向和思路： 通过虚拟化技术实现企业基础设施资源的共享； 通过层次化的资源结构来满足不同性质的应用需求对基础设施的要求； 通过智能化手段，实现数据中心管理的自动化。 通过构建符合 NGDC方向和要求的数据中心，基本能够满足业务应用的各种处理和存储需求 解决资源孤岛问题，综合利用资源 对海量数据，高并发，以及周期性高峰压力的具有处理能力 具有高可扩展性适应业务发展需求 OCS系统具有电信级可用性，稳定性和实时性 发展 NGDC是基础设施发展的方向 枢纽网规划 中国移动基础设施 主要问题 NGBOSS 基础设施规划 接入层 数据中心 枢纽网 业 务可 持 续 基础设施的技术趋势 NGBOSS基础设施规划原则 NGBOSS对基础设施的要求 枢纽网业务要求 数据传输与路由选择和控制进行分离，路由选择和控制由信令网完成 对部分业务，交换中心可只控制信令，数据由各节点直接传输，可有效降低交换中心的压力 通过信令交互可以根据传输数据的类型、优先级以及传输网络状态动态地选择适当的传输路由 交换节点 交换节点 交换节点 交换节点 交换中心 交换中心 虚拟信令网 数据传输网 枢纽网网络规划