运营商IT整合演进策略和规划方案

1、 运营商IT整合演进策略和规划方案摘 要：对电信运营商 IT 系统现网问题进行了深入分析，提出了 IT 系统整合演进总体目标和策略，并从业务应用层、平台能力层、基础设施层、运营管理层 4 个层面给出了规划方案，同时从计算、存储、网络、安全、云平台、机房配套等方面对 IT 基础设施层建设进行了较为详细的论述。关键词：IT 整合；PaaS；IaaS；大数据Telecom operator IT integration evolution strategy and planning schemeAbstract: A deep analysis on the telecom operators IT

2、 network system was made. The overall goals and IT system integration evolution strategy were put forward, and the plan from the four aspects of the business application layer, platform layer, infrastructure layer, management layer was given. At the same time, the computer, storage, network, securit

3、y, cloud platform, rooms facilities of IT infrastructure construction were discussed in detail.Key words: IT integration, PaaS, IaaS, big data目 录 TOC o 1-3 h z u HYPERLINK l _Toc15139778 1.引言 PAGEREF _Toc15139778 h 3 HYPERLINK l _Toc15139779 2.IT 系统现状及问题 PAGEREF _Toc15139779 h 3 HYPERLINK l _Toc1513

4、9780 2.1.现状说明 PAGEREF _Toc15139780 h 3 HYPERLINK l _Toc15139781 2.2.存在的问题 PAGEREF _Toc15139781 h 4 HYPERLINK l _Toc15139782 3.IT 整合演进总体目标 PAGEREF _Toc15139782 h 5 HYPERLINK l _Toc15139783 4.IT 整合演进总体策略 PAGEREF _Toc15139783 h 6 HYPERLINK l _Toc15139784 5.IT 整合演进策略规划方案 PAGEREF _Toc15139784 h 8 HYPERLI

5、NK l _Toc15139785 5.1.业务应用层方案 PAGEREF _Toc15139785 h 8 HYPERLINK l _Toc15139786 5.2.平台能力层方案 PAGEREF _Toc15139786 h 9 HYPERLINK l _Toc15139787 5.3.基础设施层方案 PAGEREF _Toc15139787 h 10 HYPERLINK l _Toc15139788 5.4.运营管理层方案 PAGEREF _Toc15139788 h 16 HYPERLINK l _Toc15139789 6.结束语 PAGEREF _Toc15139789 h 17引

6、言随着行业环境以及国内政策的变化，中国移动集团公司将面对新市场、新业务、新模式等越来越多的挑战。互联网化新型应用开发部署对于基础资源弹性、快速迭代上线的需求会越来越明显，业务应用和基础资源整合及能力提升已成为影响运营商转型发展的关键因素。电信运营商作为一线运营实体，面临着强大的外部竞争，迫切需要落实公司深度转型要求，需要采用云计算、大数据等新技术，引入全面整合重构业务应用和 IT 基础设施能力，满足业务发展、降本增效的需求，支撑公司在打造融合通信、创新流量经营、拓展数字化服务和深化精细化管理等方面的发展要求。IT 系统现状及问题现状说明电信运营商经过多年建设，目前 IT 支撑系统分域独立部署，

7、各域资源池均采用小型机、PC 服务器、虚拟机混合组网模式，各应用系统分域使用域内独立的计算、存储、网络、平台资源。某省级运营商 IT 支撑系统目前分布在四大枢纽，共10 个机房，各系统部署情况如下。业支系统：由 IT 机房 1、2、3、4、6 这 5 个IT 机房承载，采用生产双中心模式。管信系统：由 IT 机房 5 承载，采用单中心模式。网管系统：由网管机房 1、2、3、4 这 4 个机房承载，采用生产、应急双中心模式。目前，某省级运营商 IT 支撑系统机房和设备情况见表 1。存在的问题目前，运营商 IT 系统在建设中还存在诸多问题，主要表现在以下几个方面。（1）业务应用层传统方式建设的 B

8、OM（bill of material，物料清单）各域系统多数为竖井式系统，许多核心业务应用还未完成架构云化改造， 普遍存在应用复杂度高、耦合度高的问题， 新业务上线困难，可复用性较低。大数据平台源数据管理缺少统一标准和规范，数据冗余，数据一致性较差，跨域分析能力不足，端到端的数据关联和共享能力不足。（2）平台层现有平台软件运维复杂度高、种类多，缺少统一管理，运维安全风险加大。现有平台框架大多数封闭专用，资源独占， 无法多应用共享，多数应用无法动态扩展， 无法实现跨应用的资源共享和动态调度， 不能支撑应用快速扩容和能力开放。现有平台框架下，应用无法快速部署，带状态应用无法快速迭代，现有应用任何

9、改动都需要重新编译、集成、测试、部署整个应用框架。随着应用体积的增大，交付流程和反馈周期相应变长，影响业务上线速度。（3）基础设施层采用物理机部署业务偏多，虚拟机部署业务偏少；许多业务应用配置的基础资源配比不够合理，未能完全针对应用需求进行设备分类选型，x86 设备平均 CPU 利用率低于 50%，内存利用率低于 70%，造成木桶效应和资源浪费。异构虚拟化软件无法统一管理：目前不同平台的虚拟机集群采用异构虚拟化软件， 资源不能共享，虚拟机难以在异构的虚拟机集群中进行自动迁移。网络架构无法支撑跨域资源共享：现有 3 层网络架构只能纵向扩展，难以横向扩展， 导致虚拟机无法跨资源池、跨局址迁移， 资

10、源难以充分共享。机房配套需改造：部分机房是通信机房改造而来，设备布局不合理，机房可用面积不足；机房耗电量大，不间断电源系统（uninterruptible power system，UPS）容量紧张，部分机房电力资源趋于饱和；机房设备散热量高，机房制冷系统效能不高， 剩余冷量不足；机房存在气体腐蚀和颗粒污染、布线系统不合理等问题。（4）运营管理层缺少明确统一的资源池支撑机构负责云资源池的建设和运营管理。缺少统一的资源池建设与运营的流程和规范。缺少端到端私有云资源池自动化运维平台。IT 整合演进总体目标推进应用系统云化整合，实现软件分层、接口统一、流程贯通。全力推进“资源共享、数据集中、应用融合

11、、管理高效”的企业级 IT 系统。实现应用和数据、计算、存储等 IT 基础设施和基础能力解耦，整体 IT 架构向“一体化、分层开放” 转变，应用系统根据业务需求敏捷迭代，基础设施及基础能力统一构建。（1）构建一个云化 IT 体系按照统一的云计算服务标准和规范，构建贯穿各域的资源管控体系，创新运营管理，服务内外用户，实现云计算服务的可持续发展和业务创新。（2）打造一个云管平台搭建企业级云计算管理平台，实现 IT 资源统一管控，实现资源/服务的全生命周期管理，推动资源管理标准化和服务标准化，提升管理效率。（3）创建统一的 IT 基础设施资源池利用虚拟化、分布式、容器、SDN、OpenStack 等

12、技术，打通各域资源壁垒，创建企业级资源池， 实现各域资源共享和按需分配。IT 整合演进总体策略IT 整合架构如图 1 所示。IT 整合演进总体策略如下。（1）业务应用层业务应用层以开放架构、能力内化、降低成本为目的，按照第三代业务支撑系统、网管“4+1” 及 OSS4.0 的要求，持续推动支撑网传统应用的架构升级改造，实现从传统集中式架构向分布式云化架构的转变。（2）平台能力层构建基于策略的服务编排访问框架和统一资源管理调度中心，建设企业级大数据资产管理中心，重点进行平台即服务（platform as a service， PaaS）层能力构建，通过平台能力资源池化支撑业务应用的敏捷开发、快速

13、上线与高效运维。（3）基础设施层构建统一管理的异构云资源池，重点进行基础设施即服务（infrastructure as a service，IaaS） 的服务化能力构建和高效管理，推进硬件资源池化建设，提高服务器、存储、网络设备云化程度， 快速为上层业务提供所需基础设施资源；总体规划机房功能区域和设备布局，提升机房能效管理，重点进行机房配套的安全、可靠、绿色、节能建设。（4）运营管理层重点进行统一资源运营管理、统一安全管控和统一运维流程的建设，优化管理模式，构建端到端自动化运维管理平台。图 1 IT 整合架构IT 整合演进策略规划方案业务应用层方案B 域按照第三代业务支撑系统中心化、服务化、平

14、台化的要求进行改造，客户关系管理（customer relationship management，CRM）应用重点关注商品中心、渠道中心、客户中心、订单中心、零售库存中心等， 采用分布式数据访问技术，适配多种数据技术，实现低成本平滑扩展；业务运营支撑系统（business & operation support sys- tem，BOSS）重点建设支付中心、计费账务中心、账详单中心等，进行应用水平线性扩展，应用、数据服务均支持 x86 化； 在应用和数据拆分的基础上，强化集群部署和管理能力，将业务数据与状态数据从应用侧剥离，数据共享访问实现数据集中访问，提供统一的流量共享、流量统付、流量转移

15、业务支撑。积极向电商进行对外能力开放。O 域近期基于网管“4+1”应用框架强化基础能力建设，实现四轮渠道全覆盖，重点加强家庭客户、集团客户、新业务的综合展现，强化各类业务的端到端保障能力及配置管理能力，后期向下一代网管 OSS4.0 进行演进，实现全面网络升级，面向混合网络自动化进行业务统一编排。M 域重点考虑统一信息平台、供应链系统、资产管理系统、人力资源、财务系统的云化改造，形成标准高效的统一承载平台， 支撑信息化系统各类业务需求。大数据系统应重点进行企业级跨域数据接入与融合，数据统一存储、统一处理、统一服务，解决源数据多头管理问题，特别是解决现有性能管理系统和大数据平台的数据重复问题。平

16、台及核心能力集中运营管理，遵循“应用和数据分离”的原则， 资源按需分配，应用百花齐放；构建大数据生态系统，最终实现数据资产化、商品化、价值化。平台能力层方案平台能力层重点提供基于PaaS 平台的能力服务，实现对资源池各类应用的适配和调度服务， 向上应提供标准的平台访问框架和能力开放服务，实现业务应用的快速部署和动态扩展；同时向下与基础设施层对接，实现硬件资源对业务应用的灵活适配和高效承载。在 PaaS 层构建基于策略的平台服务编排和访问框架：对各类平台软件和服务进行再次定义，通过封装和集成，向应用提供通用的平台软件能力。解决平台软件的运维复杂度高和安全风险加大的问题；满足平台软件服务化，提供标

17、准、高效、敏捷的平台软件能力的需求；应用通过标准平台框架访问底层各式数据库、缓存、消息引擎、流处理、流程引擎、容器引擎等运行环境，屏蔽了各种版本的技术差异，提升软件效率。PaaS 层提供公司级能力对外开放服务，将业务功能微分形成单独的服务单元，通过对服务单元进行封装，快速形成商业能力。为内部用户、外部客户、行业用户提供平台化服务，在能力开放平台之上构建自有产品、大客户定制方案、行业解决方案等各类应用。实现信息化和基础电信业务能力开放的需求。PaaS 层还应重点建设大数据资产管理中心， 实现对全局数据采集、清洗、访问与加载的统一管理，形成数据资产统一管控，数据存储与分析资源的统一管理；构建敏捷、

18、开放、智慧的应用开发环境，提供大数据能力开放服务，提升企业大数据平台多租户能力，对硬件集群、采集与访问接口进行扩展，提供多种类（共享/独占/定制）、标准化的企业大数据访问能力，安全可控地开放计算能力、基础数据和统计分析结果，满足内外部客户的需求。大数据平台架构如图 2 所示。基础设施层方案基础设施层方案是引入 SDN+VxLAN 技术， 重点打造基于 OpenStack 框架的计算、存储、网络、安全等 IaaS 基础设施资源服务，将分散的基础资源整合为统一资源池。IT 资源池基础设施层框架如图 3 所示。主要方案如下。（1）计算层在核心业务采用基于 x86 虚拟化或高可扩展负载均衡集群替代小型

19、机设备，各局址新增计算资源应以通用的定制 PC 服务器为主，传统小型机设备不再新增。资源池建设时，应依据应用场景对服务器配置进行归类与整合，尽量减少服务器类型，优先选择机架式服务器。积极应用虚拟化技术，提高服务器资源利用效率，提高虚拟化比例。除高负载集群化应用系统（如数据库、Hadoop、MPP 集群等）外，应尽量采用虚拟化部署，统一资源池中新增计算型服务器部署虚拟化软件的比例，应不低于 50%。合理规划服务器和虚拟机的配置，通过使用 CPU 和内存超分配及虚拟磁盘瘦供给等技术，使物理机内存平均利用率逐步达到 75%。逐步尝试容器技术，提高快速扩展能力和降低大规模集群管理复杂度能力，有效支撑应

20、用快速上线和自动化扩缩容，对于更新迭代快、部署效率要求高等应用（如网厅、商城的秒杀团购业务）积极尝试容器技术进行部署。图 2 大数据平台架构图 3 IT 资源池基础设施层框架（2）存储层在统一资源池采用分布式架构及云存储等技术替换传统高端数据存储。在确保现有设备合理利旧和系统稳定运行基础上，在资源池中积极引入云存储技术，传统高端盘阵存储严格控制规模。适度引入超融合架构。针对应用系统中的记录类数据等数据量较大的数据，如业务支撑系统的日志数据、邮件系统数据等，应积极采用分布式文件存储技术。虚拟机的后端存储以及对性能要求略低的数据库系统，数据量增长迅速，应考虑积极采用分布式块存储技术。对海量的视频、

21、影响文件，可以考虑采用对象存储技术。访问频繁、性能要求很高、数据量不大的结构化数据，如业务支撑系统 CRM 中核心数据、BOSS 中的计费账务数据，可采用性能较高的磁盘阵列，但应逐步控制使用规模。资源池承载业务的备份数据，可通过建设集中备份平台实现，如采用云存储介质替代传统磁带库，降低备份维护复杂度。在统一资源池内适度引入超融合架构：超融合架构是指将计算和存储进一步融合到一台 x86 服务器中，并完成两种资源的池化，一是计算资源的池化，二是存储资源的池化。通俗地讲，超融合架构就是将虚拟计算资源池中的本地磁盘资源进行充分和有效的利用，形成为计算资源池所用的共享存储资源。超融合架构的核心是软件定义

22、分布式存储技术。超融合架构示意如图 4 所示。（3）网络整合 IT 资源池网络，引入 SDN+VxLAN 技术，构建跨越三层网络的低时延大二层网络，实现物理和逻辑网络解耦，实现现网的平滑升级。网络虚拟化：实现交换机、防火墙等设备的虚拟化，实现云资源池组网优化（虚拟资源、精细运维、安全策略）和控制的灵活性（策略可编程、快速部署）；资源池网络需要将VLAN、路由器、防火墙和负载均衡通过各种虚拟化技术实现网络资源的实例化。增加各局址接入和骨干网络带宽，提高网络、负载均衡和防火墙的转发性能，通过QoS（quality of service，服务质量）技术保障网络中业务流量所需的最小带宽，以优化网络整体

23、性能。通过 VxLAN 等大二层网络技术组网，以消除网络生成树，同时避免泛洪占据大量线路带宽。提供跨不同数据中心间三层网络的虚拟机（virtual machine，VM）迁移和资源调度能力，云资源池建设时，应选用支持 VxLAN 技术的网络设备。采用 SDN/NFV 技术提供网络自动化和网络资源灵活定义，各系统内、外部网络访问域名化，以适应网络调整、系统迁移、图 4 超融合架构示意应用容灾和多生产中心的运维和应用的需要，增加网络灵活性。某省级运营商 IT 资源池 SDN 拓扑如图 5 所示。新增支持 SDN 及 VxLAN 的交换机作为核心层 VxLAN 网关（GW），最终形成三中心网络枢纽；

24、各机房汇聚层为 VxLAN 二层网关，连接至核心层 VxLAN GW；各机房间核心层设备间互联，汇聚层设备间互联； 核心层连接接入域。3 个机房各有独立的出口接入域。（4）安全全面构建统一云资源池安全防护体系，提升云安全服务能力。从数据安全、访问控制、安全域划分及边界防护、基础设施安全、灾难恢复及业务连续性保护等方面全面构建云资源池安全防护体系。重视病毒、木马及黑客入侵等传统安全威胁，不断优化网络边界防护（如抗 DDoS、IPS/IDS）、主机安全（如防病毒、补丁管理）、应用安全（如 Web 漏扫、WAF）以及账号管理（如 4A）等防护手段，全面保障资源池的安全。部署新型安全防护手段，适应资源

25、池部署虚拟化软件、实现资源共享等特性，通过虚拟/物理交换机实现对虚拟机间东西向流量的安全管控，同时尝试部署虚拟机防病毒及入侵检测设备。（5）云资源池管理平台建设基于 OpenStack 的云资源池管理平台，OpenStack 提供一整套完整的 IaaS 云服务，由一系列组件组成，包括 Nova、Swift、Glance、Keytone、Neutron、Cinder 等。在虚拟资源池和物理资源池上建立集群资源管理和调度平台，解决资源利用率低、共享度低、应用无法动态扩展、项目建设周期长的问题。云资源池管理平台功能架构如图 6 所示。（6）机房配套改造方案机房配套应重点优化公司现有机房，严格准入限制

26、，不允许在资源池外新建应用系统；另外按照数据中心技术标准加快新建机房，满足机房面积需求，方案如下。图 5 某省级运营商IT 资源池 SDN 网络拓扑图 6 云资源池管理平台功能架构尽量将空调设备间和主机房隔离；主机房主设备区采用列间封闭框架，未部署机柜位置预制挡板，并考虑集成门禁、视频监控、温湿度监控等功能。主设备区按生产区、开发测试区进行物理隔离；生产区按设备类型进行分区摆放， 包括服务器区、存储区、网络区、其他区；开发测试区暂不考虑分区；各分区内按低密、高密、非标或标准、非标的功率密度分区摆放。积极响应绿色数据中心及各种节能减排要求，在统一资源池空港新机房尝试采用高压直流供电方式，进行服务

27、器电源模块的定制化改造或采购定制服务器，充分节省电力，提高供电系统稳定性。可以考虑使用冷冻水机组加板式换热器制冷系统，充分利用自然冷源，节省电力。机房采用“能效按需”设计方式，根据机架功率密度的不同，合理部署制冷方式， 尝试采用微模块，机柜按照低密 35 kW、高密 58 kW、非标 210 kW 进行分区规划摆放，根据机架密度的高低，灵活配置负载比例，在不均匀负载机房，可作为高密度区域的定向制冷解决方案；也可以灵活采用列间空调，综合考虑设备能力、能耗、体积， 选用高 TCO（ total cost of ownership，总拥有成本）型号设备，按设备功率灵活部署。扩容更新机房老旧空调系统，优化机房气流组织，根据制冷量大小合理限定机架功率密度，采用冷通道封闭和地板下送风， 解决制冷系统效能问题。合理部署空气过滤设备，如新风过滤系统、室内循环机、化学过滤模块、尘埃过滤模块、在线腐蚀监测仪等，解决世纪、南工等原有机房存在的气体腐蚀