运营商的新IT架构

1、DC运营商的新IT架构.恒星的困扰运营商的IT支撑系统就像一颗质量极大的恒星，从它形成的那一刻起，内部持续而强烈的活动就注定了它天生不凡的体量。随着时间的推移，从纯语音时代走入了语音增值业务时代，再从语音增值业务时代跨入了今天的数据业务时代，IT支撑系统也如成长中的恒星，不断自我聚变，不断接受小行星撞入怀抱。旁观者难以想象这颗巨大恒星的复杂程度，十年前一批国际计费产品巨头杀入中国，希图凭借成熟的商业 套装产品，加上根据运营商的业务与需求差异进行少量的定制开发和参数修改，取代耕耘在定制化开发多 年的国内厂商。最终这场泡沫不出意料地破灭，波折过后，国内运营商还是回到了高度定制化的老路，大 型的IT

2、系统依旧在开发、运行和运维场景下，面临严峻的考验。.天空飘来一片云“为运营商一员，多年来我们常常思考一个问题，是技术驱动业务还是业务驱动技术？这个问题看似容易回答，其实往往容易迷失其中。每次技术的大浪潮来临时，我们都需要时刻保持清醒的头脑，既拥抱变化， 乂不忘初心。从06年谷歌第一次提出云计算开始，简单罗列一下这朵云里包含的新名词：VMware、HyperV、KVM、VSphere、SystemCenter、OpenStack、SDN、SDS、Hadoop、Spark、Storm、Docker、Kubernetes 、Mesos、Swarm、Yarn、MicroService 、DCOS、De

3、vOps ，一路走来，浙江移动 IT 系统从云计算2.0时代稳步迈入3.0 ,从关注基础设施云化走向关注敏捷应用开发与生命周期管理的应用云k从非关键应用云化走向电信网络应用和企业关键应用云化，资源管理从静态调度走向动态调度。大浪淘沙、去粗取精，逐渐摸索出一条适合中国移动的、具有浙江移动特色的IT发展道路。/I鸽学DR2016年浙江移动云计算中心正式成立，通过以去IOE为抓手实现基础设施的标准化，以服务 PaaS化和平台容器化为着力点推进平台架构改造，从而打破竖井，驱动企业IT架构演进。目前浙江移动云平台服务能力达到22种，建成集团内最大软件定义分布式存储（ SDS）集群，全国率先实现服务去O,

4、非核心交易系统中大量使用国产和开源数据库，稳健控O。同时通过选择合适的开源技术路线，创新性的研发和应用数据中心操作系统（DCOS）,真正实现资源全局调度、容量弹性伸缩，为公司一云三域发展奠定了坚实的基础。在云运营体系方面，不断推进云平台服务流程标准化，不断完善云运营体系，提升服务能力，推动应用上云。通过建立标准流程、梳理服务套餐，项目上线效率提升 40%,云平台平均服务开通时间缩短1/3 ,云租户服务 SLA达到99.95% ,达到领先互联网公司水平。.恒星的演化统一的私有云平台为构建资源共享、能力集中、具备一定动态调度能力的大IT基础设施和运营能力，实现云资源与服务的统一集成、统一资源管理、

5、统一运维监控，兼顾考虑各类资源和业务的安全等级和共享程度，引入VDC解决面向不同业务特点和安全等级的适应性问题：3匕 白第孚s(1)核心系统VDC :涵盖计算、存储以及通用数据库云资源，支撑 BOM 三域IT系统内部交互。计算资源以X86虚拟机为主，存储资源为集中式存储+SDS存储。DMZ VDC :涵盖计算、存储资源，支撑 BOM 三域IT系统的外部接入。其中计算资源以X86虚拟机为主，存储资源为集中式存储+SDS存储。(3)大数据VDC :涵盖计算、存储资源，其中计算资源为X86物理机，存储资源为分布式本地存储。目前私有云资源池部署了超过XXX台X86物理机，集中式存储池和分布式存储池总和

6、超过XXX PB,大数据存储接近XXX PB。新一代云管理平台新一代云管理平台， 将重点突破PaaS层云资源管理的技术难点， 全面实现PaaS能力从资源申请、分配、管理到回收的端到端服务能力，实现IaaS资源、PaaS资源统一纳管。同时具备一站式的应用管理能力，实现从资源分配到代码编写、应用发布上线的全流程一站式管理，支撑企业级DevOps开发模式。因为项目正在进行中，这里不多费笔墨。DCOS研发与实践浙江移动系统进化的过程，从传统孤岛一直到数据中心化，中间经历了软硬件的标准化，IaaS资源池化，应用层面云化等阶段，业务构建周期也由月缩短到周，再由周缩短到日，也面临分钟级的业务构建要求。另外，

7、为进一步提升资源利用率，对于资源弹性扩缩的要求从虚拟机级别上升到集群级别，再由集群级别提升到数据中心级别，以求实现更大范围的资源弹性调度。所有这些需求促使我们踏上DCOS的自研之路。白霹吧在结合行业主流技术方案，通过关键技术选型（ Mesos or Kubernetes ）,我们最终确定 DCOS技术架构，以容器为基础封装各类无状态应用和运行环境，以 Mesos+Marathon为核心实现容器资源的分布式调度与协调，目前已完成全省54个系统DCOS承载，CPU利用率显著提升，每年节约成本近 XXX万元，形成6个国家发明专利或集团专利，获得 2016年集团科技进步二等奖、全国通信学会科技进步三等

8、奖！Kipro4jMApw/yHApiory4ttoeUri 刖ma rath om . .loo皿即书卷者？聘君书尊引入SDX,拥抱开源目前浙江移动IT云平台已经建设完成集团内最大的软件定义存储（ SDS）集群，总容量达到 XXX PB,成 本上相比传统集中式 SAN存储节省超过75% （计算过程详见SDS技术在运营商资源池中的应用电信技术2016-10 ）,同时完善云盘、音视频等多个应用场景的支持，从17年开始不再扩容传统集中式存储，逐步去“ E”。同时全面启动浙江移动新一代网络架构的规划和落地，通过 SDN技术实现跨数据中心 的大二层互联，满足资源的二层扩展需求，实现跨数据中心的资源灵活

9、调度。互联网化架构Crts*白河学里以IT系统架构解耦为入手，结合服务化、平台化、中心化的建设要求形成十四个专业化的能力中心，基于微服务架构搭建I-PaaS平台，提供代码热发布能力，实现应用的自动发布。通过客户、渠道、产品、运k 技术以及合作的全方面支撑能力提升，将业务支撑系统架构增强为一个完全适配敏捷开发和智能化运营的企业级互联网IT架构。讶反向明，）址看装力半时I APW山团肃我事右 口站$ I- 6PAA3&M中心 U声RWI- HP*7心路-CIKA5 .I M局森工i4*i|PV翠5湖VTH nmwni口白与廿 f ( PMS)承载大数据的百花齐放为全面支撑大数据运营，积极探索引入新

10、技术，缩短业务的迭代周期，加快创新步伐。企业级大数据平台作为IT云平台的一部分，目前 Hadoop集群超千台，总容量达到XXX PB , MPP集群可用容量超过 XXXTB,流处理集群及分布式内存数据库集群超百台，每天处理千亿条数据。工7日白酒学此皿 I Eg -外新引量一weH MW 蒜西 BMF牛二刀生I.r Ji?”7 .则 K : 二帚蝇.|匚 ： 一 j厂.”:一;窗珀鼻孔:于 ,工,EHaM9A湍品St._ Ja 3hfa1 r fc.17 *pabr7 Tm-aaCHhgiiriHM浙江移动企业级大数据平台在国内运营商中首次实现了基于容器技术进行资源隔离的数据中心级资源调度；首次

11、在各种大数据技术组件中实现全面的字段级的数据隔离。目前大数据平台正在着力融合深度学习计算框架和深度学习典型算法，构建人工智能平台。为不同业务场景下的深度学习应用提供PaaS服务,从而提升大数据平台的智能化管理能力，为智慧运营战略打下坚实的基础。3.7智能化运营运维在智能化运营的道路上，浙江移动通过不断的实践探索，认识到技术支撑是运营转型的核心，手段保障是运营体系的关键，协同机制是运营转型的突破口。通过新技术、新手段、新协同，逐步构建面向下一代系统的全新IT运营体系。1、推进标准化：统一所有IT资源与云服务申请、审批、集成、部署、交付和响应支撑流程，推动服务流程标准化、服务套餐化、服务开通智能化；2、全面提升云化：不断提升系统云化比例，将基于 PaaS的云平台服务能力对外推广；白鹊学吧3、打造专业化运维/运营：建立云运维体系和云平台故障标准体系，为内外部租户提供高质量的专业运维服务。建立云服务运营体系，推进公司IT运营的组织变迁，实现组织横向纵向扁平化。按照市场化机制建立IT资源服务和资源使用结算体系