基于容器技术的运营商大规模弹性平台

1、基于容器技术的运营商大规模弹性平台目录 TOC o 1-3 h z u HYPERLINK l _Toc485631387 浙江移动手机营业厅 PAGEREF _Toc485631387 h 1 HYPERLINK l _Toc485631388 基于容器技术的大规模弹性平台经验介绍 PAGEREF _Toc485631388 h 1 HYPERLINK l _Toc485631389 一、业务场景介绍 PAGEREF _Toc485631389 h 4 HYPERLINK l _Toc485631390 二、技术组件介绍 PAGEREF _Toc485631390 h 4 HYPERLINK

2、 l _Toc485631391 2.1、Docker简介：虚拟化 VS 容器 PAGEREF _Toc485631391 h 4 HYPERLINK l _Toc485631392 2.2、Mesos简介:传统数据中心 VS Mesos PAGEREF _Toc485631392 h 6 HYPERLINK l _Toc485631393 2.3、Marathon框架简介 PAGEREF _Toc485631393 h 7 HYPERLINK l _Toc485631394 三、手厅弹性平台技术与实现 PAGEREF _Toc485631394 h 7业务场景介绍双十一是各个运营商平台一年中

3、比较繁忙的一天，也是系统压力比较大的一天。在高频、高额、高密度的业务受理场景下，如何为用户提供稳定而流畅的购物流程，无疑是重中之重，而双十一也恰恰成为检验这一年工作成果的试金石。今年双十一战火升级，浙江移动推出了双十一充值优惠秒杀活动，在巨大的平台压力下，技术层面的较量是最强力的杀手锏。我们这次的交流将重点分享双十一背后那些关于技术的事儿。技术组件介绍2.1、Docker简介：虚拟化 VS 容器Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。

4、几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。一个简单的比喻：为了解决各种型号规格尺寸的货物在各种运输工具上进行运输的问题,我们发明了集装箱，而Docker的初衷也就是将各种应用程序和他们所依赖的运行环境打包成标准的container/image,进而发布到不同的平台上运行。相比虚拟机的工作原理，Docker有着巨大的优势：Docker有着比虚拟机更少的抽象层。由于docker不需要Hypervisor实现硬件资源虚拟化，运行在Docker容器上的程序直接使用的都是实际物理机的硬件资源，而虚拟机中的程序要进行多次虚拟资源到物理资源的映射。

5、因此在CPU、内存利用率上Docker将会在效率上有优势。Docker利用的是宿主机的内核，而不需要Guest OS。因此，当新建一个容器时，Docker不需要和虚拟机一样重新加载一个操作系统内核，因此新建一个Docker容器只需要几秒钟。作为高速发展的容器技术，它也同样有着短板：资源隔离方面不如虚拟机，docker是利用cgroup实现资源限制的，只能限制资源消耗的最大值，而不能隔绝其他程序占用自己的资源。安全性问题。docker目前并不能分辨具体执行指令的用户，只要一个用户拥有执行docker的权限，那么他就可以对docker的容器进行所有操作，不管该容器是否是由该用户创建。随着Docke

6、r技术的快速发展，细节功能的不断调整，日趋成熟的Docker依然是最受欢迎的容器技术首选。2.2、Mesos简介:传统数据中心 VS Mesos随着互联网的高速发展，基于数据密集型应用的计算框架不断出现，从支持离线处理的MapReduce，到支持在线处理的Storm，从迭代式计算框架Spark到流式处理框架S4，各种框架诞生于不同的公司或者实验室，它们各有所长，各自解决了某一类应用问题。站在将所有这些框架部署到一个公共的集群中，让它们共享集群的资源的角度，同时传统的数据中心在云和虚拟化层面的资源管理在当今企业日益增长的计算服务需要下，已经难以保持高效率。为了应对这个挑战，数据中心需要更高效率地

7、提供更强的计算和存储服务，而 Mesos产品很好的满足了这样的需求。相对于传统数据中心，例如中间件集群等等，Mesos集群管理器有如下优点：资源管理策略Dominant Resource Fairness(DRF), 这是Mesos的核心，也是我们把Mesos比作分布式系统Kernel的根本原因。通俗讲，Mesos能够保证集群内的所有用户有平等的机会使用集群内的资源，这里的资源包括CPU，内存，磁盘等等。轻量级。相对于yarn，Mesos只负责offer资源给framework，不负责调度资源。这样，理论上，我们可以让各种东西使用Mesos集群资源，而不像yarn只拘泥于hadoop。2.3、

8、Marathon框架简介 Marathon是一个全新的框架，它将Mesos变成一个更有活力的工具，进而可以在单一的集群上运行不同的应用程序。Mesos仅仅是适用于集群的管理，这意味着它可以隔离不同的任务负载。但是仍然需要额外的工具来帮助工程师查看不同系统上运行的工作负载。不然的话，如果某些工作负载消耗了所有资源，那么重要的工作负载可能就难以及时地获得资源。这时我们需要Marathon来帮助工程师进行资源调度。从这个角度看Marathon其实是个“元架构”，使运行工作负载的同时提供了更高的可用性，让用户可以添加资源以及自动的故障转移。手厅弹性平台技术与实现为了应对手机营业厅双十一活动期间业务活动

9、突发流量大，并且短厅、手厅多渠道流量并发，业务量容易过载，导致各系统无法受理业务，同时为应对市场变化，活动内容更新快，应用版本也需同步快速上线。这种情况下手厅的DOCS项目也是顺势所需。从技术层面角度看浙江移动公司手机营业厅DCOS化技术思想：采用以开源技术为核心的互联网化技术体系，搭建DCOS验证网，对新一代云计算技术体系的解决方案、产品选择、集成交付和运维保障进行全面验证拟采用的技术为Mesos、 Marathon、 Zookeeper、Haproxy、Docker等。通过Haproxy负载分发用户请求至Mesos节点下Docker容器中的Web应用、App应用，利用Marathon结合Z

10、ookeeper对Mesos各接点资源进行调度。这些技术手段是DCOS项目实现的保障。 从实现逻辑层面角度看浙江移动公司手机营业厅DCOS化的实现：负载分发层、应用逻辑层、集群管理层。负载分发层通过Array分发客户端请求至Haproxy应用代理，在手厅DCOS项目实践中基于TCP（四层）的负载均衡分发。应用逻辑层安装配置Docker，并在容器基础镜像中安装配置Weblogic,基于该镜像生成多容器，组成容器群，同时将镜像“模板”上传至Docker Registry。Web应用及App应用程序发布后，通过容器启动脚本运行容器。集群管理层安装配置Marathon及Mesos，其中Mesos分为M

11、esos-master、 Mesos-slave及Executor（安装在Mesos-slave节点中）。首先由Mesos-master查询可用资源给Marathon，第二步Marathon向Mesos-master发出加载任务，Mesos-master再传达给Mesos-slave，Mesos-slave向Executor命令加载任务执行，至此整个过程都是基于SchedulerProcess来实现。Executor执行任务以后，将状态反馈上报给Mesos-slave，最终告知Marathon 。Mesos-master下管理多个Executor，每个Executor是一个容器，这就是应用逻辑层的Docker容器。同时Mesos-master使用Zookeeper进行服务选举和发现。