数据中心操作系统技术方案

1、数据中心操作系统(DCOS)技术方案技术创新，变革未来第一部分数据中心操作系统的理解第三部分数据中心操作系统集成方案第四部分数据中心操作系统运维方案第二部分数据中心操作系统技术方案当前技术架构发展存在的问题应用的快速部署开通受到极大制约：大部分应用系统在开发、测试、准发布和生产部署都有各自的环境，部署环境不一致，增加了测试的复杂度，导致需求的上线环节多、时间长，无法满足业务快速上线的要求只能实现虚机级弹性伸缩，效果极其有限：系统弹性能力不足，数据架构不具备平行扩展能力来应对突发的业务高峰，忙闲时资源难以有效动态调整，无法做到弹性扩展集群1VM集群2集群3VMVMVMVMVM云化的四个阶段简化高

2、效灵活动态复用对数据中心内部整体目标架构没有统一的规划设计标准化的硬件体系业务基础架构建设以月为单位通过核心云构件实现进程级资源共享业务基础架构建设以小时为单位实现数据中心级弹性伸缩传统孤岛标准化IaaS资源池化PaaS资源池化应用云化及DCOS化虚拟化服务化智能化孤岛X86化通过服务化实现共享的平台架构业务基础架构建设以日为单位实现集群级弹性伸缩通过虚拟化实现共享的基础架构业务基础架构建设以周为单位实现虚拟机级弹性伸缩（IT领先的银行）（领先互联网公司）（浙江公司）数据中心需要一个操作系统数据中心操作系统（DataCenter Operating System，简称DCOS）是为整个数据中心

3、提供分布式调度与协调功能，实现数据中心级弹性伸缩能力的软件堆栈（software stack），类似于传统的单机操作系统，但不是单机操作系统随着数据中心应用或计算框架以及用户的多样化，数据中心越来越像一台主机，需要一个”操作系统”统一协调各类资源Linux OSDCOSResource ManagementLinux KernelMesos、YarnProcess ManagementLinux KernelDocker、RKTJob Schedulinginit.d, cronMarathon, ChronosInter-Process CommunicationPipe, SocketAc

4、tiveMQ、RabbitMQFile Systemext4HDFS, Ceph数据中心操作系统的特征DCOS特征弹性伸缩敏捷开发根据数据中心的负载和容量情况自动增加和删除节点，支持细粒度（CPU、内存、硬盘等）资源调度，多个计算框架或应用程序可共享资源和数据，提升资源利用率快速部署通过抽象，隐藏数据中心硬件的复杂性，降低应用的开发难度，负载均衡传统的部署模式为安装(包管理工具或者源码包编译)-配置-运行，DCOS支持将数据中心应用和它的依赖进行封装，实际部署时只需复制-运行数据中心操作系统终极目标是提供一个通用的标准化运维系统高效率可靠安全地管理数据中心，同时简化应用程序的开发、部署难度，协

5、调各类资源，确保各类资源随着应用的需求动态调度根据某种负载策略把请求分发到集群中的每一个节点上，让整个集群来处理应用的请求数据中心操作系统PAAS技术架构演进PaaS 3.0PaaS 2.0PaaS 1.0Google App Engine、SAE等早期的PaaS概念，提供软件开发平台和运行环境Cloud Foundry、OpenShift等允许用户运行自己的PaaS，将平台进行标准化、服务化。以分布式集群资源调度（Mesos、Yarn）为基础，结合容器（Docker）技术构建支持多种计算框架，具备敏捷开发、快速部署和弹性伸缩特性PaaS 3.0的核心是DCOSDCOS中的集群资源调度，业界主

6、要有Apache Mesos和Apache Hadoop YARN 两种技术方案，有着各自的生态环境数据中心操作系统发展历程 Google做为容器集群管理技术的创造者，其第一代集群管理系统被称为Borg，Borg设计细节因零零星星出现在各种文章中而知名，但一直未公开（比如发一篇White Paper），Omega是Google第二代集群管理系统，主要是由剑桥大学和加州大学伯克利分校的两个实习生在Google实习时完成的。 DCOS是Mesosphere在2014年提出一个全新集群管理概念，其核心资源调度组件为Mesos，而有意思的是Mesos的联合创始人Benjamin Hindman正是其中

7、之一， Benjamin Hindman参考Omega的技术架构设计开发了Mesos，Mesos是目前DCOS中应用最广泛的资源管理系统。BorgOmegaDCOS 数据中心操作系统应用历程商业闭源的数据中心操作系统：典型代表Google的Borg和Omaga，提供大规模集群管理能力，但只对内部使用，而且与业务流程耦合度较高，不具备推广性开源的数据中心操作系统：Mesosphere DCOS，以Mesos为核心，支持多领域的分布式集群调度框架，包括Docker容器集群调度框架Marathon、分布式 Cron（周期性执行任务）集群调度框架Chronos和大数据的主流平台Hadoop和Spark

8、的集群调度框架，实现系统的资源弹性调度，同时也支持分布式的文件系统HDFS、Ceph。集团公司要求目的：进一步提升中国移动云计算技术自研水平，提高产品标准化程度，提升资源利用率，掌控核心技术，拟开展采用以开源技术为核心的互联网化技术体系，搭建数据中心操作系统（DataCenter Operating System，以下简称DCOS）验证网，对新一代云计算技术体系的产品选择，技术方案，平台集成和运维保障进行全面验证浙江公司：负责采用以开源技术为核心的互联网化技术体系，搭建DCOS验证网，对新一代云计算技术体系的解决方案、产品选择、集成交付和运维保障进行全面验证拟采用的技术暂定为：Mesos, M

9、arathon, Zookeeper, Etcd、Haproxy，Docker等苏州研发中心：提供大云Mesos、Marathon、Docker三项产品作为验证基础，同时对DCOS验证网中使用到的其他技术进行技术攻关以及支持集团技术部关于进行数据中心操作系统（DCOS）技术研究试点的通知第一部分数据中心操作系统的理解第三部分数据中心操作系统集成方案第二部分数据中心操作系统技术方案第四部分数据中心操作系统运维方案第五部分项目进度计划MESOSYarn说明调用级别二级调度（Dominant Resource Fairness（DRF）二级调度（FIFO,Capacity Scheduler，Fai

10、r Scheduler）生态活跃活跃活跃2015年,Mesos大会将在西雅图召开，预计千人参加适用场景通用性高，混合场景大数据生态场景应用案例Twitter、Apple、Airbnb、Yelp、ebay、VerizonHadoop生态圈应用Twitter使用Mesos管理10000以上，超过30,0000个虚拟节点Mesos由加州大学伯克利分校AMPLab开发，后在Twitter广泛使用Mesos Master负责将资源分配给各个框架（如Hadoop框架），而各个框架的Scheduler进一步将资源分配给各个Mesos Slave节点并通知Mesos Slave执行相关Task任务Mesos

11、Slave接到通知后根据各个框架的Executor最终执行相关Task任务关键技术选型-资源分配综上所述，MESOS更适合CRM、BOSS混合场景，YARN适合大数据场景关键技术选型-服务注册及引流Mesos通过Executor启动Docker容器进行弹性扩缩容，在Docker启动容器时通过在Docker run的启动脚本中添加“Curl etcd set”命令通知Etcd服务。Etcd服务知道某一个容器启动，并将其信息注册到Etcd键值库中。Etcd通知Confd服务相关的服务变化，Confd就会根据变化的情况更新Haproxy的cfg配置文件并执行重新加载命令，使相关变化生效，同样Etcd

12、也会定时检查容器的运行状态，当容器停止时也会触发Haproxy更新cfg配置文件并重新加载，达到动态引流。HAProxy提供高可用性、负载均衡的解决方案，Etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现，提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能，可以方便的跟踪并管理集群节点的状态。 Etcd与HAProxy配合能够实现数据中心应用的动态引流关键技术选型-任务调度Mesos集群可以混合运行来自Marathon的不同类型的任务Marathon基于Mesos的任务调度为动态调度，即每个任务在执行之前是不知道将在哪一台服务器上执行和绑定哪一个端口9台服务

13、器（灰色）组成的Mesos集群上混合运行各种Marathon调度的任务，其中一台服务器坏掉以后，这台服务器上的任务就受影响，Marathon可把任务迁移到其他服务器上，实现容错Marathon是基于Mesos来做任务调度，Mesos仅负责分布式集群资源分配，不负责任务调度。关键技术选型-应用封装和轻量级虚拟化serverHost OSserverDocker EngineBin/libsappBin/libsappHypervisorGuest OSBin/libsGuest OSBin/libsappapp容器虚拟机Docker为开源的应用容器引擎，在标准的LXC之上融合AUFS分层镜像管理

14、机制，抛弃传统VM试图模拟完整机器的思路，而是以应用为单元进行“集装封箱”，是轻量级、操作系统级虚拟化技术Docker Engine可以自动化地部署应用到可移植的的容器中，这些容器独立于硬件、语言、框架、打包系统。一个标准的Docker容器包含一个软件组件及其所有的依赖 ，包括二进制文件，库，配置文件，脚本等， 实现持续集成与部署，快速迭代应用程序PaaS平台作为云平台的核心组成部分，为整个云平台提供了服务标准化和自动弹性扩展能力，Docker及相关生态圈系统天然具备服务发现和资源调度能力，为构建具备弹性扩展能力的PaaS平台提供有效的解决方案 Docker容器可以封装任何有效负载，几乎可以在

15、任何服务器之间进行一致性运行。开发者构建的应用只需一次构建即可多平台运行。运营人员只需配置他们的服务，即可运行所有应用浙江公司DCOS技术架构结合行业主流技术方案，通过关键技术选型，确定浙江公司DCOS技术架构，即以容器为基础封装各类无状态应用和运行环境，以Mesos为核心实现容器资源的分布式调度与协调nodenodenodenodeMESOSMARATHONEtcdEtcdEtcdzookeeper物理机或虚拟机资源分配与任务调度(DCOS kernel)服务引流应用层(Docker封装)APP（container）APP（container）HAproxyHAproxyHAproxy第一部

16、分数据中心操作系统的理解第三部分数据中心操作系统集成方案第二部分数据中心操作系统技术方案第四部分数据中心操作系统运维方案第五部分项目进度计划试点应用系统的选择面向互联网业务访问量集中业务更新快电渠业务活动系统业务活动突发流量大，并且短厅、手厅多渠道流量并发，业务量容易过载，导致各系统无法受理业务为应对市场变化，活动内容更新快，后台支撑能力需同步快速上线当前WEB层及APP层采用分布式技术实现，DB层未实现分布式架构，暂不考虑动态调度 和小店面向朋友圈的信用+口碑营销，针对某一畅销业务及大量好友，容易出现流量突发的情况采用TOMCAT开源架构，架构简单迁移难度相对较低 选取符合DCOS的特征分布

17、式无状态应用系统，验证DCOS在实际生产环境中动态提供和管理工作负载和基础设施的可行性业务波峰大DMZ筛选原则：应用系统具备显著的互联网业务特征，具备典型弹性扩缩容场景需求试点应用系统技术架构分析（以电渠业务活动系统为例）19* CDN负载均衡器Web服务器Web服务器Web服务器Web服务器负载均衡器App服务器App服务器App服务器App服务器缓存服务器缓存服务器数据库电渠业务活动系统具备典型的三层架构特征，WEB层及APP层基本采用分布式技术实现，具备进行DCOS平台应用的前提条件，DB层本次暂不予考虑。用户通过分布式CDN访问电渠系 统，接入层已实现分布式架构。 DB层采用小型机+集

18、中存储的传统架构，未实现分布式处理架构，暂不考虑动态调度 WEB层基于支撑中心资源池部署，具备弹性伸缩和动态调度基础。 APP层基于支撑中心资源池部署，通过负载实现分布式处理架构，具备弹性伸缩前提条件。接入层Web层 APP层 DB层试点应用系统容器化改造过程Docker是基于Linux kernel实现的虚拟化，目前只支持Linux Base宿主机操作系统，并且对内核版本要求较严格采用Docker容器技术，将运行环境封装到Docker镜像中，并依据该镜像生成Container，每个Container中运行一个实例，通过Docker Registry做镜像管理1、选择宿主操作系统通过Docke

19、r官网下载Docker引擎，安装方式可以采用操作系统yum工具进行自动安装，也可以下载Binary版本文件进行手动安装2、下载DOCKER引擎容器基础镜像是一个精简版的操作系统，里面不包含内核组件，只包含一些基础的执行文件和lib依赖包，能够保证容器内具备一个基本的系统环境3、拉取容器基础镜像在容器基础镜像中安装第三方通用软件，如WebLogic中间件，并进行参数配置4、安装并配置通用软件依据运行环境生成镜像，并基于该镜像生成多个容器5、生成应用镜像通过“docker push image_name”命令将其上传到Docker Registry中，Docker Registry提供镜像存储服务

20、，能够根据集成需求，快速的将镜像下载到指定主机中6、上传镜像编写创建容器和启停容器的脚本，便于日常管理维护7、编写容器启停脚本应用运维人员将应用包发布到系统中，通过容器启动脚本启动容器，使其对外提供服务8、发布应用投入生产集成部署DCOS物理架构MarathonMESOS-masterMESOS-slaveZookeeperETCD、CONFDHaproxyLoadbalanceStatechangesStatechangesreloadreloadreloadtaskMESOS master、MARATHON 、ZOOKEEPER 共采用3台X86虚拟机分布式部署（单台6vCPU/20GB内存/80GB硬盘）HAp