容器大数据平台方案

1、容器大数据平台方案2目 录一容器docker介绍二容器调度kubernets介绍三框架调度mesos介绍四容器实践大数据平台案例搭建一个非结构数据库需要多久？传统方式一个熟练的运维人员需要?数据库版本,环境的兼容,部署脚本,环境6变量,启动调试.使用容器化技术你只需要?什么是docker？1容器现状2Docker背后的力量3容器背景什么是docker？07测试05迭代开发06版本部署08上线04准备测试环境01需求&分析02界面原型03构建基础框架docker其实就是PAAS平台相比paas系统docker更快捷，更简单，更轻便dotCloud与dockerCDEF2010 年一家美国的创业公

2、司dotCloud诞生Docker 和 Docker 开源社区火热发展容器技术进行了简化和标准化，并命名为 Docker，效果甚微早期基于LXC技术的PaaS平台2013年 10 月 29 日，dotCloud更名为 Docker2013年3月将Docker项目开源，同时推出了开放容器项目（OCP）ABLXC集大成者-docker提供跨底层IaaS 云、实现支持多种开发语言的开发云平台第 7 页国际趋势-应用全面docker化，DCOS化或将成为潮流容器化的趋势 容器化成为下一代云计算架构商业化进展日趋成熟谷歌、亚马逊、IBM、VMWare各大巨头争相进行容器商 业化实践新技术发展驱动市场 2

3、014年底，docker容器镜像下载量高达1亿，2017年初，超过了80亿。容器技术现状Docker背后的力量2015年6月2015年7月2015年8月容器标准之战掌握容器标准主导权，把握未来kubernetes大杀器微服务架构面向公有云市场入驻Openstack将k8s扶上位扩大容器技术的影响力OCI旨在围绕容器格式和运行时指定一个开放的工业化标准Image（镜像）Docker Registry （镜像仓库）Container （容器）Part1Part2Part3容器的核心概念Image（镜像）Image相当于绿色版的二进制程序包，无需编译，无需安装过程。所有底层以来的第三方软件都包含在镜

4、像文件里一个典型的能“独立运行”的程序包（Java应用为例）User AppTomcatJDKLinux(外围如Ubuntu、Centos)少量私有程序包大量可复用部分程序包User AppJDKCentosTomcat镜像层级管理镜像的json文件Docker Registry （镜像仓库）Docker EngineDocker RegistryDocker HubPullPullDockerImageDockerImageDockerImageDockerImageDockerImageDockerImageDockerImageDockerImage镜像副本私有的或是Docker官方的(

5、Docker hub)无法接入公网或者不方便接入公网的用户离线部署容器镜像的需求。Container （容器）没有操作系统的概念独立的沙盒式运行环境宏观又是一个整体基本的linux内核减少了结构的复杂性精简就精简的原则容器组件都有哪几个?概述作用TEST容器技术组件包括三项，镜像，仓库，容器。镜像是将容器的程序层层包装，只保留私有的那份app程序包，而其他部分则相互共享。便于程序的迭代开发。仓库则是提供了用户离线管理镜像的能力。容器则是容器技术的基本，在传统虚拟化的基础上，去掉了复杂的操作系统，只保留了linux的系统核心，以便快速部署答案15目 录一容器docker介绍二容器调度kubern

6、ets介绍三框架调度mesos介绍四容器实践大数据平台案例一个能管多少docker？为什么要用Kubernetes为什么谷歌1个人管10w个docker我们一个运维人员才管1000个？Kubernetes的背景谷歌的意志Kubernetes的生态圈Kubernetes背景与概述Kubernetes背景Google 2014年启用该项目100%开源资源调度、部署运行、服务发现和扩容缩容简写为k8s，微软、IBM、VMware、Docker加入社区黑科技borg：调试、启动、停止、重启和监控工作Borg最精华的部分提取出来跨多个数据中心的资源利用率最大化模块性和可理解性公开和定制化的产物谷歌的意志

7、PKKubernets让各大IT巨头争相在原有版本上提出新的需求和完善性代码针对亚马逊成熟的公有云技术进行硬拼，无异于以卵击石Kubernetes的生态圈和影响力连竞争对手都转投kubernetsKubernets的核心组件PodPOD和容器什么关系？ReplicationController(RC)RC的用处？Service服务是统一的嘛？Label如何做服务发现？什么是PODpod是Kubernetes最基本的部署调度单元，可以包含多个container，多个容器统一部署web站点应用的例子Pod应该是短暂的而不是长久的应用，kubernets1.6自动迁移的特性rc来负责Pods的创建，

8、复制，监控和销毁K8s核心资源之PodK8s核心资源之ReplicationController(RC)负责pod的数量控制为了达到高性能或高可用性的目的，进行弹性伸缩在线Pod数量调整平衡，少了创建，多了销毁主机健康检查自动在健康Node上重新创建Pod，类守护程序应用故障自愈，滚动升级IP地址也都不是持久的K8s核心资源之Service一组相同功能Pod的对外访问地址虚拟访问：IP地址+虚拟端口号（IP+Port）集合通过Label选择器来完成关联的三后端图像前段无意识不关心变化K8s核心资源之Label流量计费流量计费流量计费RCservicePodNservice和rc只是建立在pod

9、之上的抽象,label可用于搜索或关联的一组key/value标签kubernets组件都有哪几个?概述作用TEST1 pod是容器的集合，一个pod相当于我们传统系统的一个实例2 rc是用来控制pod的数量的，相当于传统系统的实例控制。无论rc中有几个pod，对外围来说都是一个3 service，而区分这些service并且把service，rc，pod三者联系起来的就是label标签。所以上下游服务的发现，呈现出一环扣一环的现象，也是通过这些标签抽象概念来完成的。答案28目 录一容器docker介绍二容器调度kubernets介绍三框架调度mesos介绍四容器实践大数据平台案例MESOS的

10、大一统就没有一个通用的资源调度解决方案了呢？B无状态应用临时性应用复杂的传统应用重应用计费系统耦合性极强业务复杂适合容器化改造Mesos 现状A背景与概述MesosCMesos生态圈MesosBMesos商用情况MesosMesos 背景与概述分布式计算框架飞速发展，但没有一种框架能优化运行所有类型的应用强烈的需求：在一个集群中运行多种框架，最大化集群资源利用率，在不同框架间可以共享数据mesos天生就是基于数据中心自身特点制作的操作系统，公，私，虚，物，都被统一管理。作为通用的资源共享层，不同框架都以Framework的形式运行在Mesos上01020304Mesos商用情况技术更成熟，十分

11、广泛的支持团队IBM已经成为第二贡献厂商稳定性、可靠性 备受认可2015 年 4 月苹果Siri 100家公司，广泛认可Mesos生态圈公私云，虚拟，物理机两级调度统一分配资源Mesos 核心组件010203Mesos AgentMesos MasterMesos FrameworkMesos Agent主要工作收资源集节点信息 上报给Mesos Master负责利用已有资源执行框架下发的任务特点提供隔离机制保证任务获得准确的资源份额替master节点准确的分配每个应用应有的资源Mesos Master一致性HA的需求按照策略制定收集和分配资源执行任务消耗资源 Framework是双层调度的上

12、一层 运行在Mesos之上的分布式应用，使用Mesos提供的资源 框架运行很多任务，而任务是资源的最终消费者 myriad，spark 他们使用mesos提供的资源 实际的资源使用量需求 任务才是资源的最终消费者 生命周期；任务管理；框架API（提供调度器和执行器的通信功能）2134756Mesos Framework框架A框架的组成B调度器&执行器C生命周期管理框架调度器和任务执行器调度器细分资源执行器负责通过多种方式完成一个任务的执行任务何时创建，何时销毁，任务的数量与作业量的关系API（提供调度器和执行器的通信功能）Mesos Framework框架mesos组件都有哪几个?概述作用TE

13、STmesos主要组件有agent，master，fromwork。Master负责收集集群节点，框架和任务的信息，根据可插拔策略为框架分配资源。管理任务的生命，agent则负责监控主机的资源情况并执行资源分配fromwork则是资源的最终使用者答案目 录41一容器docker介绍二容器调度kubernets介绍三框架调度mesos介绍四容器实践大数据平台案例01来自的案例CU-DCOS02CU-DCOS1.0技术架构03CU-DCOS企业级平台04UcloudPaas&CU-DCOS05CU-DCOS系统实践心得容器实践经典案例来自的案例CU-DCOS完成IT资源的一体化调度；提供大数据微服

14、务化能力管理、调度和开放化运营的管理框架；承载各IT域无状态应用的容器化微服务能力，开展基于CU-DCOS能力平台的应用的DevOps。CU-DCOS1.0技术架构MesosKubernetesMyriadMicro ServiceYarnDB service（mysql、redis、oracle）Hadoop已有框架Open-DCOSIaaS (O3)服务服务CU-DC/OS 管理 服务管理 应用管理 监控管理 统一服务路由接入层服务层框架调度层服务服务服务服务服务服务服务 资源管理租户管理 统一运营门户 统一运维门户IaaS管理门户自开发框架其他未容器化APPKafkasparkhive已

15、有框架stormHadoop接入层服务层框架调度层提供统一的服务接入能力；实现统一的服务路由能力；提供应用负载均衡能力；提供自服务和后台管理基于容器编排框架实现应用的容器化封装；实现大数据能力提供服务；实现Oracle、MPP等数据库能力服务实现Kubernets框架在Mesos承载；实现Myriad在Mesos承载；利用已有框架和自主研发框架，实现storm、Kafka等在mesos承载CU-DCOS企业级平台容器持久化DCOS能力平台使用Ceph作为Kubernetes的持久化存储方案，来解决解决应用服务容器化后重启或宕机数据不丢失的问题。容器化的敏捷迭代开发DCOS能力平台可为开发类用户迅速搭建基于Jenkins 和主流代码仓库Github（开放仓库）、SVN（私有仓库）的持续集成环境，从而保障用户的应用服务实现快速迭代。46UcloudPaas集中运维管理与CU-DCOS的融合峰值应对标准化运营高弹性伸缩微服务能力化第 47 页让业务变得更轻，更快更智能解决粗/细颗粒度的资源精细化调度1 实现合理化的调度一切硬件资源2 解决大数据不同进程CPU，内存使用不均衡的问题。不同的大数据作业和资源有效匹配