PaaS云平台架构和运维管理

1、PaaS云平台架构和运维管理C目录分布式PaaS平台介绍0102PaaS平台功能和构建传统企业PaaS设计和业务上云0304基于PAAS平台运维管理第一章:分布式PaaS平台介绍开发和运维之间的困局开发团队:主要工作是编写业务所需的代码,并且将这些代 码放到测试,生产环境中运行,主要负责服务的业 务逻辑正确执行;运维团队:主要工作是维护各种业务所需要的测试和生产环 境的稳定,负责服务的稳定运行;理论上讲两个团队交互越少,等待时间越短则说 明两个团队之间配合越好.实际情况:开发人员陷入复杂的基础架构工作之中;开发人员关注的是应 用环境的交付速度,质量,他们并不需要熟悉运维人员在基础层 面做了什么

2、;运维人员则少不了抱怨开发人员需求太多,太急;运维可能需 要面向需求不一的多个开发团队,而且各个开发团队应用所需的 网络,操作系统,中间件等存在不一致性,但是运维团队的业务又 涉及网络,计算,存储,中间件等多个领域,在运维管理上又涉及 监控,容量,变更等;第一章:分布式PaaS平台介绍开发和运维团队的问题进一步复杂化,两个团队配 合越来越困难,若应用发布的任务都因运维而被拖延, 则会造成运营成本的增加;运维人员一直都希望通过标准化,自动化,自助化三步走的 方式来解决困局;标准化的意愿在开发需求多样化的前提下湮灭;没有标准 化将很难做到自动化,自动化停留在脚本级的范围之内,其对运 维效率的影响无

3、法立竿见影;自助化建立在标准化,自动化之上, 但是对基础组件,底层服务的自助,反过来又会威胁到基础资源的安全第一章:分布式PaaS平台介绍Devops(英文Development和Operations的组合),既开发和运维的合并,其实还包括了产品管理,QA,甚至销售领域;是一组 过程，方法与系统的统称；与传统开发方法那种大规模的，不 频繁的发布（通常以“季度”或“年”为单位）相比，devops 大大提升了发布频率（通常以“天”或“周”为单位）Devops定义了如下明确的目标:更小,更频繁的变更意味这更小的风险;让开发人员更多地控制生产环境；更多的以应用程序为中心来理解基础环境；定义简洁明了流程

4、并尽可能的自动化；促成开发人员和运营人员的协作；Devops期望通过一套方法论与工具来填补开发工作和运维工作之间的沟壑，其终极目的是实现可持续性交付；分布式PaaS平台介绍云计算是近年来的热点话题,实际上它将原本分散在各地的 IT资源集中起来,通过虚拟化,分布式,多租户,自助服务,自动计 费等服务方式提供给客户 ;目前业界基本将云计算的内容分为3个模型:IaaS(基础设施即服务),包括网络资源，存储资源，计算资 源，为用户提供虚拟磁盘，虚拟化;PaaS(平台即服务),为用户提供操作系统，数据库，编程环 境、网络协议。保证高可靠性，可用性;SaaS(软件既服务),为用户提供安全、丰富的应用体验，

5、保证 应用程序的安全，可靠性，高可用性。比如Office套件， Google docs,云快报;另外云计算还分为公有云,私有云,混合云三个分类;IaaS关注基础架构中最基础的存储,计算,网络三大服务,它 很好的解决了企业对底层资源管理复杂的问题;但是IaaS对解决 开发,运维困局远远不够;在这些资源上还运行了数据库,应用, 中间件,除了将这些资源绑定成1个整体,还需要对代码,应用的 发布进行管理和控制;在资源层面PaaS提供底层计算,网络,存储,虚拟化,中间件 等服务,在部署上提供一整套可自定义的部署工具;这就意味着 工具与企业的适合度越高,PaaS越有可能通过私有云的方式提供 服务;PaaS

6、将关注点从原有的基础资源上升到平台层面,它的目的 主要是通过一个可简单操作的平台来帮助运维和开发人员运行 和管理应用;第一章:分布式PaaS平台介绍简单地说，PaaS平台就是指云环境中的应用基础设施服务， 也可以说是中间件即服务。PaaS平台在云架构中位于中间层， 其上层是SaaS，其下层是IaaS, 在云计算时代将相应的服务器 平台或者开发环境作为服务进行提供就成为了PaaS第一章:分布式PaaS平台介绍既然PaaS最终要填补开发,运维之间的沟壑,那我们需要清楚构建 PaaS需要解决哪些具体的问题:1) PaaS提供的是一个应用的聚合,里面包括了各种功能的服务组件应用服务中间件：直接包含了业

7、务逻辑代码,模块的中间件容器,可 以直接提供数据库连接池,事务控制等接口服务；数据存储服务：提供数据库服务,比如mysql,mongodb,spark,hbase 等;消息服务：为了对应用组件间进行解耦而设置的点对点服务,发布 订阅服务比如消息队列,redis,kafka等2)PaaS提供服务发现,可伸缩性,状态管理等功能服务发现:组件和组件,容器和容器之间如何查找,发现对方,如何讲 最新的地址信息通知到应用聚合的容器,如何对外暴露统一的访问点, 具体包括可编程的DNS服务器和IP地址注册分配;可伸缩性:涉及如何快速的对应用进行扩容,组件如何请求负载等;状态管理:对于可快速复制,易扩容的组件,

8、如何管理它的会话状态; 3)PaaS中的服务监控,恢复与容灾对应用聚合中的每个组件,如何做到简单,自定义的监控,并在服务异 常中如何快速恢复.而容灾是指跨数据中心的平台级故障恢复,涉及2 个数据中心之间的逻辑计算单元如何保持通信,如何保持唯一性以及 业务数据如何备份PaaS平台实际上是一个完整的分布式系统,它必须将独立的计算资 源组合起来形成一个抽象的大计算系统;例如如何的将数据中心的全部 操作系统聚合起来形成一个大操作系统,透明的为各类进程提供计算,存 储,网络资源;和PaaS相比,IaaS的的分布式不够彻底,其上还是独立的操作系统 资源,而没将各类资源抽象到一个独立的OS系统;第一章:分布

9、式PaaS平台介绍一个分布式计算系统由若干组件组成,这些组件通过网络传 递消息来进行通信与协调,从而完成一个统一的任务;分布式计算主要研究的是如何将分散的计算,存储,网络资源 集合起来形成1个巨大的计算系统,形象的说该系统就像1个超级 大的本地操作系统,它有很强大的计算能力,海量的存储,系统中 的计算任务就像是本地一样简单,透明;C目录0102传统企业PaaS设计和业务上云0304基于PAAS平台运维管理分布式PaaS平台介绍Paas平台功能和构建计算资源服务器硬件 cpu,内存 进程网络资源网络协议网络物理设备 网络逻辑网络虚拟化和SDN存储资源磁盘和磁盘阵列 存储,计算分离 存储访问类型第

10、二章:PaaS平台的功能和构建计算机系统核心是计算,存储,网络三个要素,而PaaS中将这三大资源进行池化;做到按需分配,弹性扩容,自助申请,第二章:PaaS平台的功能和构建图灵机和冯诺依曼模型:图灵是英国数学家,逻辑学家,被成为人工智能之父,图灵的 基本思想是用机器来模拟人们用纸笔进行数学运算的过程;冯诺依曼在图灵的基础上,提出数字计算机的数制应采用二 进制,计算机应该按程序顺序执行;并设计了如右图所示的的模型;按CPU类;可以分为非X86(CPU采用精简指令集)和X86服务器(CPU 采用复杂指令集)按设备使用场景:可以分为塔式,机架式,刀片等操作系统是计算机的指挥官;它的出现是为了解决底层

11、硬件 设备的复杂性,同时对硬件资源进行调度与分配并且为程序提供 一个运行的环境;最后确保在多任务的环境下系统的安全性;目前主流的企业级操作系统有UNIX,LINUX和windos;第二章:PaaS平台的功能和构建虚拟化是指将独立的资源放到一个大池中,之后再细粒度地进行资源 分配的.在硬件平台上托管多个虚拟机,可减少硬件服务器开支并降低基 础架构成本.比如能耗和电源;虚拟化系统通过虚拟机管理器(VMM)来访问实际的物理资源,可分为三 类:Hypervisor模式:vmm本身就是个完备的操作系统,VMM直接承担管理 物理资源的责任; vmware esxi server,KVM.openstack

12、,xen均属于此类;混合模式:是两种模式的综合体,vmm位于底层,管理物理资源,而vmm将 大部分I/O设备的控制权,交给1个运行在特权虚拟机的特权操作系统中;Xen server而属于此类;宿主模式:物理资源由宿主机操作系统管理而vmm是宿主机操作系统内 的内核模块;vitrlbox,vmware workstation属于此类;虚拟化技术变化很快,而应用需求也不在不停变化,他们期望非核心,无状 态化的服务器,应用拆分出来后,传统的虚拟化操作系统本身却变成资源 消耗大户,此时LXC(Linux containers)这类轻量级的虚拟化满足了这种 需求;第二章:PaaS平台的功能和构建OSI模

13、型和TCP/IP协议:OSI标准定义了网络互联的七层架构,而 在OSI模型出现之前,大量厂商已经使他们的硬件,软件通过 TCP/IP协议来进行交互;下图则显示了TCP/IP协议和OSI模型对应的关系:第二章:PaaS平台的功能和构建最通用的数据中心拓扑是三层结构,分别是核心-汇聚-接入;下图则是典型的 三层结构模型网络设备遵循网络协议规范完成相应的网络功能,其主要内容和分类如下: 1)连线与接口;二层网络设备;路由及三层设备;四到七层设备;第二章:PaaS平台的功能和构建目前一些数据中心采用的机房平面布局如右图:在云计算发展趋势下,很多数据中心都采用机架式整机柜上架的 方式,主要采用TOR和E

14、OR布线方式:EOR:TOR:第二章:PaaS平台的功能和构建我们目前最熟悉的网络虚拟化有:VLAN(虚拟机局域网),VPN(虚拟专用网络),VRF(虚 拟路由转发);SDN则是近年流行起来的整体虚拟化网络的一种解决方案,类似一种通用的网络操作 系统,在此平台下网络硬件只负责收发网络数据包,而软件负责思考这些数据包的去 向,其目的是让网络软件化,敏捷化第二章:PaaS平台的功能和构建磁盘有2个重要的性能指标:IOPS:表示1秒内完成I/O请求的次数;吞吐:表示1秒内在I/O中传输的数据总量;磁盘阵列就是将多个硬盘组合起来.形成1个大硬盘,按组成的方式可以分为 RAID0RAID5,RAID0+

15、1等类型;目前在用的主要有RAID0,RAID1,RAID5;第二章:PaaS平台的功能和构建分布式存储采用大量的普通PC服务器作为存储源.将数据分散存储到多台服务器上; hadoop的hdfs就是个典型的分布式文件系统;分布式存储主要通过多个类似数据副本 的方式确保数据的安全;我们将自带RAID控制器的磁盘箱称为磁盘阵列或盘阵;存储区和服务器间可以形成一个网络,这种网络称为存储区域网络(SAN),而 通过FC协议组成的存储网络则称为FC-SAN;此外还有以太网络中的IP-SAN,NAS是一种面向文件访问的计算数据存储服务,主要是在网络中向异构的客户 端提供服务;NAS和SAN并不冲突,SAN

16、强调的是提供面向块设备的存储网络,而NAS强调提供 面向文件访问的存储网络;软件配置配置管理工具虚拟机克隆镜像服务发现DNS服务器分布式协调系统监控恢复监控管理容灾恢复服务部署快速复制和流动第二章:PaaS平台的功能和构建一个完整的PaaS平台需要实现底层IT运维服务的自动化,常规维护工作主要包括如下部分:01020304第二章:PaaS平台的功能和构建为了实现PaaS平台,我们如果要实现运维的4个主要工作内容实现自动化,需要实现如下功能: 计算单元打包:通过虚拟机镜像,配置管理工具将应用逻辑单元进行打包,计算单元包括了操作系统,中间件,依赖包,业务逻辑程序,在分布式平台中我们选择 docke

17、r作为一个轻量级的容器;它比虚拟机更节约资源;可以基于一份软件运行多个实例;资源动态的分配:PaaS中用户并不关注如何获得cpu.内存.存储,仅关注应用计算的运行,希望资源是动态分配,弹性扩容的;作业调度功能:作业调度的主要目的是要对运行中的应用程序负责,包括启动,停止,监控服务,以及在服务失效时将故障转移;分布式存储:在分布式系统中我们使用分散在各服务器上的存储资源.需要一种方式将分散点聚合成一个逻辑的可不断扩大的大存储;分布式协调系统:在PaaS中存在并发任务对全局变量进行访问;需要进行同步控制;数据共享中心:在分布式系统中需要一个数据共享中心来放置应用之间交互的数据;日志集中管理:在Pa

18、as中,计算单元不会固定在1个物理点上,需要日志随着计算单元进行漂移;监控巡检管理:在Paas中需要对各种计算单元,网络.存储进行有效的监控;软件自动配置:统一门户;第二章:PaaS平台的功能和构建docker在PaaS平台中很好的充当了计算单元打包的角色,支持”一次构建,到处运 行”;什么是docker?docker是一种轻量级虚拟化,docker和虚拟化相比采用了完全截然不同的方法, 利用Linux contianer容积技术对进程进行隔离,让进程认为运行在独立的操作系统 中,其资源利用率远高于hypervisordocker术语:镜像:类似虚拟机模版,但是比虚拟机更轻量级;是个 静态文件

19、;容器:容器等同于从快照中创建虚拟机,容器是从镜像 创建的运行实例。它可以被启动、开始、停止、删除。 每个容器都是相互隔离的、安全的平台。仓库:集中存放镜像文件的场所;仓库注册服务器上往 往存放着多个仓库，每个仓库中又包含了多个镜像，每 个镜像有不同的标签;仓库分为公开仓库（Public）和私 有仓库（Private）两种形式第二章:PaaS平台的功能和构建docker优点:快: 运行时的性能可以获取极大提升（经典的案例是提升97%）.管理 操作（启动，停止，开始，重启等等） 都是以秒或毫秒为单位的敏捷:像虚拟机一样敏捷，而且会更便宜，在bare metal（裸机）上布 署像点个按钮一样简单。

20、灵活:将应用和系统“容器化”，不添加额外的操作系统;轻量:你会拥有足够的“操作系统”，仅需添加或减小镜像即可。在一 台服务器上可以布署1001000个Containers容器。便宜:开源的，免费的，低成本的。由现代Linux内核支持并驱动。注* 轻量的Container必定可以在一个物理机上开启更多“容器”，注定比 VMs要便宜。docker争论:在超复杂的业务系统中，单OS到底能不能实现彻底隔离，一个程 序的崩溃/内存溢出/高CPU占用到底会不会影响到其他容器或者 整个系统？很多人对Docker能否在实际的多主机的生产环境中支 持关键任务系统还有所怀疑。第二章:PaaS平台的功能和构建hos

21、t模式Docker使用了Linux的Namespaces技术来进行资源隔离，如PID Namespace隔 离进程，Mount Namespace隔离文件系统，Network Namespace隔离网络等。 一个Network Namespace提供了一份独立的网络环境，包括网卡、路由、 Iptable规则等都与其他的Network Namespace隔离。一个Docker容器一般会 分配一个独立的Network Namespace。但如果启动容器的时候使用host模 式，那么这个容器将不会获得一个独立的Network Namespace，而是和宿主 机共用一个Network Namespac

22、e。容器将不会虚拟出自己的网卡，配置自己 的IP等，而是使用宿主机的IP和端口。container模式在理解了host模式后，这个模式也就好理解了。这个模式指定新创建的容器 和已经存在的一个容器共享一个Network Namespace，而不是和宿主机共 享。新创建的容器不会创建自己的网卡，配置自己的IP，而是和一个指定的 容器共享IP、端口范围等。同样，两个容器除了网络方面，其他的如文件系 统、进程列表等还是隔离的。两个容器的进程可以通过lo网卡设备通信。第二章:PaaS平台的功能和构建none模式这个模式和前两个不同。在这种模式下，Docker容器拥有自己的Network Namespac

23、e，但是，并不为Docker容器进行任何网络配置。也就是说，这个 Docker容器没有网卡、IP、路由等信息。需要我们自己为Docker容器添加网 卡、配置IP等。bridge模式bridge模式是Docker默认的网络设置，此模式会为每一个容器分配Network Namespace、设置IP等，并将一个主机上的Docker容器连接到一个虚拟网桥 上。下面着重介绍一下此模式。第二章:PaaS平台的功能和构建当 Docker 启动时，会自动在主机上创建一个 docker0 虚拟网桥，实际 上是 Linux 的一个 bridge，可以理解为一个软件交换机。它会在挂载 到它的网口之间进行转发。同时，

24、Docker 随机分配一个本地未占用的私有网段（在 RFC1918 中定 义）中的一个地址给 docker0 接口。比如典型的 172.17.42.1，掩码为 255.255.0.0。此后启动的容器内的网口也会自动分配一个同一网段（172.17.0.0/16）的地址。当创建一个 Docker 容器的时候，同时会创建了一对 veth pair 接口（当数据包发送到一个接口时，另外一个接口也可以收到相同的数据 包）。这对接口一端在容器内，即 eth0；另一端在本地并被挂载到 docker0 网桥，名称以 veth 开头（例如 vethAQI2QT）。通过这种方 式，主机可以跟容器通信，容器之间也可

25、以相互通信。Docker 就创建了 在主机和所有容器之间一个虚拟共享网络。第二章:PaaS平台的功能和构建docker刚出现的时候只支持单机版;目前主流的docker 集群管理平台主要有Docker Swarm,Kubernetes,Apache Mesos这三种Docker Swarm:Swarm是Docker公司发布的容器集群管理工具。 它可以把多个主机变成一个虚拟的Docker主机来管理;Docker Swarm的特点是配置和架构都很简单，使用Docker原生 的API，可以很好的融合Docker的生态系统。Kubernetes:Kubernetes(K8S)是Google利用go语言开

26、发的一 套开源的容器应用管理系统，用于管理应用的部署，维护和 扩张。利用Kubernetes能方便地管理跨机器运行容器化的应 用。Apache Mesos:Mesos是为软件定义数据中心而生的操作系统， Mesos的初衷并非管理容器，只是随着容器的发展，Mesos加入了 容器的功能;第二章:PaaS平台的功能和构建1、 简化配置应用配置能够无缝运行在任何平台，将应用环境和底层环境实现了解耦2、 代码管道化管理代码从开发者的机器到生产环境机器进行管道化管理，能够平滑迁移。3、 应用隔离多个应用服务部署在多个Docker中，实现应用之间的解耦4、 服务合并合并多个服务，减少机器占用5、快速部署快速

27、的启动速度，极小空间占用6、开发人员的生产化能够在单机上搭建分布式集群服务，用以测试在真正生产环境下的代码第二章:PaaS平台的功能和构建第二章:PaaS平台的功能和构建PaaS平台核心是任务管理和资源调度,负责数据中心网络,存储,计算资源的分配和管 理,其背后需要一个模块支持其整个平台的协作与通信;它承担全局性锁的职责;就像交 通灯一样,协调和管理从各路口汇聚的车辆;为了防止分布式系统中的多个进程之间相 互干扰，我们需要一种分布式协调技术来对这些进程进行调度;zookper中角色分类:zookper的应用场景:第二章:PaaS平台的功能和构建Apache Mesos 是一个分布式系统的管理软

28、件，对集群的资源进行分配和管理。mesos可以理解为一个分布式kernel,它只分配集群计算资源，不负责任务调度。基于 Mesos之上可以运行不同的分布式计算平台，如Spark、Storm、Hadoop、Marathon和 Chronos等Mesos最大的好处是能够对分布式集群做细粒度资源分配第二章:PaaS平台的功能和构建Marathon 是Mesos的一个Framework，用来执行需要长时间运行的任务。如果把 Mesos比喻成Kernel的话，那么Marathon就是它的守护进程Daemon。它还具备 HA，Health Checks，服务发现等功能。如果某个Docker进程崩溃，Mar

29、athon会 重新启动同样的进程;Chronos本质上是cron-on-mesos,这是一个用来运行基于容器定时任务的Mesos框 架;这些任务包括数据备份.ETL.批处理.处理日志或调Hadoop等离线任务等,它们 在特定时间点被触发.第二章:PaaS平台的功能和构建日志中包含了大量的有价值内容; 而PaaS是个分布式环境,其日志分散到各个 容器中,应对日志分散的解决办法就是收集日志;input-filter-output 是日志集中管理的最简范式第二章:PaaS平台的功能和构建ELK提供了一整套日志收集,过滤,展示的解决方案;实现了日志数据的可视化;Logstash是一个用来搜集、分析、过

30、滤日志的工具。它支持几乎任何类型的日 志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收 日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以 多种方式输出数据，包括电子邮件、websockets和Elasticsearch。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大 功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式 系统。它构建于Apache Lucene搜索引擎库之上。Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中

31、的日志数据。它利用Elasticsearch的REST接口来检索数 据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊 的方式查询和过滤数据。第二章:PaaS平台的功能和构建elk的基本总体架构图如下:elk架构二:elk架构三:C目录010204基于PAAS平台运维管理分布式PaaS平台介绍传统企业PaaS设计和业务上云 03PaaS平台的功能和构建第三章:传统企业PaaS设计和业务上云传统企业的架构一般如下:SAN存储-主机-DB-APP-WEB传统企业的运维人员部署IT系统的目的是为业务上线提供服务,而这些业务最终服务对象是数据;而业界将数据处理大致分为两类:OLTP

32、和OLAP;OLTP，也叫联机事务处理（Online Transaction Processing）系统，表示事务性非常高的系统，一般都是高可用的在线系统，评估其系统的 时候，一般看其每秒执行的Transaction以及Execute SQL的数量。典型的OLTP系统有客户关系管理系统、电子商务系统、银行、证券等。OLAP，也叫联机分析处理（Online Analytical Processing）系统，有的时候也叫决策支持系统，就是我们说的数据仓库。在这样的系统 中，语句的执行量不是考核标准，因为一条语句的执行时间可能会非常长，读取的数据也非常多。所以，在这样的系统中，考核的标准往往 是磁盘

33、子系统的吞吐量（带宽），如能达到多少MB/s的流量。第三章:传统企业PaaS设计和业务上云云化关键点1:系统弹性伸缩通过应用与数据分离和集群化部署，实现系统快速扩容、处理能力灵 活水平线性扩展、故障自动隔离。对于独立的应用主机可以进行灵活 弹性伸缩。弹性伸缩的特点:在线快速扩容:系统扩容操作低耗时、无数据迁移、服务不间断；处理能力线性扩展：系统处理能力可以通过新增节点近线性提升，实现高吞吐、高并发处理能力，应对业务爆发式增长；故障自动接管：集群可以自动发现故障节点并调整任务调度策略，在不影响处理的同时接管故障节点，保持系统高可用。云化关键点2:应用集群化部署将耦合性高的大应用拆分成小的模块;通

34、过资源池提供系统资源的整体利用率，并将拆分 后的子模块部署于资源池（利用Docker的称之为微服务化）。当硬件资源实施池化后， 才具备了支撑应用的弹性伸缩，实现硬件的按需分配的基本需求，充分提高资源利用 率。云化关键点3:通过数据分级分类实现应用与数据分离根据数据实时性、重要性、敏感性等因素，将数据分成数个级别，各个级别的数据对系 统的作用、采用存储、保护方式也都有所不同。通过对应用提供数据的透明访问，屏蔽数据的位置差异、数据分布差异、数据存储等差 异：第三章:传统企业PaaS设计和业务上云云化关键点4:合理规划实现数据分布式部署对不同业务的数据、不同类型的数据进行有效规划部署。通过某种特定的

35、条件，将存 放在同一个数据库中的数据分散存放到多个数据库上，实现数据分布存储，通过路由 规则路由访问特定的数据库。数据库拆分方式包括：垂直（纵向）拆分：将数据库表按业务、功能拆分到不同的数据库表，比如分为客户 资料库、订单库、资源库、资料库等，这种方式多个数据库之间的表结构不同；目的 是降低业务之间的影响，减少系统承载压力。水平（横向）拆分：将同一个表的数据进行分块保存到不同的数据表中，这些数据库 中的表结构完全相同。拆分以后需要做到：对外提供统一访问，对应用屏蔽数据访问复杂度。数据访问层提 供数据互访能力.云化关键点5:数据平台化指通过应用架构和数据架构的重新梳理、规划与调整，将业务处理中的

36、业务数据和状态数据与应用分离，实现应用的轻量化、无状态;构建统一的数据 访问层，实现数据的共享访问。第三章:传统企业PaaS设计和业务上云OLAP云化关键点1:数据计算引擎开源化;hadoop M/R计算引擎：用HDFS文件保证每一步计算结果，避免硬件故障导致重头执 行。优点：可靠性高；缺点：数据处理任务是一系列M/R任务的串行执行，输入和输出都是HDFS文件，导 致频繁的磁盘I/O，执行速度慢；局限性：原始单一的编程模型和数据结构，导致开发效率低，限制更多应用的产 生。Spark计算引擎：RDD是分布式内存的抽象,执行速度是M/R百倍以上,优点：执行效率比起M/R提升100倍以上；提供丰富的

37、操作算子增强编程能力，简化 应用开发；缺点：对内存等资源要求高；可靠性不如M/R；Yarn实现资源调度和分配：一个节点上可同时执行M/R和Spark任务，资源相互隔 离、执行互不干扰。第三章:传统企业PaaS设计和业务上云OLAP云化关键点2:数据集市云化建设建设现状：传统小机+oracle数据库和新建的MPP数据库两种建设模式。 1)建设方式一:用MPP数据库来取代小机+Oracle数据库;2)建设方式二:用数据云平台+开源MYSQL/PGSQL集群来代替小机+Oracle数据 库。OLAP云化关键点3:数据ETL云化建设传输的实时化：支持MQ等分布式实时消息传输机制；基于内存的计算：数据不

38、落地，避免海量数据的两次重复加载；计算的轻量化：清单级的过滤、排重、规则化，更多的计算任务由大数 据存储和计算平台来完成；分布式并行执行：高可用性、分布式调度、资源分配； 技术实现：Kafka+HDFS+MR/Spark。第三章:传统企业PaaS设计和业务上云上文提到了传统企业中两类核心的应用，并规划了一些云化的关键点，形成 了PaaS平台，使之运行于IaaS平台与hadoop YARN集群之上。使用容器+容器镜像管理替代传统的服务目录管理+虚拟机模板管理。在paas平台上除了基于Kubernetes的容器管理、镜像管理、应用管理等功能，还 构建了如下子系统：日志子系统：基于ELK实现；存储子

39、系统：通过Cinder，支持ISCSI、NFS、Ceph三类存储，与IaaS打通； 网络子系统：我们SDN解决方案；整体的PaaS平台构建基于Kubernetes、Hadoop、Spark on Mesos，构建完整的 DCOS平台。第三章:传统企业PaaS设计和业务上云上文提到了传统企业中两类核心的应用，并规划了一些云化的关键点，形成 了PaaS平台，使之运行于IaaS平台与hadoop YARN集群之上。使用容器+容器镜像管理替代传统的服务目录管理+虚拟机模板管理。针对OLTP类应用云化的5个关键点的解决:关键点1. 系统弹性伸缩:通过通过Kubernetes RC/marathon+se

40、rvice实现；关键点2.应用集群化部署：通过Mesos/Kubernetes/marathon构建x86集群，将应用 分布式改造以后部署与集群；关键点3.通过数据分级分类实现应用与数据分离:通过hdfs和DB服务可以提供部分 数据分级服务的基础;关键点4.合理规划实现数据分布式部署：通过在PaaS提供数据库服务，以及开开源 数据路由服务，实现;关键点5.数据平台化：应用改造后即可实现针对OLTP类应用云化的3个关键点的解决:关键点1，数据计算引擎开源化：可由Bigdata PAAS直接提供MR、Spark服务；关键点2，数据集市云化建设：可由Instance PaaS平台提供开源MySQL+TDDL实现；关键点3，数据ETL云化建设：可由Instance PaaS提供Kafka、Big data PaaS提供MR、SPARK实 现。第三章:传统企业PaaS设计和业务上云C目录01020304分布式PaaS平台介绍PaaS平台的运维管理PaaS平台的功能和构建传统企业PaaS设计和业务上云第四章:PaaS平台的运维管理什么是cmdb?我们将存储各类配置管理信息的源称为配置管理数据库,简称cmdb; cmdb是运维管理的资源图,而配置管理是运维管理的基石;它与监控管理,容 量管理,