分布式云计算平台架构详解

分布式云计算系统产品概述数梦飞天云平台是数梦工场基于阿里云平台为行业客户量身定制的专有云平台，数梦飞天云平台完全基于自主知识产权，先后获85项国家技术专利，获得国家发改委的云计算专项资金支持。数梦飞天云致力于打造云计算的服务能力平台，注重为政府、教育、医疗、金融、企业等行业客户提供大规模、低成本的云计算和大数据服务。数梦飞天的目标是通过构建支持多种不同业务类型的行业专有云平台，帮助行业用户简单快速建立自己业务系统，帮助用从关注运维向关注开发转变，将网络经济模式带入政府、行业客户，构建出以云计算为基础的全新生态链。数梦工场为用户提供互联网化云服务交付，真正体现计算能力的规模效益，致力于大数据的价值挖掘，让数据增值，辅助政府决策，助力经济产业升级，服务公众。让最卓越的数据技术，去实现人类最美好的梦想！大中型行业客户MQSG

VOponScarchACEe&f零个♦ECSSLBRDSOTSCCS

弹性计算 云敬据库OSS存储ODPSDPC大数据处理Q令云指云监控

MQSG

VOponScarchACEe&f零个♦ECSSLBRDSOTSCCS

弹性计算 云敬据库OSS存储ODPSDPC大数据处理Q令云指云监控

云安全opcbnAP-运营运维服务售后产品服务售前构架咨询服务数梦飞天云业务全景图简单高效的弹性计算服务（ECS）稳定，云磁盘数据可靠性不低于99.999%,自动宕机迁移、数据备份和回滚，系统性能报警。安全，支持防DDos攻击、安全组自动划分访问权限，多租户安全隔离，支持防密码暴力破解。弹性，10分钟内可创建和释放上百台云服务器，分钟级升级CPU和内存。性能，随即IOPS达到1.2万，300MB/s的磁盘性能，高性价比，节约成本。运维，提供简单自动化的运维界面，支持通过工具实现自动化备份和自定义镜像，实现云服务器的快速扩展、复制。海量存储服务（OSS）空间无限：海量的存储空间，随用户使用量的增加，空间弹性增长，无需担心数据容量的限制。并同时支持高并发、大容量的读写服务。压缩存储：对存储在开放存储服务上的图片，支持缩略、裁剪、水印、压缩和格式转换等图片处理功能。安全可靠：服务可用性高达99.9%，系统规模自动扩展，不影响对外服务，数据三重备份，可靠性达到99.99999999%。安全稳定的数据库服务（RDS）•数据库是应用的核心，数据库的安全、可伸缩是系统稳定的第一保证，数梦飞天提供一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系，并提供专业的数据库备份、恢复及优化方案，使您能专注于应用开发和业务发展，具体特点如下：＞专业备份机制：每台RDS拥有两个物理节点进行主从热备，主节点发生故障，秒级切换至备节点，服务可用性高达99.95%，保证数据安全。＞安全迁移：自定义访问IP白名单，防DDoS攻击，SQL注入告警控制平面的多级保护及安全性。完全兼容MySQL，SQLServer协议一键式数据迁移。＞性能优化：提供直观的慢SQL分析报告和完整的SQL运行报告，并提供如主键检查、索引检查等多种优化建议。＞简单运维：专有的数据库管理平台，使用户通过浏览器即可安全、方便的进行数据库管理和维护；可随时进行数据备份，能够根据备份文件将数据库恢复至7日内任意时刻；近20种性能资源监控视图，可对部分资源项设置阈值报警，并提供WEB操作、SQL审计等多种日志。

开放数据处理服务（ODPS）＞海量计算：采用分布式集群架构，跨集群技术突破，机群规模可以根据需要灵活扩展至5000台，彻底无极限解决大数据存储与运算瓶颈，使您专心于数据分析和挖掘，最大化发挥数据价值。＞数据安全：多层次数据存储和访问安全机制，保护您的数据：不丢失、不泄露、不被窃取；并且自动存储容错机制，所有计算在沙箱中运行，保障数据高安全性、高可靠性。＞简单易用：无需关心集群的搭建和运维，仅需简单的几步操作，即可开始数据的分析和挖掘任务，全面支持基于SQL的数据处理。高可用的安全防护（SLB+云盾）＞SLB采用全冗余设计，无单点，支持同城容灾和跨REGION容灾，可用性高达99.99%。＞根据应用负载进行弹性扩容，在流量波动情况下不中断对外服务。＞与传统硬件负载均衡系统高投入相比成本能下降60%，私网类型实例免费使用，无需一次性采购昂贵的负载均衡设备，无需运维投入。＞SLB结合云盾提供防DDoS攻击能力，包括：CC、SYNflood等DDoS攻击方式。完善的第三方开放接口＞数梦飞天云平台提供了完整的开放接口，通过此接口可快速实现对应用、资源和数据进行更灵活的部署、更快速的操作、更精确的使用、更及时的监控。产品系统构架云服务引擎ACE弹性计算

服务

ECS关系型数

据库服务

RDS开放存储

服务

OSS分布式文件系统远程过程调用安全管理任翎度分布协同n弹性计算

服务

ECS关系型数

据库服务

RDS开放存储

服务

OSS分布式文件系统远程过程调用安全管理任翎度分布协同n开放数据处理^务ODPS开放结词化数据服务OTSIsLinux集群数据中心数梦飞天整体架构分布式系统底层服务＞资源管理：负责调度和分配集群的内存和计算等资源给上层应用和服务，管理运行在集群节点上的任务的生命周期和资源使用。在多用户运行环境中，支持计算额度、访问控制、作业优先级和资源抢占，达到在保障公平的前提下有效地共享集群资源。＞安全管理：提供以用户为单位的身份认证和授权，为集群数据资源和服务的访问控制生成权能。远程过程调用提供可靠高效的进程间远程调用服务，支持通讯信道的数据压缩和一致性校验。分布协同服务提供分布式系统基本的命名服务、状态同步服务和分布式锁服务。支持基于Paxos的分布式共识协议。分布式文件系统高可扩展性＞提供类似于POSIX的用户空间文件访问API，支持随机读和追加写，可用于强一致性要求的事务日志场景。＞支持上亿个文件和PB以上量级的文件存储。＞基于Paxos协议的多Master设计，避免集群单点失效，自动进行故障监测和数据复制，在不依赖RAID卡和NAS等特殊硬件。＞设备的条件下，提供99.99%的可用性和大于十个9的数据可靠性。＞Share-Nothing架构设计，支持大规模并发读写，充分利用分布式并行带宽。毫秒级别的日志更新操作，支持快速响应的在线服务。＞支持增量扩容和自动数据平衡能力，允许用户定制数据分布策略。任务调度＞面向海量数据处理和大规模计算类型的复杂应用，提供了一个数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Cascading，FlumeJava等多种编程模式。＞支持十万以上级的并行任务调度。＞自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成。集群部署与监控部署提供整个飞天以及上层应用服务的部署、配置管理、以及服务的自检和自举。支持在线集群扩容和应用服务的在线升级。监控监控飞天集群和上层应用服务的运行状况和性能指标，提供丰富的监控图表和集群状况仪表盘，支持用户定义的自动报警服务，以及在线性能剖析和故障诊断。功能特性产品功能及特性说明一部分!平台架构基于阿里云飞天平台体系架构云平台总体架构为基础设施、云操作系统、云服务、安全管理和云管控平台五个基础设施包括计算存储设备、网络设备和安全设备等物理设备云操作系统包括资源管理、分布式文件系统、任务调度、虚拟化和服务管理云服务包括负载均衡、虚拟主机、对象存储、分布式数据库、安全服务与大数据服务等安全管理包括网络安全、主机安全、云操作系统安全、数据安全、应用安全和安全防护等云管控平台包括客户管理、服务目录、订单管理、运营统计等，图形化形式展示标准规范采用统一管理集群资源，统一管理集群内的CPU、内存、磁盘和网络资源使得这些关键资源可以被高效地使用；采用文件多备份的策略提高了存储的可靠性；根据应用对资源进行全局的调度，提高资源的利用率；采用自动故障切换提高了系统整体的可用性；采用统一的安全措施，保证用户数据的安全性；采用统一运维的方式，提高系统的安全并降低成本；资源管理提供计算存储设备，网络设备和安全设备等物理设备的管理功能；

提供虚拟化后的“分布式计算资源池”、“网络资源池”和“存储资源池”的管理功能；提供对网络资源的管理功能，包括：IP地址资源和带宽资源的管理；提供资源协同能力，包括资源的注册、创建、销毁、回收、状态同步、分布式锁服务，支持分布式共识协议；提供集群并行作业能力，实现资源的高可用和集群的负载均衡能力。远程过程调用提供可靠高效的进程间远程调用服务，支持通讯信道的数据压缩和一致性校验。分布协同服务分布协同服务提供分布式系统基本的命名服务、状态同步服务和分布式锁服务。支持基于Paxos的分布式共识协议虚拟化功能支持计算资源虚拟化，形成“分布式计算资源池”；支持计算设备“一虚多”，同一台物理主机上同时支持多种操作系统，或是相同操作系统的不同版本。分区与分区之间相互独立，互不影响；支持资源的动态调配与弹性可伸缩，资源池具备各级资源的按需获取功能，提高资源消费者的可用性、容错与扩展能力。分布式文件系统云平台操作系统支持分布式文件系统持存储资源虚拟化,形成“存储资源池”；支持IO优先级控制和QoS保证；支持增量扩容和自动数据平衡能力，允许用户定制数据分布策略；采用多管理节点设计，避免集群单点失效，自动进行故障监测和数据迁移；具备高可扩展性，可支持上亿个文件和100PB以上量级的文件存储；支持不重启系统，增加物理服务器后自动扩容；在不依赖RAID卡和NAS等特殊硬件设备的条件下，提供高可用性和高可靠性；采用Shared-nothing架构设计，支持1万以上客户端并发读写；任务调度提供一个数据驱动的多级流水线并行计算框架，兼容业界主流的多种编程模型；提供并行任务调度能力，且具备高可扩展性，最高可支持十万以上级

的并行任务调度；实现自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成；集群部署与监控提供整个云操作系统以及应用服务的部署、配置管理及服务的自检；支持在线集群扩容和应用服务的在线升级；完整部署规模200台集群