新一代弹性可定制的企业云计算平台项目-立项材料

1、XXXX上海电信信息网络部二零一三年 三 月 TOC o 1-3 h z u 研究内容多租户环境动态分配在IDC云主机产品仅提供了标准化的网络配置服务，即每台虚机配置一个公网地址，用于出口访问。而实际业务开展中，发现客户对网络配置的要求远不止于此。以一个典型的私有云环境为例，客户希望有公网或者VPN作为接入手段；希望有一个业务内网用于内部通讯和数据传输；希望有访问控制，对应需要对防火墙进行配置；希望做负载均衡，对应需要对四层交换机进行设置。从而从用户的自身使用习惯出发，提供一个完整的、安全的、相对独立的、可靠的私有云环境，如下图所示。因此，用户需求归结为以下几点：VPC模式的研制，能够提供多种

2、通用的VPC模式。定制多种网络区域的类型，满足环境对外服务、对环境维护、内部数据交换、集群HA等功能。提供网络安全防护的功能，提供负载均衡设备功能，如Load balance、static NAT、port mapping等。提供拓扑图方式的业务申请，通过页面拖曳资源，直观得到VPC结构及配置，简单方便完成VPC的定制。快速配置VPC，实现VPC资源的基本配置。支持用户自用操作系统的使用。多租户环境的动态分配功能模块将云IT系统两部分进行优化开发：用户自服务模块优化用户自服务，使得自服务可以满足VPC提供拓扑图方式的业务申请，通过页面拖曳资源，直观得到VPC结构及配置，简单方便完成VPC的定制

3、。实现用户视图管理、用户订单管理、VPC搭建过程管理。电信云管理平台优化原云管理平台，使得工单管理系统能够自动激活VPC，变更VPC或拆除VPC。包括防火墙配置、负载均衡配置、网络划分、交换机配置等。资源的弹性伸缩弹性扩展伸缩特性是云的一个重要特征，当特定的用户IT环境负荷发生变化时，可以弹性地对计算资源的供给进行调整。当计算负荷变大时，其所配备的计算资源将相应地得到增加。同理，相当计算负荷的高峰过去以后，为其配备的计算资源也能得到回收。云资源的自动弹性伸缩结合云平台现有资源自动激活技术，研究资源伸缩的触发条件、实现机制、资源管理方式。包括资源使用情况实时监控模型的实现、动态伸缩自动激活的方法

4、以及回溯伸缩的数据管理方法。由于课题涉及内容较多，因此本次内容主要研究虚拟数据中心条件下，弹性机制的实现。云虚拟数据中心实时监控：根据研究院的2012年底研究成果，实现其监控模块，细化监控数据，建立监控手段，检测用户IT基础环境云工作负荷；云虚拟数据中心弹性伸缩：实现虚拟数据中心的资源伸缩，如虚拟服务器弹性扩展以及回收，网络配置自动变更、应用配置自动变更、负载均衡配置自动变更、防火墙等设备的自动变更。提供自定义伸缩定制：建立伸缩策略，引入用户自定义的触发条件。资源生命周期管理与使用量统计：资源的生命周期管理，是弹性扩展业务的重点。云管理平台对用户使用资源的情况作详细的追踪。需要记录的信息包括，

5、虚机什么时候被创建，什么时候被销毁，创建、销毁的触发条件、虚机变更情况等信息，并将这些信息保存、记录，以供计费模块作为计算的凭证，便于用户能够进行资源变更的回溯。整个弹性扩展的实现，基本上贯穿了以下的流程图:在实现机制上，门户类应用系统的弹性扩展将主要体现在以下四个重点的功能模块上：弹性扩展规则与算法管理负责判断是否需要弹性扩展或者收缩，以及需要扩展的资源的数量等。资源置备与回收模块负责对资源进行相应的置备和回收的动作工作负荷检测负责检测主机的工作负荷情况是否超标等。资源生命周期管理与计算负责对资源生命周期进行统计，并根据统计使用量清单。从技术上说，目前所有的模块都已经有相对成熟的思路。工作负

6、荷监测目前，已经有很多成熟的工具，能从主机层面和虚机层面，对特定的参数指标进行监控。这些工具往往都能提供提供完全WEB化的管理界面和报表系统，让管理员在任何时间，任何地点都可方便地管理整个系统。在监测过程的任意时段，都显示详尽的实时状态信息。通过常规的基于浏览器的报告形式，计算机系统管理人员和业务管理人员都能获取关于系统性能的一套完整的信息。从监控手段上，这些软件通常采用有代理监控或者无代理监控等。两种监控方式各有千秋的，但是从部署上说，无代理监控的方式，更加适合我们的云计算模式。在初始状态时，只需要将控制器安装在一台特定的服务器上。一旦有新的资源置备上线以后，只需要在该控制器上完成对该资源的

7、注册，就可以完成对资源的监控设置。通常，该类监控软件还会带有监控模板设置。每个用户的某个应用，通常都会采用相同的监控参数组合。这个参数组合可以被放在一个监控模板内。该用户的该类应用中的所有资源，都可以使用这个监控模板，完成对该类资源的监控设置。负载监控将所收集到的性能数据保存，以供后面的弹性扩展规则与算法进行相应处理。弹性扩展实现云资源弹性伸缩功能架构分为弹性伸缩控制层、调度层、接口层。弹性伸缩控制层主要包括监控数据读取分析、弹性伸缩策略配置等主要功能模块；调度层主要包括计算节点增加/减少调度、计算节点配置提升/降低调度、物理节点开启/关闭调度、计算节点迁移调度等功能模块；接口层则实现了各个协

8、议的适配器，不同的虚拟化软件，其接口协议不同，接口层则统一封装了对底层各中虚拟化软件的交互操作以及通过IPMI协议对物理机的控制操作（如开机、关机）。资源自动置备与回收资源置备，主要负责资源的创建与客户化。一个推荐的方式是，对每一个提供弹性扩展服务的应用，由用户提供一个模板。当需要创建资源时，资源置备程序将从该模板创建虚机， 并根据约定客户化程序，对该类虚机进行IP地址设置。与资源置备相比，资源回收相对比较简单，只需要将虚机删除，并将虚机相关的资源（比如IP地址）等收回即可。定制化云平台虚拟数据中心私有化定制虚机HA集群模块：虚机HA集群指通过虚机和挂接存储形成虚机HA集群，从而满足用户环境特

9、别是数据库环境的双机热备需求。用户能够通过自服务定制模板，定制虚机个数、lun个数、ip个数。网络定制化：网络区类型的定义，如DMZ区、公网区、内网区等；子网长度定制；网络区对外连防火墙、负载均衡定制；完善VPC修改功能，能够在VPC加入新的网络区域、虚机、修改与外部设备如防火墙、负载均衡的连接关系等；完善订单查询，优化自定义VPC使用及订单查询；工单接口改造；工单及执行改造。在防火墙-负载均衡-公网层-内网层-DMZ层固定模式的基础上，解除原公网层内网卡与ip的绑定关系，允许定制ip段、vlan与网卡的关系，进一步提供虚拟数据中心的可定制化程度。虚拟数据中心流程订单及工单流转；服务目录；系统

10、接口；资源管理优化：提供管理员统一管理VPC界面，提供用户、VPC属性、VPC配置等管理；提供负载均衡设备管理，负载均衡配置、策略管理；提供防火墙设备管理，防火墙配置、策略管理；EC2能力接口开放IaaS系统的API接口（IAPI）目前，用户的资源申请扔停留在图形化的自服务级别。用户通过自服务门户上提交申请，来完成对其名下资源的操作。与国外成熟的云运营商如Amazon等相比，我们目前尚不能提供任何应用API接口。本项目的目标之一是研究能够对外提供云服务的安全接口IAPI，形成一种形成安全、身份可认证的、服务可控制的接口服务，丰富云平台的对外服务形式。支撑大型用户，如动漫园区、社区用户、分销商等

11、具备一定IT能力，对资源使用及时性有要求的用户。另外，满足本地有基础设施的用户的需求，能够实现混合模式下云的准确管理。研究身份认证技术，控制访问连接，保障云平台的安全，同时记录外部调用情况。对云平台服务作分类的定义包装，提供多种对外服务，如VPC、备份、计算资源、存储等。另外，能够支持在用户端已有资源的情况下，资源的正常调度和管理。从国外成熟的云计算运营商所能提供的服务看，目前，绝大多数云计算运营商都提供了相应的工具，向用户开放了其名下虚机资源的控制台。用户可以通过控制台，即使在虚机系统故障时也可通过控制台进行带外管理，进行自我排障等操作。理论上，在一个成熟的云运营商体系中，其云平台所能提供的

12、每一个功能都被开放在了其所提供的API接口上。通常，一个的完整的云运营体系环境中，主要包含的功能有：身份认证功能这部分功能主要用于确认账号的身份。在通常的实现当中，往往是采用一个session key的形式。即所有通过用户名认证的session都将得到一个key。凭借着该key的键值，其可以在某段时间内访问该账号下的某些资源。资源定义功能这部分功能主要用来让用户对其名下的资源进行配置的定义，包括配置更改，配置保存等。资源创建与回收功能这部分功能主要用来完成对资源的创建，比如虚机的创建、虚拟私有云功能的创建等。资源操作功能这部分主要包含对资源的管理动作，比如对虚机的启停、重置、备份、恢复、快照、

13、制模板等。API的开放本身，绝不仅仅是一个工程技术类问题。其和电信云平台的业务模式密切相关。与API相关的，首先就是文档的编写。一个完整的API文档，需要包含API架构的介绍，初学者指南，以及涵盖所有其所涉及的对象与方法的编程指南等。这些文档要被合理地组织在相应的门户网站上，供开发者自由下载。同时，随着API的更改，这些文档也要及时地进行版本的更新。从这个角度讲，API所涉及的文档工作量，可能会成倍于API开发本身所涉及的工作量。如果我们提供的API能在形式上和某种通用的开源云管理平台比如OpenStack或者CloudStack相靠拢，那将很大地简化电信再文档维护等工作上的工作量，并简化目标

14、开发者所需要经历的学习曲线。这样而言，原先为Openstack或者Cloudstack所写的程序，几乎可以在不改写的情况下，在电信的云平台上运行。另外一个重要的门户是API相关的开发社区。一个成熟的开发社区，对API的推广大有裨益。作为云的运营商，可以在社区上提出收集到对产品有用的建议。对开发者来说的，则能在社区获得支持，并且贡献其优化过的代码等。针对目前云计算业务的现实状况，建议API的项目采用逐步推进的方式进行。在形式上，应该首先推出的是Web Service形式的接口，Web Service是一切API的基础。其次再要考虑引入命令行工具，提供了一个简单的测试工具，对Web Service

15、的开发测试，有很大帮助。在功能上，从现实的工作量考虑，首先应该针对最简单虚拟机的业务，开通其相应的API包括其身份认证、资源定义、资源开通以及资源操作等4大类。相比于其他复杂的业务逻辑而言，虚拟机任务模型最成熟，其开发的可控性也最好。集成的很大一部分工作将发生在API操作与现有工单流程的交互上。事实上，和以前CRM驱动的业务模式相反，云的API本身是反向驱动的。极有可能发生的场景是，由于API的调用，使得云管理平台产生了一张的自动执行工单，并且，该工单需要通过某种方式，被写回到电CRM系统当中。形式上，我们的API的格式应该考虑与OpenStack或者CloudStack的通用API格式靠拢，

16、以增强自己的通用性。在开发API的同时，应该保持文档体系的完整，并借此机会，搭建一个专门用于API文档组织的版本管理机制以及组织文档发布的公网网站。远程控制台带外管理目前，IDC基础设施云云平台并没有向用户开放虚机的控制台。用户只能通过远程访问协议（比如微软的远程桌面协议RDP，或者Linux的SSH协议等），通过虚机的网络层访问其操作系统。在虚机出现故障导致其网络层甚至是操作系统层不可用时，云平台并不能够提供足够的带外管理方式。站在用户的角度，其只能通过报修的方式的，让电信的运维方对虚机进行相应的处理乃至重置。因此，我们提出，在本期项目建设中建设统一的Console管理界面，对VMWARE和

17、HyperV两种平台的虚拟机进行Console管理，并研究开放console界面情况下的权限控制技术，使得用户安全、并且仅能够访问自用的资源，保证底层开放的安全。在此基础上，实现对用户的访问行为进行记录，方便电信方、用户进行记录回溯。面对虚拟机的控制台带外管理手段开放，最大的挑战来自于它的安全性。无论是VMWare还是微软的Hyper-V，都能实现与微软活动目录（AD）的绑定。同时，对其下属的每一个虚机，都可以设置一个所有者用户组。只有那些在所有者组内的AD用户账号，才可以登录该虚机的控制台，进行相应的操作。但是在公有云环境中，这个机制完全不通用。公有云的用户账号与电信的AD用户不存在必然的对

18、应关系。公有云账号与虚机的从属关系更是完全由云平台维护，不会出现在任何虚拟化管理器中。因此，在提供控制台访问的时候，必须提供额外的身份认证与访问控制机制。该部分的功能应该做到，确保云平台的用户只能够访问到其名下的相应虚机资源的控制台，并且同时确保相应的虚机资源控制台只能为该名下的用户所访问到。在通过了认证以后，才能建立起相应的通路，以让授权的用户访问该虚机的控制台。从客户端到最后虚机端的数据通路应该在加密的情况下被传输，以防止网络上的截停和仿冒。其加密应该至少采用1024位的SSL安全通行协议，防止破解。在往上面，甚至可以考虑像亚马逊那样，将表示时间的时序参数一起做在客户端提供身份校验的key

19、当中。这样，即使该部分信息被盗用者破解，但是由于有效时间已过，这部分信息也只能作废。安全性的另一个方面，体现在审计的功能上。用户通过控制台对系统的每一次访问，必须被记录在云平台专用的审计表中，并在合适的地方展现，在需要的时候，能以合理的方式提供给用户。关键技术自服务门户动态拖拽用户通过浏览器登录到VPC自服务门户。浏览服务VPC模板，系统预制了的几种典型的VPC环境套餐可供用户选择，如果已知套餐无法满足用户对资源的需求时，用户可通过自定义方式定制资源配置。随后配置VPC环境中的云主机，防火墙和负载均衡策略信息，最后，提交资源申请。生成服务订单发送到云管理平台。用户可以在图形化的界面上通过拖拽虚机，负载均衡，防火墙等元素来实现订单的生成。负载均衡属性从本身图标属性修改。右键编辑负载均衡的属性，通过弹出的表格方式收集用户的负载均衡需求。结合Microsoft动态页面编码技术Silverlight，以及后台XML等技术。自服务通过拓扑图方式向用户提供配置界面，其分为页面配置记录、消息生成、数据库持久化三个步骤，如下表1所示。动态页面技术实现页面配置，支持用户界面拖拉元素至相应网络区域，完成网络配置、虚机配置。该技术支持IE、Firefox等多种浏览器。数据访问方式丰富，支持TCPUDPSocket通信协议，支持WCF RIA服务，如下表2所示。另外，无需部署