北京科技大学曾明云计算中服务资源与调度管理).doc

北京科技大学曾明：云计算中服务资源与调度管理 ( 2010/12/23 11:46 ) 为促进IDC市场的健康发展，引导IDC产业尽早做大做实，推进IDC科学规划与建设，提升我国IDC的维护与运营水平，中国数据中心产业发展联盟在中国信息协会的指导下，定于12月22日在北京举办“2010中国IDC建设与运维论坛”。北京科技大学 曾明曾明：大家好！我是来自北京科技大学的曾明，我本人不是搞IDC行业的，但我是搞云计算的。云计算可以作为我们IDC行业将来建设绿色IDC的一个技术补充。在这里开这个会，也属于班门弄斧的性质，给大家汇报一下我们在云计算里面的一些成果，跟各位领导学习一下。大概是这么几个内容：一是简单的理解，对于IDC的挑战以及在云计算的理解和解决方案。我们认为云计算本身，我们现在在建数字化的时候，认为虚拟化是核心技术，没有虚拟化就没有云计算。但实际上，当有简单的虚拟化之后，并不能完成一个简单的搭建，还要涉及一个主题就资源的管理和调度，也就是运维方面的技术。这是我们浅显的对于IDC的理解，主要是人和机器。实际上我们在一些企业也做应用，在高校里面也网络中心。这个时候我们看到机房本身设备的利用率非常低，一般在20-30%之间。在管理中也缺乏高效的管理模式，通常情况下设备的利用率很低，网管人员的利用率很高，人很辛苦，但是设备很闲，面临这样一个问题。我们提供基于虚拟和“云”的解决方案，我们希望能够做成什么形式？希望通过三层应用：第一层，底层的IAAS，它会做什么事情？首先会把我们IDC机房里的一些网络设备，一些存储设备，一些服务器打成资源池。他么在资源池之上，我们通过中间件的形式，呈现一个云计算的平台。这个平台可以给运营商使用，可以给软件提供商使用，最终形成一个云计算的门户，给终端用户使用云计算的资源。云计算，它实现的东西，往往我们在传统来说，比如像电，有一个插座来使用。比如说水，比如说燃气，我们早些年家里都有煤气罐，每家都有，后来实现了煤气，打开就可以用了，按需付费。前两年我们都比喻成云计算应用，但是这种比喻，我个人理解有点儿出入。因为水、电、煤气介质比较单一，水是比较标准，煤气也是。但是云计算，整个架构是异构的，我们要做资源整合，首先要对资源进行虚拟化，搭建资源池。当有了资源池之后，本身是计算资源，不能提供最终的服务。这个时候我们要对资源进行管理，才能实现服务的提供。这个是我们提供的支撑平台的架构。左侧是比如VMware、KVM、XEN，可能大家都比较熟悉。右侧是在线服务器，云计算节点，然后组成云的结构。我们认为在虚拟化之上还需要强大的云管理平台，就需要一个希望云管理方案。这个方案首先要虚拟化物理机，再进行资源的整合，资源的调度，资源的分配，以及资源整合。我们在北京科技大学已经研发出了一套平台，后面可以看一下我们的研发成果。这个是我们针对BOSS系统的事例，云除了做资源池管理之外还有非常重要的一块，就是高性能计算。比如说大型的计算处理，比如BOSS，我们可以在云上进行拆分，原来一台机器上做的事情可以分到6个机器上去完成，大大提高效率。下面看一下服务资源的整合。首先通过虚拟化系统去管理这个服务资源，通过在物理机上安装一些插件，或者对裸机进行管理。通过系统互载，我们计算云计算的环境，最终是为应用提供服务。对于传统来说，我们的应用，比如有一些ERP的应用，CRM的运用，数据库的应用，存储应用，这些应用在传统情况下都是一种形式，这些资源的分配是不均匀的。ERP系统可能会很闲，利用率在不高，我们是不是可以把一些闲置的ERP系统资源调拨过来呢？其实是完全可行的。我们将物理资源进行整合，形成资源池，在上一端做架构的服务。这是一个示意图，原来是比较零乱的状况，现在通过整合，需要的物理设备大大降低了，是一个比较简洁的情况。也反映出另外一个问题，机房可能会有上千台设备，或者上万台设备这些设备平均使用率是比较低的，我们可以关掉一些。下面看看服务资源调度。在调度这部分有两类：一个是资源分配策略。对于服务来说，是有时间预期性的。比如电子商务网站，在过节期间会是高潮，比如淘宝全场打5折的信息，结果很多网上银行出现了停机的情况，包括广大银行也出现了终止服务的时候。往往一个业务高峰期的时候，我们无法及时的应对业务变化，这个时候我们在云计算的环境下，可以做资源的自定义。我们可以预先做好部署，通过虚拟化技术。左侧这个图需要CPU是600-700之间，通过资源分配之后，CPU使用率提高了，需要CPU的个数也降低了，物理设备也降低了。对于任务的分配策略，我们提供了8种。整个团队从事了十多年的网格计算，网格计算到目前来看还停留在科研的水平，不能商用。在高性能计算里，用的比较好，我们把这些策略移植到云计算环境下。包括一些填满，尽可能的让少的任务在机器上使用，让每个被使用的服务器利用率最大化，减少资源碎片。当满载的时候，开启第二台机器，可以保证机器满负荷运载，最大好处就是节能。第二，分散策略，就是尽可能把任务分摊在不同的服务器上，保证运行的稳定性，降低物理服务器，提高程序运行的效率。基于网络拓扑的策略，尽量保证为应用程序分配的服务器资源之间的网络路径最小。基于关联程度的，比如将ERP系统放在一个路径比较短的位置，这样可以便于管理，保证程序的运营效率。基于HA的，我们看很多的业务，包括关联性的业务，都有HA的保障，比如高可用性。在云计算情况下，我们可以通过一些虚拟化技术，通过虚拟机的技术实现HA，比传统技术要更好一些，可以实现虚拟的漂移，动态的扩展都可以做。节能优化，通过传感器判定，哪些当前环境，包括空调，或者UPS的指标信息，判断当前的温度在什么地方是最低的，什么地方部署是比较合理的。再看一下资源的管理。这里涉及到两个界面，跟业务相关的。比如像云的系统管理员、应用经理等来实现资源的管理。这个是在“云”上面提供比较好的效果，在我们日常处理的过程。传统情况下，当发生骨针的时候，如果没有HA的情况下，会出现应用的解决。这也是虚拟化的标准解决方法。包括资源扩展，这个集群可以弹性的进行扩展。甚至可以在虚拟化基础上增加多云的管理，北京有一台机房，天津也可以有，当北京的机房负载不够的时候，可以从天津机房去借调资源，可以实现云和云之间资源的扩展。我们认为“云”这个方案带来一些价值，比如可以部署，降低管理的时间，包括提高新的优化，降低成本，提高工作周期，最主要的目的是提高资源的利用率。比如机房有很多机柜，机柜是要服务于应用的，其实不必要使用很多的机柜，占用这么大的空间。节省投资方面，系统部署的时间从几天缩短到几分钟，没有双机备份，低成本。这里一定涉及到资源不对等和重复投入的问题。我们通过虚拟化，可以保证HA，这个时候我们做热备或者冷备的方式，可以保持业务的可持续性。同时，可以提高系统运维效力，对系统应用，可以通过手工的部署，比如装应用，现在可以通过模板的方式快