分布式集群系统的调研分析-Mesos

分布式集群系统——调研分析

By吴文泰分布式系统/平台proActiveParallelSuiteClusterVirtualMachineforJava（cJVM)ParallelVirtualMachine(PVM)ApacheHadoop(这里不做介绍）ApacheMesos2ProActiveParallelSuite1ProActiveParallelSuite3ProActiveParallelSuiteBriefIntro:通过ProActive平台,用户可以立刻对（企业级）应用进行业务优化和加速，同时可以对企业云进行管理。Keys:可并行、分布式、业务流程优化加速、可以集成高效的云管理。平台关键组成：3个：

Workflow&Parallelization---各种业务的并行化

Orchestration&Scheduling---多应用、多接口支持

Clouds&GridsIaaS---设施上的异构资源管理4ProActiveParallelSuiteWorkflow&Parallelization◎支持多种技术来优化业务性能：方便应用编程本地并行化：

支持消息传递接口（MPI），OpenMP编程，多线程技术等分布式+并行：

支持用于并行分布式编程的JavaAPI，REST，以及MapReduce等核心技术：JAVAActiveObjects,IC2D5ProActiveParallelSuiteOrchestration&Scheduling◎支持多种平台上的应用：作为调度者◎区别于Workflow&Parallelization：

Workflow&Parallelization为客户端提供一系列接口

Orchestration&Scheduling为管理员管理不同业务提供特殊的服务器和工具支持核心：Orchestration&Scheduling

Server

6ProActiveParallelSuiteClouds&GridsIaaS◎管理异构资源（基础设施）核心：Clouds&GridsIaaSServer譬如：跑Linux的VM和Windows的VM7ProActiveParallelSuite可用状况:Open-sourced组件：Studio1.4

JavaActiveObjects5.4

Scheduler3.4

SchedulerWebPortal1.4

ResourceManager3.4

Cloud&GridIaaSWebPortal1.4

MatlabConnector1.2

ScilabConnector1.2

8ProActiveParallelSuite组件下载：支持windows32+64,linux32+64以及MacOS注册信息压缩包包含项目文件和exe，是一个IDE，对应Workflow&Parallelization对应Orchestration&Schedulingserver对应Clouds&GridsIaaS中的计算单元9支持的编程方法：在proActivestudio中，采用图形化方式设计workflows来定义并行化调度。集群搭建的难易程度：一般，除了安装IDE外，还要配置好另外两个组件(server和agent)；但网站资料很完整。支持的语言：JAVA,REST,CLI(命令行）ProActiveParallelSuiteOrchestration&Scheduling和Cloud&GridIaas也可以在这一IDE中进行管理10ClusterVirtualMachineforJava2ClusterVirtualMachineforJava(cJVM)11BriefIntro:通过对一个集群进行虚拟化使得对应用可见的仅是单个系统；而实际上对象和线程是存在和运行于多台虚拟机上的。优点：应用编程方便，高可扩展性

Transparent对App透明ClusterVirtualMachineforJava12核心：JavaServerApplications(JSAs)ClusterVirtualMachineforJavaJSAs的运行环境——ClusterVM(forjava)扩展性："throwingmorehardwareattheproblem."

——要扩展服务器上App的性能，就投入更多的硬件（VM）到中间这层13支持编程语言:Java可用情况：“NOTE:Thisprojectisnolongeractivesince2000!”……还没有找到可用资源ClusterVirtualMachineforJava14ParallelVirtualMachine3ParallelVirtualMachine(PVM)15BriefIntro:使用网络连接各种异构系统（如Windows,Unix），使之看起来就像一个大型“并行计算机”。ParallelVirtualMachineKeys:模拟并行计算机，从而App可以使用并行编程技术SupportedLanguage:C,C++,Fortran16代码示例：ParallelVirtualMachinePvm3.h库并行编程的风格17可用情况：Open-Sourced，提供lib还有PVM安装程序，还有详细安装/配置的说明文档；ParallelVirtualMachine里面是exe文件Lib18ParallelVirtualMachine——安装PVM最好先装installshield（微软开发的一个软件），否则就要按如下步骤人工配置1999年编写的文档，所以只提到了WindowsNT和95/98系统；要试一下才知道是否支持2000以上的系统。。。（PVM项目到2011年都有更新）19支持语言：C,C++,Fortran算法接口:基本上是并行编程用到的基本算法，主要包含在pvm3.h中支持环境：Windows(onlyNT,95/98???)搭建难易程度：难，因为说明文档比较旧；使用方式：安装installshield版本的PVM，使用源码库ParallelVirtualMachine20ApacheMesos4ApacheMesos21MesosMesos计算框架一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行Hadoop、MPI、Hypertable、Spark结构：Master/Slave结构资源申请，内部调度单例，管理整个集群，负责资源分配+调度运行于Slave服务器上，负责执行tasks22可用性：开源（代码也可在github上下载）

Mesos官方最新版本：0.19.023支持环境：Linux(64Bit)andMacOSX(64Bit)（可能因为是一个很新的项目）配置难易程度：一般（官网配置介绍是以Ubuntu12.0464位为例，详见：/gettingstarted/

支持语言：C++,Java,Python执行task前要运行对应的框架：MesosC++JavaPython24总结25ComparisonproActivecJVMPVMHadoopMesos运行环境Windows,linux,MacWindowsNTWindowsUnix(linux)Linux(64Bit)andMacOSX(64Bit)支持语言Java,REST,CLIJavaC,C++,FortranC++,C,JavaJava,Python,C++搭建难易一般N/A难一般一般并行调度算法/方法Map-Reduce等Pvm3.h中包含的算法Map