分布式集群系统的调研

分布式集群系统——调研分析

By吴文泰分布式系统/平台proActiveParallelSuiteClusterVirtualMachineforJava（cJVM)ParallelVirtualMachine(PVM)ApacheHadoop(这里不做介绍）ApacheMesos2ProActiveParallelSuite1ProActiveParallelSuite3ProActiveParallelSuiteBriefIntro:通过ProActive平台,用户可以立刻对（企业级）应用进行业务优化和加速，同时可以对企业云进行管理。Keys:可并行、分布式、业务流程优化加速、可以集成高效的云管理。平台关键组成：3个：

Workflow&Parallelization---各种业务的并行化

Orchestration&Scheduling---多应用、多接口支持

Clouds&GridsIaaS---设施上的异构资源管理4ProActiveParallelSuiteWorkflow&Parallelization◎支持多种技术来优化业务性能：方便应用编程本地并行化：

支持消息传递接口（MPI），OpenMP编程，多线程技术等分布式+并行：

支持用于并行分布式编程的JavaAPI，REST，以及MapReduce等核心技术：JAVAActiveObjects,IC2D5ProActiveParallelSuiteOrchestration&Scheduling◎支持多种平台上的应用：作为调度者◎区别于Workflow&Parallelization：

Workflow&Parallelization为客户端提供一系列接口

Orchestration&Scheduling为管理员管理不同业务提供特殊的服务器和工具支持核心：Orchestration&Scheduling

Server

6ProActiveParallelSuiteClouds&GridsIaaS◎管理异构资源（基础设施）核心：Clouds&GridsIaaSServer譬如：跑Linux的VM和Windows的VM7ProActiveParallelSuite可用状况:Open-sourced组件：Studio1.4

JavaActiveObjects5.4

Scheduler3.4

SchedulerWebPortal1.4

ResourceManager3.4

Cloud&GridIaaSWebPortal1.4

MatlabConnector1.2

ScilabConnector1.2

8ProActiveParallelSuite组件下载：支持windows32+64,linux32+64以及MacOS注册信息压缩包包含项目文件和exe，是一个IDE，对应Workflow&Parallelization对应Orchestration&Schedulingserver对应Clouds&GridsIaaS中的计算单元9支持斯的编层程方绣法：怠在p枯ro钻Ac幸ti熄vest董ud攀io中，诱采用克图形鸭化方亮式设立计w顽or蚂kf创lo父ws热来定袍义并交行化袍调度宵。集群很搭建细的难踩易程足度：一般，除葱了安赚装I队DE开外，宁还要位配置贿好另撇外两眯个组咽件(宜se鼠rv位er蛙和a删ge月nt序)；嚷但网冷站资料楼很完帝整。支持在的语相言：桶JA背VA寸,母RE饺ST售,C书LI涌(命喷令行恳）Pr法oA胖ct伴iv庭e净Pa疮ra尿ll构el程S打ui冬teOr假ch尘es耗tr衣at庸io考n发&桶Sc泰he思du桶li拿ng弟和哭C辅lo蚀ud嗓&混G开ri裤d侧Ia泰as圆也可弊以在除这一悉ID逃E中散进行摊管理10Cl仪us糊te流r她Vi随rt日ua经l招Ma苍ch肾in竟e道fo半r叫Ja笨va2Cl膛us键te极r个Vi个rt药ua摔l挣Ma洁ch喉in酬e吊fo倍r爹Ja拜va斑(陕cJ汪VM览)11Br恼ie壮f死In桂tr胡o:恳通许过对敲一个药集群公进行虚拟伏化使得枕对应漂用可见狱的仅标是单把个系幼统；而实冒际上雕对象总和线数程是亏存在诊和运钩行于航多台望虚拟见机上燥的。优点葱：应呢用编巾程方殃便，锐高可筝扩展妙性Tr姥an吓sp睡ar宁en搅t对A港pp福透明Cl宣us搏te故r拥Vi端rt铜ua剃l备Ma雨ch僚in怜e胸fo巾r元Ja籍va12核心伴：J管av捧a爷Se液rv灶er果A发pp唱li卖ca昂ti夸on告s换(J康SA惭s)Cl揭us胁te偏r盛Vi洲rt犹ua燃l付Ma每ch飘in梁e烟fo萝r敲Ja趣vaJS欢As锡的运心行环锣境—冰—C断lu竖st声er萌V调M词(f握or箩j久av栏a)扩展出性："t过hr远ow腰in脊g虽mo老re蹄h棉ar皇dw绘ar幕e从at零t应he扰p伞ro吃bl瓦em烛."——朴要扩漠展服晒务器缓上A障pp站的性工能，亦就投羽入更肚多的薯硬件筐（V惹M）售到中攻间这仔层13支持单编程亦语言其:钱Ja拐va可用猎情况冬：“NO叶TE茶:逝Th辟is穗p记ro揉je萍ct建i莫s润no疏l体on招ge率r防ac耍ti椅ve敞s扯in啄ce炮2兰00够0!”…俯…还没资有找燃到可课用资剪源Cl志us皂te宴r轿Vi绵rt送ua绒l源Ma将ch乱in削e赚fo坟r似Ja蜂va14Pa治ra堵ll懂el德V坐ir街tu罪al改M亚ac般hi蛾ne3Pa堡ra谁ll植el裕V躬ir闯tu编al装M比ac兰hi蔬ne支(毁PV貌M)15Br馋ie立f沫In悬tr希o:草使崇用网袭络连铁接各斑种异构系统伐（如依Wi进nd士ow孙s,嚷U牧ni字x）咸，使妥之看斗起来某就像站一个警大型显“并行计算羞机”婶。Pa妖ra撞ll稻el成V兴ir灯tu岂al盯M耍ac逢hi别neKe昌ys殖:蛙模拟拉并行月计算粉机，耍从而盾Ap括p可茧以使直用并充行编权程技池术Su段pp紧or粗te泊d棉La匠ng网ua吓ge寨:斯C,逝C逐++疗,各Fo治rt挖ra笨n16代码曾示例肿：Pa熊ra畜ll尚el痰V灿ir汁tu仙al私M奖ac却hi艘nePv铜m3笑.h塌库并行矮编程氧的风吃格17可用雄情况叶：O浮pe帜n-夕So咏ur蚂ce皆d，孩提供听li巴b还醋有P喂VM喝安装逗程序格，还赖有详永细安赵装/茫配置突的说度明文壁档；Pa迎ra册ll设el声V续ir粗tu增al蹄M遇ac搜hi瞒ne里面苹是e女xe播文件Li营b18Pa赔ra私ll蛾el舰V平ir阵tu缴al灭M碎ac音hi擦ne——苗安装堆PV沫M最赚好先重装i颠ns馒ta性ll侮sh甜ie物ld腔（微特软开膏发的涝一个燃软件绿），叼否则苍就要强按如株下步饿骤人永工配散置19拿99桌年编烧写的古文档赔，所膛以只往提到票了W妥in蚂do赢ws这N乔T和赞95晋/9固8系黄统；贫要试酸一下宝才知携道是冷否支难持2爪00禁0以冶上的喂系统短。。厌。（果PV剧M项附目到踢20颗11爬年都根有更帅新）19支持约语言互：袜C,是C位++夸,染Fo卵rt瞧ra坦n算法篇接口笑:限基本散上是烦并行历编程顽用到取的基智本算镇法，套主要探包含改在p现vm猎3.轨h中支持泊环境玻：W暖in颠do钥ws泡(汇on捕ly这N犹T挑,9黑5/膛98团??唉?)搭建柔难易掀程度血：潜难，脾因为铲说明店文档恼比较疾旧；使用记方式沾：安扶装i域ns耗ta绿ll遇sh芒ie勇ld恳版本奶的P躲VM仪，使籍用源旁码库Pa盏ra勉ll燃el衰V籍ir抓tu道al糕M真ac宴hi门ne20Ap植ac零he腿M变es季os4Ap肉ac泰he锅M赶es榜os21Me除so村sMe翼so惯s计半算框纳架一撞个集瓣群管躬理器帆，提驶供了岗有效业的、笼跨分阶布式砍应用型或框源架的房诚资源惰隔离伸和共缩慧享，遮可以刃运行培Ha隔do绿op筒、M捧PI铸、H赢yp与er才ta挪bl第e、胶Sp俩ar喘k结构羽：M割as超te慕r/区Sl壶av都e结挡构资源均申请勉，内迅部调糕度单例挣，管煎理整宴个集转群，锈负责敬资源揪分配凉+调红度运行羽于S庄la并ve狭服务炼器上考，负牙责执扔行t经as福ks22可用起性：残开源王（代轻码也洁可在g捏it镰hu奥b上惑下载锅）Me犬so犯s官方耐最新巩版本他：23支持东环境辉：黄Li笔nu盯x厕(64Bi仇t)倚a烟nd串M严ac坟OS萝X圾(64Bi亮t)（可蹦能因台为是盟一个瓶很新箭的项刘目）配置茅难易茧程度虚：一圈般（浙官网撤配置腾介绍某是以珍Ub稳un遭tu咐1狱2.牛04彼6狭4位线为例抵，详叠见：ht只tp当:/俊//支持怖语言星：C质++梨,J构av贷a,及Py捧th佩on执行守ta辣sk厨前要运行全对应挡的框裹架：Me涌so温sC+嚼+Ja份vaPy英th蹄on24总结25Co苍mp苍ar惰is姥onproActivecJ