MATLAB分布式并行计算服务器配置和使用方法

1、Windows下MATLAB分布式并行计算服务器配置和使用方法1MATLAB分布式并行计算服务器介绍MATLABDistributedComputingServer可以使并行计算工具箱应用程序得到扩展，从而可以使用运行在任意数量计算机上的任意数量的worker。MATLABDistributedComputingServer还支持交互式和批处理工作流。此外，使用ParallelComputingToolbox函数的MATLAB应用程序还可利用MATLABCompiler（MATLAB编译器）编入独立的可执行程序和共享软件组件，以进行免费特许分发。这些可执行应用程序和共享库可以连接至MATLAB

2、DistributedComputingServer的worker，并在计算机集群上执行MATLAB同时计算，加快大型作业执行速度，节省运行时间。MATLABDistributedComputingServer支持多个调度程序：MathWorks作业管理器（随产品提供）或任何其他第三方调度程序，例如PlatformLSF、MicrosoftWindowsComputeClusterServer（CCS）、AltairPBSPro，以及TORQUE。使用工具箱中的ConfigurationsManager（配置管理器），可以维护指定的设置，例如调度程序类型、路径设置，以及集群使用政策。通常，仅需

3、更改配置名称即可在集群间或调度程序间切换。MATLABDistributedComputingServer会在应用程序运行时在基于用户配置文件的集群上动态启用所需的许可证。这样，管理员便只需在集群上管理一个服务器许可证，而无需针对每位集群用户在集群上管理单独的工具箱和模块集许可证。作业（Job）是在MATLAB中大量的操作运算。一个作业可以分解不同的部分称为任务（Task），客户可以决定如何更好的划分任务，各任务可以相同也可以不同。MALAB中定义并建立作业及其任务的会话（Session）被称为客户端会话，通常这是在你用来编写程序那台机器上进行的。客户端用并行计算工具箱来定义和建立作业及其任务

4、，MDCE通过计算各个任务来执行作业并负责把结果返回客户端。作业管理器(JobManager)是MDCE的一个组成部分，用来协调各个作业及其任务在各个woker上的执行。如图所示，MATLAB客户端(Client)与调度或作业管理器(Sheudler/Jobmanager)和计算节点(Worker)之间的关系。2MATLAB分布式并行计算服务器配置方法要求参与并行运算的机器matlab版本相同，操作系统可以不同(待考证)。配置主机Windows防火墙设置以管理员权限登陆计算机将matlab添加到防火墙，在DOS命令窗口下执行以下命令matlabroottoolboxdistcompbinadd

5、MatlabToWindowsFirewall.bat其中matlabroot是指matlab安装位置，比如在我的计算机里是C:ProgramFilesMATLABR2013a。若这样添加两台机器依然无法ping通，请将防火墙关闭，关闭方法见附录。2.1.2配置多用户电脑若某机器是多用户的，则需要进行如下配置。目前测试成功的机器不需要这一步，所以这一步暂时可以忽略。编辑配置文档mdce_def.batmatlabroottoolboxdistcompbinmdce_def.bat找到MDCEUSER参数，按照domainusername的形式进行配置setMDCEUSER=mydomainmy

6、usernamemydomain可以是电脑ip地址，myusername是电脑的用户名。找到并配置MDCEPASSsetMDCEPASS=passwordpassword是电脑的登陆密码。保存文档。2.2关闭老版本matlab的mdce服务器配置以必要的权限打开DOS命令窗口。Win7下开启方法是以管理员身份运行cmd.exe程序。开始-搜索cmd-以管理员的身份运行。在DOS窗口下打开老版本matlab的目录，命令是：cdoldmatlabroottoolboxdistcompbin停止老版本的mdce服务并移除关联文件。命令是：mdceuninstall-cleand.在所有的worker

7、节点上重复以上步奏。2.3安装mdce等服务，配置节点，开启MJS、worker2.3.1安装和开启mdce服务a.以管理员身份运行cmd.exe。b.如果matlab没有安装在C盘，则需要指定matlab安装盘。如安装在D盘，则输入D：”c.输入mdce服务命令文件所在目录，格式是：“cdmatlabroottoolboxdistcompbin”。输入mdceinstall安装mdce服务。输入mdcestart开启mdce服务。f.开启RPC服务。开始-搜索-服务-以管理员身份运行。将下图红色圈内的两项服务开启并设为自动开启。根据目前测试，该步骤可忽略。粵络禍占描爭曲7S?W冏塔雲;|ft

8、K.在W“RjematePrailureCallRPCReftiatePrcitedur*Call(RPCj巨述辰ess量助存.空r点蘇1=W却血逞临陶aecvT也曲lhH畤IIHlU倉国丨USJ丨|业RPC6S-軒昜*COMKIOCOM舉君畀圭g尉玆判萱理弄它宙行COM和DCDM脚5箭衽!Cg滴尹孟社也r?MO汨以版5L町別!&泊番耳:!EM.垢.耐直用匸81莹DCOM的民事槪EfilE耳二慎M郵!.翹让RKSS脏芬适_ProblemReport-andSolubcfflsConlrol口Hns.r-PrograinCompdihlit电sktdiMSeiTiice_ProtartsdSlo

9、rsgc$PratKi5LicencingV2_-Qu-styWndc*viAudioV*droInwrienw:Rtm口teAjcccs占l/口Cannedli口nManagerRsmotaAcceosConnectionMBnoger:fttm口怙De-skfi口口CjanRgurdtiori,RsmoteDeiklo口ServiceB：RemciteDe-fiklopericesUierModePortR_.底吧饶Fnrk肩PnMorol(e?p?ri_.4RpmoiwProreduHflQbIIIKPCILoc-stor:ftemcite-4#討tryIRoubngand呛Accebs

10、1RPCEndpoinl-iSecondaryLogon$SecureScickelTumdinggPrdocDlService-iSecurityAccourtBMonngerFl厂ArikaihttiE-ttffi-粗-This.itB,.磁.E”垣程.兄SJ允机.Alp-.Iffi-昨在不中i-st_启弼-Hf*于色手E手手于手手动动动刊a5B启0JB巳曰彌垂聊网密聽社纽皇航却輻彌垂聊士抽卫口2.3.2配置节点a.找到matlab目录atlabroottoolboxdistcompbin,运行admincenter.bat文件。点击AddorFind。AddorFindHosts对话窗口

11、被打开c.选择EnterHostnameorIPAddresses,并输入参与并行计算的机器的IP地址或主机名称。d.点击OK打开Startmdceservice对话窗口。一直点击next直到出现starttheservices,点击以开启服务。现Admin匚enterl-=1冋iKMFileHostsMJ5WorkersHdpHoitsMd.jt丁iiji.HostMKEServiceMJWork.EtxrLridraSbfylr.HaatnanieReachabl已Care-sStatus|UpSinceName-匚口untStapmdrt5crvrtTav1:CsauiacLavifcf

12、Sunshine-PC162.105176.42)S怦4running2014-L1-2BHi.Djiariii-PC(162.105,76.165)S26running201-11-2613:,QMA1LABJobScheduter(MJSjStart.NameHDrtnameStatus-UpSince|WorkersSt-ap.加Oft亡WaricersWorkerNaniffHpffinarnfl1名tfftumUpSince-CornprlionMam?Hcwtname7卓調Updateevery2minutes-Updm懾Now|若Status栏是红色，则查看任务管理器-服务里md

13、ced服务是否是开启状态。若服务没有开启则需要手动开启服务。开始-搜索-服务-以管理员身份运行，找到对应的服务并开启。亿Windows任冬昔理器I回|浜文件旧选顼Q)查看帮助(H)I应用程序I进程T话I性能I联网I用户容称FID状态七d-EVCLiTik-LayerTopulogj-.已停止lmazewvt171B1maz&et正.lmazeup1.205Blmazsup-latel正.Imhoeis2SSTCT/IPKetBIOSHelper正.MckSSvgMdiCnteiExtiul已已停止ndeed552QMATLAEEistributeiC.7F.Multimedia.ClassSc

14、h.已停止FlipzSvc1580WindLiwsFireMalZL正.MSDTCHiztritmtedTrmzact.已停止MSiSCSIMicrosoftiSCSIInit.已傳止nzizerverWiiLdciweIn-t：iller已惇止MSSQUSg.2148SeiServer(S9EEKFKESS)正.MSSQLSer.SQLjlctiveIlLEuctriry.已谆止TTiILTii:1片.LrrrSfPLAjKi.V)悴助円拿申I団El回刼UAllotsiheu-seofworker?eu冃于“sa.手韵它理ar.巨韵d田e.点击Testconnectivity并查看测试结果。

15、DetdilfClient-OniTesiPaseedClusterTortsCompuMiNodeClientcanresolvenodehoctnaClientcanconnecttosericconnodeServerhostnd-consist.MPhastna.匚onsist_.utbo.mhastriQresalut-.Inboundhostrid.mbsqIltL-ServerParteareliableNodecanannecttoserverpartsNodescanannecttoclient162.IDS心&粉Q&Q畑D5“o99QQ9QTeetResijlteSumma

16、ryTotalTEft9Passed:Failed:0Warning:2Skipped:0InfoOnly:1Tc&t&runon20W-1L-28L3半;11Campletedin19-275secondsNumberofcomputEnodesincluster:2rtunCiose|Help*ConnectivityTesting红色圈处显示Passed表示连接测试通过。2.4开启MJSa.在MJS(MatlabJobScheduler)模块单击Start。b.点击OK以继续。2.5开启Workers在Workers模块点击Start。在弹出的StartWorkers对话框内Worker

17、s栏输入每台机器开启的Workers数。该数目与计算机核数一直效率最高。StartWorkersHostsHostnsame亠CoresExistingWork.団Sunshine-PC(07jiariui-PC(l&2.1O5.7&.l&5)20Selecthostsfornewworkers.Youhaverequestedtostart4newworkersun门ingunderthisMTheto-talnumberofworkersmonitoredbythisAdminCentersessionwillbe4.OKCancelHelp选择要运行Workers的

18、主机。点击OK以继续。此后会初始化Workers,此过程需要几分钟时间。3MDCEserver的使用找到clustersa.点击matlab工具栏Parallel右下角的三角符号，并选择DiscoverClusters.LayoutPreferences-0PathParalllHelp亞CcmniunityRequestuppDrtA-dd-Ons+tsl回可SimulinkLibrary51ULLINKEKSetDefaultChoosethedefaultclusterprofiletoutewithmatlabpooLbatch,orparclj&terDiscgwrClusteers

19、._i-earcrlormaILA.bIT&tributedComputingServerclustersonyournetwork:17CT2014ManageGlusterProfiles.Create,edit,orimportclusterprofilesMsnitsrJebsViewndworkwithjobsonyourfun匚hineoron3clutterb.勾选Onyournetwork并按next。机Dis匚overClusters1-MWheredoyouwanttolookfoMATLABDistributedComputingServerclustes?回Onyour

20、networkSelectthisoptionifyouclustersuseaMATLABjobschedule（刚勺orIVIi匸osoftWindowsUPCServer.IIOnAmazonEC2SelectthisoptiontofindclustersunningonAmazooEC2.YoumustprovideyourMathWorksAccountlogininformationtoaccesstheseclusters-.NextCancelc.选择之前建立的Cluster并按next。d.如红线所示显示成功后勾选“Setnewclusterprofileasdefault

21、”将其作为默认设置，点击finish。dDiscoverClustersYouhavesuccessfullyaddedtheclusteprofileMJSProfil&l.&SetriewclusterprofileasdefaultFinishHer巳ares-omething?youmightwanttotrynext:ClickValidate*intheClusterProfileManagertosurethenewclusterprofileworksOpenamiintaractivematlabpoolontheclusterjthenuseparfororspmdSubm

22、itabatchjobtothecluster3.2管理并检测Cluster配置文件a.点击matlab工具栏Parallel右下角的三角符号，并选择ManageClusterProfiles。PrefereneasCommunityy-SetPatflRequestSupportLayoutHelp唱Parallel*丁吕Add-OnsSetDeult-Chooiethedefaultclusterpro-filetouewithmatlsbpo&l,kiatch.orpsrclu&ter|DiuwerClusters.SearchtorMATLABDistributedComp-uting

23、Serverclusterscmyourntvuark4ManageClusterProfiles.Create,edit,orimportclusterprofilesMo-niferViewandworkwithjobsonyournnm匚hineoronaclusterb.在ClusterProfile栏选择上一步中设为默认的Profile（红线处）,在Properties栏可以编辑一些属性，不编辑则使用默认属性。在ValidationResults栏可以进行有效性检测。点击右下角Validate进行检测，若通过则如下图所示。4ClusterPraFileMandgerAddOiscOT

24、crlmp:ttTCluder-sCREATEClusterPnDfilelocalLocalProfilelMJEPrcfileS=|Cupic-T您Rename2Edit前teteteSetasCeiaLilValidoleHelpVALIDATEHELP35/aliddtioriReeultEOverallgtatuuPafcedTypesMJEPro-filel(default)StdgeStatusDescriptionCluiler匚cmnecticmtes(partlusterolJobt1(cif&at&JabSPMDjobtet(ereateCommunicatingJob)

25、PooljobtEt(createCommuniwtingJcib)MAITAEpool(matlabpool)Validate3.3MonitorJobsB回LJS-imulink:LibraryLayoutPrefarancesJPSetPathParallel0HeIPCommLnityFLeque-stSupportAd-d-Onsa.点击matlab工具栏Parallel右下角的三角符号，并选择MonitorJobs。4ClusterPraFileMandger4ClusterPraFileMandgerSIWLILINK3DefaultChoosethedefaultdusterp

26、rofil-etousewithmatlabpooLbatch,orparclutterDiscoverClusters.SearchforMATLABDistributedComputingServercluter5onyournetwork:ManageClusterProfits.Create,edit,orimportclusterprofilesManitarJa-bsViewandworlcwithjakiionyourmachineorcn.adusterb.在新出现的JobMonitor窗口中选择默认的profile。之后就可以通过此窗口观察Job的状态。3.4进行并行计算a.开启并行。在matlab命令窗口输入matlabpoolopen,开启所有的works。此时JobMonitor窗口会显示工作状态。JobMonitorSeleci：Profile-：MJSProfilel(defauhtj丁|_|SJno-wjobsfro-malluserskDUsernameSubmitTimeFinishTimeTasksStateDescriptionB&jiariuiFri