一种基于Quattor的差异化机群自动部署方法

一种基于Quattor的差异化机群自动部署方法第十六届全国科学计算与信息化会议暨科研大数据论坛提纲机群自动部署工具Quattor的介绍Quattor的改进——差异化的自动部署方法Quattor在高能物理研究所的应用2023/2/52Quattor的介绍Quattor是一套集群系统自动化安装和配置工具集通过自动控制PXE+Kickstart+DHCP实现操作系统的自动安装通过编译模版来生成节点所有信息的描述文件（xmlorjson）所有的模版都是是由pan语言来编写模版文件保存在SCDB的版本控制服务器中节点安装quattor的客户端读取xmlorjson文件对本机进行配置2023/2/53Quattor的特性所有节点的配置文件保存在有版本控制的数据库（SCDB）可重新安装：重新安装的系统与原系统保持一致。改变节点的配置只需要更改配置数据库即可（SCDB）可以控制节点从安装到退役的整个过程。初始化安装使用PXE+KickstartSCDB可以方便的版本回退。服务配置可以重复利用不同的节点可以共享一个服务的配置。便捷的维护。只需要修改一个配置文件就可以在所有节点上起做用。在部署应用前对配置文件进行一致性和语法的检查，降低错误的配置对系统造成的危害。2023/2/54Quattor的主要组件Panc编译器SCDBSvnbasedconfigurationdatabaseAII（AutoInstallationInfrastructure）ccmandncm-componentsSoftwarerepositorys2023/2/55Quattor的主要组件–Panc编译器Panc编译器把用pan语言编写的模版最终生成xml或者json文件Pan是一种高层次的描述性语言支持function定义支持变量的定义变量种类很多，类似structure/class的定义支持变量类型的转换Hierarchicalorganizationofinformation例子：

‘/hardware/network/interfaces/eth0/ip’=‘’2023/2/56Quattor主要组件-SCDBSVN版本控制的Pantemplates节点profiles不在svn下面，但是可以重新编译。SCDB使用”ant”来操作纯Java编写，可以在所有平台使用3各主要的操作Compile:本地编译Deploy:配置的部署

在server端生成节点的profile文件仅在成功编译并且localworkingdir和SVN服务器同步的情况下才能成功执行。update.rep.templates刷新软件包列表的模板2023/2/57Quattor主要组件-AIIAII:AutomatedInstallationInfrastructurePXE(DHCP+TFTP)+Kickstart使用aii的命令‘aii-shellfe’来控制DHCP

:自动从节点profile文件获取信息写入dhcp配置文件TFTP:Kickstart:通过aii命令自动生成kiskstart文件Re-installation节点始终设置PXE启动通过aii命令修改节点的状态installorboot2023/2/58Quattor主要组件ccmandncm客户端:ConfigurationCacheManager(CCM)进程：cdp-listend当服务器端有配置改动时，接收服务器端的notification然后下载新的配置文件(command‘ccm-fetch’)也可以手动执行这个命令’ccm-fetch’客户端:NodeConfigurationManager(NCM)进程ncm-cdispdImplementsconfigurationchangesBasedon“components”(plug-ins)1componentmanages1“service”(NIS,accounts,Globus…)AcomponentisaPerlscriptwithaparticularAPI‘ncm-query’可以查询显示配置数据。2023/2/59Quattor主要组件componentsPackagedeployment:SPMANCM的组件对系统的安装包进行安装卸载管理基于”软件包名-版本-arch”允许升级和降级检查软件包的依赖关系其它components每一个component可以实现对一类或者多累系统和软件环境的配置已有的ssh,account,network,chkconfig,afsclt,pbs,…2023/2/510Quattor工作流——节点xml编译过程2023/2/511检查模版语法调用PANC编译器节点profile模版确定节点类型配置类型Cluster配置模版确定操作系统版本Site

配置模版确定统一配置参数dns,ntp,repository,dhcp,Gridsiteinfo,…操作系统模版RPMsselect,versioncontrol,Kernelversion,Driversconfig,Systemtoolsselect.软件定义模版配置根据节点类型配置硬件配置模版硬盘，网卡，cpu，…生成节点profile.xml文件Quattor工作流——节点自动安装配置过程节点加电启动通过pxe+DHCP获取IP地址和启动镜像通过mac地址识别节点名称获取节点kickstart文件开始系统安装安装minimal系统安装结束写入ks-post-boot脚本调用aii命令改变安装状态重启系统执行ks-post-boot脚本安装quattor客户端获取节点xml文件安装软件包设定kernelversion配置系统环境配置软件参数配置用户和组信息完成系统配置重启系统2023/2/512Quattor改进——原因支持的应用在不断增多不同应用对软件环境的不同需求传统的实现方式维护模版数量多，模版不能重复使用2023/2/513Quattor改进——原先的模型2023/2/514

安装服务器配置信息软件安装与配置管理,系统服务,网格服务

安装包软件包节点配置管理软件包RPM包服务器软件包组系统安装与配置管理软件缓存RPM包管理配置信息管理器机群4配置信息管理器机群3配置信息管理器机群2配置信息管理器机群1配置缓存节点1机群3机群2机群1Quattor改进——实现方法模块化的设计方法。扩展配置信息管理器的功能并添加调用接口和模块选择器。开发出统一接口并且可以实现对各个模块进行调用取舍。按照统一的接口标准对功能模块进行改进。每一个模块实现一个功能，模块可以复用。所有开发使用Pan语言完成2023/2/515Quattor改进——实现方法2023/2/516功能模块1功能模块2功能模块3功能模块4模块选择器配置信息管理器调用接口机群1机群2机群3节点1Quattor改进——实现后的模型2023/2/517

安装服务器配置信息软件安装与配置管理,系统服务,网格服务

安装包软件包节点配置管理软件包RPM包服务器软件包组系统安装与配置管理软件缓存RPM包管理配置信息管理器配置缓存节点1机群3机群2机群1Quattor在高能所的应用——网格系统网格系统的自动安装和部署网格系统的升级网格CVMFS的自动部署dCache存储系统的自动部署DPM存储系统的自动部署2023/2/518Quattor在高能所的应用——集群系统计算节点的自动配置节点pbs-client的自动配置集群环境的自动配置autofs,symlinks,lustre,panfs,用户和组的自动配置并行计算MPI集群的自动部署并行文件系统Lustre的自动部署并行文件系统gLuster的自动部署2023/2/519Quattor在高能所的应用——GPU节点的自动安装和部署GPUopencl驱动的自动安装GPU监控系统的自动安装2023/2/520Quattor在高能所的应用—Quattor辅助工具批量添加节点模版工具。并行ssh的工具。2023/2/521Quattor在高能所的应用——正在研究云计算的自动部署。物