Ceph集群配置说明书

Ceph集群配置说明书♦预备知识:/需要创建6台虚拟机，每台的硬盘占用10G就ok。厚置备延返置零[gbH]/命名分别是：日©linchenglong笛cephdient®monOO®monOl®osdOO®osdOl®osdOZ/各自对应的IP是:52monOO53monOl52monOO53monOl54osdOO55osdOl56osd02（这几个IP已经被我用了，请配置未被使用的IP）♦开始配置ceph集群：1在mon00上使用这个镜像一：i手：工='三创建虚拟机（帐户名随便，密码最好用admin123）开通root登录：sudopasswd三次都输入admin123重启：sudoreboot启动的时候就可以用root登录

autoloifaceloinetloopbackautoethO152这个ip被我用了，请用未被使用的。ifaceethOinetstaticaddress192.16B.0_152netmask255.255-255.0gateway192.16B.0_152这个ip被我用了，请用未被使用的。5.修改主机名：vim/etc/hostnameJonOl再次重启reboot以便激活新的主机名和IP。MKB更新一下，并且安装opssh-server以便用这个软件来远程sudoapt-getupdate&&sudoapt-getinstallopenssh-server为了能远程root帐户，请再修改一下：PermitRooitlioginyesPermitRooitlioginyesI这一行改成截图的样子。（原来是without-password）重启，关掉控制台，我们远程它。记住ip是52修改hosts:vim/etc/hosts11.安装vim/etc/hosts11.安装cephwget-q-O-'/git/?p=ceph.git;a=blob_plain;f=keys/release.asc'|sudoapt-keyadd-enter得到密钥echodeb/debian$(lsb_release-sc)main|sudotee/etc/apt/sources.list.d/ceph.listentersudoapt-getupdate&&sudoapt-getinstallceph-yenter装ceph以上步骤就是ubuntu14.04+ceph的模版了，关掉mon00虚拟机的电源，将mon00的」口」丁旧 存储器 I驱动器类型 容量I可片.，-@datastorel非SSD 7.27TB2. ，-.模版替换掉 里面的其他5台虚拟机的配置。12.sshkey以便远程5台虚拟机都要做，client不用。ssh-keygenentermon00上一直enter就好，mon01、osd00、osd01、osd02密码设为admin123ssh-copy-id-i~/.ssh/id_rsa.pubroot@mon01enter 复制mon00公钥到osd上，以后可以远程它们ssh-copy-id-i~/.ssh/id_rsa.pubroot@osd00enterssh-copy-id-i~/.ssh/id_rsa.pubroot@osd01enterssh-copy-id-i~/.ssh/id_rsa.pubroot@osd02enter13.将6台虚拟机接通电源，每台虚拟机的IP和hostname请设置一下:vim/etc/network/interfacesEntervim/etc/hostnameEnter然后重启14.配置ceph文档：（重要）5台虚拟机都要做：vim/etc/ceph/ceph.confEnter将下面的东西粘贴进去，但是需要小小的修改，就是ip，请用你们自己配置的ip替换掉我的ip:[global]maxopenfiles=131072authclusterrequired二noneauthservicerequired=noneauthclientrequired=noneosdpooldefaultsize=1 就是这两行，影响health状态!!!!!!!!!!!osdpooldefaultminsize=1osdpooldefaultcrushrule=0osdcrushchooseleaftype=1[osd]osdjournalsize=1000filestorexattruseomap=trueosdmkfstype=xfsosdmkfsoptionsxfs=-f#defaultforxfsis"-f"osdmountoptionsxfs二rw,noatime#defaultmountoptionis"rw,noatime[mon.a]host二mon00monaddr=52:6789这些ip请修改成你们自己配置的。[mon.b]host二mon01monaddr=53:6789[osd.0]host=osd00devs=/dev/sdb1[osd.1]host=osd01devs=/dev/sdb1[osd.2]host=osd02devs=/dev/sdb1[mds.a]host二mon00请检查一下复制第一行[global]是不是残缺15.然后开始创建mon和mds的挂接目录：在mon00上：mkdir-p/var/lib/ceph/mon/ceph-aentermkdir-p/var/lib/ceph/mds/ceph-aenter在mon01上：mkdir-p/var/lib/ceph/mon/ceph-b

然后在三个osd上都挂载一个硬盘来做存储:三台osd各做一次重新挂载一个硬盘：方法如下:■'在Vmware中关i^Ubuivtu虑拟机，在设置中，添加新的硬件设备，迭择HardDisk^（这里如果不关Iflubuntu系统就不能增加新的硬件设备）之后点击下一步，选择硬盘类型，可以诜择IDE,或是SCSI-这里选择SCSL下一步，选择虚拟新硬盘的位置，将之命名为Ubuntu2.vmdk＞下一步，设定硬盘大小，我这里设定为2G，并选择Allocatealldiskspace11口叫不迭这项，刚开始，硬盘比辍小，怛是随着硬盘读写访问，虚拟破盘文件会越来越大。选择该I页后，虚拟硬盘就固定为所选的方空间，不会再增大了。之后，点击Finish,开始创建新硬盘。、启动Ubuntu，rcidt用户登录。在终端输A：fdisk-1，可以看到Disk/dev/sda:10.7GB,10737418240bytes255heads,63sectors/trackj1305cylindersUnits=cylindersof16065*512=8225280bytesDiskidentifier:OsODOaf383DeviceBootStart EndBlocksIdSystem/dev/sdal * 1 1244 9992398+83LinuxDisk/dev/sdb:5368MB,5368709120bytes255heads,63sectors/trackj652cylindersUnits=cylindersof16065*512=8225280bytesDiskidentifier:OkOOOOOOOO这里可以看到/dev/sdb就是新添加的硬盘，需要给新的硬盘的区。在终端输入：fdisk/dev/sdb之后健入：m，可以.看到帮助信息，键入：n，添加新分区键入：P，迭择添加主的区键入：1，选择主分区编号为1，这样创建后的主分区为wdbl之后，f±i血会让你选择该的区的开始值和结束值，直接回车最后健入：e保存所有并退出，完成新硬盘的分区。mkfs.xfs-f/dev/sdb1enter格式化为enter格式化为xfs文件系统!单独在osd00机器上mkdir-p/var/lib/ceph/osd/ceph-0创建目录mount/dev/sdb1/var/lib/ceph/osd/ceph-0enter将刚才xfs格式化的硬盘挂接到目录;可输入命令df-Th看效果单独在osd01机器上mkdir-p/var/lib/ceph/osd/ceph-1创建目录entermount/dev/sdb1/var/lib/ceph/osd/ceph-1enter将刚才xfs格式化的硬盘挂接到目录单独在osd02机器上mkdir-p/var/lib/ceph/osd/ceph-2创建目录entermount/dev/sdb1/var/lib/ceph/osd/ceph-2enter将刚才xfs格式化的硬盘挂接到目录Ok，万事俱备，只欠初始化。停止ceph在mon00上serviceceph-astop关掉ceph服务才好初始化enterrm-rf/var/lib/ceph/mon/ceph-a/*enter清空mon目录rm-rf/var/lib/ceph/mds/ceph-a/*enter清空mds目录/etc/init.d/cephstopenter 停止机器上的ceph节点，mon、mds在mon01上rm-rf/var/lib/ceph/mon/ceph-b/*

/etc/init.d/cephstop停止mon.benter在osd00上rm-rf/var/lib/ceph/osd/ceph-0/*enter清空enter清空osd00目录/etc/init.d/cephstop停止osd00enter在/etc/init.d/cephstop停止osd00enter在osd01上rm-rf/var/lib/ceph/osd/ceph-1/*enter清空enter清空osd01目录/etc/init.d/cephstop停止osd01在osd02上rm-rf/var/lib/ceph/osd/ceph-2/*enter清空目录enter清空目录/etc/init.d/cephstop停止osd02enter18.重新启动ceph在mon00上sudomkcephfs-a-c/etc/ceph/ceph.conf-k/etc/ceph/ceph.keyringenter 开始初始化18.重新启动cephsudoserviceceph-astart启动ceph，这里百分百会报错，没关系，继续下-lB

步entercephosdcreateenter有几个osd节点就执行这条命令几次，我是执行三次sudoserviceceph-astartenter 再次启动cephceph-s观察ceph状态，HEALTH_OK是健康状态entercephpgdump_stuckstale&&cephpgdump_stuckinactive&&cephpgdump_stuckuncleanenter 如果状态是HEALTHWARN，在每个节点执行上面命令尝试修复上面的步骤就是配置了一个cephserver集群了，mon节点负责monitor,osd节点负责