Ceph安装部署文档.docx

Ceph安装部署文档目录一：简介1二：部署环境介绍1三：集群配置准备工作23.1 :生成SSH证书，节点建立连接23.2 :建立ip地址list, 修改host文件33.3 :网络端口设置33.4 :安装centos的yum源软件包 =全部节点安装43.5 :添加时间同步定时任务43.6 :安装 yum-plugin-priorities.8四：安装ceph软件包84.1、安装ceph部署机 ，使用ceph-deploy方式安装部署84.2、安装ceph存储集群（包括ceph对象网关）8五：搭建ceph集群85.1 :新建ceph集群95.2 :添加mon节点95.3 :添加osd节点9六：安装过程出现的部分错误及解决方法11七：常用命令11一：简介Ceph 生态系统架构可以划分为四部分：1. Clients：客户端：数据用户2. mds：Metadata server cluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds）3. osd：Object storage cluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能4. mon：Cluster monitors，集群监视器：执行监视功能二：部署环境介绍主机名公网IP（eth0）私网IP（eth1）双网卡绑定 bond0运行服务操作系统内核备注anode15mon、osdCentOS6.7主节点anode26mon、osdCentOS6.7anode37mon、osdCentOS6.7三：集群配置准备工作 3.1 :生成SSH证书，节点建立连接1) 所有节点修改hostname vim /etc/sysconfig/network2) 安装SSH (主节点)sudo apt-get install openssh-server3) ssh登陆证书 （主节点）ssh-keygen将配置完成的证书传输到其它服务器：ssh-copy-id 其他节点用户名其他节点IPExample:ssh-copy-id rootanode24) 创建并编辑/.ssh/config 文件，添加其他HostHost Hostname Hostname User UsernameExample:Host anode1 Hostname 5 User rootHost anode2 Hostname 6 User rootHost anode3 Hostname 7 User root3.2 :建立ip地址list, 修改host文件1) 创建工作文件夹，建立ip地址list，为文件传输做准备主节点执行mkdir /workspace/cd /workspace/vim cephlist.txt 主机列表写入：anode1anode2anode32) 修改host文件vim /etc/hosts追加内容如下：5 anode16 anode27 anode3将host文件传输到其它主机for ip in $(cat /workspace/cephlist.txt);do echo -$ip-;rsync -avp /etc/hosts $ip:/etc/;done3.3 :网络端口设置检查网络设置，确定这些设置是永久生效的，重启之后不会改变。(1) Network设置，所有节点执行vim /etc/sysconfig/network-scripts/ifcfg-iface确认ONBOOT 为YES BOOTPROTO 对于静态IP地址来说通常为NONE如果要使用IPV6协议的话，需要设置IPV6opt 为YES(2) 防火墙设置(Iptables)，所有节点执行a) 端口6789：Monitor 需要通过此端口与OSD通信，因此所有Monitor节点需打开b) 端口6800：7300：用于OSD通信。每个Ceph Node上的每个OSD需要三个端口，一个用于与client和 Monitor通信；一个用于与其他OSD传送数据，一个用于心跳检测。如果一个Ceph Node上有4个OSD，打开12(=34)个端口。sudo iptables -I INPUT 1 -i eth0 -p tcp -s 5/ -dport 6789 -j ACCEPT sudo iptables -I INPUT 1 -i eth0 -p tcp -s 5/ -dport 6800:6809 -j ACCEPT配置完成iptable以后，确保每个节点上的改变永久生效，重启以后也能保持有效。/sbin/service iptables save(3) tty 设置, 所有节点执行sudo visudo找到Defaults requiretty，大约在50多行，把它改成Defaults:User !requiretty 或者直接把原句注释掉。确保Ceph-Deploy不会报错。(4) SELINUX, 所有节点执行sudo setenforce 0确保集群在配置完成之前不会出错。可以在/etc/selinux/config修改永久改变。3.4 :安装centos的yum源软件包 =全部节点安装(1)复制此文档所在文件夹中的.repo文件到目录/etc/yum.repos.d/中(2)传输yum源文件到其它节点服务器-delete 删除那些DST中SRC没有的文件for ip in $(cat /workspace/cephlist.txt);do echo -$ip-;rsync -avp -delete /etc/yum.repos.d $ip:/etc/;done(3)yum立即生效（所有节点执行）yum make cache3.5 :添加时间同步定时任务(1)安装NTP软件包，所有节点执行yum install ntp完成后，都需要配置NTP服务为自启动chkconfig ntpd onchkconfig -list ntpdntpd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭在配置前，先使用ntpdate手动同步下时间，免得本机与外部时间服务器时间差距太大，让ntpd不能正常同步。# ntpdate -u 2.(2)配置内网时间服务器NTP-Server(5)NTPD服务配置核心就在/etc/ntp.conf文件，红色部分修改，其他的是默认。# For more information about this file, see the man pages# ntp.conf(5), ntp_acc(5), ntp_auth(5), ntp_clock(5), ntp_misc(5), ntp_mon(5).driftfile /var/lib/ntp/drift# Permit time synchronization with our time source, but do not# permit the source to query or modify the service on this system.restrict default kod nomodify notrap nopeer noqueryrestrict -6 default kod nomodify notrap nopeer noquery# Permit all access over the loopback interface. This could# be tightened as well, but to do so would effect some of# the administrative functions.restrict restrict -6 :1# Hosts on local network are less restricted.# 允许内网其他机器同步时间restrict mask nomodify notrap# Use public servers from the project.# Please consider joining the pool (/join.html).# 中国这边最活跃的时间服务器 :/zone/cnserver 2. perfer # 中国国家受时中心server 1. #1.server 3. #0.#broadcast 55 autokey # broadcast server#broadcastclient # broadcast client#broadcast autokey # multicast server#multicastclient # multicast client#manycastserver 54 # manycast server#manycastclient 54 autokey # manycast client# allow update time by the upper server# 允许上层时间服务器主动修改本机时间restrict 2. nomodify notrap noqueryrestrict 1. nomodify notrap noqueryrestrict 3. nomodify notrap noquery# Undisciplined Local Clock. This is a fake driver intended for backup# and when no outside source of synchronized time is available.# 外部时间服务器不可用时，以本地时间作为时间服务server # local clockfudge stratum 10# Enable public key cryptography.#cryptoincludefile /etc/ntp/crypto/pw# Key file containing the keys and key identifiers used when operating# with symmetric key cryptography.keys /etc/ntp/keys# Specify the key identifiers which are trusted.#trustedkey 4 8 42# Specify the key identifier to use with the ntpdc utility.#requestkey 8# Specify the key identifier to use with the ntpq utility.#controlkey 8# Enable writing of statistics records.#statistics clockstats cryptostats loopstats peerstats使修改立即生效chkconfig ntpd onchkconfig ntpdate on(3)与本地时间服务器同步的其他节点设置yum install ntp.chkconfig ntpd onvim /etc/ntp.conf（直接替换原来文件）driftfile /var/lib/ntp/driftrestrict restrict -6 :1# 配置时间服务器为本地的时间服务器server 5restrict 5 nomodify notrap noqueryserver # local clockfudge stratum 10includefile /etc/ntp/crypto/pwkeys /etc/ntp/keys使用ntpdate手动同步本地服务器时间ntpdate -u 3522 Dec 17:09:57 ntpdate6439: adjust time server 5 offset 0.004882 sec这里有可能出现同步失败，一般情况下原因都是本地的NTPD服务器还没有正常启动起来，一般需要几分钟时间后才能开始同步。service ntpd start.启动后，查看同步情况ntpq -pntpstat3.6 :安装 yum-plugin-priorities.yum install yum-plugin-priorities -yyum update -y确认配置文件内容cat /etc/yum/pluginconf.d/priorities.confmainenabled = 1四：安装ceph软件包4.1、安装ceph部署机 ，使用ceph-deploy方式安装部署sudo yum update -y & sudo yum install ceph-deploy -y4.2、安装ceph存储集群（包括ceph对象网关）(1)直接用ceph-deploy安装cephceph-deploy install hostname hostname .example:ceph-deploy install anode1 anode2 anode3(2)如果由于网速等原因报错，可以不执行(1)，选择手动安装报错软件或依赖 =allyum -y install epel-release -nogpgcheckyum -y install ceph -nogpgcheckyum -y install ceph-radosgw五：搭建ceph集群 /docs/master/rados/deployment/5.1 :新建ceph集群(1)新建文件夹，用于放置集群配置文件mkdir my-clustercd my-cluster(2)新建集群，写上的节点会默认作为monitor，也可不写所有monitor，后续添加ceph-deploy new host host, .example:ceph-deploy new anode1 anode2 anode3(3)修改ceph默认副本数量（根据自己集群节点数而定）Vim ceph.conf在 global 下添加:osd pool default size = 2(4) 如果有一个以上的网络接口，添加公共网络设置到global 下public network = ip-address/netmask(1) 添加默认（初始）monitor并收集keysceph-deploy mon create-initial完成这个过程后，在集群所在文件夹下应该能看到如下文件：cluster-name.client.admin.keyringcluster-name.bootstrap-osd.keyringcluster-name.bootstrap-mds.keyringcluster-name.bootstrap-rgw.keyring5.2 :添加mon节点在初始化以后想要添加其他monitor节点：ceph-deploy mon create host-name host-name.example：ceph-deploy mon create anode45.3 :添加osd节点(1) 首先为OSD建立文件路径添加anode1 服务器上的文件夹为osd1添加anode2 服务器上的文件夹为osd2添加anode3 服务器上的文件夹为osd3远程：ssh node2sudo mkdir /var/local/osd2exitssh node3sudo mkdir /var/local/osd3exit本地：mkdir /var/local/osd1(2) 准备osd节点ceph-deploy osd prepare ceph-node:/path/to/directoryexample:ceph-deploy osd prepare anode1:/var/local/osd1 anode2:/var/local/osd2 anode3:/var/local/osd3(3) 激活osd节点ceph-deploy osd activate ceph-node:/path/to/directoryexample:ceph-deploy osd activate anode1:/var/local/osd1 anode2:/var