CentOS6.6 DRBD安装配置实验.doc

DRBD安装测试一、实验要求1、DRBD(Distributed Replicated Block Device）安装测试二、架构拓扑网络要求：所有服务器位于同一VLan机器无特殊要求。三、系统环境1、操作系统：CentOS 6.62、相关软件：drbd-8.4.6、drbd-utils-8.9.23、网络要求：/etc/hosts文件添加双方主机名列表。四、地址规划名 称角 色IP地址虚拟IP地址CentOS-66A主服务器15CentOS-66B从服务器25五、安装软件1、安装支持软件#在编译安装之前，必须安装内核开发包，以及支持库 shell# yum -y install gcc kernel-devel kernel-headers shell# yum -y install perl perl-libs shell# yum -y install flex libxslt libxslt-devel2、 编译安装drbd2.1、安装drbd内核模块 # Linux Kernel 2.6.33 起已包含DRBD内核模块，无需再安装。核心版本与DRBD版本对应关系详情参见：/download/mainline/ shell# tar -xvzf drbd-8.4.6.tar.gz -C /usr/local/src shell# cd /usr/local/src/drbd-8.4.6 shell# cd drbd shell# make KDIR=/usr/src/kernels/2.6.32-504.23.4.el6.x86_64 shell# cp drbd.ko /lib/modules/uname -r/kernel/lib/ shell# depmod# 更新内核包关联文件modules.dep shell# modprobe drbd# 安装内核模块 shell# modinfo drbd# 查看drbd内核模块是否加载成功 # KDIR= 指定的系统内核源码路径，根据实际情况设置2.2、安装drbd管理工具 shell# tar -xvzf drbd-utils-8.9.2.tar.gz -C /usr/local/src shell# cd /usr/local/src/drbd-utils-8.9.2 shell# ./configure -prefix=/usr/local/drbd -sysconfdir=/etc/ -localstatedir=/var/ -with-pacemaker shell# make & make install # -with-pacemaker，启用pacemaker集群支持，会创建ocf格式资源文件：/usr/lib/ocf/resource.d/linbit/drbd 及（drbddisk、drbdupper）二个服务脚本。3、拷贝配置文件、启动脚本 shell# cp /usr/local/drbd/etc/drbd.conf /etc/drbd.conf shell# cp -r /usr/local/drbd/etc/drbd.d/ /etc/drbd.d/ shell# cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d/drbd shell# ln -s /usr/local/drbd/sbin/drbdadm /usr/sbin/drbdadm shell# ln -s /usr/local/drbd/sbin/drbdmeta /usr/sbin/drbdmeta shell# ln -s /usr/local/drbd/sbin/drbdsetup /usr/sbin/drbdsetup 4、启动软件 shell# /etc/rc.d/init.d/drbd start # 为方便管理，可配置为系统服务自动启动六、软件配置1、DRBD主配置文件（/etc/drbd.conf）： shell# vi /etc/drbd.conf# You can find an example in /usr/share/doc/drbd./drbd.conf.exampleinclude /etc/drbd.d/global_common.conf;include /etc/drbd.d/*.res; # global_common.conf文件包含global和common的DRBD全局配置部分； # *.res文件包含DRBD资源的配置信息。 # 编辑全局配置文件（global_common.conf）： shell# vi /etc/drbd.d/global_common.conf# DRBD is the result of over a decade of development by LINBIT.# In case you need professional services for DRBD or have# feature requests visit global usage-count no; # 是否加入DRBD官方统计common handlers # 定义处理机制程序，/usr/lib/drbd/ 里有大量的程序脚本。 startup # 定义启动超时时间等 options # cpu-mask on-no-data-accessible disk # 磁盘相关公共设置，比如I/O、数据状态 on-io-error detach; # 配置I/O错误处理策略为分离 net # 设置DRBD同步时使用的验证方式和密码信息。 cram-hmac-alg sha1; shared-secret drbd; syncer verify-alg sha1; # 定义网络传输速率，一般传输速度的30% rate 50M; # 创建资源配置文件(/etc/drbd.d/r0.res) shell# vi /etc/drbd.d/r0.resresource r0 # 公用相同部分可以放到顶部，各节点会自动继承 protocol C; # 使用drbd的第三种同步协议,表示收到远程主机的写入确认后,则认为写入完成 device /dev/drbd0; # DRBD逻辑设备的路径 meta-disk internal; # drbd的元数据存放方式，DRBD磁盘内部。 # 每个主机的说明以on开头,后面是主机名.在后面的中为这个主机的配置. on node11 # 此处是节点的主机名uname -n address 1:7788; # 设置DRBD的监听端口 disk /dev/sda3; # 节点物理设备 on node12 address 2:7788; disk /dev/sda3; 2、 启用DRBD资源 # 创建设备元数据。这一步必须仅在创建初始化设备时完成。它初始化DRBD元数据。 shell# drbdadm create-md r0 # 启用资源 shell# drbdadm up r0 # 启动初始完全同步，设置主节点。 shell# drbdadm primary -force r0当执行完上面一条命令后初始完全同步就开始了，可以通过/proc/drbd来监控同步进程。 shell# cat /proc/drbd3、创建文件系统(仅在node1执行) # 把/dev/drbd0格式化成ext4格式的文件系统。 shell# mkfs -t ext4 /dev/drbd0 # 将/dev/drbd0挂载到数据目录 shell# mkdir /mnt/drbd0 shell# mount /dev/drbd0 /mnt/drbd0七、测试1、可以通过/proc/drbd来监控同步进程。 shell# cat /proc/drbd1、其中一个节点没有初始化，ds:UpToDate/Disklessrootnode21 # cat /proc/drbdversion: 8.4.6 (api:1/proto:86-101)GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by rootnode21, 2015-06-16 15:37:24 0: cs:Connected ro:Primary/Secondary ds:UpToDate/Diskless C r- ns:0 nr:0 dw:0 dr:664 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:209708442、节点已开始同步，ds:UpToDate/Inconsistentrootnode21 # cat /proc/drbdversion: 8.4.6 (api:1/proto:86-101)GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by rootnode21, 2015-06-16 15:37:24 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r- ns:925056 nr:0 dw:0 dr:925720 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:20045788 . synced: 1.4% (19572/19836)M finish: 0:24:57 speed: 13,380 (10,784) K/sec3、节点同步完成，ds:UpToDate/UpToDaterootnode21 # cat /proc/drbdversion: 8.4.6 (api:1/proto:86-101)GIT-hash: 833d830e0152d1e457fa7856e71e11248ccf3f70 build by rootnode21, 2015-06-16 15:37:24 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r- ns:20970844 nr:0 dw:0 dr:20971508 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:02、drbd脑裂手动恢复过程(以node11的数据位主，放弃node12不同步数据)：1）将Node1设置为主节点并挂载测试，r0为定义的资源名 shell# drbdadm primary r0 shell# mount /dev/drbd0 /mnt/drbd0 shell# ls -lh /mnt/drbd0 查看文件情况2）将Node2设置为从节点并丢弃资源数据 shell# drbdadm secondary r0 shell# drbdadm - -discard-my-data connect r03）在Node1主节点上手动连接资源 shell# drbdadm connect r04）最后查看各个节点状态，连接已恢复正常 shell# cat /proc/drbd附：错误处理A、软件编译时，错误解决办法：1、configure: error: Cannot build utils without flex, either install flex or pass the -without-utils option.解决方式：yum install flexB、软件运行时，错误解决办法：1、shell# /etc/rc.d/init.d/drbd startStarting DRBD resources: no resources defined!解决办法：没有配置DRBD资源，或编译时没指定配置文件路径（/etc/drbd.conf)。2、当执行命令”drbdadm create-md r0”时，出现以下错误信息。Device size would be truncated, which would corrupt data and result inaccess beyond end of device errors.You need to either * use external meta data (recommend