LVS负载均衡群集

1、第七章第七章 LVS负载均衡群集负载均衡群集 理论部分LVS负载均衡群集如何通过ACL为个别用户设置访问权限？rsync上行、下行同步有何区别？rsync+inotify实时同步是如何实现的？课程回顾了解群集的结构与工作模式学会配置NFS共享服务学会构建LVS负载均衡群集技能展示本章结构LVS负载均衡群集负载均衡群集案例案例1：LVS-NAT群集群集案例案例2：LVS-DR群集群集集群技术概述集群技术概述LVS虚拟服务器虚拟服务器LVS群集应用基础群集应用基础构建负载均衡群集构建负载均衡群集NFS共享存储服务共享存储服务群集的含义Cluster，集群、群集由多台主机构成，但对外只表现为一个整体

2、群集的类型负载均衡（Load Balancer）群集高可用（High Available）群集高性能运算（High Performance Computer）群集集群技术概述3-1负载均衡的结构第一层，负载调度器（Load Balancer或Director）第二层，服务器池（Server Pool）第三层，共享存储（Share Storage）集群技术概述3-2InternetInternetNAS存储设备备用调度器主调度器HA服务器池共享存储负载调度器群集IP地址（VIP）负载均衡的工作模式地址转换（NAT）模式IP隧道（TUN）模式直接路由（DR）模式集群技术概述3-3InternetI

3、nternetInternetInternetInternetInternetNAT模式TUN模式DR模式Linux Virtual Server针对Linux内核的负载均衡解决方案1998年5月，由我国的章文嵩博士创建官方网站：/关于LVS虚拟服务器2-1rootlocalhost # modprobe ip_vsrootlocalhost # cat /proc/net/ip_vsIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Schedule

4、r Flags - RemoteAddress:Port Forward Weight ActiveConn InActConn确认内核对确认内核对LVSLVS的支持的支持LVS的负载调度算法轮询（Round Robin）加权轮询（Weighted Round Robin）最少连接（Least Connections）加权最少连接（Weighted Least Connections）关于LVS虚拟服务器2-2rootlocalhost # cd /misc/cd/Packages/rootlocalhost Packages# rpm -ivh ipvsadm-1.25-9.el6.i686

5、.rpmrootlocalhost Packages# ipvsadm -vipvsadm v1.25 2008/5/15 (compiled with popt and IPVS v1.2.1)v安装安装ipvsadm管理工具管理工具创建虚拟服务器主要操作选项n-A添加虚拟服务器n-t设置群集地址（VIP，Virtual IP）n-s指定负载调度算法使用ipvsadm工具4-1rootlocalhost # ipvsadm -A -t 72:80 -s rr添加、删除服务器节点主要操作选项n-a添加真实服务器n-d删除真实服务器n-r指定真实服务器（Real Serve

6、r）的地址n-m使用NAT模式；-g、-i分别对应DR、TUN模式n-w为节点服务器设置权重，默认为1使用ipvsadm工具4-2rootlocalhost # ipvsadm -a -t 72:80 -r 1:80 -mrootlocalhost # ipvsadm -a -t 72:80 -r 2:80 -mrootlocalhost # ipvsadm -a -t 72:80 -r 3:80 -mrootlocalhost # ipvsadm -a -t 1

7、72:80 -r 4:80 -mrootlocalhost # ipvsadm -d -r 4:80 -t 72:80查看群集及节点情况主要操作选项n-L查看LVS群集方案n-n以数字形式显示地址信息n-c查看各节点的负载连接情况使用ipvsadm工具4-3rootlocalhost # ipvsadm -L -nTCP 72:80 rr - 1:80 Masq 1 2 7 - 2:80 Masq 1 3 9 - 3:80

8、 Masq 1 2 8 - 4:80 Masq 1 4 6rootlocalhost # ipvsadm -LncIPVS connection entriespro expire state source virtual destinationTCP 01:51 FIN_WAIT 10:49712 72:80 1:80TCP 01:52 FIN_WAIT 10:49720 72:80 2:80 保存负载分配策略导出工具：ipvsadm-sa

9、ve导入工具：ipvsadm-restore系统服务：/etc/init.d/ipvsadm默认策略文件：/etc/sysconfig/ipvsadm使用ipvsadm工具4-4rootlocalhost # ipvsadm-save /etc/sysconfig/ipvsadmrootlocalhost # cat /etc/sysconfig/ipvsadm-A -t 72:http -s rr-a -t 72:http -r 1:http -m -w 1-a -t 72:http -r 192.168

10、.7.22:http -m -w 1-a -t 72:http -r 3:http -m -w 1rootlocalhost # service ipvsadm stoprootlocalhost # service ipvsadm startLVSLVS策略的默认存放位置策略的默认存放位置Network File System，网络文件系统依赖于RPC（远端过程调用）需安装nfs-utils、rpcbind软件包系统服务：nfs、rpcbind共享配置文件：/etc/exportsNFS共享存储服务2-1rootlocalhost # yum -y

11、 install nfs-utils rpcbindrootlocalhost # chkconfig nfs onrootlocalhost # chkconfig rpcbind on配置NFS共享修改/etc/exports文件依次启动rpcbind、nfs服务确认已发布的共享挂载NFS共享目录mount -t nfs 服务器:/共享路径 挂载点NFS共享存储服务2-2rootlocalhost # mkdir -p /opt/wwwrootrootlocalhost # vi /etc/exports/opt/wwwroot /24(rw,sync,no_root

12、_squash)/var/ftp/pub 1(ro) 10(rw)rootlocalhost # service rpcbind startrootlocalhost # service nfs startrootlocalhost # showmount -eExport list for localhost.localdomain:/var/ftp/pub 1/opt/wwwroot /24共享路径共享路径 客户机地址客户机地址( (权限选项权限选项) )rootlocalhost # yum -y i

13、nstall rpcbindrootlocalhost # chkconfig rpcbind onrootlocalhost # service rpcbind startrootlocalhost # showmount -e 72Export list for 72:/var/ftp/pub 1/opt/wwwroot /24rootlocalhost # mount 72:/opt/wwwroot /var/www/htmlrootlocalhost # tail -1 /et

14、c/mtab72:/opt/wwwroot /var/www/html nfs rw,vers=4,addr=72,clientaddr=77 0 0客户机也必须支持客户机也必须支持RPCRPC挂载挂载NFSNFS共享目录共享目录请思考：常见的服务器群集有哪几种类型？使用ipvsadm建立LVS群集的基本过程是什么？如何配置、使用NFS共享目录？小结案例环境LVS调度器作为Web服务器池的网关使用轮询（rr）调度算法构建LVS-NAT群集2-1Web服务器池:节点1-节点41-24/24InternetIn

15、ternetNFS共享：/var/www/html50/24LVS负载调度器woeth0: 7272/24eth1: 54/24群集地址：72配置过程LVS调度器的配置：SNAT策略、LVS-NAT策略Web节点服务器的配置：httpd服务访问72/，并验证群集分配情况构建LVS-NAT群集2-2rootlocalhost # vi /etc/sysctl.confnet.ipv4.ip_forward = 1rootlocalhost # sysct

16、l -prootlocalhost # iptables -t nat -A POSTROUTING -s /24 -o eth0 -j SNAT -to-source 72rootlocalhost # service ipvsadm stoprootlocalhost # ipvsadm -A -t 72:80 -s rrrootlocalhost # ipvsadm -a -t 72:80 -r 1:80 -mrootlocalhost # ipvsadm -a -t 172.1

17、6.16.172:80 -r 2:80 -mrootlocalhost # ipvsadm -a -t 72:80 -r 3:80 -mrootlocalhost # ipvsadm -a -t 72:80 -r 4:80 -mrootlocalhost # service ipvsadm saverootlocalhost # chkconfig ipvsadm onSNATSNAT地址转换策略地址转换策略LVS-NATLVS-NAT群集模式群集模式rootlocalhost # y

18、um -y install httpdrootlocalhost # mount 50:/opt/wwwroot /var/www/htmlrootlocalhost # vi /var/www/html/index.htmlLVS负载均衡群集测试网页/rootlocalhost # service httpd startrootlocalhost # chkconfig httpd on各节点的网页相同各节点的网页相同rootlocalhost # ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot Lo

19、calAddress:Port Scheduler Flags - RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 72:80 rr - 1:80 Masq 1 2 9 - 2:80 Masq 1 3 8 - 3:80 Masq 1 2 9 - 4:80 Masq 1 4 7查看群集分配情况查看群集分配情况案例环境LVS调度器只作为Web访问入口Web访问出口由各节点服务器分别承担构建LVS-DR群集4-1Web服务器

20、池:节点1-节点477-180/24InternetInternetNFS共享：/var/www/html50/24LVS负载调度器73/24群集地址：72配置过程 LVS调度器外网接口eth0、群集接口eth0:0调整/proc内核参数，关闭重定向响应配置LVS-DR群集策略构建LVS-DR群集4-2rootlocalhost # ip addr show dev eth0 inet 73/24 brd 55 scope global eth0 inet 172

21、.16.16.172/24 brd 55 scope global eth0:0rootlocalhost # vi /etc/sysctl.confnet.ipv4.conf.all.send_redirects = 0net.ipv4.conf.default.send_redirects = 0net.ipv4.conf.eth0.send_redirects = 0rootlocalhost # sysctl -p/proc/proc参数调整参数调整群集地址接口群集地址接口rootlocalhost # service ipvsadm stoprootlocalh

22、ost # ipvsadm -A -t 72:80 -s rrrootlocalhost # ipvsadm -a -t 72:80 -r 77 -grootlocalhost # ipvsadm -a -t 72:80 -r 78 -grootlocalhost # ipvsadm -a -t 72:80 -r 79 -grootlocalhost # ipvsadm -a -t 72:80 -r 172.16.16.

23、180 -grootlocalhost # service ipvsadm saveLVS-DRLVS-DR群集模式群集模式配置过程 Web节点服务器外网接口eth0、群集接口lo:0调整/proc内核参数，关闭ARP响应添加到群集IP地址的本地路由记录配置并启用httpd服务构建LVS-DR群集4-3rootlocalhost # ip addr show dev loinet /8 scope host lo inet 72/0 brd 55 scope global lo:0rootlocalhost # vi /etc/

24、sysctl.confnet.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2net.ipv4.conf.default.arp_ignore = 1net.ipv4.conf.default.arp_announce = 2net.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2rootlocalhost # sysctl -p/proc/proc参数调整参数调整群集地址接口群集地址接口rootlocalhost # vi /etc/rc.loc

25、al/sbin/route add -host 72 dev lo:0rootlocalhost # route add -host 72 dev lo:0添加本机访问添加本机访问VIPVIP的路由的路由测试LVS-DR群集访问72/，并验证群集分配情况构建LVS-DR群集4-4rootlocalhost # ipvsadm -LnIP Virtual Server version 1.2.1 (size=4096)Prot LocalAddress:Port Scheduler Flags - RemoteAddress:Port Forward Weight ActiveConn InActConnTCP 72:80 rr - 77:80