linux使用lvs和keepalived构建高可用网络负载均衡

1、Lvs和keepalived构建高可用网络负载均衡环境使用lvs和keepalived构建高可用网络负载均衡耿红杰， 2008-12-11说明： 该方案可以作为lvsheartbeat构建网络负载均衡的替代方案。LVS简介Lvs（linux virtual server）是唯一国人参与内核设计和实现的linux开源项目，提供基于IP的网络负载均衡技术。目前提供VS/NAT、VS/TUN、VS/DR共计3种技术，8种调度算法（也看到有人又扩充了一些调度算法，没有研究过）；应用较多的是VS/DR,VS/NAT；本文介绍VS/DR。关于lvs的结构和原理，请参考lvs的官方文档。Keepalived

2、简介Keepalived的作用主要是进行realserver的健康检查；采取至少2台主机的方式提供一个高可用的环境（failover）保证lvs能够持续运行。Keepalived采用路由器（router）的概念，实现了VRRP（Virtual Router Redundancy Protocol），定义1个虚拟router，定义router的master、backup状态和priority，采用多播地址（8）进行通信，提供高可用。虚拟routerID相同的router为一个组，由master广播数据，在backup收不到master的广播数据时，提升自己为master。系统可

3、以定义多个vrrp实例。详细内容请参考keepalived的用户手册和vrrp协议。高可用环境LvsMasterLvsBackup缺省情况由A负责lvs进行负载均衡的调度； 通过vrrp协议由8多播地址进行通信，若A故障第 1 页 共 4 页Lvs和keepalived构建高可用网络负载均衡环境时，则B会接管服务升级为master状态；从而保证业务的持续运行。实施步骤在2台主机上安装lvs和keepalived，在realserver上仅需要配置一下虚拟ip。 # ln s /usr/src/kernels/2.6.9-55.EL-smp-i686/ /usr/src/lin

4、ux1. 安装lvs# make && make install2. 安装keepalived#./configure && make && make install#cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/#cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/#mkdir /etc/keepalived#cp /usr/local/etc/keepalived/keepalived.conf /etc/keepal

5、ived/#cp /usr/local/sbin/keepalived /usr/sbin/#service keepalived start|stop #做成系统启动服务方便管理.3. 配置keepalived示例如下，详细的配置请参考用户手册。# vi /etc/keepalived/keepalived.conf! Configuration File for keepalivedglobal_defs notification_email acassennotification_email_from Alexandre.Cassenfirewall.locsmtp_server 192

6、.168.200.1smtp_connect_timeout 30router_id LVS_DEVELvrrp_instance VI_1 state MASTER # 备机为backupinterface eth0virtual_router_id 51 # 主机备机相同priority 150 # 备机可以设置为100，表明优先级低advert_int 1virtual_ipaddress 5 # 虚拟IP，由keepavlied启动在系统的IP地址列表中 virtual_server 5 80 delay_loop 6lb_algo rrlb

7、_kind DRprotocol TCPreal_server 02 80 weight 1TCP_CHECK connect_timeout 3nb_get_retry 3delay_before_retry 3connect_port 80第 2 页 共 4 页Lvs和keepalived构建高可用网络负载均衡环境real_server 7 80 weight 3TCP_CHECK connect_timeout 3nb_get_retry 3delay_before_retry 3connect_port 804. 启动keepalived#

8、service keepalived start5. realserver 配置根据VS/DR的原理，在realserver的lo接口上配置虚拟ip地址。 # vi /etc/init.d/realserver.sh#!/bin/bash# description: Config realserver lo and apply noarpSNS_VIP=5. /etc/rc.d/init.d/functionscase "$1" instart)ifconfig lo:0 $SNS_VIP netmask 55 broadca

9、st $SNS_VIP /sbin/route add -host $SNS_VIP dev lo:0echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "1" >/proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" >/proc/sys/net/ipv4/conf/all/arp_announcesys

10、ctl -p >/dev/null 2>&1echo "RealServer Start OK"stop)ifconfig lo:0 downroute del $SNS_VIP >/dev/null 2>&1echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/lo/arp_announceecho "0" >/proc/sys/net/ipv4/c

11、onf/all/arp_ignoreecho "0" >/proc/sys/net/ipv4/conf/all/arp_announceecho "RealServer Stoped"*)echo "Usage: $0 start|stop"exit 1esacexit 06. 系统状态检查Ø 日志检查# vi /var/log/messagesØ 网络负载均衡检查# ipvsadmIP Virtual Server version 1.2.0 (size=4096)Prot LocalAddress:Por

12、t Scheduler Flags-> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 5:http rr-> 7:http Route 3 0 0-> 02:http Route 1 0 0Ø Ip地址检查# ip addr list第 3 页 共 4 页Lvs和keepalived构建高可用网络负载均衡环境2: eth0: <BROADCAST,MULTICAST,UP> mtu 1500 qdisc pfifo_f

13、ast qlen 1000link/ether 00:11:43:ad:a1:2c brd ff:ff:ff:ff:ff:ffinet 5/24 brd 55 scope global eth0inet 5/32 scope global eth07. 负载均衡测试8. 注意事项Realserver的检查机制需要进行大量测试。Vip的管理机制：我在测试中由于本机同时是realserver，所以也设置了lo的虚拟IP地址，结果发现该主机一直在进行网络分发，从ipvsadm可以看到realserver；个人理解这种情况下是由于ipvsadm的数据在不