ifconfig eth0:3 17.139.148.246 broadcast 17.139.148.246 netmask 255.255.255.255 up
route add -host 17.139.148.246 dev eth0:3

ipvsadm -C
ipvsadm -A -t 17.139.148.246:http -s rr
ipvsadm -a -t 17.139.148.246:http -r 17.139.165.210 -g -w 1
ipvsadm -a -t 17.139.148.246:http -r 17.139.144.218 -g -w 1

ipvsadm -C
ipvsadm -A -t 17.139.148.246:80 -s rr
ipvsadm -a -t 17.139.148.246:80 -r 17.139.165.210 -g -w 1
ipvsadm -a -t 17.139.148.246:80 -r 17.139.144.218 -g -w 1

ipvsadm -C
ipvsadm -A -t 17.139.148.246:80 -s rr
ipvsadm -a -t 17.139.148.246:80 -r 17.139.148.244 -g -w 1
ipvsadm -a -t 17.139.148.246:80 -r 17.139.148.245 -g -w 1

net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

ifconfig lo:0 17.139.148.246 broadcast 17.139.148.246 netmask 255.255.255.255 up
route add -host 17.139.148.246 dev lo:0

grep ip_vs_init /boot/System.map

------------------------------------

iptunnel

LB
ifconfig tunl0 17.139.148.246 broadcast 17.139.148.246 netmask 255.255.255.0 up
route add -host 17.139.148.246 dev tunl0
ipvsadm -C
ipvsadm -A -t 17.139.148.246:80 -s rr
ipvsadm -a -t 17.139.148.246:80 -r 17.139.165.210 -i
ipvsadm -a -t 17.139.148.246:80 -r 17.139.144.218 -i
ipvsadm -a -t 17.139.148.246:80 -r 6.198.139.186 -i
ipvsadm -a -t 17.139.148.246:80 -r 6.229.125.146 -i
ipvsadm -a -t 17.139.148.246:80 -r 11.34.173.210 -i
ipvsadm -a -t 17.139.148.246:80 -r 11.34.169.10 -i

RS
ifconfig tunl0 17.139.148.246 broadcast 17.139.148.246 netmask 255.255.255.0 up
route add -host 17.139.148.246 dev tunl0

net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

http://lansgg.blog.51cto.com/5675165/1229421

2. HAProxy的配置
HAProxy配置中分成五部分内容，当然这些组件不是必选的，可以根据需要选择部分作为配置。
global：参数是进程级的，通常和操作系统（OS）相关。这些参数一般只设置一次，如果配置无误，就不需要再次配置进行修改
defaults：配置默认参数的，这些参数可以被利用配置到frontend，backend，listen组件
frontend：接收请求的前端虚拟节点，Frontend可以根据规则直接指定具体使用后端的 backend(可动态选择)。
backend：后端服务集群的配置，是真实的服务器，一个Backend对应一个或者多个实体服务器。
listen：Frontend和Backend的组合体。
下面是HAProxy的一些常用的配置，这个配置是用来说明HAProxy的一些常用功能的配置，具体详细配置请查看安装目录下的doc目录下的文档文件，或者到” http://cn.haproxy.org/”
下载中文配置说明文档
配置文件例子：
global
#全局的日志配置 其中日志级别是[err warning info debug]
#local0 是日志设备，必须为如下24种标准syslog设备的一种:
#kern user mail daemon auth syslog lpr news
#uucp cron auth2 ftp ntp audit alert cron2
#local0 local1 local2 local3 local4 local5 local6 local7
#但是之前在/etc/syslog.conf文件中定义的是local0所以
#这里也是用local0
log 127.0.0.1 local0 info #[err warning info debug]
#最大连接数
maxconn 4096
#用户
user admin
#组
group admin
#使HAProxy进程进入后台运行。这是推荐的运行模式
daemon
#创建4个进程进入deamon模式运行。此参数要求将运行模式设置为"daemon"
nbproc 4
#将所有进程的pid写入文件
pidfile /home/admin/haproxy/logs/haproxy.pid
defaults
#默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK
mode http
#采用http日志格式
option httplog
#三次连接失败就认为是服务器不可用，也可以通过后面设置
retries 3
如果cookie写入了serverId而客户端不会刷新cookie，
#当serverId对应的服务器挂掉后，强制定向到其他健康的服务器
option redispatch
#当服务器负载很高的时候，自动结束掉当前队列处理比较久的链接
option abortonclose
#默认的最大连接数
maxconn 4096
#连接超时
contimeout 5000
#客户端超时
clitimeout 30000
#服务器超时
srvtimeout 30000
#=心跳检测超时
timeout check 2000
#注：一些参数值为时间，比如说timeout。时间值通常单位为毫秒(ms)，但是也可以通过加#后缀，来使用其他的单位。
#- us : microseconds. 1 microsecond = 1/1000000 second
#- ms : milliseconds. 1 millisecond = 1/1000 second. This is the default.
#- s : seconds. 1s = 1000ms
#- m : minutes. 1m = 60s = 60000ms
#- h : hours. 1h = 60m = 3600s = 3600000ms
#- d : days. 1d = 24h = 1440m = 86400s = 86400000ms
########统计页面配置############
listen admin_stats
#监听端口
bind 0.0.0.0:1080
#http的7层模式
mode http
#日志设置
log 127.0.0.1 local0 err #[err warning info debug]
#统计页面自动刷新时间
stats refresh 30s
#统计页面url
stats uri /admin?stats
#统计页面密码框上提示文本
stats realm Gemini\ Haproxy
#统计页面用户名和密码设置
stats auth admin:admin
stats auth admin1:admin1
#隐藏统计页面上HAProxy的版本信息
stats hide-version
#######网站检测listen定义############
listen site_status
bind 0.0.0.0:1081
mode http
log 127.0.0.1 local0 err #[err warning info debug]
#网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回500
monitor-uri /site_status
#定义网站down时的策略
#当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
acl site_dead nbsrv(denali_server) lt 1
acl site_dead nbsrv(tm_server) lt 1
acl site_dead nbsrv(mms_server) lt 1
#当满足策略的时候返回500
monitor fail if site_dead
#如果192.168.0.252或者192.168.0.31这两天机器挂了
#认为网站挂了，这时候返回500，判断标准是如果mode是
#http返回200认为是正常的，如果mode是tcp认为端口畅通是好的
monitor-net 192.168.0.252/31
########frontend配置############
frontend http_80_in
#监听端口
bind 0.0.0.0:80
#http的7层模式
mode http
#应用全局的日志配置
log global
#启用http的log
option httplog
#每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式
option httpclose
#如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中
#获得客户端IP
option forwardfor
###########HAProxy的日志记录内容配置##########
capture request header Host len 40
capture request header Content-Length len 10
capture request header Referer len 200
capture response header Server len 40
capture response header Content-Length len 10
capture response header Cache-Control len 8
####################acl策略定义#########################
#如果请求的域名满足正则表达式返回true -i是忽略大小写
acl denali_policy hdr_reg(host) -i ^(www.gemini.taobao.net|my.gemini.taobao.net|auction1.gemini.taobao.net)$
#如果请求域名满足trade.gemini.taobao.net 返回 true -i是忽略大小写
acl tm_policy hdr_dom(host) -i trade.gemini.taobao.net
##在请求url中包含sip_apiname=，则此控制策略返回true,否则为false
acl invalid_req url_sub -i sip_apiname=
##在请求url中存在timetask作为部分地址路径，则此控制策略返回true,否则返回false
acl timetask_req url_dir -i timetask
#当请求的header中Content-length等于0时返回 true
acl missing_cl hdr_cnt(Content-length) eq 0
######################acl策略匹配相应###################
##当请求中header中Content-length等于0 阻止请求返回403
block if missing_cl
##block表示阻止请求，返回403错误，当前表示如果不满足策略invalid_req，或者满足策略timetask_req，则阻止请求。
block if !invalid_req || timetask_req
#当满足denali_policy的策略时使用denali_server的backend
use_backend denali_server if denali_policy
#当满足tm_policy的策略时使用tm_server的backend
use_backend tm_server if tm_policy
#reqisetbe关键字定义，根据定义的关键字选择backend
reqisetbe ^Host:\ img dynamic
reqisetbe ^[^\ ]*\ /(img|css)/ dynamic
reqisetbe ^[^\ ]*\ /admin/stats stats
#以上都不满足的时候使用默认mms_server的backend
default_backend mms_server
#HAProxy错误页面设置
errorfile 400 /home/admin/haproxy/errorfiles/400.http
errorfile 403 /home/admin/haproxy/errorfiles/403.http
errorfile 408 /home/admin/haproxy/errorfiles/408.http
errorfile 500 /home/admin/haproxy/errorfiles/500.http
errorfile 502 /home/admin/haproxy/errorfiles/502.http
errorfile 503 /home/admin/haproxy/errorfiles/503.http
errorfile 504 /home/admin/haproxy/errorfiles/504.http
##########backend的设置##############
backend mms_server
#http的7层模式
mode http
#负载均衡的方式，roundrobin平均方式
balance roundrobin
#允许插入serverid到cookie中，serverid后面可以定义
cookie SERVERID
#心跳检测的URL,HTTP/1.1¥r¥nHost:XXXX,指定了心跳检测HTTP的版本，XXX为检测时请求
#服务器的request中的域名是什么，这个在应用的检测URL对应的功能有对域名依赖的话需要设置
option httpchk GET /member/login.jhtml HTTP/1.1\r\nHost:member1.gemini.taobao.net
#服务器定义，cookie 1表示serverid为1，check inter 1500 是检测心跳频率
#rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
server mms1 10.1.5.134:80 cookie 1 check inter 1500 rise 3 fall 3 weight 1
server mms2 10.1.6.118:80 cookie 2 check inter 1500 rise 3 fall 3 weight 2
backend denali_server
mode http
#负载均衡的方式，source根据客户端IP进行哈希的方式
balance source
#但设置了backup的时候，默认第一个backup会优先，设置option allbackups后
#所有备份服务器权重一样
option allbackups
#心跳检测URL设置
option httpchk GET /mytaobao/home/my_taobao.jhtml HTTP/1.1\r\nHost:my.gemini.taobao.net
#可以根据机器的性能不同，不使用默认的连接数配置而使用自己的特殊的连接数配置
#如minconn 10 maxconn 20
server denlai1 10.1.5.114:80 minconn 4 maxconn 12 check inter 1500 rise 3 fall 3
server denlai2 10.1.6.104:80 minconn 10 maxconn 20 check inter 1500 rise 3 fall 3
#备份机器配置，正常情况下备机不会使用，当主机的全部服务器都down的时候备备机会启用
server dnali-back1 10.1.7.114:80 check backup inter 1500 rise 3 fall 3
server dnali-back2 10.1.7.114:80 check backup inter 1500 rise 3 fall 3
backend tm_server
mode http
#负载均衡的方式，leastconn根据服务器当前的请求数，取当前请求数最少的服务器
balance leastconn
option httpchk GET /trade/itemlist/prepayCard.htm HTTP/1.1\r\nHost:trade.gemini.taobao.ne
server tm1 10.1.5.115:80 check inter 1500 rise 3 fall 3
server tm2 10.1.6.105:80 check inter 1500 rise 3 fall 3
######reqisetbe自定义关键字匹配backend部分#######################
backend dynamic
mode http
balance source
option httpchk GET /welcome.html HTTP/1.1\r\nHost:www.taobao.net
server denlai1 10.3.5.114:80 check inter 1500 rise 3 fall 3
server denlai2 10.4.6.104:80 check inter 1500 rise 3 fall 3
backend stats
mode http
balance source
option httpchk GET /welcome.html HTTP/1.1\r\nHost:www.taobao.net
server denlai1 10.5.5.114:80 check inter 1500 rise 3 fall 3
server denlai2 10.6.6.104:80 check inter 1500 rise 3 fall 3

global：参数是进程级的，通常和操作系统（OS）相关

defaults：配置默认参数，这些参数可以被利用配置到frontend，backend，listen组件

frontend：接收请求的前端虚拟节点，Frontend可以根据规则直接指定具体使用后端的 backend(可动态选择)

backend：后端服务集群的配置，是真实的服务器，一个Backend对应一个或者多个实体服务器

listen：Frontend和Backend的组合体

log 127.0.0.1 local0             使用系统的syslog记录日志

maxconn 4096                     限制单个进程的最大连接数

option redispatch                 在连接失败或断开的情况下，允许当前会话被重新分发

retries 2                             设置在一个服务器上链接失败后的重连次数

balance roundrobin            设置服务器分配算法为轮询（即交替访问）
 

option dontlognull              不记录空连接

contimeout 5000               设置等待连接到服务器成功的最大时间

clitimeout 50000              设置客户端的最大超时时间

srvtimeout 50000              设置服务器端的最大超时时间

nbproc 1                          指定作为守护进程运行的时候，要创建多少个进程，默认只创建一个，需要daemon开启模式

daemon                            让进程在后台运行，即作为守护进程运行，正式运行的时候开启，此处先禁止，等同于在命令行添加参数 -D

debug                             设置debug模式运行，与daemon模式互斥，等同于在命令行添加参数 -d

1080                                监听端口(随意)

mode http                         http的7层模式

stats refresh 30s                 统计页面自动刷新时间

stats uri /haproxy-stats          统计页面URL

stats realm Haproxy\ Statistics             统计页面密码框上提示文本

stats auth ming:123456               统计页面用户名和密码设置

stats hide-version                      隐藏统计页面上HAProxy的版本信息

monitor-uri /site_status         网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回500

weight  -- 调节服务器的负重

check -- 允许对该服务器进行健康检查

inter  -- 设置连续的两次健康检查之间的时间，单位为毫秒(ms)，默认值 2000

rise  -- 指定多少次连续成功的健康检查后，即可认定该服务器处于可操作状态，默认值 2

fall  -- 指定多少次不成功的健康检查后，认为服务器为当掉状态，默认值 3

balance roundrobin     简单的轮询

balance source           根据请求的源IP

balance uri                根据请求的url
 
balance url_param     根据请求RUL中的参数

在日常使用heartbeat接管资源的应用中，由于heartbeat无法对 操作系统自身出现的问题进行监控。如果主节点操作系统挂起，一方面可能导致服务中断，另一方面由于主节点资源无法释放，而备份节点却接管了主节点的资源， 此时就发生了两个节点同时争用一个资源的状况。
针对这个问题，就需要在Linux内核中启用一个叫watchdog的模块。watchdog是一个Linux内核模块，它通过定时向/dev /watchdog设备文件执行写操作，从而确定系统是否正常运行。如果watchdog认为内核挂起，就会重新启动系统，进而释放节点资源。
watchdog代码也支持用软件替换外部的硬件计时器，该软件叫做 softdog，softdog维护一个内部计时器，在另一个进程写入/dev/watchdog设备文件时更新，如果softdog没有看到进程写入 /dev/watchdog文件，它认为内核一定出故障了，它将启动一个内核恐慌，正常情况下，内核恐慌将导致系统关闭，但是你可以修改这个默认行为，将 其改为默认行为为重启系统。
当你在/etc/ha.d/ha.cf文件中启用了watchdog选项后，Heartbeat将每隔相当于deadtime长的时间写入/dev /watchdog文件（或设备），因此，出现任何导致Heartbeat更新 watchdog设备失败的事情，一旦watchdog超时周期（默认是一分钟）过期，watchdog将启动内核恐慌。
Watchdog的工作原理 
Watchdog在实现上可以是硬件电路也可以是软件定时器，能够在系统出现故障时自动重新启动系统。在Linux 内核下, watchdog的基本工作原理是：当watchdog启动后(即/dev/watchdog 设备被打开后)，如果在某一设定的时间间隔内/dev/watchdog没有被执行写操作, 硬件watchdog电路或软件定时器就会重新启动系统。
/dev/watchdog 是一个主设备号为10， 从设备号130的字符设备节点。 Linux内核不仅为各种不同类型的watchdog硬件电路提供了驱动，还提供了一个基于定时器的纯软件watchdog驱动。 驱动源码位于内核源码树drivers\char\watchdog\目录下。
硬件与软件watchdog的区别 
硬件watchdog必须有硬件电路支持, 设备节点/dev/watchdog对应着真实的物理设备， 不同类型的硬件watchdog设备由相应的硬件驱动管理。软件watchdog由一内核模块softdog.ko 通过定时器机制实现，/dev/watchdog并不对应着真实的物理设备，只是为应用提供了一个与操作硬件watchdog相同的接口。
硬件watchdog比软件watchdog有更好的可靠性。 软件watchdog基于内核的定时器实现，当内核或中断出现异常时，软件watchdog将会失效。而硬件watchdog由自身的硬件电路控制, 独立于内核。无论当前系统状态如何，硬件watchdog在设定的时间间隔内没有被执行写操作，仍会重新启动系统。
一些硬件watchdog卡如WDT501P 以及一些Berkshire卡还可以监测系统温度，提供了 /dev/temperature接口。 对于应用程序而言, 操作软件、硬件watchdog的方式基本相同：打开设备/dev/watchdog, 在重启时间间隔内对/dev/watchdog执行写操作。即软件、硬件watchdog对应用程序而言基本是透明的。
在任一时刻， 只能有一个watchdog驱动模块被加载，管理/dev/watchdog 设备节点。如果系统没有硬件watchdog电路，可以加载软件watchdog驱动softdog.ko。
测试Watchdog

只要在/etc/ha.d/ha.cf加入

watchdog /dev/watchdog

即可自动启用watchdog功能
可通过如下步骤确认

1、 # grep misc /proc/devices 
10 misc
2、 # cat /proc/misc |grep watchdog
130 watchdog
3、 # lsmod |grep softdog
softdog                 9941  2 

即可确认启用了watchdog功能如果没有生成/dev/watchdong设备，则可通过如下命令自行创建
mknod /dev/watchdog c 10 130 
在主节点上可通过"killall -9 heartbeat"命令关闭Heartbeat进程。由于是非法关闭Heartbeat进程，因此Heartbeat所控制的资源并没有释放。备份节点 在很短一段时间没有收到主节点的响应后，就会认为主节点出现故障，进而接管主节点资源。在这种情况下，就出现了资源争用情况，两个节点都占用一个资源，造 成数据冲突。针对这个情况，可以通过Linux提供的内核监控模块watchdog来解决这个问题，将watchdog集成到Heartbeat中。如果 Heartbeat异常终止，或者系统出现故障，watchdog都会自动重启系统，从而释放集群资源，避免了数据冲突的发生。
在执行"killall -9 heartbeat"时，会在/var/log/messages中看到如下信息：
Softdog: WDT device closed unexpectedly. WDT will not stop! 
系统就会马上重启

参考至:http://linux.chinaitlab.com/linuxjq/744842_6.html

          http://book.51cto.com/art/200912/168038.htm

          http://aaa3060.blog.163.com/blog/static/2817338520104314466314/

          http://blog.sina.com.cn/s/blog_5fc3a8b60100x0ge.html

对于windows服务器配置

dr方式，先安装ms loopback adapter
添加新硬件--〉添加网络适配器--〉microsoft-->loopback adapter

只需要在windows的的服务器上，添加加一个microsoft loopback网卡（虚拟网卡），IP地址就是lvs的VIP，然后，进入注册表，把loopback网卡的掩码改为255.255.255.255，重启loopback网卡便可。

转

1.　LVS调度的最小单位是“连接”。
2.　当apache的KeepAlive被设置成Off时，“连接”才能被较均衡的调度。
3.　在不指定-p参数时，LVS才真正以“连接”为单位按“权值”调度流量。
4.　在指定了-p参数时，则一个client在一定时间内，将会被调度到同一台RS。
5.　可以通过”ipvsadm ?set tcp tcpfin udp”来调整TCP和UDP的超时，让连接淘汰得快一些。
6.　在NAT模式时，RS的PORT参数才有意义。
7.　DR和TUN模式时，InActConn 是没有意义的(Thus the count in the InActConn column for LVS-DR, LVS-Tun is
inferred rather than real.)

转

$vip = 192.168.0.254

ifconfig tunl0 $vip netmask 255.255.255.255 broadcast $vip up
route add -host $vip dev tunl0
echo 1 > /proc/sys/net/ipv4/conf/all/hidden
echo 1 > /proc/sys/net/ipv4/conf/tunl0/hidden

本文讲解的环境如下：

操作系统：统一采用Centos5.3版本，地址规划如下：

图1

         图1中的VIP指的是虚拟IP地址，还可以叫做LVS集群的服务IP，在DR、TUN模式中，数据包是直接返回给用户的，所以，在Director Server上以及集群的每个节点上都需要设置这个地址。此IP在Real Server上一般绑定在回环地址上，例如lo:0，同样，在Director Server上，虚拟IP绑定在真实的网络接口设备上，例如eth0:0。
 各个Real Server可以是在同一个网段内，也可以是相互独立的网段，还可以是分布在internet上的多个服务器.

LVS+Keepalived高可用负载均衡集群拓扑结构如图2所示：

图2

二、安装Keepalived
keepalived起初是为LVS设计的,专门用来监控集群系统中各个服务节点的状态,后来又加入了VRRP的功能，VRRP是Virtual Router Redundancy Protocol（虚拟路由器冗余协议）的缩写，VRRP出现的目的就是为了解决静态路由出现的单点故障问题，它能够保证网络的不间断、稳定的运行。所以，keepalived一方面具有服务器健康检测功能，另一方面也具有HA cluster功能。 
 Keepalived的官方站点是http://www.keepalived.org，可以在这里下载到各种版本，我们这里下载的是keepalived-1.1.19.tar.gz，安装步骤如下：
[root@DR1 ~]#tar zxvf keepalived-1.1.19.tar.gz
[root@DR1 ~]#cd keepalived-1.1.19
[root@DR1 keepalived-1.1.19]#./configure   --sysconf=/etc \
> --with-kernel-dir=/usr/src/kernels/2.6.18-8.el5-i686
[root@DR1 keepalived-1.1.19]#make
[root@DR1 keepalived-1.1.19]#make install
[root@DR1 keepalived-1.1.19]#ln -s /usr/local/sbin/keepalived  /sbin/
 在编译选项中，“--sysconf”指定了Keepalived配置文件的安装路径，即路径为/etc/Keepalived/Keepalived.conf，“--with-kernel-dir”这是个很重要的参数，但这个参数并不是要把Keepalived编译进内核，而是指定使用内核源码里面的头文件，就是include目录。如果要使用LVS时，才需要用到此参数，否则是不需要的.

三、配置Keepalived
 Keepalived的配置非常简单，仅仅需要一个配置文件即可完成HA cluster和lvs服务节点监控功能，Keepalived的安装已经在上面章节进行了介绍，在通过Keepalived搭建高可用的LVS集群实例中，主、备Director Server都需要安装Keepalived软件，安装成功后，默认的配置文件路径为/etc/Keepalived/Keepalived.conf。一个完整的keepalived配置文件，有三个部分组成，分别是全局定义部分、vrrp实例定义部分以及虚拟服务器定义部分，下面详细介绍下这个配置文件中每个选项的详细含义和用法：
 

#全局定义部分
global_defs {
   notification_email {
     dba.gao@gmail.com     #设置报警邮件地址，可以设置多个，每行一个。注意，如果要开启邮件报警，需要开启本机的sendmail服务。
     ixdba@163.com
   }
   notification_email_from Keepalived@localhost     #设置邮件的发送地址。
   smtp_server 192.168.200.1 #设置smtp server地址。
   smtp_connect_timeout 30 #设置连接smtp服务器超时时间。
   router_id  LVS_MASTER    #运行Keepalived服务器的一个标识。发邮件时显示在邮件标题中的信息
}

#vrrp实例定义部分
vrrp_instance VI_1 {
state MASTER  #指定Keepalived的角色，MASTER表示此主机是主用服务器，BACKUP表示是备用服务器。
    interface eth0        #指定HA监测网络的接口。
    virtual_router_id 51 #虚拟路由标识，这个标识是一个数字，并且同一个vrrp实例使用唯一的标识，即同一个vrrp_instance下，MASTER和BACKUP必须是一致的。
priority 100 #定义优先级，数字越大，优先级越高，在一个vrrp_instance下，MASTER的优先级必须大于BACKUP的优先级。
    advert_int 1   #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位是秒。
    authentication {        #设定验证类型和密码。
        auth_type PASS     #设置验证类型，主要有PASS和AH两种。
        auth_pass 1111 #设置验证密码，在一个vrrp_instance下，MASTER与BACKUP必须使用相同的密码才能正常通信。
    }
    virtual_ipaddress {  #设置虚拟IP地址，可以设置多个虚拟IP地址，每行一个。
        192.168.12.135
    }
}

#虚拟服务器定义部分
virtual_server 192.168.12.135 80 {       #设置虚拟服务器，需要指定虚拟ip地址和服务端口，ip与端口之间用空格隔开。
    delay_loop 6      #设置健康检查时间，单位是秒。
    lb_algo rr  #设置负载调度算法，这里设置为rr，即轮询算法。
    lb_kind DR                       #设置LVS实现负载均衡的机制，可以有NAT、TUN和DR三个模式可选。
persistence_timeout 50                  #会话保持时间，单位是秒，这个选项对于动态网页是非常有用的，为集群系统中session共享提供了一个很好的解决方案。有了这个会话保持功能，用户的请求会被一直分发到某个服务节点，直到超过这个会话保持时间。需要注意的是，这个会话保持时间，是最大无响应超时时间，也就是说用户在操作动态页面时，如果在50秒内没有执行任何操作，那么接下来的操作会被分发到另外节点，但是如果一直在操作动态页面，则不受50秒的时间限制。
    protocol TCP       #指定转发协议类型，有tcp和udp两种。

real_server 192.168.12.246 80 { #配置服务节点1，需要指定real server的真实IP地址和端口，ip与端口之间用空格隔开。
weight 3 #配置服务节点的权值，权值大小用数字表示，数字越大，权值越高，设置权值的大小可以为不同性能的服务器分配不同的负载，可以对性能高的服务器设置较高的权值，而对性能较低的服务器设置相对较低的权值，这样就合理的利用和分配了系统资源。
        TCP_CHECK {   #realserve的状态检测设置部分，单位是秒
            connect_timeout 10     #10秒无响应超时
            nb_get_retry 3  #重试次数
            delay_before_retry 3    #重试间隔
        }
    }

    real_server 192.168.12.237 80 {  #配置服务节点2
        weight 1   
        TCP_CHECK {
            connect_timeout 3   
            nb_get_retry 3           
            delay_before_retry 3
        }
    }
}

          在配置Keepalived.conf时，需要特别注意配置文件的语法格式，因为Keepalived在启动时并不检测配置文件的正确性，即使没有配置文件，Keepalived也照样能启动起来，因而配置文件一定要正确。
          在默认情况下，Keepalived在启动时会查找/etc/Keepalived/Keepalived.conf配置文件，如果你的配置文件放在了其它路径下，可以通过“Keepalived  -f”参数指定你所在的配置文件路径即可。
          Keepalived.conf配置完毕后，将此文件拷贝到备用Director Server对应的路径下，然后做两个简单的修改即可:
 将“state MASTER”更改为“state BACKUP”
 将priority 100更改为一个较小的值，这里改为“priority 80”
 最后，还要配置集群的Real server节点，以达到与Director Server相互广播通信并忽略arp的目的，脚本的内容已经在前面文章中进行过介绍，这里不做解释。

接下来，我们以一个配置文件模版为例，有选择的说明其中一些重要项的功能或作用。

●     全局定义块

1、  email通知。作用：有故障，发邮件报警。这是可选项目，建议不用，用nagios全面监控代替之。

2、  Lvs负载均衡器标识（lvs_id）。在一个网络内，它应该是唯一的。

3、  花括号“{}”。用来分隔定义块，因此必须成对出现。如果写漏了，keepalived运行时，不会得到预期的结果。由于定义块内存在嵌套关系，因此很容易遗漏结尾处的花括号，这点要特别注意。

●     VRRP定义块

1、  同步vrrp组vrrp_sync_group。作用：确定失败切换（FailOver）包含的路由实例个数。即在有2个负载均衡器的场景，一旦某个负载均衡器失效，需要自动切换到另外一个负载均衡器的实例是哪些？

2、  实例组group.至少包含一个vrrp实例。

3、  Vrrp实例vrrp_instance.实例名出自实例组group所包含的那些名字。

（1）       实例状态state.只有MASTER和BACKUP两种状态，并且需要大写这些单词。其中MASTER为工作状态，BACKUP为备用状态。当MASTER所在的服务器失效时，BACKUP所在的系统会自动把它的状态有BACKUP变换成MASTER；当失效的MASTER所在的系统恢复时，BACKUP从MASTER恢复到BACKUP状态。

（2）       通信接口interface。对外提供服务的网络接口，如eth0,eth1.当前主流的服务器都有2个或2个以上的接口，在选择服务接口时，一定要核实清楚。

（3）       lvs_sync_daemon_inteface。负载均衡器之间的监控接口，类似于HA HeartBeat的心跳线。但它的机制优于Heartbeat，因为它没有“裂脑”这个问题，它是以优先级这个机制来规避这个麻烦的。在DR模式中，lvs_sync_daemon_inteface 与服务接口interface 使用同一个网络接口。

（4）       虚拟路由标识virtual_router_id.这个标识是一个数字，并且同一个vrrp实例使用唯一的标识。即同一个vrrp_stance,MASTER和BACKUP的virtual_router_id是一致的，同时在整个vrrp内是唯一的。

（5）       优先级priority.这是一个数字，数值愈大，优先级越高。在同一个vrrp_instance里，MASTER 的优先级高于BACKUP。若MASTER的priority值为150，那么BACKUP的priority只能是140或更小的数值。

（6）       同步通知间隔 advert_int .MASTER与BACKUP负载均衡器之间同步检查的时间间隔，单位为秒。

（7）       验证authentication。包含验证类型和验证密码。类型主要有PASS、AH两种，通常使用的类型为PASS，据说AH使用时有问题。验证密码为明文，同一vrrp实例MASTER与BACKUP 使用相同的密码才能正常通信。

4、  虚拟ip地址virtual_ipaddress . 可以有多个地址，每个地址占一行，不需要指定子网掩码。注意：这个ip必须与我们在lvs客户端设定的vip相一致！

●     虚拟服务器virtual_server定义块

虚拟服务器定义是keepalived框架最重要的项目了，是keepalived.conf必不可少的部分。

1、  虚拟服务器virtual_server. 这个ip来自于vrrp定义块的第“4”步，后面一个空格，然后加上端口号。定义一个vip，可以实现多个tcp端口的负载均衡功能。

（1）       delay_loop。健康检查时间间隔，单位是秒。

（2）       lb_algo. 负载均衡调度算法，互联网应用常使用wlc或rr。

（3）       lb_kind. 负载均衡转发规则。一般包括DR,NAT,TUN3种，在我的方案中，都使用DR的方式。

（4）       persistence_timeout.会话保持时间，单位是秒。这个选项对动态网站很有用处：当用户从远程用帐号进行登陆网站时，有了这个会话保持功能，就能把用户的请求转发给同一个应用服务器。在这里，我们来做一个假设，假定现在有一个lvs 环境，使用DR转发模式，真实服务器有3个，负载均衡器不启用会话保持功能。当用户第一次访问的时候，他的访问请求被负载均衡器转给某个真实服务器，这样他看到一个登陆页面，第一次访问完毕；接着他在登陆框填写用户名和密码，然后提交；这时候，问题就可能出现了—登陆不能成功。因为没有会话保持，负载均衡器可能会把第2次的请求转发到其他的服务器。

（5）       转发协议protocol.一般有tcp和udp两种。实话说，我还没尝试过udp协议类的转发。

2、  真实服务器real_server.也即服务器池。Real_server的值包括ip地址和端口号。多个连续的真实ip，转发的端口相同，是不是可以以范围表示？需要进一步实验。如写成real_server 61.135.20.1-10 80 .

（1）       权重weight.权重值是一个数字，数值越大，权重越高。使用不同的权重值的目的在于为不同性能的机器分配不同的负载，性能较好的机器，负载分担大些；反之，性能差的机器，则分担较少的负载，这样就可以合理的利用不同性能的机器资源。

（2）       Tcp检查 tcp_check.

http://www.ibm.com/developerworks/cn/linux/l-linux-ha/index.html?ca=drs-cn

exportfs -rv //重新export一次
showmount/or -e localhost

client
showmount -e serverip
mount serverip:/www/web /www/bbs or
mount -t nfs serverip:/www/web /www/bbs
umount /www/bbs

time dd if=/dev/zero of=/mnt/home/testfile bs=16k count=16384

http://www.chinaitlab.com/www/special/linux14.asp

Benchmarking 192.168.1.32 (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Completed 20000 requests
Completed 25000 requests
Completed 30000 requests
Completed 35000 requests
Completed 40000 requests
Completed 45000 requests
Finished 50000 requests

Server Software:        Apache/2.0.55
Server Hostname:        192.168.1.32
Server Port:            80

Document Path:          /info.php
Document Length:        26397 bytes

Concurrency Level:      500
Time taken for tests:   159.25877 seconds
Complete requests:      50000
Failed requests:        213
   (Connect: 0, Length: 213, Exceptions: 0)
Write errors:           0
Total transferred:      1328293693 bytes
HTML transferred:       1320041878 bytes
Requests per second:    314.41 [#/sec] (mean)
Time per request:       1590.259 [ms] (mean)
Time per request:       3.181 [ms] (mean, across all concurrent requests)
Transfer rate:          8156.92 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        1  567 2412.7      8   45014
Processing:    14  906 2940.3    416   52023
Waiting:        4  715 2777.0    386   51974
Total:         18 1474 4070.8    426   73025

Percentage of the requests served within a certain time (ms)
  50%    426
  66%    457
  75%    693
  80%   1042
  90%   3422
  95%   4742
  98%   9709
  99%  21422
 100%  73025 (longest request)

[root@www ~]# ab -n 50000 -c 500 http://192.168.1.30/info.php
This is ApacheBench, Version 2.0.41-dev <$Revision: 1.121.2.12 $> apache-2.0
Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.1.30 (be patient)
Completed 5000 requests
Completed 10000 requests
Completed 15000 requests
Completed 20000 requests
Completed 25000 requests
Completed 30000 requests
Completed 35000 requests
Completed 40000 requests
Completed 45000 requests
Finished 50000 requests

Server Software:        Apache/2.0.55
Server Hostname:        192.168.1.30
Server Port:            80

Document Path:          /info.php
Document Length:        26397 bytes

Concurrency Level:      500
Time taken for tests:   231.351912 seconds
Complete requests:      50000
Failed requests:        30322
   (Connect: 0, Length: 30322, Exceptions: 0)
Write errors:           0
Total transferred:      1329951482 bytes
HTML transferred:       1321653137 bytes
Requests per second:    216.12 [#/sec] (mean)
Time per request:       2313.519 [ms] (mean)
Time per request:       4.627 [ms] (mean, across all concurrent requests)
Transfer rate:          5613.87 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        1  390 1154.3      4   21000
Processing:    10 1675 6393.1    201  197589
Waiting:      -16  527 1989.6      5   85574
Total:         12 2065 6579.0    209  197673

Percentage of the requests served within a certain time (ms)
  50%    209
  66%    642
  75%   1863
  80%   3022
  90%   4899
  95%   8765
  98%  19135
  99%  23680
 100%  197673 (longest request)

[root@www ~]# ab -n 10000 -c 1000 http://192.168.1.30/info.php
This is ApacheBench, Version 2.0.41-dev <$Revision: 1.121.2.12 $> apache-2.0
Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.1.30 (be patient)
Completed 1000 requests
Completed 2000 requests
Completed 3000 requests
Completed 4000 requests
Completed 5000 requests
Completed 6000 requests
Completed 7000 requests
Completed 8000 requests
Completed 9000 requests
Finished 10000 requests

Server Software:        Apache/2.0.55
Server Hostname:        192.168.1.30
Server Port:            80

Document Path:          /info.php
Document Length:        26395 bytes

Concurrency Level:      1000
Time taken for tests:   28.618709 seconds
Complete requests:      10000
Failed requests:        8597
   (Connect: 0, Length: 8595, Exceptions: 2)
Write errors:           0
Total transferred:      270178276 bytes
HTML transferred:       268480921 bytes
Requests per second:    349.42 [#/sec] (mean)
Time per request:       2861.871 [ms] (mean)
Time per request:       2.862 [ms] (mean, across all concurrent requests)
Transfer rate:          9219.32 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        5  986 2390.4     73   21075
Processing:    33 1265 1842.8    644   18738
Waiting:       10  685 1315.4    402   18453
Total:         85 2251 3016.6    973   24678

Percentage of the requests served within a certain time (ms)
  50%    973
  66%   1587
  75%   3447
  80%   3569
  90%   4976
  95%   9462
  98%  10595
  99%  12878
 100%  24678 (longest request)

[root@www ~]# ab -n 10000 -c 1000 http://192.168.1.32/info.php
This is ApacheBench, Version 2.0.41-dev <$Revision: 1.121.2.12 $> apache-2.0
Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/

Benchmarking 192.168.1.32 (be patient)
Completed 1000 requests
Completed 2000 requests
Completed 3000 requests
Completed 4000 requests
Completed 5000 requests
Completed 6000 requests
Completed 7000 requests
Completed 8000 requests
Completed 9000 requests
Finished 10000 requests

Server Software:        Apache/2.0.55
Server Hostname:        192.168.1.32
Server Port:            80

Document Path:          /info.php
Document Length:        26397 bytes

Concurrency Level:      1000
Time taken for tests:   33.452000 seconds
Complete requests:      10000
Failed requests:        6
   (Connect: 0, Length: 6, Exceptions: 0)
Write errors:           0
Total transferred:      265957580 bytes
HTML transferred:       264304610 bytes
Requests per second:    298.94 [#/sec] (mean)
Time per request:       3345.200 [ms] (mean)
Time per request:       3.345 [ms] (mean, across all concurrent requests)
Transfer rate:          7764.08 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        3  885 2212.4     19   21019
Processing:   158  777 1613.7    437   18516
Waiting:      112  699 1607.6    383   18469
Total:        298 1662 3192.1    458   21752

Percentage of the requests served within a certain time (ms)
  50%    458
  66%    517
  75%    856
  80%   2376
  90%   3477
  95%   9080
  98%   9525
  99%  21177
 100%  21752 (longest request)

环境:机器5台,均采用rhel4,使用DR方式.

结构:两台做双机热备,串口线一条.两台做real server,一台做数据库.同时,双机里的备机也可以做real server.我测试的时候,有用过三台,四台,加上虚拟机的话有5台.开始单测试lvs,用了三台.

LVS分流,三台机.

图表
director
dip:192.168.1.10  (eth0)
vip:192.168.1.9 (eth0:0)

realserver1
rip:192.168.1.11 (eth0)
vip:192.168.1.9 (lo:0)

realserver2
rip:192.168.1.12 (eth0)
vip:192.168.1.9 (lo:0)

一 director(调度器)
1 修改内核参数 (/etc/sysctl.conf)
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 1
net.ipv4.conf.default.send_redirects = 1
net.ipv4.conf.eth0.send_redirects = 1

sysctl -p 使之生效

2 配置VIP地址
ifconfig eth0:0 192.168.1.9 broadcast 192.168.1.9 netmask 255.255.255.255 up
route add -host 192.168.1.9 dev eth0:0

3 清除ipvsadm表
ipvsadm -C

4 使用ipvsadm安装LVS服务
ipvsadm -A -t 192.168.1.9:http -s rr

5 增加readserver
#forward http to realserver using direct routing with weight 1
ipvsadm -a -t 192.168.1.9:http -r 192.168.1.11 -g -w 1
ipvsadm -a -t 192.168.1.9:Http -r 192.168.1.12 -g -w 1

系统启动后要确认内核是否支持ipvs，只需要执行下面的命令即可：grep ip_vs_init /boot/System.map

二 配置realserver
1 修改内核参数(/etc/sysctl.conf)
net.ipv4.ip_forward = 0
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

sysctl -p 使之生效

2 配置VIP地址
ifconfig lo:0 192.168.1.9 broadcast 192.168.1.9 netmask 255.255.255.255 up
route add -host 192.168.1.9 dev lo:0

测试

用IE打开http://192.168.1.10访问看看结果是否正确. 可以在两台real server服务器放置两个不同的页面.如是real server1/real server2.这样就可以看出有没分流到两台real server上了.或者用一些软件来测试一下性能.

ha+lvs高可用负载分流

#######################################
# HeatBeat
#######################################

HeartBeat是Linux-HA的高可用性集群软件，它的主要作用是：
安装在Load Balancer和Backup上，运行于active/standby模式。
当Load Balancer失效时，Backup自动激活，成为实际的Load Balancer。
切换到active模式时，按顺序启动Virtual IP、IPVS和Ldirectord。
切换到standby模式时，按顺序关闭Ldirectord、IPVS和Virtual IP。

HeartBeat串口线连接测试方法：
在Load Balancer上：cat < /dev/ttyS0
在Backup上：echo hello >; /dev/ttyS0
在VMWare上设置串口的时候一端做server，一端做client即可

1 修改主机名(/etc/hosts)：

127.0.0.1         localhost.localdomain localhost
192.168.136.11    loadbalancer
192.168.136.12    backup

2 安装
groupadd -g 694 haclient
useradd -u 694 -g haclient hacluster

wget http://www.packetfactory.net/libnet/dist/libnet.tar.gz
tar zxf libnet.tar.gz
cd libnet
./configure
make
make install

wget http://www.linux-ha.org/download/heartbeat-1.99.4-tar.gz
tar zxf heartbeat-1.99.4.tar.gz
cd heartbeat-1.99.4
./ConfigureMe configure --disable-swig --disable-snmp-subagent
make
make install
cp doc/ha.cf doc/haresources doc/authkeys /etc/ha.d/
cp ldirectord/ldirectord.cf /etc/ha.d/

chkconfig --add heartbeat
chkconfig --del ldirectord 

相关配置文件
haresources
#
rhel4u2 IPaddr::192.168.1.9/24/192.168.1.255 ipvsadm ldirectord

ha.cf

vip
/sbin/ifconfig lo:0 192.168.1.9 broadcast 192.168.1.9 netmask 255.255.255.255 up
/sbin/route add -host 192.168.1.9 dev lo:0
echo 1 > /proc/sys/net/ipv4/conf/all/arp_announce
echo 0 >/proc/sys/net/ipv4/ip_forward
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore

#失效无用连接
echo 1 > /proc/sys/net/ipv4/vs/expire_nodest_conn

FAQ
1 cookie时间,即在线问题 加-p选项

an:

-p选项,是设置保持cookie的一个持续时间.
也就是 客户机 >　转发器 > real server 持续的时间.
这个时间内,某台机所有连接,都是指向前一个已建立过的连接上.

但在设置了-p选项后,在
转发器>real server间还有一个持续时间(为1分钟)

也就是说,在设置了-p选项后
转发器 > real server 的连接时间为 1分钟加上-p设置的时间

在这个时间内,假如某real server挂了,ld是能检测出问题,并且在转发规则里把它的权值改为0
但在上面的前提下,所有之前与这台real servel有连接过的客户机,在这个时间内(1分钟+P设置的时间),仍然会继续往这台机上转发
问题也就出现了.

如果倘若不设置-p选项,在转发器上,会维护着客户机与每一个real server 的连接状态

ha的一些资料

多个节点，只要还有一个节点，服务就能继续...
而且增加了资源监控，如IP失效了会自动恢复...

如果是2.0,简单的可以这样配，以三个节点为例
1.三个节点都装上heartbeat 2.0.0.0.
2.把三个节点都加到ha.cf里，然后在ha.cf里加上"crm 1"
3.然后用/usr/lib/heartbeat/cts/haresources2cib.py 把原来的/etc/ha.d/haresources 转换成 /var/lib/heartbeat/crm/cib.xml.
"/usr/lib/heartbeat/cts/haresources2cib.py haresources >;/var/lib/heartbeat/crm/cib.xml"
4.把haresources清空
5.启动三台计算机的heartbeat.

2.0用cib替代了haresources.
http://www.linux-ha.org/ClusterInformationBase_2fUserGuide

2.0里面没有工作节点和备份节点之分，资源在哪里个节点运行，失效后可以在哪些另外的节点运行等的都是cib.xml(资源配置文件)里规定的.

2.0里面基本没有活动-备份的概念，换句话说，cib.xml中你可以指定一个服务在不同机器上跑的权重，甚至禁止某个服务在某个机器上跑，等等。各个节点都是平等的。运行时，heartbeat2会根据当前的情况，计算出那里是运行服务的最佳机器。如果你把所有服务的最佳运行节点都设到一台机器，那就相当于一个跑服务，两个备份，如果你把服务配到两个节点，留一个节点空着，那就相当于两个跑服务，一个备份。
CRM, Cluster Resouce Manager, 用于在cluster计算管理资源。开启了它，就开启了2.0的新功能

HA的概念和1.x的配置:
http://www-128.ibm.com/developerworks/cn/linux/l-halinux/index.html
2.x的概念和基本配置:
http://www.linux-ha.org/GettingStartedV2
2.x的资源配置的详细介绍:
http://www.linux-ha.org/ClusterInformationBase_2fUserGuide

这个中文的介绍挺好的，不过是1.x的，不过概念都一样。
http://www-128.ibm.com/developerworks/cn/linux/l-halinux/index.html

LVS的官方网站

http://www.linuxvirtualserver.org/zh/lvs1.html

http://zh.linuxvirtualserver.org/ 论坛讨论区

注:本文档是06年底作测试时的笔记.但测试完后,没作整理.现在才发觉,所以,有一些是现在加上的,如有错误或不足之处,请指出或提出意见.谢谢