LVS-DR数据包流向分析
▪ 为方便进行原理分析,将Client与群集机器放在同一网络中,数据包流经的路线为:
1.Client向目标VIP发出请求,Director(负载均衡器)接收
▪ IP包头及数据帧头部信息
2.Director根据负载均衡算法选择RealServer_1,不修改也不封装IP报文,而是将数据帧的Mac地址改为RealServer_1的Mac地址,然后在局域网上发送
▪ IP包头及数据帧头信息
3.RealServer_1收到这个帧,解封装后发现目标IP与本机匹配(RealServer事先绑定了VIP),于是处理这个报文。随后重新封装报文,发送到局域网
▪ IP包头及数据帧头信息
4.Client将收到回复报文。Client认为得到正常的服务,而不会知道是哪一台服务器处理的
▪ 注意:如果跨网段,则报文通过路由器经由Internet返回给用户
LVS-DR中的ARP问题
▪ 在LVS-DR负载均衡集群中,负载均衡器与节点服务器都要配置相同的VIP地址
▪ 在局域网中具有相同的IP地址,势必会造成各服务器ARP通信的紊乱
▪ 当ARP广播发送到LVS-DR集群时,因为负载均衡器和节点服务器都是连接到相同的网络上,它们都会接收到ARP广播
▪ 只有前端的负载均衡器进行响应,其他节点服务器不应该响应ARP广播
▪ 对节点服务器进行处理,使其不响应针对VIP的ARP请求
▪ 使用虚接口lo:0承载VIP地址
▪ 设置内核参数arp_ignore=1:系统只响应目的IP为本地IP的请求
▪ RealServer返回报文(源IP是VIP)经由路由转发,重新封装报文时,需要先获取路由器的MAC地址
▪ 发送ARP请求时,Linux默认使用IP包的源IP地址(即VIP)作为ARP请求包中的源IP地址,而不使用发送接口的IP地址
▪ 如:ens:33接口
▪ 路由器收到ARP请求后,将更新ARP表项
▪ 原有VIP对应Director的MAC地址会被更新为VIP对应的RealServer的MAC地址
▪ 问题
▪ 路由器根据ARP表项,会将新来的请求报文转发给RealServer,导致Director的VIP失效
▪ 解决方法
▪ 对节点服务器进行处理,设置内核参数arp_announce=2:系统不使用IP包的源地址来设置ARP请求的源地址,而选择发送接口的IP地址
解决ARP的两个问题的设置方法
▪ 修改/etc/sysctl.conf文件
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.lo.arp_announce=2
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
配置负载调度器
(1)配置虚拟IP地址VIP
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-ens33 ifcfg-ens33:0
[root@localhost network-scripts]# vi ifcfg-ens33:0
TYPE=Ethernet
BOOTPROTO=static
NAME=ens33:0
DEVICE=ens33:0
ONBOOT=yes
IPADDR=192.168.10.172
NETMASK=255.255.255.0
[root@localhost network-scripts]# systemctl restart network
(2)调整内核参数,禁止转发重定向报文
由于 LVS 负载调度器和各节点需要共用 VIP 地址,应该关闭Linux 内核的重定向
[root@localhost ~]# vi /etc/sysctl.conf
在末尾添加:
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@localhost ~]# sysctl -p
(3)配置负载分配策略
[root@localhost ~]#yum -y install ipvsadm
[root@localhost ~]#ipvsadm -v \\查看版本
[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]#ipvsadm -C
[root@localhost ~]# ipvsadm -A -t 192.168.10.172:80 -s rr
[root@localhost ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.102 -g -w 1
[root@localhost ~]# ipvsadm -a -t 192.168.10.172:80 -r 192.168.10.103 -g -w 1
[root@localhost ~]# ipvsadm-save
-A -t localhost.localdomain:http -s rr
-a -t localhost.localdomain:http -r 192.168.10.102:http -g -w 1
-a -t localhost.localdomain:http -r 192.168.10.103:http -g -w 1
[root@localhost ~]# systemctl enable ipvsadm
3:配置web节点服务器
(1)配置虚拟ip地址VIP
[root@localhost ~]# setenforce 0
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]#cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@localhost network-scripts]# vi ifcfg-lo:0
修改
DEVICE=lo:0
NETMASK=255.255.255.255 \\子网掩码必须为255.255.255.255
IPADDR=192.168.10.172
ONBOOT=yes
[root@localhost network-scripts]# systemctl restart network
[root@localhost network-scripts]# ifconfig
[root@localhost network-scripts]# cd
[root@localhost ~]# vi /etc/rc.local
添加
/sbin/route add -host 192.168.10.172 dev lo:0
[root@localhost ~]# route add -host 192.168.10.172 dev lo:0
(2)调整内核参数
[root@localhost ~]# vi /etc/sysctl.conf
添加:
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
注释:
arp_ignore =1
当收到arp请求时,只有ARP请求数据包所请求的IP地址属于当前网卡的IP地址,才会回应ARP响应数据包。
arp_announce = 2
当发送arp请求时,忽略IP数据包的源IP地址,总是选择网卡所配置的首选IP地址作为ARP请求数据包的发送方IP地址
目的:因为lo:0的ip地址和调度器的ens33:0的ip地址是一样的,为了不造成ip冲突,要禁止更新VIP的mac地址。
[root@localhost ~]# sysctl -p
(3)安装httpd创建测试网页
[root@localhost ~]# yum -y install httpd
yum install nfs-utils
[root@localhost ~]# mount 192.168.10.105:/opt/wwwroot /var/www/html
[root@localhost ~]#vi /var/www/html/index.html
LVS负载均衡群集--测试页面01
(4)启用httpd服务
[root@localhost ~]# systemctl start httpd
(5)配置第二台web节点
配置方法与第一台完全相同
注意:在实验环境中,为了验证负载过程,第二台web服务器的网站可以可第一个不一样,所以这两个web服务器就没有必要使用NFS,直接在web服务器本地创建测试网页文件即可
4:在client上测试网站
测试时频繁刷新页面
也可以用脚本测试:
[root@localhost ~]# for i in $(seq 10); do curl http://192.168.10.172 ;done
5:在LVS调度器上查看LVS策略
[root@localhost ~]# ipvsadm -ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port Forward Weight ActiveConn InActConn
TCP 192.168.10.172:80 rr
-> 192.168.10.102:80 Route 1 0 0
-> 192.168.10.103:80 Route 1 0 0