提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
一、Keepalived 介绍
keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以解决静态路由出现的单点故障问题。
keepalived 软件起初是专为 LVS 负载均衡软件设计的,用来管理并监控 LVS集群中各个服务节点的状态,后来又加入了可以实现高可用的 VRRP 功能。因此,keepalived 除了能够管理 LVS集群外,还可以为其他服务(例如:Nginx、Haproxy、MySQL等)实现高可用。
keepalived 软件主要是通过 VRRP 协议实现高可用功能的。VRRP 是 Virtual Router Redundancy Protocol(虚拟路由器冗余协议)的缩写,VRRP出现的目的就是为了解决静态路由单点故障的问题,它能够保证当个别节点宕机时,整个网络可以不间断地运行。
keepalived 一方面具有配置管理 LVS 的功能,同时还具有对 LVS 下面节点进行健康检查的功能,另一方面也可实现系统网络服务的高可用。
1、什么是keepalived
Keepalived是一款专为LVS和HA设计的一款健康检查工具:支持故障自动切换、支持节点健康状态检查
Keepalived软件的官方站点是:www.keepalived.org
2、Keepalived工作原理
Keepalived 是一个基于VRRP 协议来实现的 LVS服务高可用方案,可以解决静态路由出现的单点故障问题;
在一个LVS服务集群中通常有 主服务器(MASTER)和 备份服务器(BACKUP) 两种角色的服务器,但是对外表现为一个虚拟IP,主服务器会发送 VRRP通告信息给备份服务器,当备份服务器收不到VRRP消息的时候,即主服务器异常的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性;
在Keepalived 服务之间,只有作为主的服务器会一直发送VRRP广播包,告诉备还活着,此时备不会抢占主,当主不可用时,即备监听不到主发送的广播包时,就会启动相关服务接管资源,保证业务的连续性。接管速度最快可以小于1秒。
3、Keepalived 体系主要模块及其作用
Keepalived 体系架构中主要有三个模块,分别是 core、check 和 vrrp
模块 | 作用 |
core模块 | 为keepalived的核心、负责主进程的启动,维护及全局配置文件的加载和解析 |
check模块 | 负责健康检查,常见的方式有端口检查及URL检查 |
vrrp模块 | 是来实现VRRP协议的。 |
二、Keepalived 服务主要功能
(一)、keepalived服务重要功能
###1、管理LVS负载均衡软件
Keepalive可以通过读取自身的配置文件,实现通过更底层的接口直接管理LVS的配置以及控制服务的启动、停止功能。
2、支持故障自动切换(Failover)
Keepalived可以实现任意两台主机之间,例如Master和Backup主机之间的故障转移和自动切换,这个主机可以是普通的不能停机的业务服务器,也可以是LVS负载均衡,Nginx反向代理这样的服务器。
Keepalived 高可用功能实现的简单原理为,两台主机同时安装好 Keepalived 软件并启动服务,开始正常工作时,由角色为Master的主机获得所有资源并对用户提供服务,角色为Backup的主机作为 Master 主机的热备;当角色为Master 的主机失效或出现故障时,角色为Backup 的主机将自动接管 Master主机的所有工作,包括接管VIP资源及相应资源服务;而当角色为Master的主机故障修复后,又会自动接管回它原来处理的工作,角色为Backup的主机则同时释放 Master主机失效时它接管的工作,此时,两台主机将恢复到最初启动时各自的原始角色及工作状态。
3、实现LVS集群中节点的健康检查
Keepalived 可以通过在自身的 Keepalived.conf 文件里配置 LVS的节点IP和相关参数实现对LVS的直接管理;除此之外,当LVS集群中的某一个甚至是几个节点服务器同时发生故障无法提供服务时,Keepalived 服务会自动将失效的节点服务器从LVS的正常转发队列中清除出去,并将请求调度到别的正常节点服务器上,从而保证最终用户的访问不受影响;当故障的节点服务器被修复以后,Keepalived 服务又会自动地把它们加入到正常转发队列中,对客户提供服务。
4、实现LVS负载调度器、节点服务器的高可用性
一般企业集群需要满足三个特点: 负载均衡、健康检查、故障切换 ,使用 LVS+Keepalived 完全可以满足需求。
keepalived的检查方式
① ping方式检查(不全面)
② 基于脚本检查(周期检查master服务器的服务是否停止,停止之后使用停止keepalived,进行漂移,并邮件告警)
5、keepalived 高可用故障切换转移原理
keepalived 高可用服务对集群之间的故障切换转移,是通过 VRRP(虚拟路由器冗余协议)来实现的。
在 keepalived 服务正常工作时,主(Master)节点会不断地向备(Backup)节点发送(多播的方式)心跳消息,用以告诉备节点自己还活看,当主节点发生故障时,就无法发送心跳消息,备节点也就因此无法继续检测到来自主节点的心跳了,于是调用自身的接管程序,接管主节点的 IP 资源及服务。而当主节点恢复时,备节点又会释放主节点故障时自身接管的 IP 资源及服务,恢复到原来的备用角色。
6、VRRP通信原理
VRRP也就是虚拟路由冗余协议,它的出现就是为了解决静态路由的单点故障。
VRRP是通过一种竞选协议机制来将路由任务交给某台VRRP路由器的。
VRRP用IP多播的方式(默认多播地址(224.0.0.18))实现高可用之间通信。
工作时主节点发包,备节点接包,当备节点接收不到主节点发的数据包的时候,就启动接管程序接管主节点的资源。备节点可以有多个,通过优先级竞选,但一般Keepalived系统运维工作中都是一对。
VRRP使用了加密协议加密数据,但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码
7、使用Keepalived实现双机热备
基于VRRP协议的热备方式Keepalived可以用作故障切换,每个热备组可以有多台服务器,当然最常用的还是双机热备
在双机热备方案中,故障切换主要针对虚拟IP地址的漂移来实现,因此可以适用于各种应用服务器(如:Web、FTP、Mail、SSH、DNS…)
其中主、备服务器都需要安装Keepalived
(二)、keepalived服务重要功能小结
管理LVS负载均衡软件
支持故障自动切换(Failover)
实现LVS集群中节点的健康检查(Health Checking)
实现LVS负载调度节点服务器的高可用性(HA)
对于节点服务器:健康检查如果发现有故障的节点就会将其隔离或者剔除集群,待其回复后再重新加入的集群当中去
负载均衡器:健康检查会定时去检查主机的状态(包括主机和服务的状态),如果出现故障就会自动切换到备主机上待主机恢复,在重新让主承载业务请求
三、部署LVS-DR+Keepalived 集群实验
(一)、数据流向图
(二)、实验具体步骤
1、实验准备
需要6台系统,一台做负载调度器主设备,一台做负载调度器备设备,两台做web服务器的节点,一台windows客户端,一台nfs设备,这边主要验证主备之间切换,NFS服务器暂时不配。
主DR服务器:ens33(192.168.116.50) 、ens33:0(192.168.116.100)即 VIP
备DR服务器:ens33(192.168.116.60) 、 ens33:0(192.168.116.100)即 VIP
web1服务器:ens33(192.168.116.10) 、 lo:0(192.168.116.100)即 VIP
web2服务器:ens33(192.168.116.20) 、 lo:0(192.168.116.100)即 VIP
nfs服务器: ens33 (192.168.116.70)
windows客户端:192.168.116.200
(三)、配置主负载调度器(LVS-DR)——master DR服务器:ens33(192.168.116.10)
1、安装ipvsadm并开启、安装keepalived
yum -y install ipvsadm keepalived 下载ipvsadm keepalived
modprobe ip_vs 加载ip_vs模块
cat /proc/net/ip_vs 查看模块版本信息
ipvsadm-save > /etc/sysconfig/ipvsadm 生成文件 保存策略
systemctl start ipvsadm 开启
2、调整proc 相应参数,关闭Linux内核的重定向参数响应
3、修改配置文件keeplived.conf
#修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak 备份配置文件
(vim /etc/keepalived/keepalived.conf)
vim keepalived.conf
......
global_defs { #定义全局参数
--10行--修改,
smtp_server 127.0.0.1 邮件服务指向本地
--12行--修改,指定服务器(路由器)的名称,主备服务器名称须不同,主为LVS_01,备为LVS_02
router_id LVS_01
--14行--注释掉,取消严格遵守VRRP协议功能,否则VIP无法被连接
#vrrp_strict
}
vrrp_instance VI_1 { #定义VRRP热备实例参数
--20行--修改,指定热备状态,主为MASTER,备为BACKUP
state MASTER
--21行--修改,指定承载vip地址的物理接口
interface ens33
--22行--修改,指定虚拟路由器的ID号,每个热备组保持一致
virtual_router_id 10
#nopreempt #如果设置非抢占模式,两个节点state必须为bakcup,并加上配置 nopreempt
--23行--修改,指定优先级,数值越大优先级越高,这里设置主为110,备为90
priority 110
advert_int 1 #通告间隔秒数(心跳频率)
authentication { #定义认证信息,每个热备组保持一致
auth_type PASS #认证类型
--27行--修改,指定验证密码,主备服务器保持一致
auth_pass 6666
}
virtual_ipaddress { #指定群集vip地址
192.168.116.100
}
}
--36行--修改,指定虚拟服务器地址(VIP)、端口,定义虚拟服务器和Web服务器池参数
virtual_server 192.168.116.100 80 {
delay_loop 6 #健康检查的间隔时间(秒)
lb_algo rr #指定调度算法,轮询(rr)
--39行--修改,指定群集工作模式,直接路由(DR)
lb_kind DR
persistence_timeout 6 #连接保持时间(秒)
protocol TCP #应用服务采用的是 TCP协议
--43行--修改,指定第一个Web节点的地址、端口
real_server 192.168.116.10 80 {
weight 1 #节点的权重
--45行--删除,添加以下健康检查方式
TCP_CHECK {
connect_port 80 #添加检查的目标端口
connect_timeout 3 #添加连接超时(秒)
nb_get_retry 3 #添加重试次数
delay_before_retry 3 #添加重试间隔
}
}
real_server 192.168.116.20 80 { #添加第二个 Web节点的地址、端口
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
##删除后面多余的配置##
3.1、介绍配置文件内容
3.2、最终修改成功的配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
router_id lvs_01
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 110
advert_int 1
authentication {
auth_type PASS
auth_pass 6666
}
virtual_ipaddress {
192.168.116.100
}
}
virtual_server 192.168.116.100 80 {
lb_algo rr
lb_kind DR
persistence_timeout 6
protocol TCP
real_server 192.168.116.10 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.116.20 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
4、 配置vip (虚拟子接口IP)
ifup ens33:0
ifconfig ens33:0
5、开启keepalived服务,查看虚拟IP
systemctl start keepalived 开启 keepalived 服务
ip addr 查看ip
6、配置负载分配策略(ipvsadm)
ipvsadm -C #清除规则
ipvsadm -A -t 192.168.116.100:80 -s rr #添加虚拟VIP,分流模式为轮询
ipvsadm -a -t 192.168.116.100:80 -r 192.168.100.10:80 -g
ipvsadm -a -t 192.168.116.100:80 -r 192.168.100.20:80 -g
systemctl start ipvsadm 开启ipvsadm
ipvsadm 启用策略
ipvsadm-save > /etc/sysconfig/ipvsadm 保存策略
ipvsadm -ln 查看节点状态
#如没有VIP 的分发策略,则重启 keepalived 服务,systemctl restart keepalived
systemctl restart keepalived.service 重启服务
(四)、配置备用负载调度器(LVS-DR)——这里我前面忘记更改主机名,后面有更改
1、关闭防火墙,安装ipvsadm和keepalived服务
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
modprobe ip_vs 加载ip_vs模块
cat /proc/net/ip_vs 查看模块版本信息
ipvsadm-save > /etc/sysconfig/ipvsadm 生成文件 保存策略
systemctl start ipvsadm 开启
2、调整proc 相应参数,关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
sysctl -p 加载内核配置参数生效
3、修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
备份配置文件
vim keepalived.conf
3.1、vim /etc/keepalived/keepalived.conf ——配置文件完成后的内容
vim /etc/keepalived/keepalived.conf
global_defs {
router_id lvs_02
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 90
advert_int 1
authentication {
auth_type PASS
auth_pass 6666
}
virtual_ipaddress {
192.168.116.100
}
}
virtual_server 192.168.116.100 80 {
lb_algo rr
lb_kind DR
persistence_timeout 6
protocol TCP
real_server 192.168.116.10 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
real_server 192.168.116.20 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
~
4、配置vip (虚拟子接口IP)
注意主备LVS的vip网卡修改后重启网卡的方式需要不一样,不然会报错
5、开启keepalived服务,查看虚拟IP
systemctl start keepalived 开启 keepalived 服务
ip addr 查看ip
6、配置负载分配策略(ipvsadm)
ipvsadm -C #清除规则
ipvsadm -A -t 192.168.116.100:80 -s rr #添加虚拟VIP,分流模式为轮询
ipvsadm -a -t 192.168.116.100:80 -r 192.168.100.10:80 -g
ipvsadm -a -t 192.168.116.100:80 -r 192.168.100.20:80 -g
systemctl start ipvsadm 开启ipvsadm
ipvsadm 启用策略
ipvsadm-save > /etc/sysconfig/ipvsadm 保存策略
ipvsadm -ln 查看节点状态
#如没有VIP 的分发策略,则重启 keepalived 服务,systemctl restart keepalived
systemctl restart keepalived.service 重启服务
(五)、部署共享存储
1、安装nfs和rpcbind
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install nfs-utils rpcbind
systemctl start nfs
systemctl start rpcbind
2、创建共享目录并设置权限及网页内容
vim /etc/exports
/opt/zhb1 192.168.116.0/24(rw,sync)
/opt/zhb2 192.168.116.0/24(rw,sync)
exportfs -rv 发布共享
showmount -e localhost 查看共享
3、同网段主机验证共享(在192.168.116.60 lvs_02上验证)
(六)、配置web节点服务器
1、配置web1节点服务器
(1)、关闭防火墙、下载并开启httpd及设置页面文件
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install httpd
systemctl start httpd
(2)、配置虚拟vip(lo:0)
cd /etc/sysconfig/network-scripts/
cp ifcfg-lo ifcfg-lo:0
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.100.22
NETMASK=255.255.255.255
ifup lo:0
ifconfig lo:0
(3)、 在web中调整内核的ARP响应参数以阻止更新vip的MAC地址,避免冲突
vim /etc/sysctl.conf
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
sysctl -p 加载内核文件生效
(4)、 在web1服务器中添加vip本地访问路由
route add -host 192.168.116.100 dev lo:0 临时禁锢路由
或者下面方式,都可实现路由禁锢,下面的为永久添加
vim /etc/rc.local
#linux在开启启动时,会加载的内容
/sbin/route add -host 192.168.116.100 dev lo:0
route -n 查看路由表
(5)、下载安装nfs、rpcbind并开启
yum -y install nfs-utils rpcbind 下载nfs及rpcbind服务
systemctl start nfs 开启
systemctl start rpcbind 开启
showmount -e 192.168.116.70 查看共享点
mount.nfs 192.168.116.70:/opt/zhb1 /var/www/html/ 临时挂载
df -hT 查看挂载
curl 192.168.116.10 访问网页 或者浏览器访问 192.168.116.10 (web1)
(6)、测试页面192.168.116.10
2、配置web2节点服务器——和上面操作差不多
(1)、关闭防火墙、下载并开启httpd及设置页面文件
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
yum -y install httpd
systemctl start httpd
(2)、配置虚拟vip(lo:0)
(3)、在web中调整内核的ARP响应参数以阻止更新vip的MAC地址,避免冲突
(4)、 在web1服务器中添加vip本地访问路由
(5)、下载安装nfs、rpcbind并开启
yum -y install nfs-utils rpcbind 下载nfs及rpcbind服务
systemctl start nfs 开启
systemctl start rpcbind 开启
showmount -e 192.168.116.70 查看共享点
mount.nfs 192.168.116.70:/opt/zhb2 /var/www/html/ 临时挂载
df -hT 查看挂载
curl 192.168.116.20 访问网页 或者浏览器访问 192.168.100.20
(6)、测试页面192.168.116.20
(七)、断开主LVS服务器的 keepalived 测试
1、断开主设备LVS的 keepalived 服务后虚拟ip 消失
2、客户端还可以访问
3、重启主LVS-DR设备
3.1、重启主设备的keepalived服务 虚拟ip 出现 数据重新流向主设备
3.2、备用设备虚拟ip消失 依然可以访问不影响业务
总结
集群满足的三个特点:负载均衡,健康检查,故障切换