Haproxy搭建Web集群

常见的Web集群调度器

硬件用的最多的是H5（成本高）

1、Haproxy相关概念

（1）Haproxy概述

HAProxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，是免费、快速并且可靠的一种解决方案。HAProxy非常适用于并发大（并发达1w以上）WEB站点，这些站点通常又需要会话保持或七层处理。HAProxy的运行模式使得它可以很简单安全的整合至当前的架构中，同时可以保护WEB服务器不被暴露到网络上。

（2）Haproxy的主要特性

• 可靠性和稳定性非常好，可以与硬件级的F5负载均衡设备相媲美；
• 最高可以同时维护40000-50000个并发连接，单位时间内处理的最大请求数为20000个，最大处理能力可达10Git/s；
• 支持多达8种负载均衡算法;
• 支持Session会话保持，Cookie的引导；
• 支持通过获取指定的url来检测后端服务器的状态；
• 支持虚机主机功能，从而实现web负载均衡更加灵活；
• 支持连接拒绝、全透明代理等独特的功能；
• 拥有强大的ACL支持，用于访问控制；
• 支持TCP和HTTP协议的负载均衡转发；
• 支持客户端的keepalive功能，减少客户端与haproxy的多次三次握手导致资源浪费，让多个请求在一个tcp连接中完成.

2、应用分析

（1）LVS 应用

（2）Haproxy 应用

（3）LVS、Nginx、Haproxy的区别

负载均衡转发性能：

(硬件负载均衡 F5 ) > ( 软件负载均衡 LVS > HAProxy > Nginx)
支持的代理类型：

LVS是基于Linux内核实现的软负载均衡，只支持四层代理转发，且不支持正则表达式处理，不能做动静分离
Nginx、HAProxy都是基于应用层实现的软负载均衡，都支持四层和七层代理转发，且也支持正则表达式处理，能做动静分离
配置维护：

LVS 实施配置复杂，维护成本相对较高
Nginx、HAProxy 配置简单，维护成本较低
健康检查： 

LVS可以配合keepalived实现高可用，以及实现TCP端口或HTTP URL方式的健康检查
Nginx默认只支持被动方式的TCP端口健康检查，主动检查需安装第三方模块nginx_upstream_check_module后才能支持
HAProxy默认就支持主动的TCP端1、HTTP URL、脚本等方式的健康检查

（4）Haproxy调度算法原理

Haproxy支持多种调度算法，最常用的有八种，分别是roundrobin、static-rr、leastconn、source、uri、url_param、hdr（name）、rdp-cookie（name）。

3、Haproxy搭建web群集

准备工具：三台虚拟机

20.0.0.10：Haproxy

20.0.0.20/20.0.0.30

（1）系统初始化

（2）编译安装Haproxy（20.0.0.10）

[root@zx1 ~]# cd /opt/
[root@zx1 opt]# ls
haproxy-2.8.9.tar.gz  rh
[root@zx1 opt]# tar xf haproxy-2.8.9.tar.gz
[root@zx1 opt]# cd haproxy-2.8.9/
[root@zx1 haproxy-2.8.9]# yum install -y gcc gcc+ make zlib-devel pcre-devel openssl-devel systemd-devel
[root@zx1 haproxy-2.8.9]# useradd -M -s /sbin/nologin haproxy
[root@zx1 haproxy-2.8.9]# make ARCCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1
[root@zx1 haproxy-2.8.9]# make install PREFIX=/usr/local/haproxy
[root@zx1 haproxy-2.8.9]# cd /usr/local/
[root@zx1 local]# ls
bin  etc  games  haproxy  include  lib  lib64  libexec  sbin  share  src
[root@zx1 local]# ls haproxy/
doc  sbin  share


 

（3）配置Haproxy启动程序

cd /opt/haproxy-2.8.9/examples
mkdir /etc/haproxy
cp quick-test.cfg /etc/haproxy/haproxy.cfg
vim haproxy.init
修改26行
[ "${NETWORKING}" = "no" ] && exit 0   #${NETWORKING}添加双引号，否则实验会报错
 
cp haproxy.init /etc/init.d/haproxy
cd /etc/init.d
chmod +x haproxy
ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin
haproxy -v  #查询
cd /etc/init.d
chkconfig --add haproxy
chkconfig --level 35 haproxy on
chkconfig --list haproxy
service haproxy start #开启服务
netstat -lntp | grep 8000  #查看开启状态

[root@zx1 local]# cd /opt/haproxy-2.8.9/examples/
[root@zx1 examples]# mkdir /etc/haproxy
[root@zx1 examples]# ls
basic-config-edge.cfg  errorfiles    lua                    quick-test.cfg  transparent_proxy.cfg
content-sw-sample.cfg  haproxy.init  option-http_proxy.cfg  socks4.cfg      wurfl-example.cfg
[root@zx1 examples]# cp quick-test.cfg /etc/h
haproxy/     host.conf    hostname     hosts        hosts.allow  hosts.deny   hp/          httpd/
[root@zx1 examples]# cp quick-test.cfg /etc/haproxy/haproxy.cfg
[root@zx1 examples]# vim haproxy.init
[ "${NETWORKING}" = "no" ] && exit 0 ##修改26行

[root@zx1 examples]# cp haproxy.init /etc/init.d/haproxy
[root@zx1 examples]# cd /etc/init.d/
[root@zx1 init.d]# ls
functions  haproxy  netconsole  network  README
[root@zx1 init.d]# ll
总用量 44
-rw-r--r--. 1 root root 18281 5月  22 2020 functions
-rw-r--r--. 1 root root  2382 6月  20 10:04 haproxy
-rwxr-xr-x. 1 root root  4569 5月  22 2020 netconsole
-rwxr-xr-x. 1 root root  7928 5月  22 2020 network
-rw-r--r--. 1 root root  1160 1月  14 2022 README
[root@zx1 init.d]# chmod +x haproxy
[root@zx1 init.d]# cd /usr/local/haproxy/sbin/
[root@zx1 sbin]# ls
haproxy
[root@zx1 sbin]# ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/
[root@zx1 sbin]# haproxy -v
HAProxy version 2.8.9-1842fd0 2024/04/05 - https://haproxy.org/
Status: long-term supported branch - will stop receiving fixes around Q2 2028.
Known bugs: http://www.haproxy.org/bugs/bugs-2.8.9.html
Running on: Linux 3.10.0-1160.71.1.el7.x86_64 #1 SMP Tue Jun 28 15:37:28 UTC 2022 x86_64
[root@zx1 sbin]# cd /etc/init.d/
[root@zx1 init.d]# ls
functions  haproxy  netconsole  network  README
[root@zx1 init.d]# chkconfig --add haproxy
[root@zx1 init.d]# chkconfig --level 35 haproxy on
[root@zx1 init.d]# chkconfig --list haproxy

注：该输出结果只显示 SysV 服务，并不包含
原生 systemd 服务。SysV 配置数据
可能被原生 systemd 配置覆盖。

      要列出 systemd 服务，请执行 'systemctl list-unit-files'。
      查看在具体 target 启用的服务请执行
      'systemctl list-dependencies [target]'。

haproxy         0:关    1:关    2:关    3:开    4:关    5:开    6:关
[root@zx1 init.d]# service haproxy start
Starting haproxy (via systemctl):                          [  确定  ]
[root@zx1 init.d]#
[root@zx1 init.d]# netstat -lntp | grep 8000
tcp        0      0 0.0.0.0:8000            0.0.0.0:*               LISTEN      70693/haproxy
[root@zx1 init.d]#

（4）修改Haproxy配置

[root@zx1 init.d]# cd /etc/haproxy/
[root@zx1 haproxy]# ls
haproxy.cfg
[root@zx1 haproxy]# vim haproxy.cfg
[root@zx1 haproxy]# haproxy -c -f haproxy.cfg
Configuration file is valid
[root@zx1 haproxy]# service haproxy restart
Restarting haproxy (via systemctl):                        [  确定  ]
[root@zx1 haproxy]#

修改文件内容
global
   log 127.0.0.1 local0 info
   log 127.0.0.1 local1 warning
   maxconn 30000
   pidfile /var/run/haproxy.pid
   user haproxy
   group haproxy
   daemon
   spread-checks 2

defaults
   log global
   mode http
   option httplog
   option http-server-close
   option forwardfor
   option dontlognull
   option redispatch
   option abortonclose
   maxconn 20000
   retries 3
   timeout http-request 2s
   timeout queue 3s
   timeout connect 1s
   timeout client 10s
   timeout server 2s
   timeout http-keep-alive 10s
   timeout check 2s

frontend http-xy101
   bind 20.0.0.10:80
   acl url_jsp path_end -i .jsp
   use_backend tomcat_backend if url_jsp
   default_backend nginx_backend

backend nginx_backend
   balance roundrobin
   option http-keep-alive
   option httpchk GET /test.html
   server nginx.inst1 20.0.0.20:80 maxconn 10000 check inter 2000 rise 2 fall 3
   server nginx.inst2 20.0.0.30:80 maxconn 10000 check inter 2000 rise 2 fall 3

backend tomcat_backend
   balance roundrobin
   option http-server-close
   server tomcat.inst1 20.0.0.20:8080 cookie tomcat.inst1 maxconn 10000 check inter 2000 rise 2 fall 3
   server tomcat.inst2 20.0.0.30:8080 cookie tomcat.inst2 maxconn 10000 check inter 2000 rise 2 fall 3

listen stats
   bind :8000
   stats enable
   stats refresh 30s
   stats uri /stats
   stats realm HAProxy\ Stats
   stats auth admin:admin123
   server s1 172.31.32.33:8000

（5）部署nginx和tomcat服务器（20.0.0.20/20.0.0.30）

20.0.0.20

[root@zx2 ~]# cd /opt/
[root@zx2 opt]# ls
nginx-1.24.0-1.el7.ngx.x86_64.rpm  rh
[root@zx2 opt]# rpm -ivh nginx-1.24.0-1.el7.ngx.x86_64.rpm
[root@zx2 opt]# cd /usr/share/nginx/html/
[root@zx2 html]# echo '<h1>this is test web1 page</h1>' > test.html
[root@zx2 html]# cat test.html
<h1>this is test web1 page</h1>
[root@zx2 html]#systemctl start nginx
[root@zx2 html]# cd /opt/
[root@zx2 opt]# ls
apache-tomcat-9.0.16.tar.gz  nginx-1.24.0-1.el7.ngx.x86_64.rpm  rh
[root@zx2 opt]# tar xf apache-tomcat-9.0.16.tar.gz
[root@zx2 opt]# mv apache-tomcat-9.0.16 /usr/local/tomcat
[root@zx2 opt]# cd /usr/local/tomcat/
[root@zx2 tomcat]# ./bin/startup.sh
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.
[root@zx2 tomcat]# cd /usr/local/tomcat/webapps/ROOT/
[root@zx2 ROOT]# vim test.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<body>
<% out.println("动态页面1"); %>
</body>
</html>

20.0.0.30

[root@zx3 ~]# cd /opt/
[root@zx3 opt]# ls
apache-tomcat-9.0.16.tar.gz  nginx-1.24.0-1.el7.ngx.x86_64.rpm  rh
[root@zx3 opt]# rpm -ivh nginx-1.24.0-1.el7.ngx.x86_64.rpm
[root@zx3 opt]# cd /usr/share/nginx/html/
[root@zx3 html]# echo '<h1>this is test web2 page</h1>' > test.html
[root@zx3 html]# cat test.html
<h1>this is test web2 page</h1>
[root@zx3 html]# systemctl start nginx
[root@zx3 html]# cd /opt/
[root@zx3 opt]# tar xf apache-tomcat-9.0.16.tar.gz
[root@zx3 opt]# mv apache-tomcat-9.0.16 /usr/local/tomcat
[root@zx3 opt]# cd /usr/local/tomcat/
[root@zx3 tomcat]# ./bin/startup.sh
Using CATALINA_BASE:   /usr/local/tomcat
Using CATALINA_HOME:   /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME:        /usr
Using CLASSPATH:       /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.
[root@zx3 tomcat]# cd webapps/ROOT/
[root@zx3 ROOT]# vim test.jsp
<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<html>
<body>
<% out.println("动态页面2"); %>
</body>
</html>

（6）浏览器测试

测试两台web服务器是否正常运行

测试haproxy是否正常

刷新页面

刷新页面

（7）配置日志输出文件

[root@zx1 haproxy]# mkdir /var/log/haproxy
[root@zx1 haproxy]# vim /etc/rsyslog.d/haproxy.conf
##添加此内容
$ModLoad imudp
$UDPServerRun 514
$FileCreateMode 0644
$FileOwner haproxy
local0.*     /var/log/haproxy/haproxy.log
local1.*     /var/log/haproxy/haproxy_warn.log

[root@zx1 haproxy]# vim /etc/sysconfig/rsyslog
##修改此行内容
SYSLOGD_OPTIONS="-c 2 -r -m 0"

[root@zx1 haproxy]# service rsyslog restart
Redirecting to /bin/systemctl restart rsyslog.service
[root@zx1 haproxy]# cd /var/log/haproxy/
[root@zx1 haproxy]# ls
[root@zx1 haproxy]# service haproxy restart
Restarting haproxy (via systemctl):                        [  确定  ]
[root@zx1 haproxy]# ls
haproxy.log  haproxy_warn.log    ##可以在此查看日志
[root@zx1 haproxy]#

（8）会话保持

1）源地址哈希

[root@zx1 haproxy]# vim /etc/haproxy/haproxy.cfg
##修改44行内容(backend tomcat_backend 下一行内容)
balance source

[root@zx1 haproxy]# service haproxy restart
Restarting haproxy (via systemctl):                        [  确定  ]
[root@zx1 haproxy]#

浏览器验证，刷新页面依旧保持原来页面，不会跳转

2）设置cookie

[root@zx1 haproxy]# vim /etc/haproxy/haproxy.cfg
##将上一步改回原来： balance roundrobin，在此行内容下一行添加此内容
 cookie HA_STICKY_dy insert indirect nocache

[root@zx1 haproxy]# service haproxy restart
Restarting haproxy (via systemctl):                        [  确定  ]
[root@zx1 haproxy]#

刷新依旧不变

3）会话粘性表stick-table

[root@zx1 haproxy]# vim /etc/haproxy/haproxy.cfg
##注释上一步添加的内容，并在48行下添加此两行内容
stick-table type ip size 5k expire 1m
stick on src

[root@zx1 haproxy]# service haproxy restart
Restarting haproxy (via systemctl):                        [  确定  ]
[root@zx1 haproxy]#

刷新页面依旧不变