HAProxy

HAProxy是法国开发者威利塔罗(Willy Tarreau)在2000年使用C语言开发的一个开源软件是一款具备高并发(万级以上)、高性能的TCP和HTTP负载均衡器

支持基于cookie的持久性，自动故障切换，支持正则表达式及web状态统计

企业版网站: HAProxy Technologies | World's Fastest Load Balancer

社区版网站: http://www.haproxy.orggithub

github：https://github.com/haprox

一.haproxy的安装和服务信息

[root@haproxy ~]# yum install haproxy -y

实验环境：

haproxy	172.25.254.100
RS1	172.25.254.10
RS2	172.25.254.20

haproxy基本配置信息：

[root@haproxy ~]# rpm -qc haproxy 
/etc/haproxy/haproxy.cfg            #配置文件
/etc/logrotate.d/haproxy             #日志
/etc/sysconfig/haproxy               #haproxy本身属性
[root@haproxy ~]# 

global：全局配置段

1.进程及安全配置相关的参数
2.性能调整相关参数
3.Debug参数

proxies：代理配置段

1.defaults：为frontend, backend, listen提供默认配置
2.frontend：前端，相当于nginx中的server {}
3.backend：后端，相当于nginx中的upstream {}
4.listen：同时拥有前端和后端配置,配置简单,生产推荐使用
5.haproxy的基本部署方法及负载均衡的实现

global 配置参数：

多进程和socket文件配置：

vim /etc/haproxy/haproxy.cfg
 
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 100000
user haproxy
group haproxy
daemon
# turn on stats unix socket
stats socket /var/lib/haproxy/haproxy.sock1 mode 600 level admin process 1 
stats socket /var/lib/haproxy/haproxy.sock2 mode 600 level admin process 2  #启用多个文件
 
#nbproc 2 #启用多进程
#cpu-map 1 0 
#cpu-map 2 1
nbthread 2
 
systemctl restart haproxy.service

proxies配置：

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
#两种方法，效果相同
frontend webcluster
    bind *:80
    mode http
    use_backend webcluster-host
 
backend webcluster-host
    balance roundrobin
    server web1 172.25.254.10:80
    server web2 172.25.254.20:80
 
#或者
listen webcluster
    bind *:80
    mode http
    balance roundrobin
    server web1 172.25.254.10:80 
    server web2 172.25.254.20:80 

二.haproxy的算法

HAProxy通过固定参数balance指明对后端服务器的调度算法
balance参数可以配置在listen或backend选项中
HAProxy的调度算法分为静态和动态调度算法，有些算法可以根据参数在静态和动态算法中相互转换

静态算法
静态算法：按照事先定义好的规则轮询公平调度，不关心后端服务器的当前负载、连接数和响应速度等，且无法实时修改权重（只能为0和1,不支持其它值），只能靠重启HAProxy生效。

static-rr：基于权重的轮询调度：
不支持运行时利用socat进行权重的动态调整（只支持0和1，不支持其它值）
不支持端服务器慢启动（慢启动是指在服务器刚刚启动时不会把它所应该承担的访问压力全部给它，而是先给一部分，当没有问题后再给一部分）
其后端主机数量没有限制，相当于LVS中的wrr

first（很少用）：
根据服务器在列表中的位置，自上而下进行调度
其只会当第一台服务器的连接数达到上限，新请求才会分配给下一台服务
其会忽略服务器的权重设置
不支持用socat进行动态修改权重，可以设置0和1,可以设置其它值但无效

动态算法
基于后端服务器状态进行调度适当调整
新请求将优先调度至当前负载较低的服务器
权重可以在haproxy运行时动态调整无需重启
静态算法后端Real Server个数不限
roundrobin（使用最多）

基于权重的轮询动态调度算法
支持权重的运行时调整，不同于Ivs中的rr轮训模式
HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数)
其每个后端backend中最多支持4095个real server
支持对real server权重动态调整
roundrobin为默认调度算法，此算法使用广泛
优先把流量给权重高且负载小的主机，以负载为主

leastconn
leastconn加权的最少连接的动态
支持权重的运行时调整和慢启动（相当于LVS的wlc），即：根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接)【当两个主机的连接数都差不多的时候给权重高的，权重是次考虑的】
比较适合长连接的场景使用，比如：MySQL等场景。
其他算法（既可作为静态算法，又可以通过选项成为动态算法）
其他算法既可以当作静态算法，又可以通过选项变成动态算法

静态：取模法通过权重进行取模来决定发往的后端服务器，会被权重的变化和主机的崩溃影响。

通过设置一致性hash：hash-type consistent

来变成动态算法

默认不写就是hash-type map-base的静态，hash-type consistent 就是动态的。

source
源地址hash，依据请求的源IP地址进行哈希，从而将所有来自相同IP的请求总是转发到同一台后端服务器。那么如何选取后端服务器呢？其中有两种方法分别是取模法和一致性hash

listen webserver 80
bind *:80
mode http
balance source
server webserver1 172.25.254.10:80 weight 1 check inter 3 fa11 3 rise 5
server webserver2 172.25.254.20:80 weight 1 check inter 3s fall 3 rise 5

 for N in {1..5}; do curl 172.25.254.100; done
 server - 172.25.254.10
 server - 172.25.254.10
 server - 172.25.254.10
 server - 172.25.254.10
 server - 172.25.254.10

map-base 取模法
对source地址进行hash计算，再基于服务器总权重的取模，最终结果决定将此请求转发至对应的后端服务器。

此方法是静态的，即不支持在线调整权重，不支持慢启动，可实现对后端服务器均衡调度。

缺点是当服务器的总权重发生变化时，即有服务器上线或下线，都会因总权重发生变化而导致调度结果整体改变，hash-type指定的默认值为此算法。

所谓取模运算，就是计算两个数相除之后的余数，10%7=3, 7%4=3
map-based算法：基于权重取模，hash(source_ip)%所有后端服务器相加的总权重。

map-base 取模法是用于将客户端请求分配到后端服务器的一种算法策略。 具体来说，当使用 map-base 取模法时，HAProxy 会根据客户端请求的某些特征（例如源 IP 地址）进行计算，并通过取模运算来确定将请求转发到后端的哪一台服务器。 例如，如果后端有 5 台服务器，HAProxy 对客户端源 IP 地址进行某种处理后得到一个数值，然后将这个数值对 5 取模，得到的结果（0 到 4 之间）就决定了将请求发送到对应的服务器。 这种方法的优点在于实现相对简单，并且在一定程度上能够平均地分配请求。 但它也有一些潜在的问题： 1. 如果后端服务器的数量发生变化（例如新增或移除服务器），那么取模的结果就会发生较大变化，可能导致部分请求的分配路径突然改变，影响服务的稳定性。 2. 当客户端的分布不均匀时（例如来自某些特定网段的客户端请求特别多），可能会导致后端服务器的负载不均衡。

一致性hash
在 Linux 中，HAProxy 中的一致性哈希（Consistent Hashing）是一种用于负载均衡的算法。 一致性哈希的主要思想是将后端服务器和客户端请求（通常基于某种特征，如源 IP 地址）映射到一个环形的哈希空间中。 比如说，这个哈希空间是从 0 到 2^32 - 1 的一个整数范围。每台后端服务器根据其标识（如 IP 地址或名称）计算出一个哈希值，并对应到这个环上的一个位置。客户端请求也通过类似的方式计算出哈希值，并在环上顺时针查找遇到的第一个服务器节点，该服务器就负责处理这个请求。 一致性哈希的优点在于： 当后端服务器数量发生变化时，例如新增或移除服务器，只有环上相邻的一小部分请求的分配会受到影响，而不是像传统的取模算法那样可能导致大部分请求的分配路径发生改变。 例如，如果原本有服务器 A、B、C 分布在环上，当新增服务器 D 时，只有原本会分配到服务器 A 与服务器 C 之间的那部分请求会被重新分配到服务器 D 上，其余请求的分配路径不变。 这就大大减少了因服务器数量变动而导致的请求重新分配的范围，提高了系统的稳定性和可扩展性。 同时，一致性哈希对于客户端请求分布的不均匀性也有更好的适应性，能够在一定程度上避免某些服务器负载过高或过低的情况。

一致性哈希，当服务器的总权重发生变化时，对调度结果影响是局部的，不会引起大的变动hash (o) mod n
该hash算法是动态的，支持使用socat等工具进行在线权重调整，支持慢启动

计算方法：

key1=hash(source_ip)%(2^32)
keyA=hash(后端服务器虚拟ip)%(2^32) [0—4294967295]
将key1和keyA都放在hash环上，将用户请求调度到离key1最近的keyA对应的后端服务器
解决hash环偏斜问题

增加虚拟节点数量

首先，确定每个物理节点需要创建的虚拟节点数量。这个数量可以根据实际情况进行设定，通常会根据物理节点的数量、系统的规模和负载均衡的要求来决定。 然后，为每个物理节点生成相应数量的虚拟节点标识。这些标识可以通过在物理节点的标识基础上添加一些后缀或前缀来创建，以确保虚拟节点标识的唯一性。 接下来，计算虚拟节点的哈希值。使用与计算物理节点哈希值相同的哈希函数，对虚拟节点标识进行计算，得到对应的哈希值。 将虚拟节点的哈希值映射到一致性哈希环上。这些虚拟节点的哈希值会均匀地分布在哈希环上，从而增加了物理节点在哈希环上的“密度”。 在处理请求时，按照一致性哈希的规则，先计算请求的哈希值，然后在哈希环上顺时针查找最近的节点。由于虚拟节点的存在，请求更有可能被分配到不同的物理节点上，从而实现更均匀的负载分布。 例如，假设有 3 台物理服务器 A、B、C，决定为每台服务器创建 10 个虚拟节点。 服务器 A 的标识为 A，则生成的 10 个虚拟节点标识可以是 A-1、A-2、A-3 … A-10。 计算这些虚拟节点标识的哈希值，并映射到哈希环上。 当有新的请求到来时，计算其哈希值，在哈希环上查找最近的节点。此时，很可能会找到某个服务器 A 的虚拟节点，从而将请求分配到服务器 A 上。 通过这种方式，增加了服务器 A 在哈希环上的“存在范围”，提高了其获得请求分配的机会，使得负载能够在多台物理服务器之间更加均衡地分布。

listen stats
  mode http
  bind *:80
  balance   hdr(User-Agent)
  hash-type consistent
  server web1  172.25.254.10:80   check inter 2 fall 3 rise 5 weight 1 
  server wed2  172.25.254.20:80   check inter 2 fall 3 rise 5 weight 1

uri
缓存服务器，CDN服务商，百度、阿里云、腾讯

基于对用户请求的URI的左半部分或整个uri做hash，再将hash结果对总权重进行取模后，根据最终结果将请求转发到后端指定服务器，适用于后端是缓存服务器场景，默认是静态算法，也可以通过hash-type指定map-based和consistent，来定义使用取模法还是一致性hash。

注意：此算法基于应用层，所以只支持 mode http ，不支持 mode tcp

listen stats
  mode http
  bind *:80
  balance   uri
  server web1  172.25.254.10:80   check inter 2 fall 3 rise 5 weight 1 
  server wed2  172.25.254.20:80   check inter 2 fall 3 rise 5 weight 1

url_param
可以实现session保持

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值（路径中的？形式）作hash计算，并由服务器总权重相除以后派发至某挑出的服务器；通常用于追踪用户，以确保来自同一个用户的请求始终发往同一个real server，如果无没key，将按roundrobin算法。

listen stats
  mode http
  bind *:80
  balance   uri
  balance url_param webcluster
  server web1  172.25.254.10:80   check inter 2 fall 3 rise 5 weight 1 
  server wed2  172.25.254.20:80   check inter 2 fall 3 rise 5 weight 1

hdr
基于客户端请求报文头部做下一步处理

针对用户每个 http 头部(header)请求中的指定信息做 hash，此处由 name 指定
的 http 首部将会被取出并做 hash 计算，然后由服务器总权重相除以后派发至某
挑出的服务器，假如无有效的值，则会使用默认的轮询调度。

listen stats
  mode http
  bind *:80
  balance   hdr(User-Agent)
  server web1  172.25.254.10:80   check inter 2 fall 3 rise 5 weight 1 
  server wed2  172.25.254.20:80   check inter 2 fall 3 rise 5 weight 1

算法总结：
hash法：绑定session会话

source：对源地址进行hash（目的绑定源地址）

uri：对uri的左半部分或者全部进行hash（访问的路径进行绑定）

url：对user的key对的值进行hash（绑定用户）

hdr：对包头进行hash（绑定头部信息如浏览器，域名等）

挑选服务器：

取模法：利用权重对hash值进行取余，缺点当权重变化或者服务器死机时。绑定的服务器会变化

一致性hash法：在hash环上先选取服务器的点再选取客户端的点，顺时针选取最近的服务器进行绑定

三.基于cookie的会话保持

cookie value:为当前server指定cookie值，实现基于cookie的会话黏性，相对于基于source地址hash调度算法对客户端的粒度更精准，但同时也加大了haproxy负载，目前此模式使用较少，已经被session共享服务器代替

注意：cookie保存在浏览器上，session保存在服务器上

注意:不支持tcp mode，使用http mode

使用cookie的话，浏览器看的是cookie，cookie是可以更改的（与hdr的区别）

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
listen webcluster
    bind *:80
    mode http
    balance roundrobin
    #balance static-rr
    #balance first
#   redirect prefix http://www.baidu.com/
    cookie WEBCOOKIE insert nocache indirect
    server web1 172.25.254.10:80 cookie haha1 check inter 3s fall 3 rise 5
    server web2 172.25.254.20:80 cookie haha2 check inter 3s fall 3 rise 5
    server wen_sorry 172.25.254.100:8080 backup
 
[root@haproxy ~]# systemctl restart haproxy.service

[root@haproxy ~]# curl -b WEBCOOKIE=haha1 172.25.254.100
webserver1 - 172.25.254.10
[root@haproxy ~]# curl -b WEBCOOKIE=haha2 172.25.254.100
webserver2 - 172.25.254.20
[root@haproxy ~]# curl -b WEBCOOKIE=haha1 172.25.254.100
webserver1 - 172.25.254.10
[root@haproxy ~]# curl -b WEBCOOKIE=haha2 172.25.254.100
webserver2 - 172.25.254.20

四.IP透传

IP 透传（IP Transparency）指的是在代理服务器处理请求和响应的过程中，能够将客户端的真实 IP 地址传递到后端服务器，使得后端服务器能够获取到客户端的原始 IP 而不是代理服务器的 IP 地址。

web服务器中需要记录客户端的真实IP地址，用于做访问统计、安全防护、行为分析、区域排行等场景。

IP透传分为四层和七层，tcp协议为四层，httpd的为七层

四层穿透：

listen webserver 80
bind *:80
mode tcp
balance roundrobin
server webserver1 172.25.254.10:80 weight 1 check inter 3 fa11 3 rise 5
server webserver2 172.25.254.20:80 weight 1 check inter 3s fall 3 rise 5

七层穿透：

listen webserver_80
option forwardfor
bind *:80
mode http
balance roundrobin
server web1  172.25.254.10:80   check inter 2 fall 3 rise 5 weight 1 
server wed2  172.25.254.20:80 send-proxy  check inter 2 fall 3 rise 5 weigh

五.ACL

访问控制列表ACL,Access Control Lists)

是一种基于包过滤的访问控制技术

它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过滤，基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进—步操作，比如允许其通过或丢弃。

[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg 
frontend webcluster
    bind *:80
    mode http
    acl test hdr_dom(host) -i www.timinglee.org
    use_backend webcluster-host if test
    default_backend default-host
backend webcluster-host
    mode http
    server web1 172.25.254.10:80 check inter 2 fall 2 rise 5
    
backend default-host
    mode http
    server web2 172.25.254.20:80 check inter 2 fall 2 rise 5
[root@haproxy ~]# systemctl restart haproxy.service