限流器基本使用
对其中api的基本使用:
public static void main(String[] args) {
// testSmoothBursty();
// testSmoothBursty2();
// testSmoothBursty3();
testSmoothWarmingUp();
}
static void testSmoothBursty() {
RateLimiter rateLimiter = RateLimiter.create(2.0);
for(int i = 0; i < 10; i++) {
// 这里因为create是每秒2个的rateLimiter 这里获取令牌能做到比较平滑的每秒2个
System.out.println("get one token cost" + rateLimiter.acquire() + "s");
}
}
static void testSmoothBursty2() {
RateLimiter rateLimiter = RateLimiter.create(0.5);
rateLimiter.acquire();
System.out.println("第一次获取令牌需要cost:" + rateLimiter.acquire() + "s"); // 第一次获取
sleep(2000); // sleep 2秒 让令牌桶中充满令牌
// 当桶中令牌数量足够时,acquire可以立即返回
System.out.println("当桶中令牌数量足够时,acquire可以立即返回。这里cost:" + rateLimiter.acquire() + "s");
}
static void testSmoothBursty3() {
// rateLimiter会累计令牌 对于直接请求多个令牌的请求可以立即返回,在没有足够的令牌时采用滞后处理 下个请求处理
RateLimiter rateLimiter = RateLimiter.create(5.0);
// 一次性获取5个令牌
double acquire = rateLimiter.acquire(5);
System.out.println("一次性获取5个令牌cost:" + acquire + "s");
// 再次获取令牌
double acquire1 = rateLimiter.acquire(1);
System.out.println("再次获取(需要等待累计令牌)" + acquire1 + "s");
}
static void testSmoothWarmingUp() {
/**
* 测试带预热功能的rateLimiter 会在预热时间内频率越来越高,在预热时间到达后会到达正常的频率
*/
RateLimiter rateLimiter = RateLimiter.create(2, 3, TimeUnit.SECONDS);
for (int i = 0; i < 10; i ++) {
if (i == 4) {
System.out.println("预热结束");
}
// 预热结束之后 频率会和创建限流器的参数一致
System.out.println("get 1 tokens: " + rateLimiter.acquire(1) + "s");
}
}
@SneakyThrows
static void sleep(int i) {
Thread.sleep(i);
}
一篇利用RateLimiter+AOP实现的限流配置文章
https://www.w3xue.com/exp/article/20198/52797.html
原理简单了解
限流有很多方式和场景:
- 限制总并发数:比如数据库连接池、线程池
- 限制瞬间并发数:java的Semphore信号量
- 限制时间窗口内的平均速率:Guava的RateLimiter
比如说:需要限制方法调用的并发数不超过100(同一时间内的并发数)可以用信号量实现。但是如果需要限制在一段时间内平均被调用次数不超过100,则需要使用RateLimiter。
常见的两种限流算法
漏桶
漏桶算法的基本原理是:请求流量以不确定速率申请资源,程序处理以恒定的速度执行。
漏斗有一个最大出水速率。
- 在漏斗中无水时
- 进水速率小于最大出水速率,此时不会积水且出水速率等于进水速率
- 进水速率大于最大出水速率,会积水,漏斗也是以最大出水速率出水。
- 在漏斗中有水
- 水满则拒绝
- 漏斗未满,以最大出水速率稳定出水,继续在漏斗中缓冲流量。
优缺点
优点:不管流量多大,保证出水速率均衡
缺点:漏桶出水速度恒定,但是瞬间大流量,将大部分请求丢弃掉。
令牌桶
原理是系统以恒定速度产生令牌到令牌桶中,桶有个容量,当令牌桶满了之后,多余令牌会丢弃。处理一个请求从桶中拿一个令牌,此时无令牌可取,拒绝该需求。
优缺点
优点:保证限制调用的平均速率同时还允许某些程度上的突发调用,可平滑承接流量。guava RateLimiter就是基于令牌桶实现。
且令牌桶限制的是平均速率,支持一次拿多个令牌;而漏桶是常数速率,对瞬间大流量应对不好。