Redis 知识梳理 [ 漏斗限流 throttle ]

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/zhanglong_4444/article/details/88175554

 

 

漏洞的容量是有限的,如果将漏嘴堵住,然后一直往里面灌水,它就会变满,直至再也装不进去。
如果将漏嘴放开,水就会往下流,流走一部分之后,就又可以继续往里面灌水。
如果漏嘴流水的速率大于灌水的速率,那么漏斗永远都装不满。
如果漏嘴流水速率小于灌水的速率,那么一旦漏斗满了,灌水就需要暂停并等待漏斗腾空。
 

所以,漏斗的剩余空间就代表着当前行为可以持续进行的数量,漏嘴的流水速率
代表着系统允许该行为的最大频率。下面我们使用代码来描述单机漏斗算法。


 

        # coding: utf8

        import time
        class Funnel(object):
        def __init__(self, capacity, leaking_rate): 
            self.capacity = capacity # 漏斗容量 
            self.leaking_rate = leaking_rate # 漏嘴流水速率 
            self.left_quota = capacity # 漏斗剩余空间 
            self.leaking_ts = time.time() # 上一次漏水时间
        def make_space(self):
            now_ts = time.time()
            delta_ts = now_ts - self.leaking_ts # 距离上一次漏水过去了多久 
            delta_quota = delta_ts * self.leaking_rate # 又可以腾出不少空间了 
            if delta_quota < 1: # 腾的空间太少,那就等下次吧
                return
            self.left_quota += delta_quota # 增加剩余空间 
            self.leaking_ts = now_ts # 记录漏水时间
            if self.left_quota > self.capacity: # 剩余空间不得高于容量
                self.left_quota = self.capacity
        def watering(self, quota):
            self.make_space()
            if self.left_quota >= quota: # 判断剩余空间是否足够
                self.left_quota -= quota
                return True
            return False

        funnels = {} # 所有的漏斗

        # capacity 漏斗容量
        # leaking_rate 漏嘴流水速率 quota/s 
        def is_action_allowed(user_id, action_key, capacity, leaking_rate): 
            key = '%s:%s' % (user_id, action_key)
            funnel = funnels.get(key)
            if not funnel:
                funnel = Funnel(capacity, leaking_rate)
                funnels[key] = funnel return funnel.watering(1)
                
        for i in range(20):
            print is_action_allowed('laoqian', 'reply', 15, 0.5)




 

我们观察 Funnel 对象的几个字段,我们发现可以将 Funnel 对象的内容按字段 存储到一个 hash 结构中,灌水的时候将 hash 结构的字段取出来进行逻辑运算 后,再将新值回填到 hash 结构中就完成了一次行为频度的检测。

但是有个问题,我们无法保证整个过程的原子性。从 hash 结构中取值,然后在 内存里运算,再回填到 hash 结构,这三个过程无法原子化,意味着需要进行适 当的加锁控制。而一旦加锁,就意味着会有加锁失败,加锁失败就需要选择重试 或者放弃。

如果重试的话,就会导致性能下降。如果放弃的话,就会影响用户体验。同时, 代码的复杂度也跟着升高很多。这真是个艰难的选择,我们该如何解决这个问题 呢?Redis-Cell 救星来了!

 

Redis-Cell

Redis 4.0 提供了一个限流 Redis 模块,它叫 redis-cell。该模块也使用了漏斗 算法,并提供了原子的限流指令。

有了这个模块,限流问题就非常简单了。

 

该模块只有1条指令 cl.throttle ,它的参数和返回值都略显复杂,接下来让我 们来看看这个指令具体该如何使用。

 

 

上面这个指令的意思是允许「用户回复行为」的频率为每 60s 最多 30 次 (漏水速率),漏斗的初始容量为 15,也就是说一开始可以连续回复 15 个帖子, 然后才开始受漏水速率的影响。

我们看到这个指令中漏水速率变成了 2 个参数, 替代了之前的单个浮点数。

用两个参数相除的结果来表达漏水速率相对单个浮点 数要更加直观一些。

 

 

 

        >cl.throttle laoqian:reply 15 30 60
            1) (integer) 0
            2) (integer) 15
            3) (integer) 14
            4) (integer) -1
            5) (integer) 2
            # 0 表示允许,1表示拒绝
            # 漏斗容量capacity
            # 漏斗剩余空间left_quota
            # 如果拒绝了,需要多长时间后再试(漏斗有空间了,单位秒)
            # 多长时间后,漏斗完全空出来(left_quota==capacity,单位秒)

 

在执行限流指令时,如果被拒绝了,就需要丢弃或重试。cl.throttle 指令考虑的 非常周到,

连重试时间都帮你算好了,直接取返回结果数组的第四个值进行 sleep 即可,

如果不想阻塞线程,也可以异步定时任务来重试

 

 

 

 

来源: 《Redis深度历险 核心原理与应用实践》_钱文品_018-12-01

 

 

 

 

 

 

 

 

 

 

 

 

 

 

展开阅读全文

没有更多推荐了,返回首页