分布式锁原理与实现

最新推荐文章于 2024-01-21 22:56:59 发布

蜗牛

最新推荐文章于 2024-01-21 22:56:59 发布

阅读量244

点赞数 2

分类专栏： java 笔记文章标签： java

本文链接：https://blog.csdn.net/zhoujiyu123/article/details/114932469

版权

java 笔记专栏收录该内容

26 篇文章 0 订阅

订阅专栏

什么是分布式锁？实现分布式锁的三种方式

在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。那具体什么是分布式锁，分布式锁应用在哪些业务场景、如何来实现分布式锁呢？

一、为什么要使用分布式锁

我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的锁进行处理，并且可以完美的运行，毫无Bug！

注意这是单机应用，后来业务发展，需要做集群，一个应用需要部署到几台机器上然后做负载均衡，大致如下图：

上图可以看到，变量A存在三个服务器内存中（这个变量A主要体现是在一个类中的一个成员变量，是一个有状态的对象），如果不加任何控制的话，变量A同时都会在分配一块内存，三个请求发过来同时对这个变量操作，显然结果是不对的！即使不是同时发过来，三个请求分别操作三个不同内存区域的数据，变量A之间不存在共享，也不具有可见性，处理的结果也是不对的！

如果我们业务中确实存在这个场景的话，我们就需要一种方法解决这个问题！

为了保证一个方法或属性在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用并发处理相关的功能进行互斥控制。但是，随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发控制锁策略失效，单纯的应用并不能提供分布式锁的能力。为了解决这个问题就需要一种跨机器的互斥机制来控制共享资源的访问，这就是分布式锁要解决的问题！

二、分布式锁原理

分布式锁，是控制分布式系统之间同步访问共享资源的一种方式。在分布式系统中，常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。

三、分布式锁应该具备哪些条件

在分析分布式锁的三种实现方式之前，先了解一下分布式锁应该具备哪些条件：

1、在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行；
2、高可用的获取锁与释放锁；
3、高性能的获取锁与释放锁；
4、具备可重入特性；
5、具备锁失效机制，防止死锁；
6、具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。

四、分布式锁的三种实现方式

目前几乎很多大型网站及应用都是分布式部署的，分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance），最多只能同时满足两项。”所以，很多系统在设计之初就要对这三者做出取舍。在互联网领域的绝大多数的场景中，都需要牺牲强一致性来换取系统的高可用性，系统往往只需要保证“最终一致性”，只要这个最终时间是在用户可以接受的范围内即可。

在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。有的时候，我们需要保证一个方法在同一时间内只能被同一个线程执行。

1. 基于数据库实现分布式锁；
2. 基于缓存（Redis等）实现分布式锁；
3. 基于Zookeeper实现分布式锁；
4. redisson

五、基于数据库的实现方式

基于数据库的实现方式的核心思想是：在数据库中创建一个表，表中包含方法名等字段，并在方法名字段上创建唯一索引，想要执行某个方法，就使用这个方法名向表中插入数据，成功插入则获取锁，执行完成后删除对应的行数据释放锁。

（1）创建一个表：

DROP TABLE IF EXISTS `method_lock`;
CREATE TABLE `method_lock` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',
  `method_name` varchar(64) NOT NULL COMMENT '锁定的方法名',
  `desc` varchar(255) NOT NULL COMMENT '备注信息',
  `update_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uidx_method_name` (`method_name`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COMMENT='锁定中的方法';

（2）想要执行某个方法，就使用这个方法名向表中插入数据：

INSERT INTO method_lock (method_name, desc) VALUES ('methodName', '测试的methodName');

因为我们对method_name做了唯一性约束，这里如果有多个请求同时提交到数据库的话，数据库会保证只有一个操作可以成功，那么我们就可以认为操作成功的那个线程获得了该方法的锁，可以执行方法体内容。

（3）成功插入则获取锁，执行完成后删除对应的行数据释放锁：

delete from method_lock where method_name ='methodName';

注意：这只是使用基于数据库的一种方法，使用数据库实现分布式锁还有很多其他的玩法！

使用基于数据库的这种实现方式很简单，但是对于分布式锁应该具备的条件来说，它有一些问题需要解决及优化：

1、因为是基于数据库实现的，数据库的可用性和性能将直接影响分布式锁的可用性及性能，所以，数据库需要双机部署、数据同步、主备切换；

2、不具备可重入的特性，因为同一个线程在释放锁之前，行数据一直存在，无法再次成功插入数据，所以，需要在表中新增一列，用于记录当前获取到锁的机器和线程信息，在再次获取锁的时候，先查询表中机器和线程信息是否和当前机器和线程相同，若相同则直接获取锁；

3、没有锁失效机制，因为有可能出现成功插入数据后，服务器宕机了，对应的数据没有被删除，当服务恢复后一直获取不到锁，所以，需要在表中新增一列，用于记录失效时间，并且需要有定时任务清除这些失效的数据；

4、不具备阻塞锁特性，获取不到锁直接返回失败，所以需要优化获取逻辑，循环多次去获取。

5、在实施的过程中会遇到各种不同的问题，为了解决这些问题，实现方式将会越来越复杂；依赖数据库需要一定的资源开销，性能问题需要考虑。

五、基于Redis的实现方式

1、选用Redis实现分布式锁原因：
（1）Redis有很高的性能；
（2）Redis命令对此支持较好，实现起来比较方便

2、使用命令介绍：

（1）SETNX

SETNX key val：当且仅当key不存在时，set一个key为val的字符串，返回1；若key存在，则什么都不做，返回0。

（2）expire

expire key timeout：为key设置一个超时时间，单位为second，超过这个时间锁会自动释放，避免死锁。

（3）delete

delete key：删除key

在使用Redis实现分布式锁的时候，主要就会使用到这三个命令。

3、实现思想：

（1）获取锁的时候，使用setnx加锁，并使用expire命令为锁添加一个超时时间，超过该时间则自动释放锁，锁的value值为一个随机生成的UUID，通过此在释放锁的时候进行判断。

（2）获取锁的时候还设置一个获取的超时时间，若超过这个时间则放弃获取锁。

（3）释放锁的时候，通过UUID判断是不是该锁，若是该锁，则执行delete进行锁释放。

4、分布式锁的简单实现代码：

package com.taiping.user.provider.component;

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.StringUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisCallback;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;

import java.util.Objects;

@Component
@Slf4j
public class CommonRedisHelper {
    public static final String LOCK_PREFIX = "redis_lock";
    public static final int LOCK_EXPIRE = 10 * 1000; // 锁过期时间ms

    public static final int LOCK_EXPIRE_WAIT = 100; // 获取锁失败后的等待时间ms，等待时间过去后再次尝试获取

    private static final int LOCK_TIMEOUT = 5 * 1000; //锁等待时间，ms

    @Autowired
    RedisTemplate redisTemplate;


    public boolean lock(String key){
        log.info("lock invoke, key = {}", key);
        return (Boolean) redisTemplate.execute((RedisCallback) connection -> {
            //获取锁的超时时间，超过这个时间还没获取到锁，认为失败
            int timeoutMs = LOCK_TIMEOUT;
            while (timeoutMs >= 0) {
                //锁过期时间
                long expireAt = System.currentTimeMillis() + LOCK_EXPIRE + 1;
                Boolean acquire = connection.setNX(key.getBytes(), String.valueOf(expireAt).getBytes());

                //锁获取成功，直接返回
                if (acquire) {
                    log.info("lock acquire success, key = {}", key);
                    return true;
                }

                byte[] value = connection.get(key.getBytes());
                boolean isExpired = Objects.nonNull(value) && Long.parseLong(new String(value)) < System.currentTimeMillis();

                //如果当前锁已过期，可以尝试通过更新锁过期时间，来获取锁
                if (isExpired) {
                    byte[] oldValue = connection.getSet(key.getBytes(), String.valueOf(System.currentTimeMillis() + LOCK_EXPIRE + 1).getBytes());
                    //如果锁的过期时间值，没有被其他线程修改，则获取锁成功
                    if (Objects.nonNull(oldValue) && Objects.equals(Long.parseLong(new String(value)), Long.parseLong(new String(oldValue)))) {
                        log.info("lock acquire success2, key = {}", key);
                        return true;
                    }
                }

                //没有获取锁成功，则等待一段时间再去获取
                timeoutMs -= LOCK_EXPIRE_WAIT;
                try {
                    Thread.sleep(LOCK_EXPIRE_WAIT);
                } catch (InterruptedException e) {
                    log.error("lock error, key = {}", key, e);
                }
            }
            //超过时间还没获取到锁，则获取失败
            return false;
        });
    }

    /**
     * 删除锁
     *
     * @param key
     */
    public void delete(String key) {

        boolean result = redisTemplate.delete(key);
        log.info("删除lock key {}： {}",key,result);
    }


}



//public class CommonRedisHelper {
//    public static final String LOCK_PREFIX = "redis_lock";
//    public static final int LOCK_EXPIRE = 10 * 1000; // ms
//
//    public static final int LOCK_EXPIRE_WAIT = 100; // ms
//
//    @Autowired
//    RedisTemplate redisTemplate;
//
//
//    /**
//     *  最终加强分布式锁
//     *
//     * @param key key值
//     * @return 是否获取到
//     */
//    public boolean lock(String key){
//        String lock = key;
//        // 利用lambda表达式
//        return (Boolean) redisTemplate.execute((RedisCallback) connection -> {
//
//            long expireAt = System.currentTimeMillis() + LOCK_EXPIRE + 1;
//            Boolean acquire = connection.setNX(lock.getBytes(), String.valueOf(expireAt).getBytes());
//
//            if (acquire) {
//                return true;
//            } else {
//
//                try {
//                    byte[] value = connection.get(lock.getBytes());
//
//                    if (Objects.nonNull(value) && value.length > 0) {
//
//                        while (true) {
//                            long expireTime = Long.parseLong(new String(value));
//
//                            if (expireTime <= System.currentTimeMillis()) {
                        // 如果锁已经过期
                        byte[] oldValue = connection.getSet(lock.getBytes(), String.valueOf(System.currentTimeMillis() + LOCK_EXPIRE + 1).getBytes());
                        // 防止死锁
                        log.info(" user lock  key {},expireTime is {},current is  {}",key,expireTime,System.currentTimeMillis());
                        return Long.parseLong(new String(oldValue)) < System.currentTimeMillis();
//                                log.info(" lock is  expire ,then delete key");
//                                byte[] oldValue =  connection.getSet(lock.getBytes(), String.valueOf(System.currentTimeMillis() + LOCK_EXPIRE + 1).getBytes());
//                                return oldValue!=null?Long.parseLong(new String(oldValue)) < System.currentTimeMillis():true;
//                            } else {
//                                Thread.sleep(LOCK_EXPIRE_WAIT);
//                            }
//                        }
//                    }
//                } catch (InterruptedException e) {
//                    e.printStackTrace();
//                }
//            }
//            return false;
//        });
//    }
//
//    /**
//     * 删除锁
//     *
//     * @param key
//     */
//    public void delete(String key) {
//
//        boolean result = redisTemplate.delete(key);
//        log.info("删除lock key {}： {}",key,result);
//    }
//
//
//}

5、如何使用分布式锁呢,导入工具类后:

boolean lock = redisHelper.lock(key);
    if (lock) {
      // 执行逻辑操作
      ...
      redisHelper.delete(key);
    } else {
      // 设置失败次数计数器, 当到达5次时, 返回失败
      int failCount = 1;
      while(failCount <= 5){
        // 等待100ms重试
        try {
          Thread.sleep(100l);
        } catch (InterruptedException e) {
          e.printStackTrace();
        }
        if (redisHelper.lock(key)){
          // 执行逻辑操作
          ...
          redisHelper.delete(key);
        }else{
          failCount ++;
        }
      }
      throw new RuntimeException("现在创建的人太多了, 请稍等再试");
    }

七、基于ZooKeeper的实现方式

ZooKeeper是一个为分布式应用提供一致性服务的开源组件，它内部是一个分层的文件系统目录树结构，规定同一个目录下只能有一个唯一文件名。基于ZooKeeper实现分布式锁的步骤如下：

（1）创建一个目录mylock；
（2）线程A想获取锁就在mylock目录下创建临时顺序节点；
（3）获取mylock目录下所有的子节点，然后获取比自己小的兄弟节点，如果不存在，则说明当前线程顺序号最小，获得锁；
（4）线程B获取所有节点，判断自己不是最小节点，设置监听比自己次小的节点；
（5）线程A处理完，删除自己的节点，线程B监听到变更事件，判断自己是不是最小的节点，如果是则获得锁。

这里推荐一个Apache的开源库Curator，它是一个ZooKeeper客户端，Curator提供的InterProcessMutex是分布式锁的实现，acquire方法用于获取锁，release方法用于释放锁。

优点：具备高可用、可重入、阻塞锁特性，可解决失效死锁问题。

缺点：因为需要频繁的创建和删除节点，性能上不如Redis方式。

八、基于redission的实现方式

Redisson是java的redis客户端之一，提供了一些api方便操作redis。

但是redisson这个客户端可有点厉害，笔者在官网截了仅仅是一部分的图：

这个特性列表可以说是太多了，是不是还看到了一些JUC包下面的类名，redisson帮我们搞了分布式的版本，比如AtomicLong，直接用RedissonAtomicLong就行了，连类名都不用去新记，很人性化了。

锁只是它的冰山一角，并且从它的wiki页面看到，对主从，哨兵，集群等模式都支持，当然了，单节点模式肯定是支持的。

本文还是以锁为主，其他的不过多介绍。

Redisson普通的锁实现源码主要是RedissonLock这个类，还没有看过它源码的盆友，不妨去瞧一瞧。

源码中加锁/释放锁操作都是用lua脚本完成的，封装的非常完善，开箱即用。

这里有个小细节，加锁使用setnx就能实现，也采用lua脚本是不是多此一举？笔者也非常严谨的思考了一下：这么厉害的东西哪能写废代码？

其实笔者仔细看了一下，加锁解锁的lua脚本考虑的非常全面，其中就包括锁的重入性，这点可以说是考虑非常周全，我也随手写了代码测试一下：

的确用起来像jdk的ReentrantLock一样丝滑

九、总结

上面的三种实现方式，没有在所有场合都是完美的，所以，应根据不同的应用场景选择最适合的实现方式。

在分布式环境中，对资源进行上锁有时候是很重要的，比如抢购某一资源，这时候使用分布式锁就可以很好地控制资源。
当然，在具体使用中，还需要考虑很多因素，比如超时时间的选取，获取锁时间的选取对并发量都有很大的影响，上述实现的分布式锁也只是一种简单的实现，主要是一种思想

推荐几篇关于redis分布式锁的好文章：

redis实现分布式锁的7种方案：https://www.cnblogs.com/wangyingshuo/p/14510524.html

redis系列：分布式锁:https://juejin.cn/post/6844903656911798285

浅析 Redis 分布式锁解决方案:https://www.infoq.cn/article/dvaaj71f4fbqsxmgvdce

细说Redis分布式锁🔒:https://juejin.cn/post/6844904082860146695#heading-3

参考：

https://www.cnblogs.com/liuqingzheng/p/11080501.html

https://www.jumtu.com/article/92839.html

蜗牛

关注

2
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分布式锁原理与实现

什么是分布式锁？实现分布式锁的三种方式在很多场景中，我们为了保证数据的最终一致性，需要很多的技术方案来支持，比如分布式事务、分布式锁等。那具体什么是分布式锁，分布式锁应用在哪些业务场景、如何来实现分布式锁呢？一、为什么要使用分布式锁我们在开发应用的时候，如果需要对某一个共享变量进行多线程同步访问的时候，可以使用我们学到的锁进行处理，并且可以完美的运行，毫无Bug！注意这是单机应用，后来业务发展，需要做集群，一个应用需要部署到几台机器上然后做负载均衡，大致如下图：上图可以看到，变量A存在
复制链接

扫一扫