如何在分布式环境中实现高可靠性分布式锁

2024-08-21 10:04
文章标签 分布式 高可靠性 环境 实现

本文主要是介绍如何在分布式环境中实现高可靠性分布式锁，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

一、简单了解分布式锁

（一）分布式锁：应对分布式环境的同步挑战

（二）分布式锁的实现方式

（三）分布式锁的使用场景

（四）分布式锁需满足的特点

二、Redis 实现分布式锁的基本思路（粗糙实现版本）

（一）实现步骤

（二）基本代码展示

（三）上述实现的缺陷

三、健壮分布式锁聚焦

（一）误删问题的分析

问题说明

解决方案

具体实现步骤

具体代码实现

（二）原子性保证

问题场景

解决方案：使用 Lua 脚本

设置锁并设置过期时间（原子操作）

释放锁（原子操作）

Java 调用 Lua 脚本

（三）超时自动解锁

问题描述

传统解决方案

改进方案：锁续期机制

具体实现步骤

Java 实现示例

注意事项

四、总结

随着系统架构逐渐从单机走向分布式，如何在分布式环境下保证线程同步执行成为一个不可忽视的问题。分布式锁作为解决这一问题的关键技术，为分布式系统中的资源共享和任务协调提供了重要支持。选择合适的分布式锁实现方式，可以有效提高系统的可靠性和一致性，确保业务逻辑的正确执行。历 史相关文章回顾：

  • 谈谈Redis分布式锁
  • 分布式锁的几种简单实现方式分析
  • RedLock 与 Redisson 实现分布式锁

一、简单了解分布式锁

在多线程环境下，为了保证同一时间只有一个线程能够执行某段代码，Java 提供了 synchronized 关键字和 ReentrantLock 类作为本地锁的解决方案。这些机制在单个应用或单个 JVM 实例中运行良好，确保了同一进程内的线程同步。但是，随着分布式架构的广泛应用，应用程序通常运行在多个节点上，并且每个节点都有多个线程同时处理任务。在这种情况下，传统的本地锁机制已经无法满足分布式环境下的同步需求。

（一）分布式锁：应对分布式环境的同步挑战

在分布式系统中，应用程序可能运行在多个物理或虚拟的节点上，这意味着相同的资源可能会被不同节点上的多个线程同时访问。为了确保这些线程在不同节点上同步执行，防止资源竞争和数据不一致问题，我们需要使用一种能够跨节点的同步机制——分布式锁。

分布式锁是一种用于控制在分布式环境中，某个共享资源在同一时刻只能被一个节点或线程使用的机制。它类似于传统的本地锁，但具有跨节点的协调能力。分布式锁通常由外部的分布式系统组件（如 Redis、Zookeeper、Tair 等）来实现，这些组件提供了高可用的锁服务，确保即使在节点故障或网络分区的情况下，锁的状态依然能够保持一致。

（二）分布式锁的实现方式

分布式锁可以通过多种方式实现，每种方式都有其适用的场景和优缺点。以下是几种常见的分布式锁实现方式（简单直接的实现方式见：分布式锁的几种简单实现方式分析）：

  1. 基于 Redis 的分布式锁： Redis 是一种常用的内存数据库，可以通过 SETNX 命令（Set if Not Exists）来实现分布式锁。Redis 锁具有高性能、低延迟的优点，适用于大部分需要快速锁定的场景。通过设置锁的过期时间，可以防止死锁问题。

  2. 基于 Zookeeper 的分布式锁： Zookeeper 是一个分布式协调服务，提供了严格的一致性保证。它通过创建临时有序节点实现分布式锁。Zookeeper 锁的优点是可靠性高，适用于对数据一致性要求高的场景，如分布式事务。

  3. 基于数据库的分布式锁： 可以利用数据库的行级锁来实现分布式锁，通过在数据库表中插入一条记录或更新记录的状态来表示加锁。虽然这种方式实现简单，但性能较低，适用于锁争用不激烈的场景。

  4. 基于 Tair 的分布式锁： Tair 是一种高性能分布式缓存系统，也支持分布式锁功能，适用于需要高并发和高可用的场景。

（三）分布式锁的使用场景

分布式锁在分布式系统中有广泛的应用，典型的使用场景如：

  • 分布式任务调度： 确保某个任务在某个时间点只由一个节点执行，防止重复调度。
  • 分布式事务控制： 在多服务参与的分布式事务中，确保事务的各个阶段按照预定顺序执行。
  • 资源竞争： 防止多个节点同时修改相同的资源（如数据库记录、缓存数据）导致的数据不一致问题。

（四）分布式锁需满足的特点

特点描述
互斥性确保同一时刻只有一个线程能持有锁，防止多个节点或线程对共享资源的并发访问，保证资源的独占使用。
可重入性允许同一节点上的同一个线程在已持有锁的情况下，能够再次成功获取该锁，避免锁重入时产生死锁。
锁超时通过为锁设置过期时间，防止因线程异常或故障未释放锁而导致的死锁情况，确保系统的稳定性和健壮性。
高性能与高可用性锁的加锁与解锁操作需要高效，以满足高并发需求，并且要确保在节点故障或网络分区等情况下，锁服务依然可用，保障系统的持续运行。
阻塞与非阻塞性支持锁的阻塞和非阻塞模式。在阻塞模式下，线程在锁不可用时等待锁的释放，并在锁可用时及时被唤醒；在非阻塞模式下，线程可以立即返回继续执行其他逻辑。
可扩展性锁机制能够随着系统规模的增长而扩展，支持更多节点和更高并发量，保持系统的性能和可靠性。

二、Redis 实现分布式锁的基本思路（粗糙实现版本）

Redis 是一个高性能的键值存储系统，适合用于实现分布式锁，因为它能够在高并发的场景下提供快速的读写操作。借助 Redis 的 SET 命令及其 NX（不存在则插入）参数，我们可以构建一个简单的分布式锁机制。

（一）实现步骤

  1. 获取锁：通过 SET key value NX EX seconds 命令尝试获取锁。如果 key 不存在，则插入成功，并设置过期时间（EX 参数），表示锁定成功；如果 key 已存在，则表示锁已经被其他客户端持有，获取锁失败。

  2. 解锁：当持有锁的线程完成任务后，可以通过 DEL key 命令删除该 key 来释放锁，从而让其他等待锁的线程有机会获得锁。

  3. 防止死锁：为了防止死锁，在获取锁时设置一个合理的过期时间（TTL），即使由于程序异常未能显式释放锁，锁也会在 TTL 到期后自动释放。

（二）基本代码展示

// 尝试获取锁
if (set(key, 1, "NX", "EX", 30)) {try {// 执行需要加锁的业务逻辑} finally {// 释放锁del(key);}
}

（三）上述实现的缺陷

尽管这种方法简单易用，但它存在几个严重的问题，使得其无法成为一个健壮的分布式锁实现：

  1. 非原子性操作：锁的获取与锁的过期时间设置不是原子操作。假设在 SETNX 成功后，但在设置过期时间之前，程序崩溃或出现异常，那么锁将一直存在，导致其他线程无法获取锁，从而产生死锁。

  2. 锁误解除：当持有锁的线程被阻塞或出现延迟，锁的过期时间到期后自动释放，此时如果有其他线程获取了同一个锁，原本持有锁的线程执行完毕后仍然会执行 DEL 操作，从而误解锁，破坏了其他线程的业务逻辑。

  3. 业务超时自动解锁导致并发问题：由于业务执行时间不确定，如果锁的 TTL 到期，锁会自动释放，可能导致多个线程同时执行临界区代码，从而引发并发问题。

  4. 不可重入性：该实现不支持可重入性，即同一线程无法多次获得同一把锁。如果线程因递归或重复调用需要再次获取锁，会因为锁已经存在而获取失败。

三、健壮分布式锁聚焦

（一）误删问题的分析

问题说明

在分布式锁的实现中，存在一种潜在的风险，即线程在解锁时误删了其他线程持有的锁。具体情况如下：

  1. 线程1持有锁：线程1成功获取了锁并执行了一段业务逻辑。
  2. 线程1阻塞：线程1在执行过程中由于某种原因被阻塞，未能及时释放锁，导致锁的TTL（过期时间）到期，锁自动释放。
  3. 线程2获取锁：此时，线程2尝试获取锁，并成功获得了已经释放的锁。
  4. 线程1解除阻塞：线程1解除阻塞，继续执行并尝试释放锁。
  5. 误删锁：由于线程1并不知道锁已经由线程2重新获取，因此直接执行 DEL 操作，误删了属于线程2的锁。

解决方案

为了解决上述问题，可以在锁中存储一个唯一标识符（例如线程ID或UUID），并在释放锁时检查该标识符是否匹配，从而确保只有持有锁的线程才能成功释放锁。

​

具体实现步骤

  1. 获取锁时存储标识符：在获取锁时，使用 Redis 的 SET key value NX PX milliseconds 命令，其中 value 是一个唯一标识符（如线程ID或UUID）。这样可以确保在锁存储时记录锁的所有者信息。

  2. 释放锁时校验标识符：在释放锁时，先检查当前锁的值是否与线程的唯一标识符匹配。只有当标识符匹配时，才执行 DEL 操作以释放锁。

具体代码实现

String threadId = UUID.randomUUID().toString(); // 生成唯一标识符
if (set(key, threadId, "NX", "EX", 30)) {try {// 执行业务逻辑} finally {if (threadId.equals(get(key))) {del(key); // 释放锁}}
}

同时，这种方式也能够将分布式锁改造成可重入的分布式锁，在获取锁的时候判断一下是否是当前线程获取的锁，锁标识自增便可。

（二）原子性保证

在分布式锁中，SETNX 和 EXPIRE 操作不是原子性的，可能导致死锁等并发问题。为了解决这个问题，我们可以使用 Lua 脚本来确保这些操作的原子性。

问题场景

  • 非原子性操作：SETNX 成功后，如果 EXPIRE 操作未执行（例如由于服务器故障或网络问题），锁可能没有超时时间，从而导致死锁。
  • 误删锁：线程在判断标识符一致后，如果因阻塞导致锁过期，其他线程可能获取锁，而原线程仍然执行解锁操作，误删了新的锁。

解决方案：使用 Lua 脚本

Lua 脚本可以将多个 Redis 操作封装为一个原子操作，确保获取锁、设置过期时间、判断标识符和删除锁的操作按预期执行。Lua 脚本示例：

设置锁并设置过期时间（原子操作）
if (redis.call('setnx', KEYS[1], ARGV[1]) < 1) then   return 0;  -- 获取锁失败
end;
redis.call('expire', KEYS[1], tonumber(ARGV[2]));  -- 设置过期时间
return 1;  -- 获取锁成功
释放锁（原子操作）
if (redis.call('get', KEYS[1]) == ARGV[1]) then    return redis.call('del', KEYS[1]);  -- 释放锁
end; 
return 0;  -- 当前线程不是锁持有者

Java 调用 Lua 脚本

通过 Java 调用 eval 方法执行上述 Lua 脚本，确保 Redis 操作的原子性：

// 获取锁
Object result = jedis.eval(luaScriptForSet, 
Collections.singletonList(key), 
Arrays.asList(threadId, "30"));// 释放锁
Object result = jedis.eval(luaScriptForDel, 
Collections.singletonList(key), 
Collections.singletonList(threadId));

使用 Lua 脚本可以确保分布式锁的关键操作在 Redis 中实现原子性，避免了由于非原子性操作导致的死锁和误删锁等并发问题，从而提升系统的可靠性。

（三）超时自动解锁

超时自动解锁的问题虽然在某些场景下不可避免，但可以通过一些机制来缓解，比如延长 TTL 或者增加锁续期机制。

问题描述

在分布式锁的使用中，如果线程的执行时间超过了锁的 TTL（过期时间），锁会自动释放，这时其他线程可能会获取到锁，而原线程还未执行完毕，可能导致数据不一致或业务逻辑错误。

传统解决方案

延长 TTL：可以通过将 TTL 设置得足够长来避免这种情况，但这可能导致其他线程长时间等待锁，特别是在发生意外宕机时，下一个线程将会阻塞很长时间，这并不优雅。

改进方案：锁续期机制

为了更优雅地解决这个问题，可以给获取锁的线程单独开一个守护线程，检测当前线程的运行情况。当发现锁的 TTL 即将到期时，守护线程可以自动为该锁续期，从而保证业务逻辑能够顺利执行完毕。

​

具体实现步骤

  1. 启动守护线程：在获取锁后，启动一个守护线程定期检查锁的 TTL 是否即将过期。

  2. 续期机制：守护线程在锁即将过期时，自动向 Redis 发送 PEXPIRE 命令，延长锁的有效时间。

  3. 停止守护线程：在业务逻辑执行完毕并释放锁后，守护线程应该被及时停止，避免不必要的资源消耗。

Java 实现示例

// 获取锁并启动守护线程
if (set(key, threadId, "NX", "EX", 30)) {// 启动守护线程ScheduledExecutorService scheduler = Executors.newScheduledThreadPool(1);scheduler.scheduleAtFixedRate(() -> {if (threadId.equals(get(key))) {expire(key, 30);  // 续期锁}}, 25, 25, TimeUnit.SECONDS);try {// 执行业务逻辑} finally {if (threadId.equals(get(key))) {del(key);  // 释放锁}scheduler.shutdown();  // 停止守护线程}
}

注意事项

  • 续期间隔：设置合理的续期间隔，通常可以设置为略小于 TTL，例如在 TTL 为 30 秒时，每 25 秒续期一次。

  • 可靠性：确保守护线程可靠地执行续期操作，避免续期失败导致锁过期。

通过为分布式锁增加一个守护线程来实现锁续期机制，可以避免由于线程阻塞导致的超时自动解锁问题，从而确保业务逻辑能够完整执行。这种方法比简单延长 TTL 更加优雅和灵活。

四、总结

 分布式锁确保在分布式环境中，某个共享资源在同一时刻只能被一个节点或线程访问，避免了传统本地锁在多节点环境中的同步问题。分布式锁通常由外部组件（如 Redis、Zookeeper）实现，这些组件提供了高可用的锁服务，确保锁在节点故障或网络分区情况下的可靠性。

常见实现方式:

  • 简单实现利用 Redis 的 SET 命令和 NX（不存在则插入）参数，可以快速实现分布式锁。然而，这种实现存在误删和超时处理等问题。
  • 健壮实现通过使用唯一标识符和 Lua 脚本来确保操作的原子性，可以解决误删和超时问题，提高分布式锁的可靠性。Lua 脚本将锁的设置和释放操作封装为原子操作，避免了非原子性操作带来的并发问题。
  • 看门狗机制通过监控锁的有效期，并在锁即将过期时自动续期，确保业务逻辑在锁的有效期内顺利执行，避免了因锁超时导致的数据不一致问题。

关键特点:

  • 互斥性、可重入性、锁超时、高性能与高可用性、阻塞与非阻塞性、可扩展性是分布式锁需要满足的基本特点。这些特点确保了锁的有效性和系统的稳定性。

通过选择合适的分布式锁实现方式，可以有效提升系统的可靠性和一致性，确保业务逻辑的正确执行。在实际应用中，需要根据具体场景选择合适的实现方式，并进行适当的优化和调整，以应对分布式环境下的复杂挑战。

这篇关于如何在分布式环境中实现高可靠性分布式锁的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1092850。

相关文章

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
安装nodejs环境

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本，包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装
阅读更多...
Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注，收藏不迷路💖 Kubernetes的PodSecurityPolicy（PSP）是一个关键的安全特性，它在Pod创建之前实施安全策略，确保P
阅读更多...
【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant(搭建基本环境)

【IPV6从入门到起飞】5-1 IPV6+Home Assistant #搭建基本环境 1 背景2 docker下载 hass3 创建容器4 浏览器访问 hass5 手机APP远程访问hass6 更多玩法 1 背景 既然电脑可以IPV6入站，手机流量可以访问IPV6网络的服务，为什么不在电脑搭建Home Assistant（hass），来控制你的设备呢？@智能家居 @万物互联
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2