Rides实现分布式锁,保障数据一致性,Redisson分布式事务处理

本文主要是介绍Rides实现分布式锁,保障数据一致性,Redisson分布式事务处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

分布式环境下分布式锁有三种方式:

基于数据库分布式锁

基于Redis分布式锁

基于zk分布式锁

本帖只介绍Redis分布式锁

为什么需要用到分布式锁

        在单机环境下一个服务中多个线程对同一个事物或数据资源进行操作时,可以通过添加加锁方式(synchronized和lock)来解决数据一致性的问题。

        但是如果出现多个服务的情况下,这时候我们在通过synchronized和lock的方式来加锁会出现问题,因为多个服务的内存不是共享的,加锁只能添加到当前服务的进程和线程。

        所以出现了分布式锁,用来解决同一时间分布式系统之间对同一事物或数据资源操作的问题,从而保证数据的一致性。

基于Redis的分布式锁

基于string类型集合中的setnx(原子性的)方法命令来做的分布式锁。

简单加锁

Boolean lock = stringRedisTemplate.opsForValue().setIfAbsent("lock", "1");if (lock) {// 加锁成功// 执行业务// 释放锁}else {// 加锁失败。。重试(可以通过自旋方式重试)}

存在的问题

        如果业务代码异常,在执行过程中宕机。没有执行删除锁逻辑,这样就会造成死锁,导致锁无法被释放,其他服务线程无法继续执行逻辑。

解决:

设置锁的过期时间,保障如果没有正常删除可以自动删除锁

解决死锁加锁

重点:要保证加锁和设置过期时间的原子性操作,以避免加锁后宕机造成死锁。

// redis占分布式锁并设置过期时间Boolean lock = stringRedisTemplate.opsForValue().setIfAbsent("lock", "1",100,TimeUnit.MILLISECONDS);if (lock) {// 加锁成功// 执行业务// 释放锁}else {// 加锁失败。。重试(可以通过自旋方式重试)}

存在问题:

1.业务超时问题(业务处理时间大于锁的过期时间)。

2. 业务超时,导致在执行删锁操作时,其实自己的锁早过期了,此时的锁正被其他人所持有,这时候会删除掉别人的锁。

解决:删除锁必须保证原子性。使用redis——Lua脚本完成。

Lua脚本加锁

String uuid = UUID.randomUUID().toString();Boolean lock = stringRedisTemplate.opsForValue().setIfAbsent("lock", "1",100,TimeUnit.MILLISECONDS);if (lock) {// 加锁成功try {// 执行业务}finally {// 释放锁,Lua脚本删除锁,保证删除原子性String script = "if redis.call('get', KEYS[1]) == tonumber(ARGV[1]) then return redis.call('del', KEYS[1]) else return 0 end";stringRedisTemplate.execute(new DefaultRedisScript<Long>(script,Long.class), Arrays.asList("locl"),uuid);}}else {// 加锁失败。。重试(可以通过自旋方式重试)}

业务续期问题:业务执行时间过长,在业务没有执行完却自动过期删除了。解决的最简单办法就是设置一个比较长的过期时间。

redis分布式锁核心两处:1.加锁原子性,2解锁原子性。

那么如何实现我们分布式的各种锁呢,因为分布式不只是我们简单的上述一个简单锁,如果我们也想用读写锁、闭锁、信号量等需要怎么实现。  基于java还有 redis分布式锁有更专业的框架Redisson

Redisson

Redisson是一个在Redis的基础上实现的Java驻内存数据网格(In-Memory Data Grid)。它不仅提供了一系列的分布式的Java常用对象,还提供了许多分布式服务。其中包括(BitSetSetMultimapSortedSetMapListQueueBlockingQueueDequeBlockingDequeSemaphoreLockAtomicLongCountDownLatchPublish / SubscribeBloom filterRemote serviceSpring cacheExecutor serviceLive Object serviceScheduler service) Redisson提供了使用Redis的最简单和最便捷的方法。Redisson的宗旨是促进使用者对Redis的关注分离(Separation of Concern),从而让使用者能够将精力更集中地放在处理业务逻辑上。

Redisson实现分布式锁

1.Redisson实现分布式锁

        // 获取锁RLock lock = redissonClient.getLock("lock");try {// 加锁lock.lock();// 处理业务}catch (Exception e){e.printStackTrace();}finally {// 释放锁lock.unlock();}

重点:

1.Redisson加锁自动有过期时间默认30sRedisson看门狗如果业务没有执行完,会自动进行锁的续期(30s),防止程序还没执行结束,锁自动删除

2.如果业务执行完成没有手动释放锁,锁的过期时间到了也会自动释放锁

2.Redisson分布式锁定时过期

// 10秒钟以后自动解锁
// 无需调用unlock方法手动解锁
fairLock.lock(10, TimeUnit.SECONDS);

重点:

        如果设置了锁的超时时间,默认超时就是我们指定的时间,不会自动续期

        如果我们未指定锁的超时时间,就会使用30s(看门狗的默认时间)。

        看门狗的原理:只要未指定超时时间站锁成功,就会启动一个定时任务(看门狗,重新给锁设置过期时间,新的过期时间就是看门狗的默认时间),看门狗每隔10秒(看门狗默认时间的/3)都会再次续期30s。

3.分布式锁-尝试锁

// 尝试加锁,最多等待100秒,上锁以后10秒自动解锁
boolean res = lock.tryLock(100, 10, TimeUnit.SECONDS);
if (res) {try {...} finally {lock.unlock();}
}

尝试锁会在设定的尝试时间内等待,一旦超过这个等待时间就自动结束等待

公平锁

公平锁相对上述来说只不过是换了一个方法,与之前的使用方法是一样的。

基于Redis的Redisson分布式可重入公平锁也是实现了java.util.concurrent.locks.Lock接口的一种RLock对象。同时还提供了异步(Async)、反射式(Reactive)和RxJava2标准的接口。它保证了当多个Redisson客户端线程同时请求加锁时,优先分配给先发出请求的线程。所有请求线程会在一个队列中排队,当某个线程出现宕机时,Redisson会等待5秒后继续下一个线程,也就是说如果前面有5个线程都处于等待状态,那么后面的线程会等待至少25秒。

RLock fairLock = redisson.getFairLock("anyLock");
// 最常见的使用方法
fairLock.lock();

读写锁

1.读写锁

基于Redis的Redisson分布式可重入读写锁RReadWriteLock。

分布式可重入读写锁允许同时有多个读锁和一个写锁处于加锁状态。

RReadWriteLock rwlock = redisson.getReadWriteLock("anyRWLock");
// 读锁
rwlock.readLock().lock();
// 写锁
rwlock.writeLock().lock();

重点:

        锁名一样就是同一把读写锁,读加读锁,修改是加写锁。如果别人正在修改数据,我们还想读取到最新数据,那么这时候就需要等待写锁释放,读取数据才能进行。

        如果都是并发读,互相并不影响。只要写锁存在,读锁就要等待。

        如果负责储存这个分布式锁的Redis节点宕机以后,而且这个锁正好处于锁住的状态时,这个锁会出现锁死的状态。为了避免这种情况的发生,Redisson内部提供了一个监控锁的看门狗,它的作用是在Redisson实例被关闭前,不断的延长锁的有效期。默认情况下,看门狗的检查锁的超时时间是30秒钟,也可以通过修改Config.lockWatchdogTimeout来另行指定。

2.读写锁设置过期时间

        Redisson还通过加锁的方法提供了leaseTime的参数来指定加锁的时间。超过这个时间后锁便自动解开了。

// 10秒钟以后自动解锁
// 无需调用unlock方法手动解锁
rwlock.readLock().lock(10, TimeUnit.SECONDS);
// 或
rwlock.writeLock().lock(10, TimeUnit.SECONDS);// 尝试加锁,最多等待100秒,上锁以后10秒自动解锁
boolean res = rwlock.readLock().tryLock(100, 10, TimeUnit.SECONDS);
// 或
boolean res = rwlock.writeLock().tryLock(100, 10, TimeUnit.SECONDS);
...
lock.unlock();

信号量

        基于Redis的Redisson的分布式信号量,提供了异步(Async)、反射式(Reactive)和RxJava2标准的接口。

RSemaphore semaphore = redisson.getSemaphore("semaphore");
// 获取一个信号
semaphore.acquire();//或
semaphore.acquireAsync();
semaphore.acquire(23);
semaphore.tryAcquire();
//或
semaphore.tryAcquireAsync();
semaphore.tryAcquire(23, TimeUnit.SECONDS);
//或
semaphore.tryAcquireAsync(23, TimeUnit.SECONDS);
semaphore.release(10);
semaphore.release();
// 释放一个信号
semaphore.releaseAsync();

信号量可用作限流,假如我们的服务器只能支撑1w个并发,这是我们可是使用信号量来处理。

闭锁

应用场景设置数量,当数量全部消耗完成闭锁。

RCountDownLatch latch = redisson.getCountDownLatch("anyCountDownLatch");
// 设置数量
latch.trySetCount(3);
// 等待数量消耗完成,然后闭锁
latch.await();------------------------
// 在其他线程或其他JVM里
RCountDownLatch latch = redisson.getCountDownLatch("anyCountDownLatch");
// 计数减1
latch.countDown();

这篇关于Rides实现分布式锁,保障数据一致性,Redisson分布式事务处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1136006

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time