Redis异步写失败后补数逻辑设计

2024-01-10 08:20
文章标签 redis 异步 失败 逻辑设计 补数

本文主要是介绍Redis异步写失败后补数逻辑设计，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景

最近各种机房事故频发，所以很多公司都对Redis存储等进行异步多活，我们公司采用的方式是通过客户端双写的方式来实现异地Redis机房的备份，但是当异地机房出现临时网络故障时，就涉及到了如何进行补数的操作，本文就是来记录下如何补数

Redis补数设计

首先可以补数的前提肯定需要记录写异地机房失败的redis命令，所以当客户端在写异地机房失败时，我们需要先把失败的redis命令写到kafka主题中，不过由于我们需要确保同一个key操作的顺序性，所以需要确保同一个redis的key命令发送到同一个kafka分区

其次补数的主要逻辑是通过对比Redis源集群和目标集群对应key的数据，把Redis源集群的key对应的value设置到目标Redis集群的key上面

此外还需要考虑的一些要点包括：

1.为了防止对Redis造成太大的压力，消费消息时需要进行限流(可以通过预期QPS/分片数=每个分片的消费速度，进行每分片限流)

2.补数时针对不同的redis的cmd需要不同的处理逻辑，比如针对SADD和SET就是两种不同的处理逻辑

方案设计如下
在这里插入图片描述

这篇关于Redis异步写失败后补数逻辑设计的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/590150。

相关文章

Windows/macOS/Linux 安装 Redis 和 Redis Desktop Manager 可视化工具

Windows/macOS/Linux 安装 Redis 和 Redis Desktop Manager 可视化工具

本文所有安装都在macOS High Sierra 10.13.4进行，Windows安装相对容易些，Linux安装与macOS类似，文中会做区分讲解 1. Redis安装 1.下载Redis https://redis.io/download 把下载的源码更名为redis-4.0.9-source，我喜欢跟maven、Tomcat放在一起，就放到/Users/zhan/Documents
阅读更多...
加载资源文件失败

加载资源文件失败

背景         自己以前装了一个海康的深度学习算法平台，试用期是一个月，过了一个月之后，因为没有有效注册码或者加密狗的支持了导致无法使用，于是打算卸载掉，在卸载一个软件的时候，无论是使用控制面板还是软件自带的卸载功能，总是卸载不掉，提示“加载资源文件失败”。该软体主要包括以下两部分： 用自带卸载功能卸载的时候分别提示如下：     用控制面板卸载的时候反应很慢，最后也是提示这个
阅读更多...
yum install 失败报错`XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)

yum install 失败报错`XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)

/export/env/py3.6/lib/liblzma.so.5: version `XZ_5.1.2alpha' not found (required by /lib64/librpmio.so.3)   到/export/env/py3.6/lib cp /lib64/liblzma.so.5.2.2 . sudo ln -s -f liblzma.so.5.2.2 liblzm
阅读更多...
为什么要做Redis分区和分片

为什么要做Redis分区和分片

Redis分区（Partitioning）和分片（Sharding）是将数据分布在多个Redis实例或多个节点上的做法。这种技术用于提高性能、可扩展性和可用性。以下是执行Redis分区和分片的主要原因： 1. **提高吞吐量**：    - 通过将数据分散到多个节点，可以并行处理更多的操作，从而提高整体吞吐量。 2. **内存限制**：    - 单个Redis实例的内存是有限的。分区允许数据
阅读更多...
如何理解redis是单线程的

如何理解redis是单线程的

写在文章开头 在面试时我们经常会问到这样一道题 你刚刚说redis是单线程的，那你能不能告诉我它是如何基于单个线程完成指令接收与连接接入的？ 这时候我们经常会得到沉默，所以对于这道题，笔者会直接通过3.0.0源码分析的角度来剖析一下redis单线程的设计与实现。 Hi，我是 sharkChili ，是个不断在硬核技术上作死的 java coder ，是 CSDN的博客专家 ，也是开源
阅读更多...
BD错误集锦4——IDEA编程连接hbase失败，put操作一直没有通过，并且无异常信息

BD错误集锦4——IDEA编程连接hbase失败，put操作一直没有通过，并且无异常信息

参考文章：https://blog.csdn.net/ZJ18712852367/article/details/81938524
阅读更多...
Redis-在springboot环境下执行lua脚本

Redis-在springboot环境下执行lua脚本

文章目录 1、什么lua2、创建SpringBoot工程3、引入相关依赖4、创建LUA脚本5、创建配置类6、创建启动类7、创建测试类 1、什么lua “Lua”的英文全称是“Lightweight Userdata Abstraction Layer”，意思是“轻量级用户数据抽象层”。 2、创建SpringBoot工程 3、引入相关依赖 <?xml version
阅读更多...
VS2012加载失败

VS2012加载失败

1、通过命令提示行工具进入VS安装目录下的Common7\IDE 2、执行devenv.exe /setup /resetuserdata /resetsettings 3、重启VS
阅读更多...
redis切换数据库的方法【jedis】

redis切换数据库的方法【jedis】

package com.test;import redis.clients.jedis.Jedis;public class readredis {public static void main(String[] args) {// 连接本地的 Redis 服务Jedis jedis = new Jedis("127.0.0.1", 6379);jedis.select(10);String v
阅读更多...
Redis 高性能基本操作

Redis 高性能基本操作

单元素操作是基础 单元素操作，是指每一种集合类型对单个数据实现增删改查 例如，Hash 类型的 HGET、HSET 和 HDEL，Set 类型的 SADD、SREM、SRANDMEMBER 等这些操作的复杂度由集合采用的数据结构决定，例如，HGET、HSET 和 HDEL 是对哈希表做操作，所以它们的复杂度都是 O(1)Set 类型用哈希表作为底层数据结构时，它的 SADD、SREM、SRAN
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2