唯品会多线程Redis设计与实现

2023-11-08 01:10

本文主要是介绍唯品会多线程Redis设计与实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

声明:本文来自京东张开涛的微信公众号(kaitao-1234567),授权CSDN转载,如需转载请联系作者。
作者:申政,开源爱好者,唯品会高级DBA,主要负责Redis相关领域的源码研究和研发工作。
责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。

本文将向大家分享下我们正在开发的多线程Redis。在我们的Redis使用中,发现了一些痛点问题,涉及到了Redis框架的设计。

图片描述

我们线上有大量的Redis实例在运行,规模比较庞大,有些Redis集群实例规模超过100+,我们开始对Redis进行了多线程版本的改造,就是我们现在正在开发的产品Vire。

图片描述

这是Vire的一个现状,分几个阶段进行开发,现在是0.1.0版本。

图片描述

以上是Vire 0.1.0的一些设计思路。下面说说具体实现:

图片描述

这是Vire的多线程模型,借鉴于memcached,master+worker线程模型。

图片描述

这个图比较直观的反映了线程模型的工作原理,多线程不可避免会用到锁,以下是Vire的锁机制:

图片描述

这里有个逻辑DB的概念,其实就是把多个Redis DB伪装成一个DB提供给用户。DB级别的锁,会不会性能很差呢?后续会有测试报告给出。

图片描述

用户使用的所有key,是通过key的Hash值被分散到了各个物理DB上,目的就是降低DB锁的竞争提升QPS,可以通过info命令看到物理db中key的分布:

图片描述

下面来看下成功执行一个Redis命令要走的流程:

图片描述

我们的DB锁是在哪一步使用呢?

图片描述

有可能用到DB锁的步骤就是红框中的两步,但像ping这样命令,在整个过程中是用不到DB锁的,可以看出,Worker线程在一部分时间是完全并行执行的,关于Vire中的后台线程:

图片描述

Worker线程专注于处理客户端的请求,杂活累活有backend线程来做,backend线程在Vire后续版本中,会发挥更重要的作用。

图片描述

这里是Vire代码内部对object的处理,这里会有些性能退化。

图片描述

这是Vire对多key命令的一些特殊处理,死锁的问题,导致个别Redis命令在Vire中暂时无法实现。

图片描述

Vire中增加了一些权限管理,Vire增加了管理员的角色,保证了一些危险命令不被开发执行。

下面说说Vire的测试:

图片描述

这里着重说说abtest和性能测试,为了保证Vire的命令执行起来与Redis一模一样,我们开发了abtest测试框架。详细说说abtest框架中各模块的作用:

图片描述

图片描述

这个测试框架有效的帮我们发现了一些bug,以下是性能测试:

图片描述

图片描述

图片描述

我们的目标就是性能接近或跟mc一样,以下是hotkey测试:

图片描述

hotkey的效果还不错。

Q&A

  1. Q:客户端需要换吗?
    A:客户端兼容,无需更换,使用起来跟原生redis一样

  2. Q:Worker和DB的关系是什么?
    A:Worker和DB没有关系, client是数据Worker线程的, DB是完全独立的

  3. Q:后期主备会支持吗?
    A:以后会支持主备,集群和脚本等高级功能

  4. Q:有没有想过把锁降低至key级别?
    A:没必要key级别的锁

  5. Q:死锁问题为何不通过顺序锁定相关DB来解决呢,我们的Redis是分布式锁,通过按统一的顺序锁定,就可以避免死锁
    A:锁的数量会太多,你说的这个死锁问题很好,有这样的想法,但还没有时间去验证可不可行,以后可以尝试。

  6. Q:Vire和Redis-cluster比起来哪个性能更好?
    A:Redis-cluster是集群模式,Vire是单实例,没办法比较性能,Vire最后一个版本希望能支持到集群

  7. Q:给我的理解Vire的多个逻辑DB的设计原理和Redis-cluster里多个分片原理是一样吧?
    A:非常类似, 只不过Redis-cluster里的slot是海量的,16384

  8. Q:现在Redis-cluster的解决方案是客户端自己计算slot的位置,可以通过根据操作的读写类型,实现负载均衡,Vire采取的多DB+多Worker的方案,他这样的优势在哪里?
    A:主要是提升单个实例的QPS能力

  9. Q:现在的设计是全部基于内存上的?服务器宕机是不是数据全都会消失
    A:Vire0.1.0版本数据全部在内存,只适合于做缓存, Vire后续版本会做持久化和复制,甚至是集群


2016年9月22日-23日,[SDCC 2016大数据技术&架构实战峰会](http://bss.csdn.net/m/topic/sdcc_invite/hangzhou /)将在杭州举行,两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司,共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用,以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。
9月5日~18日是八折优惠票价阶段,5人以上团购或者购买两场峰会通票更有特惠,限时折扣,预购从速。(票务详情链接)。

这篇关于唯品会多线程Redis设计与实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/367080

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

PyQt6/PySide6中QTableView类的实现

《PyQt6/PySide6中QTableView类的实现》本文主要介绍了PyQt6/PySide6中QTableView类的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学... 目录1. 基本概念2. 创建 QTableView 实例3. QTableView 的常用属性和方法

PyQt6/PySide6中QTreeView类的实现

《PyQt6/PySide6中QTreeView类的实现》QTreeView是PyQt6或PySide6库中用于显示分层数据的控件,本文主要介绍了PyQt6/PySide6中QTreeView类的实现... 目录1. 基本概念2. 创建 QTreeView 实例3. QTreeView 的常用属性和方法属性

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

pandas中位数填充空值的实现示例

《pandas中位数填充空值的实现示例》中位数填充是一种简单而有效的方法,用于填充数据集中缺失的值,本文就来介绍一下pandas中位数填充空值的实现,具有一定的参考价值,感兴趣的可以了解一下... 目录什么是中位数填充?为什么选择中位数填充?示例数据结果分析完整代码总结在数据分析和机器学习过程中,处理缺失数

Golang HashMap实现原理解析

《GolangHashMap实现原理解析》HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持高效的插入、查找和删除操作,:本文主要介绍GolangH... 目录HashMap是一种基于哈希表实现的键值对存储结构,它通过哈希函数将键映射到数组的索引位置,支持

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服