唯品会多线程Redis设计与实现

2023-11-08 01:10

本文主要是介绍唯品会多线程Redis设计与实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

声明:本文来自京东张开涛的微信公众号(kaitao-1234567),授权CSDN转载,如需转载请联系作者。
作者:申政,开源爱好者,唯品会高级DBA,主要负责Redis相关领域的源码研究和研发工作。
责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群」,内有诸多知名互联网公司的大牛架构师,欢迎架构师加微信qshuguang2008申请入群,备注姓名+公司+职位。

本文将向大家分享下我们正在开发的多线程Redis。在我们的Redis使用中,发现了一些痛点问题,涉及到了Redis框架的设计。

图片描述

我们线上有大量的Redis实例在运行,规模比较庞大,有些Redis集群实例规模超过100+,我们开始对Redis进行了多线程版本的改造,就是我们现在正在开发的产品Vire。

图片描述

这是Vire的一个现状,分几个阶段进行开发,现在是0.1.0版本。

图片描述

以上是Vire 0.1.0的一些设计思路。下面说说具体实现:

图片描述

这是Vire的多线程模型,借鉴于memcached,master+worker线程模型。

图片描述

这个图比较直观的反映了线程模型的工作原理,多线程不可避免会用到锁,以下是Vire的锁机制:

图片描述

这里有个逻辑DB的概念,其实就是把多个Redis DB伪装成一个DB提供给用户。DB级别的锁,会不会性能很差呢?后续会有测试报告给出。

图片描述

用户使用的所有key,是通过key的Hash值被分散到了各个物理DB上,目的就是降低DB锁的竞争提升QPS,可以通过info命令看到物理db中key的分布:

图片描述

下面来看下成功执行一个Redis命令要走的流程:

图片描述

我们的DB锁是在哪一步使用呢?

图片描述

有可能用到DB锁的步骤就是红框中的两步,但像ping这样命令,在整个过程中是用不到DB锁的,可以看出,Worker线程在一部分时间是完全并行执行的,关于Vire中的后台线程:

图片描述

Worker线程专注于处理客户端的请求,杂活累活有backend线程来做,backend线程在Vire后续版本中,会发挥更重要的作用。

图片描述

这里是Vire代码内部对object的处理,这里会有些性能退化。

图片描述

这是Vire对多key命令的一些特殊处理,死锁的问题,导致个别Redis命令在Vire中暂时无法实现。

图片描述

Vire中增加了一些权限管理,Vire增加了管理员的角色,保证了一些危险命令不被开发执行。

下面说说Vire的测试:

图片描述

这里着重说说abtest和性能测试,为了保证Vire的命令执行起来与Redis一模一样,我们开发了abtest测试框架。详细说说abtest框架中各模块的作用:

图片描述

图片描述

这个测试框架有效的帮我们发现了一些bug,以下是性能测试:

图片描述

图片描述

图片描述

我们的目标就是性能接近或跟mc一样,以下是hotkey测试:

图片描述

hotkey的效果还不错。

Q&A

  1. Q:客户端需要换吗?
    A:客户端兼容,无需更换,使用起来跟原生redis一样

  2. Q:Worker和DB的关系是什么?
    A:Worker和DB没有关系, client是数据Worker线程的, DB是完全独立的

  3. Q:后期主备会支持吗?
    A:以后会支持主备,集群和脚本等高级功能

  4. Q:有没有想过把锁降低至key级别?
    A:没必要key级别的锁

  5. Q:死锁问题为何不通过顺序锁定相关DB来解决呢,我们的Redis是分布式锁,通过按统一的顺序锁定,就可以避免死锁
    A:锁的数量会太多,你说的这个死锁问题很好,有这样的想法,但还没有时间去验证可不可行,以后可以尝试。

  6. Q:Vire和Redis-cluster比起来哪个性能更好?
    A:Redis-cluster是集群模式,Vire是单实例,没办法比较性能,Vire最后一个版本希望能支持到集群

  7. Q:给我的理解Vire的多个逻辑DB的设计原理和Redis-cluster里多个分片原理是一样吧?
    A:非常类似, 只不过Redis-cluster里的slot是海量的,16384

  8. Q:现在Redis-cluster的解决方案是客户端自己计算slot的位置,可以通过根据操作的读写类型,实现负载均衡,Vire采取的多DB+多Worker的方案,他这样的优势在哪里?
    A:主要是提升单个实例的QPS能力

  9. Q:现在的设计是全部基于内存上的?服务器宕机是不是数据全都会消失
    A:Vire0.1.0版本数据全部在内存,只适合于做缓存, Vire后续版本会做持久化和复制,甚至是集群


2016年9月22日-23日,[SDCC 2016大数据技术&架构实战峰会](http://bss.csdn.net/m/topic/sdcc_invite/hangzhou /)将在杭州举行,两场峰会大牛讲师来自阿里、京东、苏宁、唯品会、美团点评、游族、饿了么、有赞、Echo等知名互联网公司,共同探讨海量数据下的应用监控系统建设、异常检测的算法和实现、大数据基础架构实践、敏捷型数据平台的构建及应用、音频分析的机器学习算法应用,以及高可用/高并发/高性能系统架构设计、电商架构、分布式架构等话题与技术。
9月5日~18日是八折优惠票价阶段,5人以上团购或者购买两场峰会通票更有特惠,限时折扣,预购从速。(票务详情链接)。

这篇关于唯品会多线程Redis设计与实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/367080

相关文章

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Java枚举类实现Key-Value映射的多种实现方式

《Java枚举类实现Key-Value映射的多种实现方式》在Java开发中,枚举(Enum)是一种特殊的类,本文将详细介绍Java枚举类实现key-value映射的多种方式,有需要的小伙伴可以根据需要... 目录前言一、基础实现方式1.1 为枚举添加属性和构造方法二、http://www.cppcns.co

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》:本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制,确认复制是否成功4.同

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

使用Sentinel自定义返回和实现区分来源方式

《使用Sentinel自定义返回和实现区分来源方式》:本文主要介绍使用Sentinel自定义返回和实现区分来源方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Sentinel自定义返回和实现区分来源1. 自定义错误返回2. 实现区分来源总结Sentinel自定

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

opencv图像处理之指纹验证的实现

《opencv图像处理之指纹验证的实现》本文主要介绍了opencv图像处理之指纹验证的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录一、简介二、具体案例实现1. 图像显示函数2. 指纹验证函数3. 主函数4、运行结果三、总结一、