Leo赠书活动-18期 《高效使用Redis》

2024-02-22 22:28
文章标签 使用 高效 redis 活动 18 赠书 leo

本文主要是介绍Leo赠书活动-18期 《高效使用Redis》，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

✅作者简介：大家好，我是Leo，热爱Java后端开发者，一个想要与大家共同进步的男人😉😉
🍎个人主页：Leo的博客
💞当前专栏： 赠书活动专栏
✨特色专栏： MySQL学习
🥭本文内容：Leo赠书活动-18期 《高效使用Redis》
📚个人知识库： Leo知识库，欢迎大家访问

目录

    • 1.Redis中的多线程
    • 2.I/O多线程
    • 3.Redis中的多进程
    • 4.结论
    • 5.🥇赠书活动规则
    • 6.总结

图片

很多人都遇到过这么一道面试题：Redis是单线程还是多线程？这个问题既简单又复杂。说他简单是因为大多数人都知道Redis是单线程，说复杂是因为这个答案其实并不准确。

难道Redis不是单线程？我们启动一个Redis实例，验证一下就知道了。Redis安装部署方式如下所示：

// 下载
wget https://download.redis.io/redis-stable.tar.gz
tar -xzvf redis-stable.tar.gz
// 编译安装
cd redis-stable
make
// 验证是否安装成功
./src/redis-server -v
Redis server v=7.2.4

接下来启动Redis实例，使用命令ps查看所有线程，如下所示：

// 启动Redis实例
./src/redis-server ./redis.conf// 查看实例进程ID
ps aux | grep redis
root     385806  0.0  0.0 245472 11200 pts/2    Sl+  17:32   0:00 ./src/redis-server 127.0.0.1:6379// 查看所有线程
ps -L -p 385806PID    LWP TTY          TIME CMD
385806 385806 pts/2    00:00:00 redis-server
385806 385809 pts/2    00:00:00 bio_close_file
385806 385810 pts/2    00:00:00 bio_aof
385806 385811 pts/2    00:00:00 bio_lazy_free
385806 385812 pts/2    00:00:00 jemalloc_bg_thd
385806 385813 pts/2    00:00:00 jemalloc_bg_thd

竟然有6个线程！不是说Redis是单线程吗？怎么会有这么多线程呢？

这6个线程的含义你可能不太了解，但是通过这个示例至少说明Redis并不是单线程。

1.Redis中的多线程

接下来我们逐个介绍上述6个线程的作用：

1）redis-server：

主线程，用于接收并处理客户端请求。

2）jemalloc_bg_thd

jemalloc 是新一代的内存分配器，Redis底层使用他管理内存。

3）bio_xxx：

以bio前缀开始的都是异步线程，用于异步执行一些耗时任务。其中，线程bio_close_file用于异步删除文件，线程bio_aof用于异步将AOF文件刷到磁盘，线程bio_lazy_free用于异步删除数据（懒删除）。

需要说明的是，主线程是通过队列将任务分发给异步线程的，并且这一操作是需要加锁的。主线程与异步线程的关系如下图所示：

图片主线程与异步线程

这里我们以懒删除为例，讲解为什么要使用异步线程。Redis是一款内存数据库，支持多种数据类型，包括字符串、列表、哈希表、集合等。思考一下，删除（DEL）列表类型数据的流程是怎样的呢？第一步从数据库字典中删除该键值对，第二步遍历并删除列表中的所有元素（释放内存）。想想如果列表中的元素数目非常多呢？这一步将非常耗时。这种删除方式称为同步删除，流程如下图所示：

图片同步删除流程图

针对上述问题，Redis提出了懒删除（异步删除），主线程在收到删除命令（UNLINK）时，首先从数据库字典中删除该键值对，随后再将删除任务分发给异步线程bio_lazy_free，由异步线程执行第二步耗时逻辑。这时候的流程如下图所示：

图片懒删除流程图

2.I/O多线程

难道Redis是多线程？那为什么我们老说Redis是单线程呢？这是因为读取客户端命令请求，执行命令以及向客户端返回结果都是在主线程完成的。不然的话，多线程同时操作内存数据库，并发问题如何解决？如果每次操作之前都加锁，那和单线程又有什么区别呢？

当然这一流程在Redis6.0版本也发生了改变，Redis官方指出，Redis是基于内存的键值对数据库，执行命令的过程是非常快的，读取客户端命令请求和向客户端返回结果（即网络I/O）通常会成为Redis的性能瓶颈。

因此，在Redis 6.0版本，作者加入了多线程I/O的能力，即可以开启多个I/O线程，并行读取客户端命令请求，并行向客户端返回结果。I/O多线程能力使得Redis性能提升至少一倍。

为了开启多线程I/O能力，需要先修改配置文件redis.conf：

io-threads-do-reads yes
io-threads 4

这两个配置含义如下：

  • io-threads-do-reads：是否开启多线程I/O能力，默认为"no"；
  • io-threads：I/O线程数目，默认为1，即只使用主线程执行网络I/O，线程数最大为128；该配置应该根据CPU核数设置，作者建议，4核CPU设置2~3个I/O线程，8核CPU设置6个I/O线程。

开启多线程I/O能力之后，重新启动Redis实例，查看所有线程，结果如下：

ps -L -p 104648PID    LWP TTY          TIME CMD
104648 104648 pts/1    00:00:00 redis-server
104648 104654 pts/1    00:00:00 io_thd_1
104648 104655 pts/1    00:00:00 io_thd_2
104648 104656 pts/1    00:00:00 io_thd_3
……

由于我们设置了io-threads等于4，所以会创建4个线程用于执行I/O操作（包括主线程），上述结果符合预期。

当然，只有I/O阶段才使用了多线程，处理命令请求还是单线程，毕竟多线程操作内存数据存在并发问题。

最后，开启了I/O多线程之后，命令的执行流程如下图所示：

图片I/O多线程流程图

3.Redis中的多进程

Redis还有多进程？是的。在某些场景下，Redis也会创建多个子进程来执行一些任务。以持久化为例，Redis支持两种类型的持久化：

  • AOF（Append Only File）：可以看作是命令的日志文件，Redis会将每一个写命令都追加到AOF文件。
  • RDB（Redis Database）：以快照的方式存储Redis内存中的数据。命令SAVE用于手动触发RDB持久化。想想如果Redis中的数据量非常大，持久化操作必然耗时比较长，而Redis是单线程处理命令请求，那么当命令SAVE的执行时间过长时，必然会影响其他命令的执行。

命令SAVE有可能会阻塞其他请求，为此，Redis又引入了命令BGSAVE，该命令会创建一个子进程来执行持久化操作，这样就不会影响主进程执行其他请求了。

我们可以手动执行命令BGSAVE验证。首先，使用GDB跟踪Redis进程，添加断点，让子进程阻塞在持久化逻辑。如下所示：

// 查询Redis进程ID
ps aux | grep redis
root     448144  0.1  0.0 270060 11520 pts/1    tl+  17:00   0:00 ./src/redis-server 127.0.0.1:6379// GDB跟踪进程
gdb -p 448144// 跟踪创建的子进程（默认GDB只跟踪主进程，需手动设置）
(gdb) set follow-fork-mode child
// 函数rdbSaveDb用于持久化数据快照
(gdb) b rdbSaveDb
Breakpoint 1 at 0x541a10: file rdb.c, line 1300.
(gdb) c

设置好断点之后，使用Redis客户端发送命令BGSAVE，结果如下：

// 请求立即返回
127.0.0.1:6379> bgsave
Background saving started// GDB输出以下信息
[New process 452541]
Breakpoint 1, rdbSaveDb (...) at rdb.c:1300

可以看到，GDB目前跟踪的是子进程，进程ID是452541。也可以通过Linux命令 ps 查看所有进程，结果如下：

ps aux | grep redis
root     448144  0.0  0.0 270060 11520 pts/1    Sl+  17:00   0:00 ./src/redis-server 127.0.0.1:6379
root     452541  0.0  0.0 270064 11412 pts/1    t+   17:19   0:00 redis-rdb-bgsave 127.0.0.1:6379

可以看到子进程的名称是redis-rdb-bgsave，也就是该进程将所有数据的快照持久化在RDB文件。

最后再思考两个问题。

  • 问题1：为什么采用子进程而不是子线程呢？

因为RDB是将数据快照持久化存储，如果采用子线程，主线程与子线程将会共享内存数据，主线程在持久化的同时还会修改内存数据，这有可能导致数据不一致。而主进程与子进程的内存数据是完全隔离的，不存在此问题。

  • 问题2：假设Redis内存中存储了10GB的数据，在创建子进程执行持久化操作之后，此时子进程也需要10GB的内存吗？复制10GB的内存数据，也会比较耗时吧？另外如果系统只有15GB的内存，还能执行BGSAVE命令吗？

这里有一个概念叫写时复制（copy on write），在使用系统调用fork创建子进程之后，主进程与子进程的内存数据暂时还是共享的，但是当主进程需要修改内存数据时，系统会自动将该内存块复制一份，以此实现内存数据的隔离。
命令BGSAVE的执行流程如下图所示：

图片BGSAVE执行流程

4.结论

Redis的进程模型/线程模型还是比较复杂的，这里也只是简单介绍了部分场景下的多线程以及多进程，其他场景下的多线程、多进程还有待读者自己研究。

作者介绍
李乐：好未来Golang开发专家、西安电子科技大学硕士，曾就职于滴滴，乐于钻研技术与源码，合著有《高效使用Redis：一书学透数据存储与高可用集群》《Redis5设计与源码分析》《Nginx底层设计与源码分析》。

延伸阅读

图片

《高效使用Redis：一书学透数据存储与高可用集群》

**推荐语：**深入Redis数据结构与底层实现，攻克Redis数据存储与集群管理难题。

5.🥇赠书活动规则

🌟关注我的博客：关注我的博客，所有新鲜的博客文章和活动信息都不会错过。
📲添加博主wx：添加Leocisyam,如果添加不了,请私信博主。
💬参与方式：关注公众号程序员Leo或者文末扫码关注，回复抽奖，即可参与抽奖，记住要加Leo哥微信哈，方便通知，记得备注抽奖，否则抽奖无效。
🎁公布结果：2024年2月28日晚，我会亲自抽取2名幸运读者，并在微信私信通知，请大家注意查收哈。

6.总结

以上便是本文的全部内容，本人才疏学浅，文章有什么错误的地方，欢迎大佬们批评指正！我是Leo，一个在互联网行业的小白，立志成为更好的自己。

如果你想了解更多关于Leo，可以关注公众号-程序员Leo，后面文章会首先同步至公众号。

公众号封面

这篇关于Leo赠书活动-18期 《高效使用Redis》的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/736679。

相关文章

中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
高效+灵活，万博智云全球发布AWS无代理跨云容灾方案！

高效+灵活，万博智云全球发布AWS无代理跨云容灾方案！

摘要 近日，万博智云推出了基于AWS的无代理跨云容灾解决方案，并与拉丁美洲，中东，亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础，将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合，为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日，万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频，介绍了
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...
高效录音转文字：2024年四大工具精选！

高效录音转文字：2024年四大工具精选！

在快节奏的工作生活中，能够快速将录音转换成文字是一项非常实用的能力。特别是在需要记录会议纪要、讲座内容或者是采访素材的时候，一款优秀的在线录音转文字工具能派上大用场。以下推荐几个好用的录音转文字工具！ 365在线转文字 直达链接：https://www.pdf365.cn/ 365在线转文字是一款提供在线录音转文字服务的工具，它以其高效、便捷的特点受到用户的青睐。用户无需下载安装任何软件，只
阅读更多...
pdfmake生成pdf的使用

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据，将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2