redis能够很好应对高并发且快速的原因 以及最常说的 IO多路复用和 双写一致性

本文主要是介绍redis能够很好应对高并发且快速的原因 以及最常说的 IO多路复用和 双写一致性,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本篇讨论下面几个问题:
(1) 为什么说redis是单线程的?
(2) 为什么大家会选择redis来解决一些高并发的问题.
(3) Redis的IO多路复用的理解.
(4) Redis的使用过程中 会出现的双写一致性问题.

简要总结为:

一. redis为什么是单线程的:
  • 官方解答:
    是基于内存操作的, 内存的读写速度是非常快的, 普通的笔记本电脑,没秒都能处理几十万的请求量. 所以CPU(内存里的操作) 不会成为redis的性能瓶颈. redis的瓶颈最有可能是内存的大小和网络通信能力;
  • 另一方面: 是由于Redis的线程模型决定的:
    Redis内部使用了文件事件处理器 file event handler, 这个文件事件处理器是单线程的, 所以Redis’才叫做单线程的模型, 它采用IO多路复用机制同时监听多个Socket, 根据Socket上的事件来选择对应的事件处理器进行处理.
    – 文件事件处理器包含4个部分:
    • IO 多路复用程序
    • 多个Socket
    • 文件事件分派器
    • 事件处理器
  1. redis的单线程的优势
    (1) 不用考虑锁的问题
    单个线程不存在多线程同时操作同一个对象的情况, 锁会导致同步的消耗大大增加. redis虽说是nosql的, 但是其中一些复杂的操作, 比如对list类型的插入和删除,对hash类型数据的增删, 都需要大量的锁来保证整个线程的原子性, 但是 如果是单线程, 就完全不用担心这个问题.
    (2) 减少了线程的上下文切换的时间消耗
    不存在多线程或者多进程导致的上下文切换 对CPU的消耗.
二. redis为什么可以解决高并发问题
  • redis高并发和快速的原因:
    (1) redis是基于内存的操作,内存的读写速度非常快;
    (2) redis是单线程的,省去了很多线程上下文切换的时间和消耗;
    (3) redis采用IO多路复用技术, 可以处理并发的链接. 采用epoll的多路复用技术,绝对不在IO上浪费一点时间.
三.关于IO多路复用技术
  • 多路-指的是多个socket连接,复用-指的是复用一个线程。多路复用主要有三种技术:select,poll,epoll。epoll是最新的也是目前最好的多路复用技术。这里“多路”指的是多个网络连接,“复用”指的是复用同一个线程。采用多路 I/O 复用技术可以让单个线程高效的处理多个连接请求(尽量减少网络IO的时间消耗),且Redis在内存中操作数据的速度非常快(内存内的操作不会成为这里的性能瓶颈),主要以上两点造就了Redis具有很高的吞吐量。
四. redis常见问题
  1. 性能问题和解决方案
    (1) Master最好不要做任何持久化工作,如RDB内存快照和AOF日志文件;(Master写内存快照,save命令调度rdbSave函数,会阻塞主线程的工作,当快照比较大时对性能影响是非常大的,会间断性暂停服务,所以Master最好不要写内存快照;AOF文件过大会影响Master重启的恢复速度)
    (2) 如果数据比较重要,某个Slave开启AOF备份数据,策略设置为每秒同步一次
    (3) 为了主从复制的速度和连接的稳定性,Master和Slave最好在同一个局域网内
    (4) 尽量避免在压力很大的主库上增加从库
    (5) 主从复制不要用图状结构,用单向链表结构更为稳定,即:Master <- Slave1 <- Slave2 <- Slave3…;这样的结构方便解决单点故障问题,实现Slave对Master的替换。如果Master挂了,可以立刻启用Slave1做Master,其他不变。
  2. redis的回收策略
    • volatile-lru:从已设置过期时间的数据集(server.db[i].expires)中挑选最近最少使用的数据淘汰
    • volatile-ttl:从已设置过期时间的数据集(server.db[i].expires)中挑选将要过期的数据淘汰
    • volatile-random:从已设置过期时间的数据集(server.db[i].expires)中任意选择数据淘汰
    • allkeys-lru:从数据集(server.db[i].dict)中挑选最近最少使用的数据淘汰
    • allkeys-random:从数据集(server.db[i].dict)中任意选择数据淘汰
    • no-enviction(驱逐):禁止驱逐数据 注意这里的6种机制,
      – volatile和allkeys规定了,是对已设置过期时间的数据集淘汰数据,还是从全部数据集淘汰数据。
      – 后面的lru、ttl以及random是三种不同的淘汰策略,再加上一种no-enviction永不回收的策略。
五. 既然讲到了epoll多路复用, 这里说一下几种常见的IO

这里借用一下一个很好的例子, 浅显易懂:
IO 多路复用是5种I/O模型中的第3种,对各种模型讲个故事,描述下区别:

故事情节为:老李去买火车票,三天后买到一张退票。参演人员(老李,黄牛,售票员,快递员),往返车站耗费1小时。

  1. 阻塞I/O模型

老李去火车站买票,排队三天买到一张退票。
耗费:在车站吃喝拉撒睡 3天,其他事一件没干。

  1. 非阻塞I/O模型

老李去火车站买票,隔12小时去火车站问有没有退票,三天后买到一张票。
耗费:往返车站6次,路上6小时,其他时间做了好多事。

  1. I/O复用模型

select/poll
老李去火车站买票,委托黄牛,然后每隔6小时电话黄牛询问,黄牛三天内买到票,然后老李去火车站交钱领票。
耗费:往返车站2次,路上2小时,黄牛手续费100元,打电话17次

epoll
老李去火车站买票,委托黄牛,黄牛买到后即通知老李去领,然后老李去火车站交钱领票。
耗费:往返车站2次,路上2小时,黄牛手续费100元,无需打电话。

epoll : 进程只要等待在epoll上,epoll 代替进程去各个文件描述符上等待,当哪个文件描述符可读或者可写的时候就告诉epoll,epoll用小本本认真记录下来然后唤醒大哥:“进程大哥,快醒醒,你要处理的文件描述符我都记下来了”。
这样进程被唤醒后就无需自己从头到尾检查一遍,因为epoll都已经记下来了。因此我们可以看到,在这种机制下,实际上利用的就是“不要打电话给我,有需要我会打给你”,这就不需要一遍一遍像孙子一样问各个文件描述符了,而是翻身做主人当大爷了,“你们那个文件描述符可读或者可写了主动报上来”,这中机制实际上就是大名鼎鼎的 —— 事件驱动,event-driven。(https://ssup2.github.io/theory_analysis/Event_Driven_Architecture_on_Linux/)

所谓事件驱动, 来一张图:
解释一下IO多路复用的原理: I/O multiplexing 这里面的 multiplexing 指的其实是在单个线程通过记录跟踪每一个Sock(I/O流)的状态(对应空管塔里面的Fight progress strip槽)来同时管理多个I/O流. 发明它的原因,是尽量多的提高服务器的吞吐能力。在这里插入图片描述

简单说epoll和select/poll最大区别是:
1.epoll内部使用了mmap共享了用户和内核的部分空间,避免了数据的来回拷贝
2.epoll基于事件驱动,epoll_ctl注册事件,并注册callback回调函数,epoll_wait只返回发生的事件,避免了像select和poll对事件的整个轮询操作。
3.nginx中使用了epoll,是基于事件驱动模型的。由一个或多个事件收集器来收集或者分发事件,epoll就属于事件驱动模型的事件收集器,将注册过的事件中发生的事件收集起来,master进程负责管理worker进程。

  1. 信号驱动I/O模型

老李去火车站买票,给售票员留下电话,有票后,售票员电话通知老李,然后老李去火车站交钱领票。
耗费:往返车站2次,路上2小时,免黄牛费100元,无需打电话

  1. 异步I/O模型

老李去火车站买票,给售票员留下电话,有票后,售票员电话通知老李并快递送票上门。
耗费:往返车站1次,路上1小时,免黄牛费100元,无需打电话。

1同2的区别是:自己轮询
2同3的区别是:委托黄牛
3同4的区别是:电话代替黄牛
4同5的区别是:电话通知是自取还是送票上门

六 Redis的双写一致性

redis双写一致性
敖丙的: 大厂面试官喜欢这样问Redis,双写一致性、并发竞争、线程模型

  1. 先更新数据库再更新缓存
  2. 先删除缓存再更新数据库
  3. 先删除缓存在更新数据库(双删)
    延时双删策略最终将redis删除掉,等下一次查询的时候会把最新的数据缓存到redis中,虽然解决了缓存不一致性,但是牺牲了性能.
  4. 先更新数据库在删除缓存

总结: 如果是系统要求强一致性,
(1) 使用锁机制,当然可以使用读写锁,保证效率;
(2) 读请求和写请求串行化,串到一个内存队列里去。串行化可以保证一定不会出现不一致的情况,但是它也会导致系统的吞吐量大幅度降低.

这篇关于redis能够很好应对高并发且快速的原因 以及最常说的 IO多路复用和 双写一致性的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/170252

相关文章

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

Redis与缓存解读

《Redis与缓存解读》文章介绍了Redis作为缓存层的优势和缺点,并分析了六种缓存更新策略,包括超时剔除、先删缓存再更新数据库、旁路缓存、先更新数据库再删缓存、先更新数据库再更新缓存、读写穿透和异步... 目录缓存缓存优缺点缓存更新策略超时剔除先删缓存再更新数据库旁路缓存(先更新数据库,再删缓存)先更新数

Redis事务与数据持久化方式

《Redis事务与数据持久化方式》该文档主要介绍了Redis事务和持久化机制,事务通过将多个命令打包执行,而持久化则通过快照(RDB)和追加式文件(AOF)两种方式将内存数据保存到磁盘,以防止数据丢失... 目录一、Redis 事务1.1 事务本质1.2 数据库事务与redis事务1.2.1 数据库事务1.

mac安装redis全过程

《mac安装redis全过程》文章内容主要介绍了如何从官网下载指定版本的Redis,以及如何在自定义目录下安装和启动Redis,还提到了如何修改Redis的密码和配置文件,以及使用RedisInsig... 目录MAC安装Redis安装启动redis 配置redis 常用命令总结mac安装redis官网下

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

SpringBoot使用注解集成Redis缓存的示例代码

《SpringBoot使用注解集成Redis缓存的示例代码》:本文主要介绍在SpringBoot中使用注解集成Redis缓存的步骤,包括添加依赖、创建相关配置类、需要缓存数据的类(Tes... 目录一、创建 Caching 配置类二、创建需要缓存数据的类三、测试方法Spring Boot 熟悉后,集成一个外

Redis分布式锁使用及说明

《Redis分布式锁使用及说明》本文总结了Redis和Zookeeper在高可用性和高一致性场景下的应用,并详细介绍了Redis的分布式锁实现方式,包括使用Lua脚本和续期机制,最后,提到了RedLo... 目录Redis分布式锁加锁方式怎么会解错锁?举个小案例吧解锁方式续期总结Redis分布式锁如果追求

Redis的Hash类型及相关命令小结

《Redis的Hash类型及相关命令小结》edisHash是一种数据结构,用于存储字段和值的映射关系,本文就来介绍一下Redis的Hash类型及相关命令小结,具有一定的参考价值,感兴趣的可以了解一下... 目录HSETHGETHEXISTSHDELHKEYSHVALSHGETALLHMGETHLENHSET

Rust中的Option枚举快速入门教程

《Rust中的Option枚举快速入门教程》Rust中的Option枚举用于表示可能不存在的值,提供了多种方法来处理这些值,避免了空指针异常,文章介绍了Option的定义、常见方法、使用场景以及注意事... 目录引言Option介绍Option的常见方法Option使用场景场景一:函数返回可能不存在的值场景