Redis--持久化机制详解

2024-03-02 04:04
文章标签 详解 redis 持久 化机制

本文主要是介绍Redis--持久化机制详解,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

什么是redis持久化?

Redis持久化是将内存的数据持久化到磁盘上,防止Redis宕机或者断点的时候内存中的数据丢失,把内存中的数据写入到磁盘的过程叫持久化。

Redis持久化的方式?

  • RDB(Redis DataBase):在指定时间间隔内将内存中的数据以快照的方式写入到磁盘上,Redis默认的持久化方式。
  • AOF(Append Of File):以日志的形势记录每个写命令、删除命令。
  • 混合持久化:混合持久化并不是一种全新的持久化方式,它只是同时使用了RDB和AOF两种模式,是Redis 4.0版本开启的功能,通过aof-use-rdb-preamble配置参数开启,yes表示开启,no表示禁用,默认禁用。

RDB持久化详解:

RDB持久化流程:

  • 客户端触发或者自动执行bagesave命令。
  • 主进程判断是否存在正在执行的子进程,存在返回。
  • 不存在的话fork一个子进程进行持久化数据,fork过程中是阻塞的,fork操作完成后,主进程即可执行其他操作。
  • 子进程先将数据写入临时rdb文件中,数据写入完成后替换旧的rdb文件,同时通知主进程RDB持久化完成。

RDB持久化的优缺点:
优点:

  • 文件紧凑,全量备份,适合数据备份和灾难恢复。
  • 生成RDB文件时,redis主进程会fork()一个子进程来保存工作,主进程不需要进行任何IO操作。
  • RDB在恢复大数据集时速度比AOF的恢复速度要快。

缺点:

  • 因为RDB需要保存整个数据集,所以不是一个轻松的操作,因此一般不会设置太短时间,因此一段发生故障停机,会丢失几分钟的数据。
  • 如果数据集过大的情况下,所fork子进程在协助完成持久化时,所可能导致服务器停止几百毫秒,所甚至几秒钟。

AOF持久化流程:
AOF文件只记录写命令,不记录读命令,当服务端接收到写命令后,redis会将命令写入到aof缓冲区中,只所以写入缓冲区而不直接写入到文件中,是因为每次直接将命令写入文件中,那redis的性能将完全取决于硬盘的读写能力,影响redis性能。

AOF工作流程图:
在这里插入图片描述

AOF三种同步策略:

  1. always(总是):每次执行了写入或删除的命令写入缓冲区后,就调用系统fsync将redis执行的命令写入aof文件中,fsync操作完成后主线程返回。
  2. no:命令写入缓冲区后,调用操作系统的write操作,Redis不主动将命令同步到aof文件中,同步动作由操作系统来负责,一般是30秒一次。
  3. everysec:命令写入缓冲区后,调用操作系统的write操作,write操作完成之后,有专门的线程每秒执行fsync操作。

AOF持久化的优缺点:
优点:

  • AOF持久化几乎不丢失数据,最多丢失一秒的数据。
  • AOF机制采用的是append模式,因此即使在写入过程发生宕机,也不会破坏日志文件中已经存在的内容,如果本次操作只写入了一半就出现了系统宕机,redis下一次重启的时候,可以通过redis-check-aof来解决数据一致性问题。
  • 如果日志文件过大,redis可以自动启用rewriter机制,redis以append模式不断的将修改数据写入到磁盘中,同时会创建一个新的文件记录此期间有哪些命令被修改,在rewriter期间可以更好的保证数据安全性。
  • AOF包含一个格式清晰易于理解的日志文件,也可以通过该文件完成数据重建。

缺点:

  • 对于相同的数据集来说,AOF的文件体积一般大于RDB文件的体积。
  • 对redis性能有一定的损耗。
  • 相对RDB持久化的方式的数据恢复速度,AOF持久化的方式数据恢复速度会更慢一些。

AOF rewrite重写机制是什么意思?
AOF 重写是为了缩小aof文件,AOF持久化模式是不断的记录Redis写入、删除命令到文件中,随着命令的越来越多,文件会越来越大,aof重写会把过程操作过程去掉,把多个命令合并成一个命令,这样就缩小了AOF文件。

AOF rewrite作用:

  1. 使aof文件变的更小,占用更少的磁盘空间。
  2. aof文件编的更小后,在数据恢复的时候会更快。

AOF rewrite流程图:
在这里插入图片描述

AOF 重写规则?

  1. 进程内已经过期的数据不再写入文件。
  2. 只保存最终的写入命令,如set a 1,set a 2,set a 3,此时只保留set a 3。
  3. 多条写命令合并为一条命令,如lpush list 1,lpush list 2,lpush list 3,合并为lpush list 1,2,3,同时为了防止单条命令过大,对于list set zset hash 等以64个元素为界限拆分为多条命令。

什么是混合持久化?
混合持久化是redis4.0版本添加的新功能,通过aof-use-rdb-preamble配置参数开启,yes表示开启,no表示禁用,默认禁用,混合持久化体现在aofrewrite时,先写一份全量RDB数据到aof文件中,后续AOF重写缓冲区里的数据继续追加到该文件中,因为开启了混合持久化后,appendonly.aof文件开头是RDB格式,后续是AOF格式。
使用混合持久化后,Redis在重启数据恢复时候,会先加载RDB的内容,然后再执行AOF日志就可以完全替代之前的AOF全量文件执行,重启数据恢复的速度得到大大提升。

Redis进行持久化的时候会阻塞主线程吗?
fork子进程过程是阻塞的,fork过程就是创建一个主进程的副本,创建的子进程除了进程id,其余任何内容和主进程完全一致,这就是fork,fork的子进程独立于主进程存在,虽然两个进程内存空间内容完全一致,但是对于内存的写入、修改以及文件的映射都是独立的,两个进程互不影响,开启aof持久化,使用everysec同步策略时,会发生aof追加阻塞,出现aof阻塞的原因是磁盘负载过高,redis主进程会监控同步线程每次她同步aof缓冲区到aof文件的消耗时间,如果距离上次同步成功时间在2S内,那么主线程就会返回,如果超过2S,redis主进程会阻塞,直到同步完成,不管是RDB还是AOF持久化,都会使用fork创建一个子进程来处理,fork出来的子进程不会阻塞主进程,但是fork的过程还是会阻塞主进程,一般来说主进程内存越大,需要复制的空间内存叶也比较大,fork所需的时间也会长,redis阻塞的时间越长。

本文偏概念、偏面试八股,但学习理解了不管是对工作还是对面试都是有一定的帮助。
如有不正确的地方请各位指出纠正。

这篇关于Redis--持久化机制详解的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/764855

相关文章

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

详解C#如何提取PDF文档中的图片

《详解C#如何提取PDF文档中的图片》提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使用,下面我们就来看看如何使用C#通过代码从PDF文档中提取图片吧... 当 PDF 文件中包含有价值的图片,如艺术画作、设计素材、报告图表等,提取图片可以将这些图像资源进行单独保存,方便后续在不同的项目中使

Android中Dialog的使用详解

《Android中Dialog的使用详解》Dialog(对话框)是Android中常用的UI组件,用于临时显示重要信息或获取用户输入,本文给大家介绍Android中Dialog的使用,感兴趣的朋友一起... 目录android中Dialog的使用详解1. 基本Dialog类型1.1 AlertDialog(

C#数据结构之字符串(string)详解

《C#数据结构之字符串(string)详解》:本文主要介绍C#数据结构之字符串(string),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录转义字符序列字符串的创建字符串的声明null字符串与空字符串重复单字符字符串的构造字符串的属性和常用方法属性常用方法总结摘

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类,使用它

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

Python中随机休眠技术原理与应用详解

《Python中随机休眠技术原理与应用详解》在编程中,让程序暂停执行特定时间是常见需求,当需要引入不确定性时,随机休眠就成为关键技巧,下面我们就来看看Python中随机休眠技术的具体实现与应用吧... 目录引言一、实现原理与基础方法1.1 核心函数解析1.2 基础实现模板1.3 整数版实现二、典型应用场景2

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML