Redis持久化的取舍和选择:RDB和AOF

2023-12-20 14:48
文章标签 选择 redis 持久 rdb aof 取舍

本文主要是介绍Redis持久化的取舍和选择:RDB和AOF,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis持久化的取舍和选择

持久化的作用
  • 什么是持久化

    redis将内存中的数据保存到磁盘

  • 持久化实现方式

    • 快照
      mysql dump, Redis RDB
    • 写日志
      mysql Binlog, Hbase Hlog ,Redis AOF
RDB
  • 什么是RDB
    二进制RBD文件,快照文件,可以用作复制媒介
  • 触发RDB的三种方式
    save命令:同步执行
    文件策略:如存在老的RBD文件,会替换
    O(n)时间复杂度
    bgsave命令:异步执行
    使用linux的fork()函数产生redis子进程createRBD生成文件
    这里写图片描述
    文件策略:与save相同
    这里写图片描述
    自动生产RDB
    Redis的默认配置,缺点,不好控制,默认名字 dump.rdb
    满足任意一个条件,redis就会使用bgsave创建RDB文件
    这里写图片描述
    对应配置文件里面的配置就是以上三个配置,表示在900s 内存一个对象,300s内存10个对象,60s内存10000个对象时就会自动触发RDB的持久化。

使用经验

不使用自动生成,文件名使用 dump-${port}.rdb,路径自己设置
stop-writes-on-bgsave-error yes 写入错误时停止
rdbcompression yes 开启压缩rdb
rdbchecksum yes 检验和
  • 触发机制-不容忽略的生成RDB方式

    1. 全量复制
      主从复制时会生成RDB
    2. debug reload会生成
    3. shutdown save
  • 实验
    测试save阻塞
    bgsave的非阻塞,立即返回,子进程生成RDB文件
    文件策略,新的RDB文件覆盖old文件

AOF
  • RBD的现存问题
    1.耗时,消耗性能:
    O(n)时间复杂度
    fork()调用消耗内存,采用的是copy-on-write策略
    磁盘IO
    2.不可控,丢失数据
    宕机时丢失2次RDB之间数据

  • 什么是AOF
    写入命令追加到AOF文件,重启时载入恢复

  • AOF的三种策略
    命令是先写到缓冲区,再根据策略刷到硬盘
    appendonly always/everysec/no
策略alwayseverysecno
行为每条命令fsync到硬盘每秒把缓冲区fsybc到硬盘OS决定什么时候来把缓冲区的命令写到硬盘
特点不丢失数据,IO开销大,硬盘压力可能会丢失某一秒的数据不用管,不可控

通常使用everysec模式

  • AOF重写
    AOF文件很大时,redis重启进行恢复需要很长的时间。
    AOF重写即是,把重复的,无效的命令,过去数据等进行优化,化简再进行AOF写入,目的是减少磁盘占用,加速恢复的速度。
    AOF重写方式:
    • bgwriteaof 利用子进程将内存中的数据回溯成aof文件
    • AOF重写配置
auto-aof-rewrite-min-size #AOF文件重写需要的大小
auto-aof-rewrite-percentage #AOF文件增长率aof_current_size #AOF当前尺寸
aof_base_size #AOF上次启动和重写的尺寸(字节)

满足触发AOF重写条件:
aof_current_size > auto-aof-rewrite-min-size

增长率=(aof_current_size - aof_base_size)/aof_base_size,增长率达到auto-aof-rewrite-percentage设置

AOF配置:(aof支持动态配置)

appendonly yes  #开启aof
appendfilename "appendonly-${port}.aof" #aof文件名
appendfsync everysec  #aof策略
dir xxx #保存路径
no-appendfsync-on-rewrite yes #在重写时是否不需要append,这个配置需要根据实际权衡,
#因为在重写的同时进行append会有性能开销,
#当然如果不append也可能会丢失少量数据,以性能为优先的时候关闭appendauto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
RDB和AOF的选择
  • RDB与AOF比较
    这里写图片描述
  • RDB‘最佳策略’
    • 关闭RDB
    • 集中管理
    • 主从,从节点开启,注意配置
  • AOF‘最佳策略’
    • 开启aof:缓存和存储
    • AOF集中管理
    • everysec策略
  • 最佳策略
    • 小分片 maxmemory
    • 缓存或存储
    • 监控:硬盘,内存,负载,网络
    • 足够内存,不要布满,注意有些操作需要额外内存

这篇关于Redis持久化的取舍和选择:RDB和AOF的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/516428

相关文章

如何选择适合孤独症兄妹的学校?

在探索适合孤独症儿童教育的道路上,每一位家长都面临着前所未有的挑战与抉择。当这份责任落在拥有孤独症兄妹的家庭肩上时,选择一所能够同时满足两个孩子特殊需求的学校,更显得尤为关键。本文将探讨如何为这样的家庭做出明智的选择,并介绍星贝育园自闭症儿童寄宿制学校作为一个值得考虑的选项。 理解孤独症儿童的独特性 孤独症,这一复杂的神经发育障碍,影响着儿童的社交互动、沟通能力以及行为模式。对于拥有孤独症兄

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个?

跨平台系列 cross-plateform 跨平台应用程序-01-概览 cross-plateform 跨平台应用程序-02-有哪些主流技术栈? cross-plateform 跨平台应用程序-03-如果只选择一个框架,应该选择哪一个? cross-plateform 跨平台应用程序-04-React Native 介绍 cross-plateform 跨平台应用程序-05-Flutte

如何选择SDR无线图传方案

在开源软件定义无线电(SDR)领域,有几个项目提供了无线图传的解决方案。以下是一些开源SDR无线图传方案: 1. **OpenHD**:这是一个远程高清数字图像传输的开源解决方案,它使用SDR技术来实现高清视频的无线传输。OpenHD项目提供了一个完整的工具链,包括发射器和接收器的硬件设计以及相应的软件。 2. **USRP(Universal Software Radio Periphera

《数据结构(C语言版)第二版》第八章-排序(8.3-交换排序、8.4-选择排序)

8.3 交换排序 8.3.1 冒泡排序 【算法特点】 (1) 稳定排序。 (2) 可用于链式存储结构。 (3) 移动记录次数较多,算法平均时间性能比直接插入排序差。当初始记录无序,n较大时, 此算法不宜采用。 #include <stdio.h>#include <stdlib.h>#define MAXSIZE 26typedef int KeyType;typedef char In

Redis中使用布隆过滤器解决缓存穿透问题

一、缓存穿透(失效)问题 缓存穿透是指查询一个一定不存在的数据,由于缓存中没有命中,会去数据库中查询,而数据库中也没有该数据,并且每次查询都不会命中缓存,从而每次请求都直接打到了数据库上,这会给数据库带来巨大压力。 二、布隆过滤器原理 布隆过滤器(Bloom Filter)是一种空间效率很高的随机数据结构,它利用多个不同的哈希函数将一个元素映射到一个位数组中的多个位置,并将这些位置的值置

为什么现在很多人愿意选择做债务重组?债重组真的就这么好吗?

债务重组,起初作为面向优质企业客户的定制化大额融资策略,以其高效周期著称,一个月便显成效。然而,随着时代的车轮滚滚向前,它已悄然转变为负债累累、深陷网贷泥潭者的救赎之道。在此路径下,个人可先借助专业机构暂代月供,经一段时间养护征信之后,转向银行获取低成本贷款,用以替换高昂网贷,实现利息减负与成本优化的双重目标。 尽管债务重组的代价不菲,远超传统贷款成本,但其吸引力依旧强劲,背后逻辑深刻。其一

Lua 脚本在 Redis 中执行时的原子性以及与redis的事务的区别

在 Redis 中,Lua 脚本具有原子性是因为 Redis 保证在执行脚本时,脚本中的所有操作都会被当作一个不可分割的整体。具体来说,Redis 使用单线程的执行模型来处理命令,因此当 Lua 脚本在 Redis 中执行时,不会有其他命令打断脚本的执行过程。脚本中的所有操作都将连续执行,直到脚本执行完成后,Redis 才会继续处理其他客户端的请求。 Lua 脚本在 Redis 中原子性的原因