Redis持久化的取舍和选择:RDB和AOF

2023-12-20 14:48
文章标签 选择 redis 持久 rdb aof 取舍

本文主要是介绍Redis持久化的取舍和选择:RDB和AOF,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis持久化的取舍和选择

持久化的作用
  • 什么是持久化

    redis将内存中的数据保存到磁盘

  • 持久化实现方式

    • 快照
      mysql dump, Redis RDB
    • 写日志
      mysql Binlog, Hbase Hlog ,Redis AOF
RDB
  • 什么是RDB
    二进制RBD文件,快照文件,可以用作复制媒介
  • 触发RDB的三种方式
    save命令:同步执行
    文件策略:如存在老的RBD文件,会替换
    O(n)时间复杂度
    bgsave命令:异步执行
    使用linux的fork()函数产生redis子进程createRBD生成文件
    这里写图片描述
    文件策略:与save相同
    这里写图片描述
    自动生产RDB
    Redis的默认配置,缺点,不好控制,默认名字 dump.rdb
    满足任意一个条件,redis就会使用bgsave创建RDB文件
    这里写图片描述
    对应配置文件里面的配置就是以上三个配置,表示在900s 内存一个对象,300s内存10个对象,60s内存10000个对象时就会自动触发RDB的持久化。

使用经验

不使用自动生成,文件名使用 dump-${port}.rdb,路径自己设置
stop-writes-on-bgsave-error yes 写入错误时停止
rdbcompression yes 开启压缩rdb
rdbchecksum yes 检验和
  • 触发机制-不容忽略的生成RDB方式

    1. 全量复制
      主从复制时会生成RDB
    2. debug reload会生成
    3. shutdown save
  • 实验
    测试save阻塞
    bgsave的非阻塞,立即返回,子进程生成RDB文件
    文件策略,新的RDB文件覆盖old文件

AOF
  • RBD的现存问题
    1.耗时,消耗性能:
    O(n)时间复杂度
    fork()调用消耗内存,采用的是copy-on-write策略
    磁盘IO
    2.不可控,丢失数据
    宕机时丢失2次RDB之间数据

  • 什么是AOF
    写入命令追加到AOF文件,重启时载入恢复

  • AOF的三种策略
    命令是先写到缓冲区,再根据策略刷到硬盘
    appendonly always/everysec/no
策略alwayseverysecno
行为每条命令fsync到硬盘每秒把缓冲区fsybc到硬盘OS决定什么时候来把缓冲区的命令写到硬盘
特点不丢失数据,IO开销大,硬盘压力可能会丢失某一秒的数据不用管,不可控

通常使用everysec模式

  • AOF重写
    AOF文件很大时,redis重启进行恢复需要很长的时间。
    AOF重写即是,把重复的,无效的命令,过去数据等进行优化,化简再进行AOF写入,目的是减少磁盘占用,加速恢复的速度。
    AOF重写方式:
    • bgwriteaof 利用子进程将内存中的数据回溯成aof文件
    • AOF重写配置
auto-aof-rewrite-min-size #AOF文件重写需要的大小
auto-aof-rewrite-percentage #AOF文件增长率aof_current_size #AOF当前尺寸
aof_base_size #AOF上次启动和重写的尺寸(字节)

满足触发AOF重写条件:
aof_current_size > auto-aof-rewrite-min-size

增长率=(aof_current_size - aof_base_size)/aof_base_size,增长率达到auto-aof-rewrite-percentage设置

AOF配置:(aof支持动态配置)

appendonly yes  #开启aof
appendfilename "appendonly-${port}.aof" #aof文件名
appendfsync everysec  #aof策略
dir xxx #保存路径
no-appendfsync-on-rewrite yes #在重写时是否不需要append,这个配置需要根据实际权衡,
#因为在重写的同时进行append会有性能开销,
#当然如果不append也可能会丢失少量数据,以性能为优先的时候关闭appendauto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
RDB和AOF的选择
  • RDB与AOF比较
    这里写图片描述
  • RDB‘最佳策略’
    • 关闭RDB
    • 集中管理
    • 主从,从节点开启,注意配置
  • AOF‘最佳策略’
    • 开启aof:缓存和存储
    • AOF集中管理
    • everysec策略
  • 最佳策略
    • 小分片 maxmemory
    • 缓存或存储
    • 监控:硬盘,内存,负载,网络
    • 足够内存,不要布满,注意有些操作需要额外内存

这篇关于Redis持久化的取舍和选择:RDB和AOF的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/516428

相关文章

Redis 的 SUBSCRIBE命令详解

《Redis的SUBSCRIBE命令详解》Redis的SUBSCRIBE命令用于订阅一个或多个频道,以便接收发送到这些频道的消息,本文给大家介绍Redis的SUBSCRIBE命令,感兴趣的朋友跟随... 目录基本语法工作原理示例消息格式相关命令python 示例Redis 的 SUBSCRIBE 命令用于订

sky-take-out项目中Redis的使用示例详解

《sky-take-out项目中Redis的使用示例详解》SpringCache是Spring的缓存抽象层,通过注解简化缓存管理,支持Redis等提供者,适用于方法结果缓存、更新和删除操作,但无法实现... 目录Spring Cache主要特性核心注解1.@Cacheable2.@CachePut3.@Ca

Redis实现高效内存管理的示例代码

《Redis实现高效内存管理的示例代码》Redis内存管理是其核心功能之一,为了高效地利用内存,Redis采用了多种技术和策略,如优化的数据结构、内存分配策略、内存回收、数据压缩等,下面就来详细的介绍... 目录1. 内存分配策略jemalloc 的使用2. 数据压缩和编码ziplist示例代码3. 优化的

redis-sentinel基础概念及部署流程

《redis-sentinel基础概念及部署流程》RedisSentinel是Redis的高可用解决方案,通过监控主从节点、自动故障转移、通知机制及配置提供,实现集群故障恢复与服务持续可用,核心组件包... 目录一. 引言二. 核心功能三. 核心组件四. 故障转移流程五. 服务部署六. sentinel部署

基于Redis自动过期的流处理暂停机制

《基于Redis自动过期的流处理暂停机制》基于Redis自动过期的流处理暂停机制是一种高效、可靠且易于实现的解决方案,防止延时过大的数据影响实时处理自动恢复处理,以避免积压的数据影响实时性,下面就来详... 目录核心思路代码实现1. 初始化Redis连接和键前缀2. 接收数据时检查暂停状态3. 检测到延时过

Redis实现分布式锁全过程

《Redis实现分布式锁全过程》文章介绍Redis实现分布式锁的方法,包括使用SETNX和EXPIRE命令确保互斥性与防死锁,Redisson客户端提供的便捷接口,以及Redlock算法通过多节点共识... 目录Redis实现分布式锁1. 分布式锁的基本原理2. 使用 Redis 实现分布式锁2.1 获取锁

Redis中哨兵机制和集群的区别及说明

《Redis中哨兵机制和集群的区别及说明》Redis哨兵通过主从复制实现高可用,适用于中小规模数据;集群采用分布式分片,支持动态扩展,适合大规模数据,哨兵管理简单但扩展性弱,集群性能更强但架构复杂,根... 目录一、架构设计与节点角色1. 哨兵机制(Sentinel)2. 集群(Cluster)二、数据分片

redis数据结构之String详解

《redis数据结构之String详解》Redis以String为基础类型,因C字符串效率低、非二进制安全等问题,采用SDS动态字符串实现高效存储,通过RedisObject封装,支持多种编码方式(如... 目录一、为什么Redis选String作为基础类型?二、SDS底层数据结构三、RedisObject

Redis分布式锁中Redission底层实现方式

《Redis分布式锁中Redission底层实现方式》Redission基于Redis原子操作和Lua脚本实现分布式锁,通过SETNX命令、看门狗续期、可重入机制及异常处理,确保锁的可靠性和一致性,是... 目录Redis分布式锁中Redission底层实现一、Redission分布式锁的基本使用二、Red

redis和redission分布式锁原理及区别说明

《redis和redission分布式锁原理及区别说明》文章对比了synchronized、乐观锁、Redis分布式锁及Redission锁的原理与区别,指出在集群环境下synchronized失效,... 目录Redis和redission分布式锁原理及区别1、有的同伴想到了synchronized关键字