Redis持久化的取舍和选择:RDB和AOF

2023-12-20 14:48
文章标签 选择 redis 持久 rdb aof 取舍

本文主要是介绍Redis持久化的取舍和选择:RDB和AOF,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Redis持久化的取舍和选择

持久化的作用
  • 什么是持久化

    redis将内存中的数据保存到磁盘

  • 持久化实现方式

    • 快照
      mysql dump, Redis RDB
    • 写日志
      mysql Binlog, Hbase Hlog ,Redis AOF
RDB
  • 什么是RDB
    二进制RBD文件,快照文件,可以用作复制媒介
  • 触发RDB的三种方式
    save命令:同步执行
    文件策略:如存在老的RBD文件,会替换
    O(n)时间复杂度
    bgsave命令:异步执行
    使用linux的fork()函数产生redis子进程createRBD生成文件
    这里写图片描述
    文件策略:与save相同
    这里写图片描述
    自动生产RDB
    Redis的默认配置,缺点,不好控制,默认名字 dump.rdb
    满足任意一个条件,redis就会使用bgsave创建RDB文件
    这里写图片描述
    对应配置文件里面的配置就是以上三个配置,表示在900s 内存一个对象,300s内存10个对象,60s内存10000个对象时就会自动触发RDB的持久化。

使用经验

不使用自动生成,文件名使用 dump-${port}.rdb,路径自己设置
stop-writes-on-bgsave-error yes 写入错误时停止
rdbcompression yes 开启压缩rdb
rdbchecksum yes 检验和
  • 触发机制-不容忽略的生成RDB方式

    1. 全量复制
      主从复制时会生成RDB
    2. debug reload会生成
    3. shutdown save
  • 实验
    测试save阻塞
    bgsave的非阻塞,立即返回,子进程生成RDB文件
    文件策略,新的RDB文件覆盖old文件

AOF
  • RBD的现存问题
    1.耗时,消耗性能:
    O(n)时间复杂度
    fork()调用消耗内存,采用的是copy-on-write策略
    磁盘IO
    2.不可控,丢失数据
    宕机时丢失2次RDB之间数据

  • 什么是AOF
    写入命令追加到AOF文件,重启时载入恢复

  • AOF的三种策略
    命令是先写到缓冲区,再根据策略刷到硬盘
    appendonly always/everysec/no
策略alwayseverysecno
行为每条命令fsync到硬盘每秒把缓冲区fsybc到硬盘OS决定什么时候来把缓冲区的命令写到硬盘
特点不丢失数据,IO开销大,硬盘压力可能会丢失某一秒的数据不用管,不可控

通常使用everysec模式

  • AOF重写
    AOF文件很大时,redis重启进行恢复需要很长的时间。
    AOF重写即是,把重复的,无效的命令,过去数据等进行优化,化简再进行AOF写入,目的是减少磁盘占用,加速恢复的速度。
    AOF重写方式:
    • bgwriteaof 利用子进程将内存中的数据回溯成aof文件
    • AOF重写配置
auto-aof-rewrite-min-size #AOF文件重写需要的大小
auto-aof-rewrite-percentage #AOF文件增长率aof_current_size #AOF当前尺寸
aof_base_size #AOF上次启动和重写的尺寸(字节)

满足触发AOF重写条件:
aof_current_size > auto-aof-rewrite-min-size

增长率=(aof_current_size - aof_base_size)/aof_base_size,增长率达到auto-aof-rewrite-percentage设置

AOF配置:(aof支持动态配置)

appendonly yes  #开启aof
appendfilename "appendonly-${port}.aof" #aof文件名
appendfsync everysec  #aof策略
dir xxx #保存路径
no-appendfsync-on-rewrite yes #在重写时是否不需要append,这个配置需要根据实际权衡,
#因为在重写的同时进行append会有性能开销,
#当然如果不append也可能会丢失少量数据,以性能为优先的时候关闭appendauto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
RDB和AOF的选择
  • RDB与AOF比较
    这里写图片描述
  • RDB‘最佳策略’
    • 关闭RDB
    • 集中管理
    • 主从,从节点开启,注意配置
  • AOF‘最佳策略’
    • 开启aof:缓存和存储
    • AOF集中管理
    • everysec策略
  • 最佳策略
    • 小分片 maxmemory
    • 缓存或存储
    • 监控:硬盘,内存,负载,网络
    • 足够内存,不要布满,注意有些操作需要额外内存

这篇关于Redis持久化的取舍和选择:RDB和AOF的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/516428

相关文章

Redis客户端工具之RedisInsight的下载方式

《Redis客户端工具之RedisInsight的下载方式》RedisInsight是Redis官方提供的图形化客户端工具,下载步骤包括访问Redis官网、选择RedisInsight、下载链接、注册... 目录Redis客户端工具RedisInsight的下载一、点击进入Redis官网二、点击RedisI

Redis实现RBAC权限管理

《Redis实现RBAC权限管理》本文主要介绍了Redis实现RBAC权限管理,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1. 什么是 RBAC?2. 为什么使用 Redis 实现 RBAC?3. 设计 RBAC 数据结构

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

基于Python实现多语言朗读与单词选择测验

《基于Python实现多语言朗读与单词选择测验》在数字化教育日益普及的今天,开发一款能够支持多语言朗读和单词选择测验的程序,对于语言学习者来说无疑是一个巨大的福音,下面我们就来用Python实现一个这... 目录一、项目概述二、环境准备三、实现朗读功能四、实现单词选择测验五、创建图形用户界面六、运行程序七、

前端知识点之Javascript选择输入框confirm用法

《前端知识点之Javascript选择输入框confirm用法》:本文主要介绍JavaScript中的confirm方法的基本用法、功能特点、注意事项及常见用途,文中通过代码介绍的非常详细,对大家... 目录1. 基本用法2. 功能特点①阻塞行为:confirm 对话框会阻塞脚本的执行,直到用户作出选择。②

redis群集简单部署过程

《redis群集简单部署过程》文章介绍了Redis,一个高性能的键值存储系统,其支持多种数据结构和命令,它还讨论了Redis的服务器端架构、数据存储和获取、协议和命令、高可用性方案、缓存机制以及监控和... 目录Redis介绍1. 基本概念2. 服务器端3. 存储和获取数据4. 协议和命令5. 高可用性6.

Redis的数据过期策略和数据淘汰策略

《Redis的数据过期策略和数据淘汰策略》本文主要介绍了Redis的数据过期策略和数据淘汰策略,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录一、数据过期策略1、惰性删除2、定期删除二、数据淘汰策略1、数据淘汰策略概念2、8种数据淘汰策略

Redis存储的列表分页和检索的实现方法

《Redis存储的列表分页和检索的实现方法》在Redis中,列表(List)是一种有序的数据结构,通常用于存储一系列元素,由于列表是有序的,可以通过索引来访问元素,因此可以很方便地实现分页和检索功能,... 目录一、Redis 列表的基本操作二、分页实现三、检索实现3.1 方法 1:客户端过滤3.2 方法

Python中操作Redis的常用方法小结

《Python中操作Redis的常用方法小结》这篇文章主要为大家详细介绍了Python中操作Redis的常用方法,文中的示例代码简洁易懂,具有一定的借鉴价值,有需要的小伙伴可以了解一下... 目录安装Redis开启、关闭Redisredis数据结构redis-cli操作安装redis-py数据库连接和释放增

redis防止短信恶意调用的实现

《redis防止短信恶意调用的实现》本文主要介绍了在场景登录或注册接口中使用短信验证码时遇到的恶意调用问题,并通过使用Redis分布式锁来解决,具有一定的参考价值,感兴趣的可以了解一下... 目录1.场景2.排查3.解决方案3.1 Redis锁实现3.2 方法调用1.场景登录或注册接口中,使用短信验证码场