本文主要是介绍Redis持久化的取舍和选择:RDB和AOF,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Redis持久化的取舍和选择
持久化的作用
什么是持久化
redis将内存中的数据保存到磁盘
持久化实现方式
- 快照
mysql dump, Redis RDB - 写日志
mysql Binlog, Hbase Hlog ,Redis AOF
- 快照
RDB
- 什么是RDB
二进制RBD文件,快照文件,可以用作复制媒介 - 触发RDB的三种方式
save命令:同步执行
文件策略:如存在老的RBD文件,会替换
O(n)时间复杂度
bgsave命令:异步执行
使用linux的fork()函数产生redis子进程createRBD生成文件
文件策略:与save相同
自动生产RDB
Redis的默认配置,缺点,不好控制,默认名字 dump.rdb
满足任意一个条件,redis就会使用bgsave创建RDB文件
对应配置文件里面的配置就是以上三个配置,表示在900s 内存一个对象,300s内存10个对象,60s内存10000个对象时就会自动触发RDB的持久化。
使用经验:
不使用自动生成,文件名使用 dump-${port}.rdb,路径自己设置
stop-writes-on-bgsave-error yes 写入错误时停止
rdbcompression yes 开启压缩rdb
rdbchecksum yes 检验和
触发机制-不容忽略的生成RDB方式
- 全量复制
主从复制时会生成RDB - debug reload会生成
- shutdown save
- 全量复制
实验
测试save阻塞
bgsave的非阻塞,立即返回,子进程生成RDB文件
文件策略,新的RDB文件覆盖old文件
AOF
RBD的现存问题
1.耗时,消耗性能:
O(n)时间复杂度
fork()调用消耗内存,采用的是copy-on-write策略
磁盘IO
2.不可控,丢失数据
宕机时丢失2次RDB之间数据什么是AOF
写入命令追加到AOF文件,重启时载入恢复- AOF的三种策略
命令是先写到缓冲区,再根据策略刷到硬盘
appendonly always/everysec/no
策略 | always | everysec | no |
---|---|---|---|
行为 | 每条命令fsync到硬盘 | 每秒把缓冲区fsybc到硬盘 | OS决定什么时候来把缓冲区的命令写到硬盘 |
特点 | 不丢失数据,IO开销大,硬盘压力 | 可能会丢失某一秒的数据 | 不用管,不可控 |
通常使用everysec模式
- AOF重写
AOF文件很大时,redis重启进行恢复需要很长的时间。
AOF重写即是,把重复的,无效的命令,过去数据等进行优化,化简再进行AOF写入,目的是减少磁盘占用,加速恢复的速度。
AOF重写方式:
- bgwriteaof 利用子进程将内存中的数据回溯成aof文件
- AOF重写配置
auto-aof-rewrite-min-size #AOF文件重写需要的大小
auto-aof-rewrite-percentage #AOF文件增长率aof_current_size #AOF当前尺寸
aof_base_size #AOF上次启动和重写的尺寸(字节)
满足触发AOF重写条件:
aof_current_size > auto-aof-rewrite-min-size
或
增长率=(aof_current_size - aof_base_size)/aof_base_size
,增长率达到auto-aof-rewrite-percentage
设置
AOF配置:(aof支持动态配置)
appendonly yes #开启aof
appendfilename "appendonly-${port}.aof" #aof文件名
appendfsync everysec #aof策略
dir xxx #保存路径
no-appendfsync-on-rewrite yes #在重写时是否不需要append,这个配置需要根据实际权衡,
#因为在重写的同时进行append会有性能开销,
#当然如果不append也可能会丢失少量数据,以性能为优先的时候关闭appendauto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
RDB和AOF的选择
- RDB与AOF比较
- RDB‘最佳策略’
- 关闭RDB
- 集中管理
- 主从,从节点开启,注意配置
- AOF‘最佳策略’
- 开启aof:缓存和存储
- AOF集中管理
- everysec策略
- 最佳策略
- 小分片 maxmemory
- 缓存或存储
- 监控:硬盘,内存,负载,网络
- 足够内存,不要布满,注意有些操作需要额外内存
这篇关于Redis持久化的取舍和选择:RDB和AOF的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!