逐字节讲解 Redis 持久化（RDB 和 AOF）的文件格式

2023-11-22 09:44
文章标签 讲解 redis 持久 文件格式 rdb aof 逐字

本文主要是介绍逐字节讲解 Redis 持久化（RDB 和 AOF）的文件格式，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

前言

相信各位对 Redis 的这两种持久化机制都不陌生，简单来说，RDB 就是对数据的全量备份，AOF 则是增量备份，而从 4.0 版本开始引入了混合方式，以 7.2.3 版本为例，会生成三类文件：RDB、AOF 和记录 aof 文件的元数据信息文件，如下图所示，这时的 AOF 可以看作是一种差异备份。

image-20231117142130770

接下来本文将结合具体的备份文件，通过分析其结构，从另一种角度来看两种持久化方式的差异。

RDB

首先是对 RDB 全量备份文件的解析，想要生成 RDB 文件，有两种方式，一种是手动方式：使用 save（阻塞）或者 bgsave（非阻塞）命令生成，一种是在配置文件中增加save m n（表示在 m 内，至少出现了 n 次变更就会执行 bgsave 命令）配置来实现。

下面就以一个具体的dump.rdb（在 0 号库中有一条键为 hello，值为 world 的记录）文件为例来解析其文件格式，由于 RDB 文件是二进制格式，这里使用了一个在线的十六进制编辑器进行查看：

image-20231117151039644

下文均是结合 Redis 7.2.3 版本的源码的 rdb.c 文件进行解析，对应源码地址。

0x00 Redis 版本

52 45 44 49 53 30 30 31 31，根据源码snprintf(magic,sizeof(magic),"REDIS%04d",RDB_VERSION);可以看到这里前五位是固定值REDIS，后四位用于标识RDB的版本对应11。

0x01 辅助信息

这部分涉及数据较多，先放出源码：

if (rdbSaveAuxFieldStrStr(rdb,"redis-ver",REDIS_VERSION) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"redis-bits",redis_bits) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"ctime",time(NULL)) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb,"used-mem",zmalloc_used_memory()) == -1) return -1;
if (rdbSaveAuxFieldStrInt(rdb, "aof-base", aof_base) == -1) return -1;

结合编辑器右侧的信息，可以发现这部分数据下图中选中的数据：

在这里插入图片描述

  1. redis-ver(Redis 版本)

    这部分对应FA 09 72 65 64 69 73 2D 76 65 72 05 37 2E 32 32 2E 33，其中开头的FA(250)代表这部分数据是 AUX 属性字段，根据源码#define RDB_OPCODE_AUX 250可以了解到。然后是09 72 65 64 69 73 2D 76 65 72，09 代表随后的 9个字节是属性名，即redis-ver，最后是05 37 2E 32 32 2E 33，其中 05 代表随后的 5 个字节是属性名对应的字段值，即 Redis 的版本号7.2.3。

  2. redis-bits（位架构）

    这部分对应FA 0A 72 65 64 69 73 2D 62 69 74 73 C0 40。参考 1 可知开始的FA代表AUX，OA代表随后的 10 字节是属性名，即redis-bits。但是随后的C0就不再是代表值的长度了，这里先说明C0代表后续的一个字节按照整数进行读取，对应0x40（64），即代表是 Redis 的 64位架构。下面我们再来说明为什么会有以上的区别：

    其实代表值长度的不一定只有一个字节，这里会根据前两位进行判断（C0 对应1100 0000）：

    • 如果前两位是 00 ，那么后续的 6 位（可表示 0 ~ 63）就代表实际的字符串长度。

    • 如果前两位是 01，那么接下来的一个字节也会用于表示长度，加上第一个剩下的 6 位，总共 14 位（可表示0 ~ 16383）代表实际的字符串长度。

    • 如果前两位是 10，那么剩下 6 位的值如果是 0，就代表随后的 32 字节代表具体长度，如果剩下 6 位的值是 1，就代表随后的 64 字节代表具体长度。

    • 如果前两位是 11，则需要根据整个字节的值再进行判断，如果是C0就代表将随后的 1 字节表示整数，如果是 C1 就代表随后的 2 字节表示整数，如果是 C2 就代表随后的 4 字节表示整数，如果是C3就代表随后的内容是使用LZF 压缩算法处理后的内容。

  3. ctime（文件创建时间）

    这部分对应FA 05 63 74 69 6D 65 C2 44 11 57 65，参考 1 可知开始的FA代表AUX，05代表随后的 5 字节是属性名，即ctime。参考 2 中解析，可知随后的C2代表后续的 4 字节即44 11 57 65表示整数，由于需要按照小端序读取，因此对应的内容是 0x65571144，即秒级时间戳，如下图所示：

    image-20231120085845280

  4. used-mem（内存使用大小）

    这部分对应FA 08 75 73 65 64 2D 6D 65 6D C2 40 15 12 00，参考 1 可知开始的FA代表AUX，08代表随后的 8 字节是属性名，即used-mem。参考 3 ，可知随后的C2代表后续的 4 字节即40 15 12 00表示整数，对应的内容是 0x00121540，即 Redis 在 创建 rdb 文件前占用的内存是 1185088 字节（1.13 MB）。

  5. aof-base （是否为 aof 基准文件）

    这部分对应FA 08 61 6F 66 2D 62 61 73 65 C0 00，参考 1 可知开始的FA代表AUX，08代表随后的 8 字节是属性名，即aof-base。参考 2 中解析，可知随后的C0代表后续的 1 字节即00表示整数，即该 RDB 文件不是作为 AOF 的基准文件，后文中可以看到在 AOF 中生成的 RDB 文件中该值为 1。

0x02 数据部分

FE 00 FB 01 00 00 05 68 65 6C 6C 6F 05 77 6F 72 6C 64，这部分开始对应具体的数据信息，先展示源码：

/* save all databases, skip this if we're in functions-only mode */
if (!(req & SLAVE_REQ_RDB_EXCLUDE_DATA)) {for (j = 0; j < server.dbnum; j++) {if (rdbSaveDb(rdb, j, rdbflags, &key_counter) == -1) goto werr;}
}// 以下内容是 rdbSaveDb 函数内的语句/* Write the SELECT DB opcode */
if ((res = rdbSaveType(rdb,RDB_OPCODE_SELECTDB)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb, dbid)) < 0) goto werr;
written += res;
/* Write the RESIZE DB opcode. */
unsigned long long expires_size = dbSize(db, DB_EXPIRES);
if ((res = rdbSaveType(rdb,RDB_OPCODE_RESIZEDB)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb,db_size)) < 0) goto werr;
written += res;
if ((res = rdbSaveLen(rdb,expires_size)) < 0) goto werr;
written += res;

可以看出这部分是遍历所有的数据库内容然后进行保存，下面再结合具体的内容进行介绍。

首先是FE 00，其中FE(254)对应RDB_OPCODE_SELECTDB常量是查询数据库的标志，00即代表 0 号数据库。

然后是FB 01 00，其中FB(251)对应RDB_OPCODE_RESIZEDB常量是查询该数据库大小的标志，根据if ((res = rdbSaveLen(rdb,db_size)) < 0) goto werr;知道01代表数据库的大小，即只有一条数据，根据if ((res = rdbSaveLen(rdb,expires_size)) < 0) goto werr;知道00代表没有包含过期标志的数据。

最后是00 05 68 65 6C 6C 6F 05 77 6F 72 6C 64，代表具体的数据内容。其中开始的00代表类型是字符串，参考源码可知（RDB_TYPE_STRING 的值是 0）：

/* Save the object type of object "o". */
int rdbSaveObjectType(rio *rdb, robj *o) {switch (o->type) {case OBJ_STRING:return rdbSaveType(rdb,RDB_TYPE_STRING);case OBJ_LIST:if (o->encoding == OBJ_ENCODING_QUICKLIST || o->encoding == OBJ_ENCODING_LISTPACK)return rdbSaveType(rdb, RDB_TYPE_LIST_QUICKLIST_2);elseserverPanic("Unknown list encoding");case OBJ_SET:if (o->encoding == OBJ_ENCODING_INTSET)return rdbSaveType(rdb,RDB_TYPE_SET_INTSET);else if (o->encoding == OBJ_ENCODING_HT)return rdbSaveType(rdb,RDB_TYPE_SET);else if (o->encoding == OBJ_ENCODING_LISTPACK)return rdbSaveType(rdb,RDB_TYPE_SET_LISTPACK);elseserverPanic("Unknown set encoding");case OBJ_ZSET:if (o->encoding == OBJ_ENCODING_LISTPACK)return rdbSaveType(rdb,RDB_TYPE_ZSET_LISTPACK);else if (o->encoding == OBJ_ENCODING_SKIPLIST)return rdbSaveType(rdb,RDB_TYPE_ZSET_2);elseserverPanic("Unknown sorted set encoding");case OBJ_HASH:if (o->encoding == OBJ_ENCODING_LISTPACK)return rdbSaveType(rdb,RDB_TYPE_HASH_LISTPACK);else if (o->encoding == OBJ_ENCODING_HT)return rdbSaveType(rdb,RDB_TYPE_HASH);elseserverPanic("Unknown hash encoding");case OBJ_STREAM:return rdbSaveType(rdb,RDB_TYPE_STREAM_LISTPACKS_3);case OBJ_MODULE:return rdbSaveType(rdb,RDB_TYPE_MODULE_2);default:serverPanic("Unknown object type");}return -1; /* avoid warning */
}

随后的05 68 65 6C 6C 6F中的 05表示键的长度是5，对应68 65 6C 6C 6F即hello。最后的05 77 6F 72 6C 64代表值的长度也是 5，内容是77 6F 72 6C 64即world。

0x03 尾部信息

FF 18 7F 33 2E 0F C6 20 19，根据源码#define RDB_OPCODE_EOF 255可知，FF(25)是文件的 EOF 即结束标志。随后的 8 位根据源码可知对应 CRC64 校验码：

/* EOF opcode */
if (rdbSaveType(rdb,RDB_OPCODE_EOF) == -1) goto werr;/* CRC64 checksum. It will be zero if checksum computation is disabled, the* loading code skips the check in this case. */
cksum = rdb->cksum;
memrev64ifbe(&cksum);
if (rioWrite(rdb,&cksum,8) == 0) goto werr;

AOF

AOF 用于对数据库的增量备份，如果需要开启，需要将配置文件中的appendonly设置为 yes。同时，根据需要可以，设置appenddirname对应保存的文件夹，设置appendfilename用于配置文件名，设置appendfsync 用于配置频率。开启后，可以在指定的文件夹下看到类似以下的文件结构：

image-20231117142130770

其中 rdb 结尾的代表是 AOF 备份的基准文件，aof 文件是增量备份的执行命令信息，manifest 文件是记录 aof 文件的元数据信息。

0x00 dump.aof.1.base.rdb

通过十六进制编辑器打开该文件，可以发现内容和 RDB 中的格式一致（创建数据前备份的，所以没有数据部分）：

在这里插入图片描述

而由于是 AOF 的基准文件，这里aof-base的值是01即代表是基准文件。

0x01 dump.aof.1.incr.aof

文本文件，内容如下（*开头代表命令包含的参数个数，$开头代表命令的长度）：

*2       // 两个参数
$6       // 第一个参数长度为 6, 对应 SELECT 的长度
SELECT   
$1       // 第二个参数长度为 1, 对应 0, 即 0 号数据库
0
*3       // 三个参数
$3       // 第一个参数长度为 3, 对应 set 的长度
set
$5       // 第二个参数长度为 5, 对应 hello 的长度
hello
$0       // 第三个参数长度为 0*3       // 三个参数
$3       // 第一个参数长度为 3, 对应 set 的长度
set
$5       // 第二个参数长度为 5, 对应 hello 的长度
hello
$5
world    // 第三个参数长度为 5, 对应 world 的长度

0x02 dump.aof.manifest

文本文件，内容如下：

file dump.aof.1.base.rdb seq 1 type b
file dump.aof.1.incr.aof seq 1 type i

其中seq 1 代表文件序号为 1，type b代表type base即基准文件，type i代表type increment即增量文件。

总结

本文根据一个简单的 RDB 文件讲解了 RDB 文件的存储格式，同时也简单介绍了 AOF 的文件格式。关于 RDB 中的 LZF 压缩算法和更复杂数据的存储方式（包含过期时间，数据类型为 Set，Map）等未作介绍，将留到下次。

这篇关于逐字节讲解 Redis 持久化（RDB 和 AOF）的文件格式的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/409247。

相关文章

零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能
阅读更多...
Redis中使用布隆过滤器解决缓存穿透问题

Redis中使用布隆过滤器解决缓存穿透问题

一、缓存穿透(失效)问题 缓存穿透是指查询一个一定不存在的数据，由于缓存中没有命中，会去数据库中查询，而数据库中也没有该数据，并且每次查询都不会命中缓存，从而每次请求都直接打到了数据库上，这会给数据库带来巨大压力。 二、布隆过滤器原理 布隆过滤器（Bloom Filter）是一种空间效率很高的随机数据结构，它利用多个不同的哈希函数将一个元素映射到一个位数组中的多个位置，并将这些位置的值置
阅读更多...
Lua 脚本在 Redis 中执行时的原子性以及与redis的事务的区别

Lua 脚本在 Redis 中执行时的原子性以及与redis的事务的区别

在 Redis 中，Lua 脚本具有原子性是因为 Redis 保证在执行脚本时，脚本中的所有操作都会被当作一个不可分割的整体。具体来说，Redis 使用单线程的执行模型来处理命令，因此当 Lua 脚本在 Redis 中执行时，不会有其他命令打断脚本的执行过程。脚本中的所有操作都将连续执行，直到脚本执行完成后，Redis 才会继续处理其他客户端的请求。 Lua 脚本在 Redis 中原子性的原因
阅读更多...
laravel框架实现redis分布式集群原理

laravel框架实现redis分布式集群原理

在app/config/database.php中配置如下： 'redis' => array('cluster' => true,'default' => array('host' => '172.21.107.247','port' => 6379,),'redis1' => array('host' => '172.21.107.248','port' => 6379,),) 其中cl
阅读更多...
Redis的rehash机制

Redis的rehash机制

在Redis中，键值对（Key-Value Pair）存储方式是由字典（Dict）保存的，而字典底层是通过哈希表来实现的。通过哈希表中的节点保存字典中的键值对。我们知道当HashMap中由于Hash冲突（负载因子）超过某个阈值时，出于链表性能的考虑，会进行Resize的操作。Redis也一样。 在redis的具体实现中，使用了一种叫做渐进式哈希(rehashing)的机制来提高字典的缩放效率，避
阅读更多...
ispunct函数讲解 ＜ctype.h＞头文件函数

ispunct函数讲解 ＜ctype.h＞头文件函数

目录 1.头文件函数 2.ispunct函数使用  小心！VS2022不可直接接触，否则..!没有这个必要，方源一把抓住VS2022，顷刻 炼化！ 1.头文件函数 以上函数都需要包括头文件<ctype.h> ，其中包括 ispunct 函数 #include<ctype.h> 2.ispunct函数使用 简述： ispunct函数一种判断字符是否为标点符号的函
阅读更多...
深度学习速通系列:深度学习算法讲解

深度学习速通系列:深度学习算法讲解

深度学习算法是一系列基于人工神经网络的算法，它们通过模拟人脑处理信息的方式来学习和解决复杂问题。这些算法在图像识别、语音识别、自然语言处理、游戏等领域取得了显著的成就。以下是一些流行的深度学习算法及其基本原理： 1. 前馈神经网络（Feedforward Neural Networks, FNN） 原理：FNN 是最基本的神经网络结构，它由输入层、隐藏层和输出层组成。信息从输入层流向隐藏层，最
阅读更多...
【吊打面试官系列-Redis面试题】说说 Redis 哈希槽的概念？

【吊打面试官系列-Redis面试题】说说 Redis 哈希槽的概念？

大家好，我是锋哥。今天分享关于 【说说 Redis 哈希槽的概念？】面试题，希望对大家有帮助； 说说 Redis 哈希槽的概念？ Redis 集群没有使用一致性 hash,而是引入了哈希槽的概念，Redis 集群有 16384 个哈希槽，每个 key 通过 CRC16 校验后对 16384 取模来决定放置哪个槽， 集群的每个节点负责一部分 hash 槽。
阅读更多...
C#设计模式(1)——单例模式（讲解非常清楚）

C#设计模式(1)——单例模式（讲解非常清楚）

一、引言 最近在学设计模式的一些内容，主要的参考书籍是《Head First 设计模式》，同时在学习过程中也查看了很多博客园中关于设计模式的一些文章的，在这里记录下我的一些学习笔记，一是为了帮助我更深入地理解设计模式，二同时可以给一些初学设计模式的朋友一些参考。首先我介绍的是设计模式中比较简单的一个模式——单例模式（因为这里只牵涉到一个类） 二、单例模式的介绍 说到单例模式,大家第一
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2