Innodb之redo日志

2024-04-16 21:28
文章标签 日志 innodb redo

本文主要是介绍Innodb之redo日志,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Innodb引擎执行流程
在这里插入图片描述

redo log

​ MySQL中的redo log(重做日志)是实现WAL(预写式日志)技术的关键组件,用于确保事务的持久性和数据库的crash-safe能力。借用《孔乙己》中酒店掌柜使用粉板记录赊账的故事,可以形象地解释redo log的工作原理和其在MySQL中的作用。

工作原理
  • 粉板(redo log)

​ MySQL中的redo log充当了酒店掌柜的粉板角色。当有数据更新操作时,InnoDB引擎首先将这些变更写入到redo log中,并同时更新内存。这一步完成后,更新操作即视为完成。这个过程非常快,因为写入redo log通常比直接更新磁盘上的数据要快得多。

  • 账本(磁盘数据文件)

​ 与掌柜的账本类似,MySQL中的磁盘数据文件存储了数据库的持久状态。在系统空闲时,或者当redo log快满时,InnoDB会将redo log中记录的变更同步到磁盘上的数据文件中,确保数据的持久化。

  • WAL技术

​ 即Write-Ahead Logging,其核心思想是先记录日志(即先写redo log),再将数据持久化到磁盘上。这样做的好处是提高了数据更新的效率,并且通过redo log可以在数据库异常重启后恢复未持久化的数据变更,保证数据的完整性。

循环使用

在这里插入图片描述

  • redo log空间是固定的,由一组文件组成。例如,可以配置为4个文件,每个1GB,总共可以记录4GB的操作。
  • 写入位置(write pos)标记了当前记录的位置,随着数据的不断写入而向后移动。当到达redo log末尾时,会循环回到开头继续写。
  • 擦除位置(checkpoint)标记了当前需要从redo log同步到磁盘数据文件的位置。在擦除记录之前,必须确保数据已经持久化到磁盘。
  • 当write pos追上checkpoint时,表示redo log已满。此时,必须暂停新的更新操作,将部分redo log记录持久化到磁盘数据文件中,以腾出空间。
重要性
  • 提高效率

​ 通过先写日志再写磁盘的方式,大大提高了更新操作的效率。

  • crash-safe能力

​ 有了redo log,InnoDB能够保证即使数据库发生异常重启,之前已提交的事务不会丢失,从而保障了数据的完整性和一致性。

redo log buffer

​ 这个缓冲区位于内存中,其主要作用是临时存储即将被写入到redo log文件的日志信息。使用缓冲区的目的是为了提高系统的性能和效率。

工作原理
  1. 写入流程

​ 当事务执行数据修改操作时,这些变更首先被记录到redo log buffer中。这允许事务快速继续执行,而不必等待数据被写入磁盘上的物理redo log文件。

  1. 异步刷新

​ 随后,在适当的时候(比如事务提交时或者当redo log buffer满时),InnoDB存储引擎会将缓冲区中的日志信息异步刷新到磁盘上的redo log文件。这个刷新操作是自动进行的,并且是在后台执行,从而最小化对数据库性能的影响。

  1. crash-safe保证

​ 通过redo log buffer和redo log文件的配合使用,InnoDB能够保证即使在数据库系统崩溃的情况下,所有已提交的事务修改都不会丢失,实现了数据库的crash-safe能力。

重要性
  • 性能提升

​ 使用redo log buffer允许InnoDB合并多个日志写入操作,减少磁盘I/O次数,从而显著提高了数据库操作的性能。

  • 数据安全

​ 尽管redo log buffer位于内存中,但InnoDB通过两阶段提交协议(先写日志后写数据)确保了数据的一致性和持久性,即使发生系统崩溃也能保证数据不丢失。

总结

​ redo log buffer是InnoDB存储引擎中关键的组成部分,它通过缓冲和优化日志写入操作,既提升了数据库的性能,又确保了数据的安全性和一致性。

redo log与binlog

​ 在MySQL数据库中,binlog(二进制日志)和redo log(重做日志)都是关键的日志系统,但它们服务于不同的目的,具有不同的特性和工作机制。

redo log
  • 主要用途

​ redo log主要用于确保事务的持久性和数据库的crash-safe能力。它是InnoDB存储引擎特有的日志系统,用于记录对数据库进行更改的操作,以便在数据库发生崩溃时能够恢复数据。

  • 工作方式

​ redo log采用循环写的方式,固定大小。当空间满时,旧的日志会被新的日志覆盖。redo log记录的是物理日志,即具体修改了哪些数据页。

  • 写入时机

​ 在事务提交时,相关的redo log必须先写入磁盘(这是实现WAL机制的一部分),确保即使系统崩溃,事务的更改也不会丢失。

binlog
  • 主要用途

​ binlog是MySQL服务器层的日志,记录了所有修改了数据库数据的操作(如INSERT、UPDATE、DELETE等),不仅限于InnoDB引擎。binlog主要用于数据复制和数据恢复。

  • 工作方式

​ binlog是追加写的,可以包含多个文件,当一个文件达到一定大小后,会自动切换到新的文件。binlog记录的是逻辑日志,即记录了哪些SQL语句被执行了。

  • 写入时机

​ 事务提交后,相关操作会被写入binlog。在主从复制环境中,从库利用binlog来复制主库上的数据变更,实现数据的同步。

主要区别
  1. 目的和用途

​ redo log主要用于恢复事务提交后的数据,保证数据库的crash-safe。binlog用于数据复制和恢复,支持数据库的高可用和数据备份。

  1. 属于哪一层

​ redo log属于InnoDB存储引擎层,仅适用于InnoDB引擎;而binlog属于MySQL的服务器层,适用于所有的存储引擎。

  1. 日志内容

​ redo log是物理日志,记录了数据页的物理变更;binlog是逻辑日志,记录了修改数据库的SQL语句。

  1. 写入方式

​ redo log采用循环写入,空间固定;binlog采用追加写入,可以无限增长,直到磁盘空间被占满。

  1. 对恢复和复制的影响

​ redo log是实现事务的持久性和数据库恢复的关键;binlog是实现数据复制和某些类型的数据恢复(如点时间恢复)的基础。

redo log相关参数

​ 在MySQL的InnoDB存储引擎中,redo log(重做日志)是实现事务持久性和crash-safe能力的关键组成部分。管理和配置redo log涉及几个关键的参数,这些参数影响着数据库的恢复能力和性能。以下是一些重要的redo log相关参数:

innodb_log_buffer_size
  • 描述:这个参数设置了内存中redo log buffer的大小。redo log buffer是用来暂存日志信息的内存缓冲区,在数据被异步刷新到磁盘上的redo log文件之前,会先写入这个缓冲区。
  • 默认值:默认为16MB。
  • 调整建议:如果你的事务涉及大量的写操作,增加这个参数的值可以减少对磁盘的写操作频率,从而提高性能。但是,增加缓冲区大小也意味着在崩溃恢复时可能需要更长的时间。
innodb_log_group_home_dir
  • 描述:定义了redo log文件的存储位置。
  • 默认值:默认为"./",意味着redo log文件存储在数据目录下。
  • 调整建议:在大多数情况下,你可能不需要更改这个参数。但如果需要优化I/O性能,可以考虑将redo log文件存储在不同的磁盘或存储系统上。
innodb_log_files_in_group
  • 描述:设置redo log组中文件的数量。
  • 默认值:默认为2。
  • 调整建议:增加文件数量可以提高redo log的总大小,但过多的文件可能会增加管理的复杂度。通常情况下,默认值已经足够使用。
innodb_log_file_size
  • 描述:定义了每个redo log文件的大小。
  • 默认值:默认为48MB。
  • 调整建议:这是一个重要的性能调优参数。较大的redo log文件可以减少日志的循环写入,对于高负载的数据库系统来说,可能需要增加此值以提高性能。但是,较大的日志文件在恢复时可能也会花费更多时间。

调整这些参数时,需要考虑到系统的整体性能、数据恢复需求以及磁盘空间限制。在生产环境中做出调整前,推荐先在测试环境中评估改动的影响。调整redo log配置可以优化数据库的性能和恢复能力,但同时也需要权衡潜在的风险。

这篇关于Innodb之redo日志的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/909934

相关文章

SpringBoot日志配置SLF4J和Logback的方法实现

《SpringBoot日志配置SLF4J和Logback的方法实现》日志记录是不可或缺的一部分,本文主要介绍了SpringBoot日志配置SLF4J和Logback的方法实现,文中通过示例代码介绍的非... 目录一、前言二、案例一:初识日志三、案例二:使用Lombok输出日志四、案例三:配置Logback一

golang 日志log与logrus示例详解

《golang日志log与logrus示例详解》log是Go语言标准库中一个简单的日志库,本文给大家介绍golang日志log与logrus示例详解,感兴趣的朋友一起看看吧... 目录一、Go 标准库 log 详解1. 功能特点2. 常用函数3. 示例代码4. 优势和局限二、第三方库 logrus 详解1.

如何自定义Nginx JSON日志格式配置

《如何自定义NginxJSON日志格式配置》Nginx作为最流行的Web服务器之一,其灵活的日志配置能力允许我们根据需求定制日志格式,本文将详细介绍如何配置Nginx以JSON格式记录访问日志,这种... 目录前言为什么选择jsON格式日志?配置步骤详解1. 安装Nginx服务2. 自定义JSON日志格式各

SpringBoot项目使用MDC给日志增加唯一标识的实现步骤

《SpringBoot项目使用MDC给日志增加唯一标识的实现步骤》本文介绍了如何在SpringBoot项目中使用MDC(MappedDiagnosticContext)为日志增加唯一标识,以便于日... 目录【Java】SpringBoot项目使用MDC给日志增加唯一标识,方便日志追踪1.日志效果2.实现步

SQL Server清除日志文件ERRORLOG和删除tempdb.mdf

《SQLServer清除日志文件ERRORLOG和删除tempdb.mdf》数据库再使用一段时间后,日志文件会增大,特别是在磁盘容量不足的情况下,更是需要缩减,以下为缩减方法:如果可以停止SQLSe... 目录缩减 ERRORLOG 文件(停止服务后)停止 SQL Server 服务:找到错误日志文件:删除

Mysql中InnoDB与MyISAM索引差异详解(最新整理)

《Mysql中InnoDB与MyISAM索引差异详解(最新整理)》InnoDB和MyISAM在索引实现和特性上有差异,包括聚集索引、非聚集索引、事务支持、并发控制、覆盖索引、主键约束、外键支持和物理存... 目录1. 索引类型与数据存储方式InnoDBMyISAM2. 事务与并发控制InnoDBMyISAM

grom设置全局日志实现执行并打印sql语句

《grom设置全局日志实现执行并打印sql语句》本文主要介绍了grom设置全局日志实现执行并打印sql语句,包括设置日志级别、实现自定义Logger接口以及如何使用GORM的默认logger,通过这些... 目录gorm中的自定义日志gorm中日志的其他操作日志级别Debug自定义 Loggergorm中的

MySQL InnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据

《MySQLInnoDB引擎ibdata文件损坏/删除后使用frm和ibd文件恢复数据》mysql的ibdata文件被误删、被恶意修改,没有从库和备份数据的情况下的数据恢复,不能保证数据库所有表数据... 参考:mysql Innodb表空间卸载、迁移、装载的使用方法注意!此方法只适用于innodb_fi

SpringBoot项目注入 traceId 追踪整个请求的日志链路(过程详解)

《SpringBoot项目注入traceId追踪整个请求的日志链路(过程详解)》本文介绍了如何在单体SpringBoot项目中通过手动实现过滤器或拦截器来注入traceId,以追踪整个请求的日志链... SpringBoot项目注入 traceId 来追踪整个请求的日志链路,有了 traceId, 我们在排

MySQL8.0设置redo缓存大小的实现

《MySQL8.0设置redo缓存大小的实现》本文主要在MySQL8.0.30及之后版本中使用innodb_redo_log_capacity参数在线更改redo缓存文件大小,下面就来介绍一下,具有一... mysql 8.0.30及之后版本可以使用innodb_redo_log_capacity参数来更改