MySQL 关键特性一:插入缓冲、双写缓冲

2024-06-05 05:20

本文主要是介绍MySQL 关键特性一:插入缓冲、双写缓冲,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

​ 本文主要介绍 mysql 的几大特性之几,如:双写缓冲和插入缓存。

双写缓冲
基本概念

​ 双写缓冲(doublewrite buffer)是MySQL/InnoDB中用于支持原子页面更新的一种机制。在传统的数据库系统中,为了保证数据的一致性和可恢复性,通常需要进行冗余写入操作。这种冗余写入通过在原始数据写入后,再将这些数据写入一个额外的缓冲区来实现,从而确保即使在发生故障的情况下也能从备份数据中恢复。

核心就是通过备份数据页的方式保证数据的可靠性、一致性

​ 然而,这种冗余写入操作会对数据库性能产生负面影响,并且增加了存储设备的写入流量,尤其是在使用基于闪存的SSD作为存储介质时。随着非易失性内存(NVM)技术的发展,如PCM和STT-MRAM,它们提供了低延迟、高带宽、非易失性和高容量等特点,为改善数据库事务处理提供了新的可能性。

​ 在最新的研究中,提出了一种名为LSBM的日志结构化缓冲管理器,该管理器利用NVM技术来高效地原子更新页面。LSBM通过异地更新页面来实现原子性,并进行页面缓冲以提高性能。此外,LSBM还能够动态回收缓冲页面,以减少对存储的写入流量。通过在NVDIMM上实现LSBM并将其移植到MySQL/InnoDB中,实验结果表明LSBM不仅提高了数据库性能,还减少了在线事务处理(OLTP)工作负载上的写入流量。

​ 因此,对于使用MySQL/InnoDB的数据库系统来说,考虑采用基于NVM的LSBM可以有效地优化双写缓冲机制,既保持了数据的一致性和可恢复性,又显著提升了数据库的整体性能和存储效率。

结构
  1. 在内存结构中,Doublewrite Buffer由128个页(Page)构成,大小是2MB。这些页在内存中以Doublewrite Buffer的形式存在。

  2. 在磁盘结构中,Doublewrite Buffer在系统表空间上是128个页(2个区,extend1和extend2),大小也是2MB。这些页在磁盘上以Doublewrite File的形式存在。

工作流程
  1. 写操作触发: 当执行INSERT、UPDATE或DELETE等写操作时,MySQL首先将数据写入双写缓冲区。
  2. 同步到Doublewrite File: Doublewrite Buffer 的内存中的数据页会刷写到Doublewrite Buffer的磁盘上,分两次写入磁盘共享表空间中(连续存储,顺序写,性能很高),每次写1MB
  3. 实际数据写入: 一旦Doublewrite File中的数据被确认已经写入磁盘,MySQL就可以将这些数据写入实际的数据文件中
  4. 恢复机制: 如果在写操作过程中发生故障,MySQL可以从Doublewrite File中恢复数据。由于Doublewrite File中的数据是完整的,因此可以用来修复损坏的数据文件,确保数据的完整性和一致性。

在这里插入图片描述

为什么需要双写缓冲

​ 常见的服务器一般都是Linux操作系统,Linux文件系统页(OS Page)的大小默认是4KB。而MySQL的页(Page)大小默认是16KB。MySQL程序是跑在Linux操作系统上的,需要跟操作系统交互,所以MySQL中一页数据刷到磁盘,要写4个文件系统里的页。

​ 需要注意的是,这个操作并非原子操作,比如我操作系统写到第二个页的时候,Linux机器断电了,这时候就会出现问题了。造成”页数据损坏“。并且这种”页数据损坏“靠 redo日志是无法修复的。

重做日志中记录的是对页的物理操作,而不是页面的全量记录,而如果发生partial page write(部分页写入)问题时,出现问题的是未修改过的数据,此时重做日志(Redo Log)无能为力。写doublewrite buffer成功了,这个问题就不用担心了

插入缓冲
基本概念

​ MySQL的insert buffer是InnoDB存储引擎的一个重要特性,主要用于优化非聚集索引的插入和更新操作。以下是关于MySQL insert buffer的详细解释:

​ Insert buffer是一种特殊的数据结构(B+ tree),并不是缓存的一部分,而是物理页。当受影响的索引页不在buffer pool中时,MySQL会使用insert buffer来进行数据插入。

​ 对于非聚集索引的插入或更新操作,MySQL不会每次直接将数据插入到索引页中。相反,它会先将数据存储在一个临时的区域(即insert buffer)中,然后再逐步将这些数据合并到目标索引页中。

​ 从性能改进的角度来看,使用非集群次级索引可能会导致额外和随机的磁盘访问,从而降低存储设备的性能。MySQL的存储引擎通过插入缓冲来缓解这一问题,避免了额外的磁盘访问。这表明插入缓冲在减少磁盘I/O操作中起到了重要作用,有助于提高数据库的整体性能。

适用场景

​ MySQL在我们对非唯一的二级索引进行DML(删除行、写入行、修改行)时的优化

为什么是非唯一索引?

​ 当我们对唯一索引进行插入的时候需要查询数据是否唯一,如果数据在缓冲池中则直接读取缓冲池,如果数据不在缓冲池中则读取磁盘数据页,所以唯一索引会产生大量磁盘IO。

原理

对非唯一二级索引插入的流程如下:

  1. 数据在缓冲池中,直接修改缓冲池数据页
  2. 数据不在缓冲池中
    1. 写入到 insert buffer,异步刷新到磁盘

insert buffer 数据写回磁盘的时机:

  1. 辅助索引页被读取到缓冲池时
    1. 当辅助索引页被读取到缓冲池时,例如正在执行正常的 select 查询操作,这时需要检查 Insert Buffer Bitmap 页,然后确认该辅助索引页是否有记录存放于 Insert Buffer B+ 树中。若有,则将 Insert Buffer B+ 树中该页的记录插入到辅助索引页中
  2. insert buffer bitmap 页追踪到该辅助索引页已经没有可用空间
    1. Insert Buffer Bitmap是InnoDB存储引擎中用于追踪每个辅助索引页的可用空间,并确保至少有1/32页的空间以防止插入操作导致页面溢出。这个特殊的数据页类型可以标记多个辅助索引页的可用空间,以保证每次合并插入操作的成功
  3. Master Thread
    1. 在 Master Thread 中每秒或每10秒会进行一次 Merge Insert Buffer 操作

为什么 insert buffer 能提高性能

​ Insert Buffer B+ 树通过将对数据页的多次操作通过一次操作合并到原有的辅助索引中

insert buffer 提高了哪方面的性能

减少了磁盘随机读,因为当数据不在内存页的时候也不用去磁盘读取对应的数据页再更新数据页,而是直接存储在 Insert Buffer 中,再择机刷会磁盘

insert log 和 redo log 的区别
  1. 功能和目的
    • Insert Buffer:主要用于优化非聚集索引(辅助索引)的插入操作。当受影响的索引页不在Buffer Pool中时,会将其放入Insert Buffer中,以便后续合并操作。
    • Redo Log:用于保证事务的原子性和持久性,记录的是页的物理修改操作,用来恢复提交事务修改的页操作。
  2. 数据结构
    • Insert Buffer:是一种特殊的数据结构(B+ tree),并不是缓存的一部分,而是物理页。
    • Redo Log:由每个512字节大小的日志块组成,存储在内存中的redo log buffer中。
  3. 应用场景
    • Insert Buffer:主要针对非聚集索引的插入或更新操作,当插入的索引页不在Buffer Pool中时使用。
    • Redo Log:主要用于恢复提交后的物理数据页,确保数据的一致性和持久性
Reference
  1. https://cloud.tencent.com/developer/article/2398501
  2. https://www.cnblogs.com/booksea/p/17380938.html
  3. https://juejin.cn/post/6953442154249191454

这篇关于MySQL 关键特性一:插入缓冲、双写缓冲的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1032183

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

[MySQL表的增删改查-进阶]

🌈个人主页:努力学编程’ ⛅个人推荐: c语言从初阶到进阶 JavaEE详解 数据结构 ⚡学好数据结构,刷题刻不容缓:点击一起刷题 🌙心灵鸡汤:总有人要赢,为什么不能是我呢 💻💻💻数据库约束 🔭🔭🔭约束类型 not null: 指示某列不能存储 NULL 值unique: 保证某列的每行必须有唯一的值default: 规定没有给列赋值时的默认值.primary key:

MySQL-CRUD入门1

文章目录 认识配置文件client节点mysql节点mysqld节点 数据的添加(Create)添加一行数据添加多行数据两种添加数据的效率对比 数据的查询(Retrieve)全列查询指定列查询查询中带有表达式关于字面量关于as重命名 临时表引入distinct去重order by 排序关于NULL 认识配置文件 在我们的MySQL服务安装好了之后, 会有一个配置文件, 也就

Java 连接Sql sever 2008

Java 连接Sql sever 2008 /Sql sever 2008 R2 import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class TestJDBC

顺序表之创建,判满,插入,输出

文章目录 🍊自我介绍🍊创建一个空的顺序表,为结构体在堆区分配空间🍊插入数据🍊输出数据🍊判断顺序表是否满了,满了返回值1,否则返回0🍊main函数 你的点赞评论就是对博主最大的鼓励 当然喜欢的小伙伴可以:点赞+关注+评论+收藏(一键四连)哦~ 🍊自我介绍   Hello,大家好,我是小珑也要变强(也是小珑),我是易编程·终身成长社群的一名“创始团队·嘉宾”