MySQL中的正排/倒排索引和DoubleWriteBuffer

2024-06-15 07:28
文章标签 mysql 索引 database 正排 倒排 doublewritebuffer

本文主要是介绍MySQL中的正排/倒排索引和DoubleWriteBuffer，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

正排/倒排索引

正排索引

在这里插入图片描述

文档1：词条A，词条B，词条C
文档2：词条A，词条D
文档3：词条B，词条C，词条E

正排表是以文档的ID为关键字，表中记录文档中的每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。
正排表的结构如图所示，这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，
直接为文档建立一个新的索引块，挂接在原来的索引文件的后面，如果是有文档删除，则直接找到该文档号对应的索引信息，将其直接删除。
尽管正排表的工作原理非常的简单，但是由于其检索效率太低，除非在特定情况下，否则实用性价值不大。

倒排索引

在这里插入图片描述

词条A：文档1，文档2
词条B：文档1，文档3
词条C：文档1，文档3
词条D：文档2
词条E：文档3

倒排表以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。
由于每个字或词对应的文档数量在动态变化，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字的所有文档，所以效率高于正排表。
在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。

倒排索引和全文索引有什么区别？

倒排索引和全文索引之间存在一些关键的区别，尽管它们在某些方面可能有重叠，以下是它们的主要区别:

  • 1.定义和目的
    1.1倒排索引
    定义:倒排索引是一种索引数据结构，用于存储文档中的词条及其在文档中的位置。它的核心是一个映射，将词条映射到包含这些词条的文档ID列表
    目的：主要用于快速检索包含特定词条的文档，非常适合搜索引擎中的关键词查询
    1.2 全文索引
    定义:全文索引是一种用于加速对文本文档内容进行搜索的索引结构。它通常包括倒排索引，但可能还包含其他结构和优化技术，如位置索引、词频等
    目的：提供对文本文档的全文搜索能力，支持复杂查询，如布尔搜索、短语搜索、相似度搜索等
  • 2.索引结构
    倒排索引:包含一个或多个词条，每个词条关联一个文档ID列表。文档ID列表可能还包含位置信息(即词条在文档中的具体位置)。例如
词条 "apple" -> [文档1，文档2，文档5]
词条"banana" -> [文档2，文档3]

全文索引:除了倒排索引外，全文索引可能还包含其他数据结构和信息，哟关于优化查询性能和支持复杂查询。可能包含c词条的词频信息、词条的位置索引、同义词处理、词干处理等。例如：

词条"apple" -> [文档1(位置:5,20), 文档2(位置:3, 15)， 文档5(位置7)]
词条"banana" -> [文档2(位置:8,22),文档3(位置:11)]
  • 3.功能和查询能力
    倒排索引:主要支持关键词查询，即查找包含某个或某些特定词条的文档。查询速度块，适合简单的词条存在性查询
    全文索引:支持复杂查询，如布尔查询、短语查询、前缀查询、模糊查询、相似度查询等。提供更丰富的查询功能，能够处理自然语言查询，进行排序和相关性评分
  • 4.使用场景
    倒排索引:通常用于搜索引擎和信息检索系统，用于快速查找包含特定关键词的文档。适合于大规模文本数据的关键词检索
    全文索引:广泛用于数据库管理系统、内容管理系统和搜索引擎，提供高级的全文搜索功能。适用于需要进行复杂文本搜索和自然语言处理的应用场景
  • 5.总结
    倒排索引是全文索引的一部分，是一种具体的数据结构，主要用于支持关键词查询。
    全文索引则是一个更广泛的概念，包含倒排索引以及其他用于支持复杂文本搜索的技术和数据结构

DoubleWriteBuffer

概述

InnoDB是MySQL中一种常用的事务性存储引擎，它具有很多优秀的特性。其中，Doublewrite Buffer(双写缓冲区)是InnoDB的一个重要特性之一

为什么需要DoubleWrite Buffer?

在这里插入图片描述

我们常见的服务器一般都是Linux操作系统，Linux文件系统页(OS page)的大小默认是4KB。而MySQL的页(Page)大小默认是16KB,可以使用如下命令查看MySQL的Page大小:

mysql> SHOW VARIABLES LIKE 'innodb_page_size';
+------------------+-------+
| Variable_name    | Value |
+------------------+-------+
| innodb_page_size | 16384 |
+------------------+-------+
1 row in set (0.01 sec)

一般情况下，其余程序因为需要跟操作系统交互，它们的页(Page)都会大于等于操作系统的页大小，为整数倍。比如，Oracle的Page大小为8KB。MySQL程序是跑在Linux操作系统上的，需要跟操作系统交互，所以MySQL中一页数据刷到磁盘，要写4个文件系统里的页。如图所示。
需要注意的是，这个操作并非原子操作，比如我操作系统写到第二个页的时候，Linux及其断电了，这时候就会出现问题了。造成"页数据损坏"。并且这种"页数据损坏"靠redo日志是无法修复的。重做日志中记录的是对页的物理操作，而不是页面的全量记录，而如果发生Parial Page Write(部分页写入)问题时，出现问题的是未修改过的数据，此时重做日志(Redo Log)无能为力。写double write buffer成功了，这个问题就不用担心了。
DoubleWriteBuffer的出现就是为了解决上面的这种情况，虽然名字带了Buffer，但实际上DoubleWriteBuffer是内存+磁盘的结构。

DoubleWriteBuffer是一种特殊文件flush技术，带给InnoDB存储引擎的是数据页的可靠性。它的作用是，在把页写道数据文件之前，InnoDB先把它们写道一个叫double write buffer完成后，InnoDB才会把页写道数据文件的适当的位置。如果在写页的过程中发生意外崩溃，InnoDB在稍后的恢复过程中在double write buffer中找到完好的page副本用于恢复。

Double Write Buffer原理

在这里插入图片描述

如图所示,当有页数据要刷盘时:

  • 1.页数据先通过memcpy函数拷贝至内存中的Doublewrite buffer中
  • 2.Doublewrite buffer的内存里的数据页，会fsync刷到Doublewrite buffer的磁盘上，分两次写入磁盘共享表空间中(连续存储，顺序写，性能很高)，每次写1MB
  • 3.Doublewrite buffer的内存里的数据页，再刷到数据磁盘存储.ibd文件上(离散写)

Doublewrite buffer内存结构由128个页(Page)构成，大小是2MB。DoublewriteBuffer磁盘结构再系统表空间上是128个页(2个区，extend1和extend2)，大小事2MB.如果操作系统在将页写入磁盘的过程中发生了崩溃，在恢复过程中，InnoDB存储引擎可以从共享表空间中的Doublewrite中找到该页的一个副本，将其复制到表空间文件，再应用重做日志。MySQL会检查double write的数据的完整性，如果不完整直接丢弃double write buffer内容，重新执行那条redo log，如果double write buffer的数据是完整的，用double write buffer的数据更新该数据页，跳过该redo log.所以在正常的情况下，MySQL写数据页时，会写两遍到磁盘上，第一遍是写到double write buffer，第二遍是写到真正的数据文件中，这就是"Doublewrite"的由来。在数据库异常关闭的情况下启动时，都会做数据库恢复(redo)操作，恢复的过程中，数据库都会检查页面是不是合法(校验等等)，如果发现一个页面校验结果不一致，则此时会用到双鞋这个功能。我们可以通过如下命令来监控Doublewrite buffer工作负载

mysql> SHOW GLOBAL status LIKE '%dblwr%';
+----------------------------+-------+
| Variable_name              | Value |
+----------------------------+-------+
| Innodb_dblwr_pages_written | 1961  |
| Innodb_dblwr_writes        | 67    |
+----------------------------+-------+
2 rows in set (0.00 sec)

Doublewrite Buffer相关参数

  • 1.innodb_doublewrite:Doublewrite Buffer是否启用开关，默认是开启状态，InnoDB将所有数据存储两次，首先到双写缓冲区，然后到实际数据文件
  • 2.innodb_dblwr_pages_written:记录写到DWB中的页数量
  • 3.innodb_dblwr_writes：记录DWB写操作的次数

总结

InnoDB Doublewrite Buffer是InnoDB的一个重要特性，用于保证MySQL数据的可靠性和一致性。它的实现原理是通过将要写入磁盘的数据先写入到DoublewriteBuffer中的内存缓存区域，然后再写入到磁盘的两个不同位置，来避免由于磁盘损坏等因素导致数据丢失或不一致的问题。DoublewriteBuffer对于保证MySQL数据的安全性和一致性具有重要意义

这篇关于MySQL中的正排/倒排索引和DoubleWriteBuffer的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1062801。

相关文章

SQL中的外键约束

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点： 1.确保子表中的某个字段（外键）只能引用父表中的有效记录2.主表中的列被删除时，子表中的关联列也会被删除3.主表中的列更新时，子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
如何去写一手好SQL

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB，才推荐分库分表。性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考，并非铁律。 博主曾经操作过超过4亿行数据
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
MySQL数据库宕机，启动不起来，教你一招搞定！

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志，排查哪个表（表空间
阅读更多...
MySQL高性能优化规范

MySQL高性能优化规范

前言：      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后，总结出了这篇！ 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份
阅读更多...
[MySQL表的增删改查-进阶]

[MySQL表的增删改查-进阶]

🌈个人主页：努力学编程’ ⛅个人推荐： c语言从初阶到进阶 JavaEE详解 数据结构 ⚡学好数据结构，刷题刻不容缓：点击一起刷题 🌙心灵鸡汤：总有人要赢，为什么不能是我呢 💻💻💻数据库约束 🔭🔭🔭约束类型 not null: 指示某列不能存储 NULL 值unique: 保证某列的每行必须有唯一的值default: 规定没有给列赋值时的默认值.primary key:
阅读更多...
MySQL-CRUD入门1

MySQL-CRUD入门1

文章目录 认识配置文件client节点mysql节点mysqld节点 数据的添加(Create)添加一行数据添加多行数据两种添加数据的效率对比 数据的查询(Retrieve)全列查询指定列查询查询中带有表达式关于字面量关于as重命名 临时表引入distinct去重order by 排序关于NULL 认识配置文件 在我们的MySQL服务安装好了之后, 会有一个配置文件, 也就
阅读更多...
Java 连接Sql sever 2008

Java 连接Sql sever 2008

Java 连接Sql sever 2008 /Sql sever 2008 R2 import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet; import java.sql.Statement; public class TestJDBC
阅读更多...
Mysql BLOB类型介绍

Mysql BLOB类型介绍

BLOB类型的字段用于存储二进制数据 在MySQL中，BLOB类型，包括：TinyBlob、Blob、MediumBlob、LongBlob，这几个类型之间的唯一区别是在存储的大小不同。 TinyBlob 最大 255 Blob 最大 65K MediumBlob 最大 16M LongBlob 最大 4G
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2