MySQL技术内幕_innodb存储引擎

2024-09-08 10:12
文章标签 mysql 技术 引擎 存储 innodb database 内幕

本文主要是介绍MySQL技术内幕_innodb存储引擎，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MySQL技术内幕_innodb存储引擎

INNODB

  • innodb中如果表没有主键
    • 表是否由 非空唯一键，有则该字段为主键
    • 没有，则自动创建一个6字节大小的指针
  • innodb存储引擎的所有数据都存储在表空间中，表空间由段，区，页(块)组成。
    • 如果启用了 innodb_file_per_table, 则每张表内的数据可以单独放在一个表空间中
    • 即使启用了上面参数，共享表空间也会因为 系统事务信息，二次写缓冲等 信息而膨胀
  • varchar 最大65535，是表内所有字段的最大长度，并不是单个值最大长度，65532才是最大值，2字节表示长度，1字节表示是否为null，不为null，长度为65533，
    • 跟字符集有关系，latin1 -> 65532; gbk -> 32767(65532/2); utf-8 -> 21845(65532/3)
    • 在记录行中保存的是
  • char(10) 最小可以存储10个字节的字符，最大可以存储30个字节的字符
  • 分区
    • range
      • 每个分区一个区间，对固定函数有优化，其他都是全分区扫描
      • null 的分区： null < 任何非null值
    • list
      • 固定值入固定分区，否则报错
      • 声明 null 放入哪个区，不然会报错
    • hash
      • 自定义hash值，并设置分区数量
      • linear hash：更复杂的hash算法
        • 分布可能不均，但是增删改更快
      • hash(xx(col)=0)
    • key
      • 通过内部hash函数，算出来数据该放哪个分区
      • hash(xx(col)=0)
    • columns
      • 根据字段的值来做分区

索引

B+树

  • B是平衡不是二叉，B+树索引并不能找到一个给定键值的具体行，只能找到所在页，在把页读到内存中进行查询。

索引的创建

  • 旧：先创建一张临时表，然后将数据导入，在删除原表，再把临时表重命名
    • 这样导致大表的索引变更的代价很昂贵，很耗时。
  • 新：对表加一个S锁，创建过程中，数据只读。 主键的索引变更还是需要通过临时表进行。
  • show index from table_name; => Cardinality/ table_rows 尽可能接近1，该值影响优化器的索引选择
  • 对于高选择性的列创建索引才有用处，如果一个查询会查出20%的全表数据，那么可能优化器就会选择全表，即使查询字段游创建索引

自适应哈希索引

  • 由数据库自己创建，便于字典类型字段的快速查找，需要打开设置 innodb_adaptive_hash_index=ON
  • 自动创建哈希表的槽数=innodb_buffer_pool_size/256

Lock

观察数据库中的锁和事务

三张表查看事务与锁

  • INNODB_TRX

    • trx_id innodb存储引擎内部唯一的事务ID
    • trx_state 当前事务的状态
    • trx_started 事务的开始时间
    • trx_requested_lock_id 等待事务的锁ID，trx_state!=LOCK_WAIT,则=null
    • trx_wait_started 事务等待开始的时间
    • trx_weight 事务的权重，反应一个事务修改和锁住的行数。 死锁时，选择值最小的回滚
    • trx_mysql_thread_id mysql中的线程id
    • trx_query 事务运行的sql

  • INNODB_LOCKS

    • lock_id 锁id
    • lock_trx_id 事务id
    • lock_mode 锁的模式
    • lock_type 锁的类型
    • lock_table 加锁的表
    • lock_index 锁的索引
    • lock_space innodb存储引擎表空间的id
    • lock_page 被锁住的页的数量，表锁=null
    • lock_rec 被锁住的行的数量，表锁=null
    • lock_data 被锁住的行的主键值，表锁=null (范围查找，只返回第一行的主键值)

  • INNODB_LOCK_WAITS

    • requesting_trx_id 申请锁资源的事务id
    • requesting_lock 申请的锁的id
    • blocking_trx_id 阻塞的事务id

锁的算法

mysql 会选择最小范围的锁，next-key lock 是默认的，如果是等值查询则单行锁

  • Record Lock 单行锁
  • Gap Lock 间隙锁，不含包记录本身
  • Next-Key Lock 锁一个范围， 上两种的集合

锁升级

  • 行锁
  • 页锁
  • 表锁

脏读：读到未提交的数据
幻读：同样的sql，多次读到的数据不一致。
不可重复读：读到已提交的数据

RR是mysql默认的隔离级别，避免脏读和不可重复读，但是会有幻读情况。
脏页：由于写盘和更新内存页(已经在redo log里面了)是异步的，所以存在不一致，但也提高并发性
幻读：如果查询加锁，会避免幻读，因为查询加锁(间隙锁)会阻塞其他事务对范围做修改。

备份

概述

  • 按照备份方法分为： 热备|冷备|温备
  • 按照备份后的文件分为： 逻辑(SQL)备份|裸文件(物理文件)备份
  • 按照备份数据库内容分为： 完全备份|增量备份|日志备份

冷备

  • 备份数据库的frm文件，共享表空间文件，独立表空间文件(*.ibd)，重做日志文件。 定期备份my.cnf文件，有利于恢复。
  • 优点：
    • 备份简单，拷贝文件。
    • 备份文件易于在不同操作系统，不同MySQL版本上进行恢复
    • 恢复操作简单，拷贝文件到指定位置即可
    • 恢复速度快，不需要执行SQL，也不需要重建索引。
  • 缺点：
    • 文件较大
    • 并不总是可以轻易跨平台。操作系统，MySQL版本，文件大小写敏感和浮点数格式都会成为问题。

逻辑备份

  • 备份语法： mysqldump args > file name
    • mysqldump --all-database > dump.sql
    • mysqldump --database db1 > db1.sql
  • 恢复语法： mysql -uroot -p < test_backup.sql
    • 也可以用source命令 source /home/mysql/test_backup.sql
    • 或者使用：load data infile ‘/home/mysql/a.text’ into table x; [可以有更丰富的条件]
    • 或者使用： mysqlimport --use-threads=2 test /home/mysql/t.txt
      /home/mysql/s.txt [类似上一种，但是可以并发导入多个表，实际也是调用load data infile]

如果dump文件内有删除、创建数据库，要确保当前实例没有相同的存在。
dump 不包含视图，所以需要手动导出，并在数据回复后，再导入新的环境

二进制日志备份与恢复

  • 配置中需要启用 log-bin
  • 启用其他参数确保安全和正确记录
    • sync_binlog = 1
    • innodb_support_xa = 1
  • 在导出前，通过 flush logs 命令生成一个新的二进制日志文件，然后备份之前的二进制文件
  • 恢复命令
    • mysqlbinlog [options] log_file …
    • mysqlbinlog binlog.000001 | mysql -uroot -p test
    • mysqlbinlog binlog.[0-10]* | mysql -uroot -p test
  • 通过source来恢复，好处是可以修改文件
    • mysqlbinlog binlog.000001 > /tmp/statements.sql
    • mysqlbinlog binlog.000002 >> /tmp/statements.sql
    • mysql -uroot -p -e “source /tmp/statements.sql”
  • 指定恢复的偏移量 [–start-position | --stop-position | --start-datetime | --stop-datetime]
    • mysqlbinlog --start-position=107856 binlog.000001 | mysql -uroot -p test

热备

  • ibbackup: 适用于 MyISAM 和 InnoDB 存储引擎的官方热备工具，在innodb中工作原理如下
    • 记录备份开始时，innodb存储引擎重做日志文件检查点的LSN
    • 拷贝共享表空间文件以及独立表空间文件
    • 记录拷贝完表空间后，innodb存储引擎重做日志文件检查点的LSN
    • 拷贝在备份时产生的重做日志
  • ibbackup 优点
    • 在线备份，不阻塞
    • 备份性能好，备份的实质是复制数据库文件和重做日志文件
    • 支持压缩备份，通过选项，可以支持不同级别的压缩
    • 跨平台支持，可以在linux，windows，以及主流unix系统平台上运行。
  • 由于ibbackup是收费的，XtraBackup不收费

快照备份

  • 将数据磁盘快照备份，最好备份到备机上，防止主机磁盘损坏导致数据丢失

复制

  • 使用MySQL的复制来实现数据的备份，将主机的数据发到备(从)机来实现备份，但是由于主备(从)之间有延迟，所以不能算完全备份。
  • 优化： 复制+快照，在从机上做快照，主机如果误操作了，可以把从机的快照拿来恢复数据，从机也要做些权限控制，防止误操作。

性能调优

数据库分 OLTP(在线事务处理) 和 OLAP(在线分析处理) 两种， 前者多在事务处理应用中，后者在数仓或者数据集市中应用。

  • 选择合适的CPU
    • 多核能提升执行效率
  • 内存的重要性
    • 数据|索引是有缓存到buffer—pool里面的，所以提高内存或者计算相应缓存池命中率很重要
    • 缓存池命中概率 = [innodb_buffer_pool_read_requests] / [innodb_buffer_pool_read_requests + innodb_buffer_pool_read_ahead + innodb_buffer_pool_reads]
    • 平均每次读取字节数 = [innodb_data_read] / [innodb_data_reads]
    • 硬盘对数据库性能的影响
      • 机械硬盘的寻道时间和转速是重要指标，顺序访问速度远大于随机访问，多块硬盘组成RAID能提高性能，也可以将数据分在不同磁盘达到负载均衡。
      • 固态虽然不需要大量时间定位数据(固态有一致的随机访问时间)，但是数据覆写需要擦除原有数据块。
  • 合理设置RAID
  • 操作系统的选择也很重要
  • 不同文件系统对数据库的影响
  • 选择合适的基准测试工
    • sysbench | mysql-tpcc

INNODB 存储引擎源代码的编译与调试

  • 网站：https://dev.mysql.com/downloads/mysql/
  • 选择长期的版本，选择 linux - Generic，下载。

不同版本源码位置可能不同。

这篇关于MySQL技术内幕_innodb存储引擎的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1147827。

相关文章

MySQL字符串转数值的方法全解析

MySQL字符串转数值的方法全解析

《MySQL字符串转数值的方法全解析》在MySQL开发中,字符串与数值的转换是高频操作,本文从隐式转换原理、显式转换方法、典型场景案例、风险防控四个维度系统梳理,助您精准掌握这一核心技能,需要的朋友可... 目录一、隐式转换：自动但需警惕的&ld编程quo;双刃剑”二、显式转换：三大核心方法详解三、典型场景
阅读更多...
MySQL中between and的基本用法、范围查询示例详解

MySQL中between and的基本用法、范围查询示例详解

《MySQL中betweenand的基本用法、范围查询示例详解》BETWEENAND操作符在MySQL中用于选择在两个值之间的数据,包括边界值,它支持数值和日期类型,示例展示了如何使用BETWEEN... 目录一、between and语法二、使用示例2.1、betwphpeen and数值查询2.2、be
阅读更多...
MySQL快速复制一张表的四种核心方法(包括表结构和数据)

MySQL快速复制一张表的四种核心方法(包括表结构和数据)

《MySQL快速复制一张表的四种核心方法(包括表结构和数据)》本文详细介绍了四种复制MySQL表（结构+数据）的方法,并对每种方法进行了对比分析,适用于不同场景和数据量的复制需求,特别是针对超大表（1... 目录一、mysql 复制表（结构+数据）的 4 种核心方法（面试结构化回答）方法 1：CREATE
阅读更多...
详解C++ 存储二进制数据容器的几种方法

详解C++ 存储二进制数据容器的几种方法

《详解C++存储二进制数据容器的几种方法》本文主要介绍了详解C++存储二进制数据容器,包括std::vector、std::array、std::string、std::bitset和std::ve... 目录1.std::vector<uint8_t>（最常用）特点：适用场景：示例：2.std::arra
阅读更多...
SQL Server中行转列方法详细讲解

SQL Server中行转列方法详细讲解

《SQLServer中行转列方法详细讲解》SQL行转列、列转行可以帮助我们更方便地处理数据,生成需要的报表和结果集,：本文主要介绍SQLServer中行转列方法的相关资料,需要的朋友可以参考下... 目录前言一、为什么需要行转列二、行转列的基本概念三、使用PIVOT运算符进行行转列1.创建示例数据表并插入数
阅读更多...
MySQL MHA集群详解(数据库高可用)

MySQL MHA集群详解(数据库高可用)

《MySQLMHA集群详解(数据库高可用)》MHA（MasterHighAvailability）是开源MySQL高可用管理工具,用于自动故障检测与转移,支持异步或半同步复制的MySQL主从架构,本... 目录mysql 高可用方案：MHA 详解与实战1. MHA 简介2. MHA 的组件组成（1）MHA
阅读更多...
SQL 注入攻击(SQL Injection)原理、利用方式与防御策略深度解析

SQL 注入攻击(SQL Injection)原理、利用方式与防御策略深度解析

《SQL注入攻击(SQLInjection)原理、利用方式与防御策略深度解析》本文将从SQL注入的基本原理、攻击方式、常见利用手法,到企业级防御方案进行全面讲解,以帮助开发者和安全人员更系统地理解... 目录一、前言二、SQL 注入攻击的基本概念三、SQL 注入常见类型分析1. 基于错误回显的注入（Erro
阅读更多...
MySQL基本表查询操作汇总之单表查询+多表操作大全

MySQL基本表查询操作汇总之单表查询+多表操作大全

《MySQL基本表查询操作汇总之单表查询+多表操作大全》本文全面介绍了MySQL单表查询与多表操作的关键技术,包括基本语法、高级查询、表别名使用、多表连接及子查询等,并提供了丰富的实例,感兴趣的朋友跟... 目录一、单表查询整合（一）通用模版展示（二）举例说明（三）注意事项（四）Mapper简单举例简单查询
阅读更多...
MySQL中的DELETE删除数据及注意事项

MySQL中的DELETE删除数据及注意事项

《MySQL中的DELETE删除数据及注意事项》MySQL的DELETE语句是数据库操作中不可或缺的一部分,通过合理使用索引、批量删除、避免全表删除、使用TRUNCATE、使用ORDERBY和LIMI... 目录1. 基本语法单表删除2. 高级用法使用子查询删除删除多表3. 性能优化策略使用索引批量删除避免
阅读更多...
MySQL 数据库进阶之SQL 数据操作与子查询操作大全

MySQL 数据库进阶之SQL 数据操作与子查询操作大全

《MySQL数据库进阶之SQL数据操作与子查询操作大全》本文详细介绍了SQL中的子查询、数据添加（INSERT）、数据修改（UPDATE）和数据删除（DELETE、TRUNCATE、DROP）操作... 目录一、子查询：嵌套在查询中的查询1.1 子查询的基本语法1.2 子查询的实战示例二、数据添加：INSE
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2