MySQL技术内幕_innodb存储引擎

2024-09-08 10:12
文章标签 mysql 技术 引擎 存储 innodb database 内幕

本文主要是介绍MySQL技术内幕_innodb存储引擎，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

MySQL技术内幕_innodb存储引擎

INNODB

  • innodb中如果表没有主键
    • 表是否由 非空唯一键，有则该字段为主键
    • 没有，则自动创建一个6字节大小的指针
  • innodb存储引擎的所有数据都存储在表空间中，表空间由段，区，页(块)组成。
    • 如果启用了 innodb_file_per_table, 则每张表内的数据可以单独放在一个表空间中
    • 即使启用了上面参数，共享表空间也会因为 系统事务信息，二次写缓冲等 信息而膨胀
  • varchar 最大65535，是表内所有字段的最大长度，并不是单个值最大长度，65532才是最大值，2字节表示长度，1字节表示是否为null，不为null，长度为65533，
    • 跟字符集有关系，latin1 -> 65532; gbk -> 32767(65532/2); utf-8 -> 21845(65532/3)
    • 在记录行中保存的是
  • char(10) 最小可以存储10个字节的字符，最大可以存储30个字节的字符
  • 分区
    • range
      • 每个分区一个区间，对固定函数有优化，其他都是全分区扫描
      • null 的分区： null < 任何非null值
    • list
      • 固定值入固定分区，否则报错
      • 声明 null 放入哪个区，不然会报错
    • hash
      • 自定义hash值，并设置分区数量
      • linear hash：更复杂的hash算法
        • 分布可能不均，但是增删改更快
      • hash(xx(col)=0)
    • key
      • 通过内部hash函数，算出来数据该放哪个分区
      • hash(xx(col)=0)
    • columns
      • 根据字段的值来做分区

索引

B+树

  • B是平衡不是二叉，B+树索引并不能找到一个给定键值的具体行，只能找到所在页，在把页读到内存中进行查询。

索引的创建

  • 旧：先创建一张临时表，然后将数据导入，在删除原表，再把临时表重命名
    • 这样导致大表的索引变更的代价很昂贵，很耗时。
  • 新：对表加一个S锁，创建过程中，数据只读。 主键的索引变更还是需要通过临时表进行。
  • show index from table_name; => Cardinality/ table_rows 尽可能接近1，该值影响优化器的索引选择
  • 对于高选择性的列创建索引才有用处，如果一个查询会查出20%的全表数据，那么可能优化器就会选择全表，即使查询字段游创建索引

自适应哈希索引

  • 由数据库自己创建，便于字典类型字段的快速查找，需要打开设置 innodb_adaptive_hash_index=ON
  • 自动创建哈希表的槽数=innodb_buffer_pool_size/256

Lock

观察数据库中的锁和事务

三张表查看事务与锁

  • INNODB_TRX

    • trx_id innodb存储引擎内部唯一的事务ID
    • trx_state 当前事务的状态
    • trx_started 事务的开始时间
    • trx_requested_lock_id 等待事务的锁ID，trx_state!=LOCK_WAIT,则=null
    • trx_wait_started 事务等待开始的时间
    • trx_weight 事务的权重，反应一个事务修改和锁住的行数。 死锁时，选择值最小的回滚
    • trx_mysql_thread_id mysql中的线程id
    • trx_query 事务运行的sql

  • INNODB_LOCKS

    • lock_id 锁id
    • lock_trx_id 事务id
    • lock_mode 锁的模式
    • lock_type 锁的类型
    • lock_table 加锁的表
    • lock_index 锁的索引
    • lock_space innodb存储引擎表空间的id
    • lock_page 被锁住的页的数量，表锁=null
    • lock_rec 被锁住的行的数量，表锁=null
    • lock_data 被锁住的行的主键值，表锁=null (范围查找，只返回第一行的主键值)

  • INNODB_LOCK_WAITS

    • requesting_trx_id 申请锁资源的事务id
    • requesting_lock 申请的锁的id
    • blocking_trx_id 阻塞的事务id

锁的算法

mysql 会选择最小范围的锁，next-key lock 是默认的，如果是等值查询则单行锁

  • Record Lock 单行锁
  • Gap Lock 间隙锁，不含包记录本身
  • Next-Key Lock 锁一个范围， 上两种的集合

锁升级

  • 行锁
  • 页锁
  • 表锁

脏读：读到未提交的数据
幻读：同样的sql，多次读到的数据不一致。
不可重复读：读到已提交的数据

RR是mysql默认的隔离级别，避免脏读和不可重复读，但是会有幻读情况。
脏页：由于写盘和更新内存页(已经在redo log里面了)是异步的，所以存在不一致，但也提高并发性
幻读：如果查询加锁，会避免幻读，因为查询加锁(间隙锁)会阻塞其他事务对范围做修改。

备份

概述

  • 按照备份方法分为： 热备|冷备|温备
  • 按照备份后的文件分为： 逻辑(SQL)备份|裸文件(物理文件)备份
  • 按照备份数据库内容分为： 完全备份|增量备份|日志备份

冷备

  • 备份数据库的frm文件，共享表空间文件，独立表空间文件(*.ibd)，重做日志文件。 定期备份my.cnf文件，有利于恢复。
  • 优点：
    • 备份简单，拷贝文件。
    • 备份文件易于在不同操作系统，不同MySQL版本上进行恢复
    • 恢复操作简单，拷贝文件到指定位置即可
    • 恢复速度快，不需要执行SQL，也不需要重建索引。
  • 缺点：
    • 文件较大
    • 并不总是可以轻易跨平台。操作系统，MySQL版本，文件大小写敏感和浮点数格式都会成为问题。

逻辑备份

  • 备份语法： mysqldump args > file name
    • mysqldump --all-database > dump.sql
    • mysqldump --database db1 > db1.sql
  • 恢复语法： mysql -uroot -p < test_backup.sql
    • 也可以用source命令 source /home/mysql/test_backup.sql
    • 或者使用：load data infile ‘/home/mysql/a.text’ into table x; [可以有更丰富的条件]
    • 或者使用： mysqlimport --use-threads=2 test /home/mysql/t.txt
      /home/mysql/s.txt [类似上一种，但是可以并发导入多个表，实际也是调用load data infile]

如果dump文件内有删除、创建数据库，要确保当前实例没有相同的存在。
dump 不包含视图，所以需要手动导出，并在数据回复后，再导入新的环境

二进制日志备份与恢复

  • 配置中需要启用 log-bin
  • 启用其他参数确保安全和正确记录
    • sync_binlog = 1
    • innodb_support_xa = 1
  • 在导出前，通过 flush logs 命令生成一个新的二进制日志文件，然后备份之前的二进制文件
  • 恢复命令
    • mysqlbinlog [options] log_file …
    • mysqlbinlog binlog.000001 | mysql -uroot -p test
    • mysqlbinlog binlog.[0-10]* | mysql -uroot -p test
  • 通过source来恢复，好处是可以修改文件
    • mysqlbinlog binlog.000001 > /tmp/statements.sql
    • mysqlbinlog binlog.000002 >> /tmp/statements.sql
    • mysql -uroot -p -e “source /tmp/statements.sql”
  • 指定恢复的偏移量 [–start-position | --stop-position | --start-datetime | --stop-datetime]
    • mysqlbinlog --start-position=107856 binlog.000001 | mysql -uroot -p test

热备

  • ibbackup: 适用于 MyISAM 和 InnoDB 存储引擎的官方热备工具，在innodb中工作原理如下
    • 记录备份开始时，innodb存储引擎重做日志文件检查点的LSN
    • 拷贝共享表空间文件以及独立表空间文件
    • 记录拷贝完表空间后，innodb存储引擎重做日志文件检查点的LSN
    • 拷贝在备份时产生的重做日志
  • ibbackup 优点
    • 在线备份，不阻塞
    • 备份性能好，备份的实质是复制数据库文件和重做日志文件
    • 支持压缩备份，通过选项，可以支持不同级别的压缩
    • 跨平台支持，可以在linux，windows，以及主流unix系统平台上运行。
  • 由于ibbackup是收费的，XtraBackup不收费

快照备份

  • 将数据磁盘快照备份，最好备份到备机上，防止主机磁盘损坏导致数据丢失

复制

  • 使用MySQL的复制来实现数据的备份，将主机的数据发到备(从)机来实现备份，但是由于主备(从)之间有延迟，所以不能算完全备份。
  • 优化： 复制+快照，在从机上做快照，主机如果误操作了，可以把从机的快照拿来恢复数据，从机也要做些权限控制，防止误操作。

性能调优

数据库分 OLTP(在线事务处理) 和 OLAP(在线分析处理) 两种， 前者多在事务处理应用中，后者在数仓或者数据集市中应用。

  • 选择合适的CPU
    • 多核能提升执行效率
  • 内存的重要性
    • 数据|索引是有缓存到buffer—pool里面的，所以提高内存或者计算相应缓存池命中率很重要
    • 缓存池命中概率 = [innodb_buffer_pool_read_requests] / [innodb_buffer_pool_read_requests + innodb_buffer_pool_read_ahead + innodb_buffer_pool_reads]
    • 平均每次读取字节数 = [innodb_data_read] / [innodb_data_reads]
    • 硬盘对数据库性能的影响
      • 机械硬盘的寻道时间和转速是重要指标，顺序访问速度远大于随机访问，多块硬盘组成RAID能提高性能，也可以将数据分在不同磁盘达到负载均衡。
      • 固态虽然不需要大量时间定位数据(固态有一致的随机访问时间)，但是数据覆写需要擦除原有数据块。
  • 合理设置RAID
  • 操作系统的选择也很重要
  • 不同文件系统对数据库的影响
  • 选择合适的基准测试工
    • sysbench | mysql-tpcc

INNODB 存储引擎源代码的编译与调试

  • 网站：https://dev.mysql.com/downloads/mysql/
  • 选择长期的版本，选择 linux - Generic，下载。

不同版本源码位置可能不同。

这篇关于MySQL技术内幕_innodb存储引擎的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1147827。

相关文章

SQL中的外键约束

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点： 1.确保子表中的某个字段（外键）只能引用父表中的有效记录2.主表中的列被删除时，子表中的关联列也会被删除3.主表中的列更新时，子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
如何去写一手好SQL

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB，才推荐分库分表。性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考，并非铁律。 博主曾经操作过超过4亿行数据
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
MySQL数据库宕机，启动不起来，教你一招搞定！

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志，排查哪个表（表空间
阅读更多...
【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。 据悉，业内人士对飞行汽车行业
阅读更多...
MySQL高性能优化规范

MySQL高性能优化规范

前言：      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后，总结出了这篇！ 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来） 数据库对象的命名要能做到见名识意，并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀，备份
阅读更多...
金融业开源技术 术语

金融业开源技术 术语

金融业开源技术  术语 1  范围 本文件界定了金融业开源技术的常用术语。 本文件适用于金融业中涉及开源技术的相关标准及规范性文件制定和信息沟通等活动。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2