mysql order by的执行原理,以及优化思路,怎么优化order by

2024-08-20 18:04

本文主要是介绍mysql order by的执行原理,以及优化思路,怎么优化order by,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

mysql order by的执行原理,以及优化思路,怎么优化order by

select id, name,age,city,address from table_a t where t.city = '深圳' order by age;

Mysql Order by 排序:

1. 有这样几种方式:

1.1 全字段排序

全字段排序概念:
将最终结果集中所有的字段都放进 sort buffer中,然后在sort buffer中针对排序字段进行快速排序。 

数据太大会使用到临时文件进行辅助排序,使用临时文件排序的时候,用的是归并排序算法 。
sort_buffer_size 进行设置 sort_buffer 的大小。全字段排序只需要一次回表。

1.2 Rowid排序

Rowid排序概念:
只将与排序相关的字段和 rowId 放入 sort buffer,其余结果集需要用到的数据在排序完成后,通过 rowId 回表取得。

rowid 排序就是,只把查询SQL需要用于排序的字段和主键id,到sort_buffer中。Rowid排序需要回表两次。


上面这两种排序如果待排序的数据量大小没有超过sort_buffer_size大小,那么还是在 sort_buffer中排序,速度快。不涉及到外部排序。
 

2. 上面两种排序方式,那mysql order by语句是按照哪种方式进行排序的呢?
max_length_for_sort_data, 它表示MySQL用于排序行数据的长度的一个参数,如果单行的长度超过这个值,MySQL 就认为单行太大,就使用rowid 排序,否则使用全字段排序。


3. 全字段排序与rowid排序对比
全字段排序一次回表,性能高。sort_buffer内存不够的话,就需要用到磁盘临时文件,造成磁盘访问。
rowid排序需要两次回表,可排序的数据多。sort_buffer可以放更多数据,但是需要再回到原表去取数据,比全字段排序多一次回表。
一般情况下,对于InnoDB存储引擎,会优先使用全字段排序。可以发现 max_length_for_sort_data参数设置为1024,这个数比较大的。一般情况下,排序字段不会超过这个值,也就是都会走全字段排序。

但是有的时候,数据量太大,即使只将要排序的字段+主键id放入到 sort_buffer 中仍然存不下,这个时候就需要使用到外部文件了


4. explain 说明, 执行explain语句的时候,可以发现下面的信息:
explain语句的时候,发现 Using filesort 用到了临时文件进行排序
还能看到 Using temporary 用到了临时表,临时表存储引擎为 memory 。

如果当前 MySQL 使用的是内存临时表的话,将会直接使用 rowId 排序,这时的回表(回临时表取数据)只是在内存表中读数据,操作不涉及硬盘IO 。

MySQL 提供了 tmp_table_size 参数限制了内存临时表的大小,默认值是 16M,如果临时表大小超过了tmp_table_size,那么内存临时表就会转成磁盘临时表。这时的回表意味着磁盘随机读,所以会搭配全字段排序方式。


如果数据量大于tmp_table_size, 就不能用内存临时表了,需要用磁盘临时表,这时的回表意味着磁盘随机读,所以会搭配全字段排序方式。
 


5.  order by的一些优化思路
我们如何优化order by语句呢?

A. 联合索引 因为数据是无序的,所以就需要排序。如果数据本身是有序的,那就不用排了。而索引数据本身是有序的,我们通过建立联合索引,优化order by 语句。联合索引 - 就是通过要排序的字段和where条件的字段一起创建联合索引。

B.  覆盖索引: 上面的联合索引虽然不需要排序,但是需要回表查询字段, 就可以考虑覆盖索引 。 select查询的字段和order by排序字段以及where条件字段一起都建一个索引,覆盖索引,就是索引里包含了需要的所有数据(查询数据、排序数据)这样就不需要任何回表了


C. 调整参数优化
C1. sort_buffer 值调大一点。 值太小,数据量大的话,会借助磁盘临时文件排序.  默认是mysql 5.7.5  是256k, mysql 5.7.6是 8M

C2. max_length_for_sort_data值调大一点。值太小的话,order by会走rowid排序,会回表,降低查询性能。默认是1024大小

C3. tmp_table_size 值调大一点。 值太小就不能使用内存临时表,需要用到磁盘临时表,磁盘随机读影响性能。

在排序字段无索引的情况下,mysql使用优先队列进行排序(即堆排序)对 order by + limit n 排序语句进行优化。
过程:
    在所有待排序的数据,取数量为 LIMIT 的数据,构建一个堆。
    不断的取下一行数据,更新堆节点。
    当所有行的扫描完,得到最终的排序结果

这篇关于mysql order by的执行原理,以及优化思路,怎么优化order by的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1090791

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

W外链微信推广短连接怎么做?

制作微信推广链接的难点分析 一、内容创作难度 制作微信推广链接时,首先需要创作有吸引力的内容。这不仅要求内容本身有趣、有价值,还要能够激起人们的分享欲望。对于许多企业和个人来说,尤其是那些缺乏创意和写作能力的人来说,这是制作微信推广链接的一大难点。 二、精准定位难度 微信用户群体庞大,不同用户的需求和兴趣各异。因此,制作推广链接时需要精准定位目标受众,以便更有效地吸引他们点击并分享链接

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传