本文主要是介绍MySQL 全表扫描,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Server层
-- db1.t有200GB
mysql -h$host -P$port -u$user -p$pwd -e "select * from db1.t" > $target_file
查询数据
- InnoDB的数据是保存在主键索引上,全表扫描实际上是直接扫描表t的主键索引
- 获取一行,写到net_buffer中,默认为16K,控制参数为net_buffer_length
- 重复获取行,直到写满net_buffer,然后调用网络接口发出去
- 如果发送成功,就清空net_buffer,然后继续取下一行并写入net_buffer
- 如果发送函数返回EAGAIN或者WSAEWOULDBLOCK,表示本地网络栈socket send buffer写满。此时,进入等待,直到网络栈重新可写,再继续发送
- 一个查询在发送数据的过程中,占用MySQL内部的内存最大为net_buffer_length,因此不会达到200G
- socket send buffer也不可能达到200G,如果socket send buffer被写满,就会暂停读取数据
-- 16384 Bytes = 16 KB
mysql> SHOW VARIABLES LIKE '%net_buffer_length%';
+-------------------+-------+
| Variable_name | Value |
+-------------------+-------+
| net_buffer_length | 16384 |
+-------------------+-------+
Sending to client
- MySQL是边读边发的,如果客户端接收慢,会导致MySQL服务端由于结果发不出去,事务的执行时间变长
- 下图为MySQL客户端不读取socket receive buffer中的内容的场景
- State为Sending to client,表示服务端的网络栈写满了
- mysql --quick,会使用mysql_use_result方法,该方法会读取一行处理一行
- 假设每读出一行数据后要处理的逻辑很慢,就会导致客户端要过很久才会去取下一行数据
- 这时也会出现State为Sending to client的情况
- 对于正常的线上业务,如果单个查询返回的结果不多,推荐使用mysql_store_result接口
- 适当地调大net_buffer_length可能是个更优的解决方案
Sending data
State切换
- MySQL的查询语句在进入执行阶段后,首先把State设置为Sending data
- 然后,发送执行结果的列相关的信息(meta data)给客户端
- 再继续执行语句的流程,执行完成后,把State设置为空字符串
- 因此State为Sending data不等同于正在发送数据
样例
CREATE TABLE `t` (`id` int(11) NOT NULL,`c` int(11) NOT NULL,PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;INSERT INTO t VALUES (1,1);
s |
---|
这篇关于MySQL 全表扫描的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!