[转发大师姐 李坤]MySQL参数 time_zone 导致线上sys cpu高

2023-10-17 14:50

本文主要是介绍[转发大师姐 李坤]MySQL参数 time_zone 导致线上sys cpu高,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

先放链接:https://mp.weixin.qq.com/s/AtyaIP92L6KnZFB9bQA3ug

帮qunar公众号宣传一波!!!


事故现场



16:27分钟时刻,系统CPU突然标高,大部分都是system,同时processlist暴增,running最高到1500,应用反应超时。

系统其他资源正常,io、网络、内存,都在正常使用范围。网络和io掉了一些,分析不是他们的问题。


线上有大量的这个sql:


select

         count(*)

        from db.table where create_time>= '2017-07-01 00:00:00' and create_time < '2017-08-0100:00:00'AND type='A';


表结构很简单,索引使用正常,表只有1w多行,查询的结果集也只有几千行。

这种情况,开始怀疑是并发突增,看了qps并没有增高,业务也没有变更,这个sql的qps也只有40,平时执行0.0xs。故障期间qps并没有突增,因此连接数增高、并发的增高解释为响应变慢。

而且cpu大量的sys这不正常,排查如下:   

  • 排查了硬件故障,建立链接会消耗syscpu,但应该是瞬间,不应该cpu是持续的

  • 排查了应用对端,如果tcp协议数据发的很慢,网络堆在mysql发送也会导致sys,同时导致增大链接,排查了没问题。

  • 数据库没有报错

  • 没有其他明显慢sql

  • 查询了以往并发突增导致的故障,并没有syscpu

线上临时把这个业务下线,解决了故障。但没有找到根本原因。

 

环境复现:



之后和开发在离线库抱着试一试的心态复现环境,开启30个线程去查询,也用了sysbench去压测这个sql,复现了问题。(之所以没有选线上从库,看之前的监控,写节点性能低,pxc从库qps也受到了影响)

异常现象和线上几乎一致,sys高,running高,qps低。


然后重点开始分析cpu。异常时系统级别cpu上下文切换偏高,是正常的10倍:


这里抓到cpu大量用在kernel的spin自旋锁:


pstack:看到大量的线程在调用 Time_zone_system 方法


这些线索,大量时间花在cpu的spin,联想到了之前分析时看到的文章,http://webcache.googleusercontent.com/search?q=cache:p_AeVu4QhL8J:glume.blog.chinaunix.net/uid-20708886-id-5105437.html+&cd=1&hl=zh-CN&ct=clnk&gl=hk


对于使用 timestamp 的场景,MySQL 在访问 timestamp 字段时会做时区转换,当 time_zone 设置为 system 时,MySQL 访问每一行的 timestamp 字段时,都会通过 libc 的时区函数,获取 Linux 设置的时区,在这个函数中会持有mutex,当大量并发SQL需要访问 timestamp 字段时,会出现 mutex 竞争。MySQL 访问每一行都会做这个时区转换,转换完后释放mutex,所有等待这个 mutex 的线程全部唤醒,结果又会只有一个线程会成功持有 mutex,其余又会再次sleep,这样就会导致 context switch 非常高但 qps 很低,系统吞吐量急剧下降。


总结下文章,就是当time_zone=system的时候,查询timestamp字段,会调用系统的时区做时区转换,有全局锁__libc_lock_lock的保护,导致线程并发环境下,系统性能受限。

如果将time_zone='+8:00'则不会调用系统时区,则不会触发系统时区转换,使用mysql自身转换,大大提高了性能。


结论



将time_zone改为'+8:00'后,再次压测性能正常,验证了上面的分析。


MySQL 中的 mutex 在获取不成功后,短暂spin,如果还不成功,会发生context switch。这个故障就是在读取系统时区转换函数时,持有了mutex,mutex独占的,大量的访问会出现资源竞争,读完才会释放mutex,导致其他并发线程的spin以及cs,从而导致高running和相应慢,cpu飙升,又加剧了其他sql的响应。


后话



qunar线上time_zone都设置的system,并且这个sql也上线有一段时间了,怎么突然出现问题。

根据开发所说,之前该表5k行,7月初开始量逐步加大。我也测试了如果读取数量降低到1k的话,是没有这个问题的,还有降低些qps(降低到10)都不会触发这个问题,因此想应该是qps和读取行数协调作用,每一行都会触发转换,触发了资源的争抢导致这个问题。



这篇关于[转发大师姐 李坤]MySQL参数 time_zone 导致线上sys cpu高的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/226132

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

MySQL字符串常用函数详解

《MySQL字符串常用函数详解》本文给大家介绍MySQL字符串常用函数,本文结合实例代码给大家介绍的非常详细,对大家学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录mysql字符串常用函数一、获取二、大小写转换三、拼接四、截取五、比较、反转、替换六、去空白、填充MySQL字符串常用函数一、

MySQL中比较运算符的具体使用

《MySQL中比较运算符的具体使用》本文介绍了SQL中常用的符号类型和非符号类型运算符,符号类型运算符包括等于(=)、安全等于(=)、不等于(/!=)、大小比较(,=,,=)等,感兴趣的可以了解一下... 目录符号类型运算符1. 等于运算符=2. 安全等于运算符<=>3. 不等于运算符<>或!=4. 小于运

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL逻辑删除与唯一索引冲突解决方案

《MySQL逻辑删除与唯一索引冲突解决方案》本文探讨MySQL逻辑删除与唯一索引冲突问题,提出四种解决方案:复合索引+时间戳、修改唯一字段、历史表、业务层校验,推荐方案1和方案3,适用于不同场景,感兴... 目录问题背景问题复现解决方案解决方案1.复合唯一索引 + 时间戳删除字段解决方案2:删除后修改唯一字

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更