Python捕捉MySQL的警告导致的事物锁等待超时问题

2024-06-15 00:48

本文主要是介绍Python捕捉MySQL的警告导致的事物锁等待超时问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

当有多个进程相对高并发的读取删除数据库的时候,经常会出现事物锁锁死,导致锁等待时间超时的致命错误。
翻看日志,可以查看到最早出现的是以下错误

InternalError(1205, 'Lock wait timeout exceeded; try restarting transaction')

但是该错误提示仅仅出现了几次,之后会不断的出现下面的错误提示

OperationalError(2013, 'Lost connection to MySQL server during query')

到最后就干脆变为

InterfaceError("(0, '')",)

对于数据库的了解并不深,一开始以为就是MySQL无法承受高并发,但是感觉MySQL应该没那么弱。
翻阅了MySQL的日志之后,可以看到以下警告和错误信息

2017-12-01T09:42:11.954799Z 0 [Warning] Changed limits: max_open_files: 1024 (requested 5000)
2017-12-01T09:42:11.954862Z 0 [Warning] Changed limits: table_open_cache: 431 (requested 2000)
2017-12-01T09:42:12.191029Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2017-12-01T09:42:15.371812Z 0 [ERROR] /usr/sbin/mysqld: Table './mysql/user' is marked as crashed and should be repaired
2017-12-01T09:42:15.372197Z 0 [Warning] Checking table:   './mysql/user'
2017-12-01T09:42:15.372222Z 0 [ERROR] 1 client is using or hasn't closed the table properly
2017-12-01T09:42:15.421626Z 0 [ERROR] /usr/sbin/mysqld: Table './mysql/db' is marked as crashed and should be repaired
2017-12-01T09:42:15.421836Z 0 [Warning] Checking table:   './mysql/db'
2017-12-01T09:42:15.421850Z 0 [ERROR] 1 client is using or hasn't closed the table properly

看着这错误提示,感觉也是很莫名其妙了。并没有打开很大量的文件丫。一条一条Google下去之后也没有找到任何有效的解决信息。
此时回顾该错误,锁等待超时,说明发现了死锁。但是代码中对于数据库的调用,并不会存在任何的死锁问题,互相是不干扰的丫。
好一阵思考之后,感觉可能是,执行了某个SQL语句,但是该语句并没有提交过去,所以卡住了。
之后再去看代码,发现我为了能够捕捉到警告,将SQLwarning提升为了错误

from warnings import filterwarnings
filterwarnings('error', category=pm.Warning)

我这时候就意识到是这里的问题了。
对于MySQL的警告,尽管有警告,但还是能够顺利正常的运行的。然而我直接将其捕捉打印了出来,恰恰缺少了commit
所以问题应该就出在这里,所以修改了一下代码。在捕捉警告之前先commit一下。这时发现数据库不会再挂掉了。

这篇关于Python捕捉MySQL的警告导致的事物锁等待超时问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1061960

相关文章

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

Python的Darts库实现时间序列预测

《Python的Darts库实现时间序列预测》Darts一个集统计、机器学习与深度学习模型于一体的Python时间序列预测库,本文主要介绍了Python的Darts库实现时间序列预测,感兴趣的可以了解... 目录目录一、什么是 Darts?二、安装与基本配置安装 Darts导入基础模块三、时间序列数据结构与

Python正则表达式匹配和替换的操作指南

《Python正则表达式匹配和替换的操作指南》正则表达式是处理文本的强大工具,Python通过re模块提供了完整的正则表达式功能,本文将通过代码示例详细介绍Python中的正则匹配和替换操作,需要的朋... 目录基础语法导入re模块基本元字符常用匹配方法1. re.match() - 从字符串开头匹配2.

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

通过Docker容器部署Python环境的全流程

《通过Docker容器部署Python环境的全流程》在现代化开发流程中,Docker因其轻量化、环境隔离和跨平台一致性的特性,已成为部署Python应用的标准工具,本文将详细演示如何通过Docker容... 目录引言一、docker与python的协同优势二、核心步骤详解三、进阶配置技巧四、生产环境最佳实践

Python一次性将指定版本所有包上传PyPI镜像解决方案

《Python一次性将指定版本所有包上传PyPI镜像解决方案》本文主要介绍了一个安全、完整、可离线部署的解决方案,用于一次性准备指定Python版本的所有包,然后导出到内网环境,感兴趣的小伙伴可以跟随... 目录为什么需要这个方案完整解决方案1. 项目目录结构2. 创建智能下载脚本3. 创建包清单生成脚本4

MySQL的JDBC编程详解

《MySQL的JDBC编程详解》:本文主要介绍MySQL的JDBC编程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言一、前置知识1. 引入依赖2. 认识 url二、JDBC 操作流程1. JDBC 的写操作2. JDBC 的读操作总结前言本文介绍了mysq

java.sql.SQLTransientConnectionException连接超时异常原因及解决方案

《java.sql.SQLTransientConnectionException连接超时异常原因及解决方案》:本文主要介绍java.sql.SQLTransientConnectionExcep... 目录一、引言二、异常信息分析三、可能的原因3.1 连接池配置不合理3.2 数据库负载过高3.3 连接泄漏

Python实现Excel批量样式修改器(附完整代码)

《Python实现Excel批量样式修改器(附完整代码)》这篇文章主要为大家详细介绍了如何使用Python实现一个Excel批量样式修改器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录前言功能特性核心功能界面特性系统要求安装说明使用指南基本操作流程高级功能技术实现核心技术栈关键函

javacv依赖太大导致jar包也大的解决办法

《javacv依赖太大导致jar包也大的解决办法》随着项目的复杂度和依赖关系的增加,打包后的JAR包可能会变得很大,:本文主要介绍javacv依赖太大导致jar包也大的解决办法,文中通过代码介绍的... 目录前言1.检查依赖2.更改依赖3.检查副依赖总结 前言最近在写项目时,用到了Javacv里的获取视频