Python捕捉MySQL的警告导致的事物锁等待超时问题

2024-06-15 00:48

本文主要是介绍Python捕捉MySQL的警告导致的事物锁等待超时问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

当有多个进程相对高并发的读取删除数据库的时候,经常会出现事物锁锁死,导致锁等待时间超时的致命错误。
翻看日志,可以查看到最早出现的是以下错误

InternalError(1205, 'Lock wait timeout exceeded; try restarting transaction')

但是该错误提示仅仅出现了几次,之后会不断的出现下面的错误提示

OperationalError(2013, 'Lost connection to MySQL server during query')

到最后就干脆变为

InterfaceError("(0, '')",)

对于数据库的了解并不深,一开始以为就是MySQL无法承受高并发,但是感觉MySQL应该没那么弱。
翻阅了MySQL的日志之后,可以看到以下警告和错误信息

2017-12-01T09:42:11.954799Z 0 [Warning] Changed limits: max_open_files: 1024 (requested 5000)
2017-12-01T09:42:11.954862Z 0 [Warning] Changed limits: table_open_cache: 431 (requested 2000)
2017-12-01T09:42:12.191029Z 0 [Warning] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit_defaults_for_timestamp server option (see documentation for more details).
2017-12-01T09:42:15.371812Z 0 [ERROR] /usr/sbin/mysqld: Table './mysql/user' is marked as crashed and should be repaired
2017-12-01T09:42:15.372197Z 0 [Warning] Checking table:   './mysql/user'
2017-12-01T09:42:15.372222Z 0 [ERROR] 1 client is using or hasn't closed the table properly
2017-12-01T09:42:15.421626Z 0 [ERROR] /usr/sbin/mysqld: Table './mysql/db' is marked as crashed and should be repaired
2017-12-01T09:42:15.421836Z 0 [Warning] Checking table:   './mysql/db'
2017-12-01T09:42:15.421850Z 0 [ERROR] 1 client is using or hasn't closed the table properly

看着这错误提示,感觉也是很莫名其妙了。并没有打开很大量的文件丫。一条一条Google下去之后也没有找到任何有效的解决信息。
此时回顾该错误,锁等待超时,说明发现了死锁。但是代码中对于数据库的调用,并不会存在任何的死锁问题,互相是不干扰的丫。
好一阵思考之后,感觉可能是,执行了某个SQL语句,但是该语句并没有提交过去,所以卡住了。
之后再去看代码,发现我为了能够捕捉到警告,将SQLwarning提升为了错误

from warnings import filterwarnings
filterwarnings('error', category=pm.Warning)

我这时候就意识到是这里的问题了。
对于MySQL的警告,尽管有警告,但还是能够顺利正常的运行的。然而我直接将其捕捉打印了出来,恰恰缺少了commit
所以问题应该就出在这里,所以修改了一下代码。在捕捉警告之前先commit一下。这时发现数据库不会再挂掉了。

这篇关于Python捕捉MySQL的警告导致的事物锁等待超时问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1061960

相关文章

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别: 当你在一个模块(文件)中使用 global 声明变量时,这个变量只在该模块的全局命名空

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如,在当前目录下创建一个名为 myenv 的虚拟环境: python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行: source myenv/bin/activate 3.与notebook连接 在虚拟环境中,使用 pip 安装 Jupyter 和 ipykernel: pip instal

安卓链接正常显示,ios#符被转义%23导致链接访问404

原因分析: url中含有特殊字符 中文未编码 都有可能导致URL转换失败,所以需要对url编码处理  如下: guard let allowUrl = webUrl.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) else {return} 后面发现当url中有#号时,会被误伤转义为%23,导致链接无法访问