【SQLAlchemy】MySQL server has gone away 原因分析、解决方法

2023-12-31 21:08

本文主要是介绍【SQLAlchemy】MySQL server has gone away 原因分析、解决方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

SQLAlchemy报错:MySQL server has gone away

错误日志

2020-01-03 20:00:00,072 - update_example_table.py - get_pcodes_arr_by_kind_from_db[line:147] - ERROR: (pymysql.err.OperationalError) (2006, “MySQL server has gone away (error(10053, ‘’))”)
[SQL: SELECT example_menu.p_codes AS example_menu_p_codes
FROM example_menu
WHERE example_menu.isactive = %(isactive_1)s AND example_menu.kind = %(kind_1)s]
[parameters: {u’kind_1’: ‘BLACK’, u’isactive_1’: 1}]
(Background on this error at: http://sqlalche.me/e/e3q8)

错误原因

从字面理解,就是你连接的MySQL已经走人了,不在了。相当于你和另外一个人打电话,你一直没有挂电话,但是你把电话放一边了,直到你重新拎起电话想说点啥,才听到里面『嘟,嘟,嘟,嘟…』的挂机声,于是你就知道电话另一头的人已经gone away了。

线上碰到这个问题时,通常就是抛一个异常,然后(主动/被动)重新连接一下,你下次就重新执行一下要执行的语句就行。这就像你觉得有一番话非说不可,然后重新拨了个电话过去。

什么情况下会gone away?就像刚才说的,当你拿着一个电话太久,又不说话的时候,对面肯定就把你挂了;

当sqlalchemy与MySQL建立了一个连接,而sqlalchemy又不对这个连接执行任何(有含义)的语句,这个连接对于MySQL而言就处于sleep,当sleep了太久,MySQL就把连接一头关闭了(可能说了句"啥玩意儿")

这时,如果sqlalchemy在这个连接上尝试执行语句,就会出现gone away的错误。

conn.close() 是把连接放回连接池,不是真正的关闭;池子里的空闲连接在MySQL线程里sleep,长时间不操作,MySQL把连接一端关闭了,所以第二天SQLAlchemy再用这个连接的时候,抛出MySQL server has gone away…

解决方法

1. 设置SQLAlchemy的连接有效期,在MySQL关闭它之前,我先关闭它

因为scoped_session是threadlocal的,相同线程会用到相同的session,如果session还持有connection,从pool里checkout connection时不会进行过期的检查操作,直接使用,所以必须设置SQLAIchemy的有效期

SQLAlchemy连接池重新生成的周期默认为timeout是2小时,通过 SHOW VARIABLES 可以查看数据库配置的timeout时间(如下图所示),所以设置sqlalchemy的 "pool_recycle"参数小于360s,就会在数据库服务器断开连接之前,自己断开并重新生成连接

2. 在Web框架的层面,每次请求处理完毕时,显式地关闭session。

a. web框架显示关闭session的方法有很多,常规方法如下,在finally中主动关闭seession
b. Django和Flask都有middleware机制,可以在接收请求之前和处理完请求之后对session进行remove
c. Flask有一类修饰器hook,可以在请求后或请求前做一些事情,使用hook显示关闭session如下

了解其他hook修饰器:

before_first_request:注册一个函数,在处理第一个请求之前运行。
before_request:注册一个函数,在每次请求之前运行。
after_request:注册一个函数,如果没有未处理的异常抛出,在每次请求之后运行。
teardown_request:注册一个函数,即使有未处理的异常抛出,也在每次请求之后运行。
在使用session之前,先检查其有效性,无效则创建新的session以供使用

3. 在使用session之前,先检查其有效性,无效则创建新的session以供使用
在这里插入图片描述


拓展:类似问题 - Lost connection to mysql server during query

(使用的是Flask-SQLAlchemy)

一般由以下四种情况造成, 通过SHOW VARIABLES LIKE ‘’查看一下字段:

1、查询中大量数据被发送,由于数据传输时间不够导致,可以增加net_read_timeout的值。

net_read_timeout : mysql服务端从客户端读取(接收)数据时,服务端等待客户端响应的超时时间,当服务端正在从客户端读取数据时,net_read_timeout控制何时超时

2、初次连接时,连接时间设定太少,可以增加connect_timeout的值改善。

connect_timeout:在获取连接阶段(authenticate)起作用, 获取MySQL连接是多次握手的结果,除了用户名和密码的匹配校验外,还有IP->HOST->DNS->IP验证,任何一步都可能因为网络问题导致线程阻塞。为 了防止线程浪费在不必要的校验等待上,超过connect_timeout的连接请求将会被拒绝。

3、有些少见的情况可以show global status like 'aborted_connets',这个全局变量在每一次服务器终止时会增加1,查看"reading authorization packet"获取错误信息。

4、BLOB值太大的问题,调整配置文件max_allowed_packet

mysql根据配置文件会限制server接受的数据包大小。有时候大的插入和更新会被max_allowed_packet 参数限制掉,导致失败。


拓展:【Python】SQLAlchemy:session何时commit,何时close?

Engine 相当于一个创建连接的工厂,而不是连接本身。当使用conn.close()时,连接被放回到Engine的连接池当中,而不是真正的关闭了。

如果想要在调用conn.close()时,真正的关闭连接,可以使用poolclass=NullPool属性:

from sqlalchemy.pool import NullPool
db = create_engine('mysql://root@localhost/test_database', poolclass=NullPool)

拓展:初始问题 - 【Python】SQLAlchemy长时间未请求,数据库连接断开的原因、解决方案

一个基于apscheduler的定时任务,里面的任务使用了sqlalchemy,这个任务每天跑,但是第二天就连不上数据库

这篇关于【SQLAlchemy】MySQL server has gone away 原因分析、解决方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/557141

相关文章

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.

SQL中redo log 刷⼊磁盘的常见方法

《SQL中redolog刷⼊磁盘的常见方法》本文主要介绍了SQL中redolog刷⼊磁盘的常见方法,将redolog刷入磁盘的方法确保了数据的持久性和一致性,下面就来具体介绍一下,感兴趣的可以了解... 目录Redo Log 刷入磁盘的方法Redo Log 刷入磁盘的过程代码示例(伪代码)在数据库系统中,r

mysql中的group by高级用法

《mysql中的groupby高级用法》MySQL中的GROUPBY是数据聚合分析的核心功能,主要用于将结果集按指定列分组,并结合聚合函数进行统计计算,下面给大家介绍mysql中的groupby用法... 目录一、基本语法与核心功能二、基础用法示例1. 单列分组统计2. 多列组合分组3. 与WHERE结合使

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Java中Switch Case多个条件处理方法举例

《Java中SwitchCase多个条件处理方法举例》Java中switch语句用于根据变量值执行不同代码块,适用于多个条件的处理,:本文主要介绍Java中SwitchCase多个条件处理的相... 目录前言基本语法处理多个条件示例1:合并相同代码的多个case示例2:通过字符串合并多个case进阶用法使用

Mysql用户授权(GRANT)语法及示例解读

《Mysql用户授权(GRANT)语法及示例解读》:本文主要介绍Mysql用户授权(GRANT)语法及示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录mysql用户授权(GRANT)语法授予用户权限语法GRANT语句中的<权限类型>的使用WITH GRANT

Mysql如何解决死锁问题

《Mysql如何解决死锁问题》:本文主要介绍Mysql如何解决死锁问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录【一】mysql中锁分类和加锁情况【1】按锁的粒度分类全局锁表级锁行级锁【2】按锁的模式分类【二】加锁方式的影响因素【三】Mysql的死锁情况【1

Python中__init__方法使用的深度解析

《Python中__init__方法使用的深度解析》在Python的面向对象编程(OOP)体系中,__init__方法如同建造房屋时的奠基仪式——它定义了对象诞生时的初始状态,下面我们就来深入了解下_... 目录一、__init__的基因图谱二、初始化过程的魔法时刻继承链中的初始化顺序self参数的奥秘默认

SpringBoot内嵌Tomcat临时目录问题及解决

《SpringBoot内嵌Tomcat临时目录问题及解决》:本文主要介绍SpringBoot内嵌Tomcat临时目录问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录SprinjavascriptgBoot内嵌Tomcat临时目录问题1.背景2.方案3.代码中配置t

html5的响应式布局的方法示例详解

《html5的响应式布局的方法示例详解》:本文主要介绍了HTML5中使用媒体查询和Flexbox进行响应式布局的方法,简要介绍了CSSGrid布局的基础知识和如何实现自动换行的网格布局,详细内容请阅读本文,希望能对你有所帮助... 一 使用媒体查询响应式布局        使用的参数@media这是常用的