记一次请求暴增导致的线上问题

2023-12-23 16:32

本文主要是介绍记一次请求暴增导致的线上问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

项目推广了一次直播秒杀活动,没有预估到请求量会这么大,出现了一次惨烈的线上事故

过程:

先是部分接口去查询数据库导致mysql出现压力,读写分离的从库经不住读的压力,cpu100%

数据库紧急扩容,增加从库,mysql压力降低

报错:org.springframework.jdbc.CannotGetJdbcConnectionException:Failed to obtain JDBC Connection

接着项目服务器访问量激增导致宕机

(1)报错java.io.IOException: Too many open files

https://www.cnblogs.com/kongzhongqijing/articles/3735664.html

https://blog.csdn.net/luckykapok918/article/details/76914834

(2)报错c.d.common.exception.RRExceptionHandler: java.io.IOException: Broken pipe

https://blog.csdn.net/NathanniuBee/article/details/101436205

https://blog.csdn.net/zqz_zqz/article/details/52235479

(3)Caused by: java.io.IOException: Server returned HTTP response code: 504 for URL

(4)Caused by: java.io.IOException: Server returned HTTP response code: 502 for URL:

紧急加了一些服务器后,服务器请求压力降低
 

但是走缓存的页面加载还是慢,查询redis指标,发现压力正常,个人猜测是mq长链接一直在消耗服务器资源,还是需要完善监控系统,方便后期排查问题

rabbitmq连接池爆满

报错:org.springframework.amqp.AmqpConnectException: java.net.ConnectException: Connection refused

前期并发导致的遗留问题:rabbitmq生产了一些错误数据,自动应答导致错误消息一直重试,unack问题需要解决

后期rabbitmq代码需调整为手动应答

报错:org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException:Listener method 'public void com.daoism.app.mq.component.BuyOrderReceiver.handle(java.lang.String)' threw exception

这篇关于记一次请求暴增导致的线上问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/528686

相关文章

Spring 中的循环引用问题解决方法

《Spring中的循环引用问题解决方法》:本文主要介绍Spring中的循环引用问题解决方法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录什么是循环引用?循环依赖三级缓存解决循环依赖二级缓存三级缓存本章来聊聊Spring 中的循环引用问题该如何解决。这里聊

Spring Boot中JSON数值溢出问题从报错到优雅解决办法

《SpringBoot中JSON数值溢出问题从报错到优雅解决办法》:本文主要介绍SpringBoot中JSON数值溢出问题从报错到优雅的解决办法,通过修改字段类型为Long、添加全局异常处理和... 目录一、问题背景:为什么我的接口突然报错了?二、为什么会发生这个错误?1. Java 数据类型的“容量”限制

SpringBoot请求参数接收控制指南分享

《SpringBoot请求参数接收控制指南分享》:本文主要介绍SpringBoot请求参数接收控制指南,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录Spring Boot 请求参数接收控制指南1. 概述2. 有注解时参数接收方式对比3. 无注解时接收参数默认位置

关于MongoDB图片URL存储异常问题以及解决

《关于MongoDB图片URL存储异常问题以及解决》:本文主要介绍关于MongoDB图片URL存储异常问题以及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录MongoDB图片URL存储异常问题项目场景问题描述原因分析解决方案预防措施js总结MongoDB图

SpringBoot项目中报错The field screenShot exceeds its maximum permitted size of 1048576 bytes.的问题及解决

《SpringBoot项目中报错ThefieldscreenShotexceedsitsmaximumpermittedsizeof1048576bytes.的问题及解决》这篇文章... 目录项目场景问题描述原因分析解决方案总结项目场景javascript提示:项目相关背景:项目场景:基于Spring

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

Spring 请求之传递 JSON 数据的操作方法

《Spring请求之传递JSON数据的操作方法》JSON就是一种数据格式,有自己的格式和语法,使用文本表示一个对象或数组的信息,因此JSON本质是字符串,主要负责在不同的语言中数据传递和交换,这... 目录jsON 概念JSON 语法JSON 的语法JSON 的两种结构JSON 字符串和 Java 对象互转

usb接口驱动异常问题常用解决方案

《usb接口驱动异常问题常用解决方案》当遇到USB接口驱动异常时,可以通过多种方法来解决,其中主要就包括重装USB控制器、禁用USB选择性暂停设置、更新或安装新的主板驱动等... usb接口驱动异常怎么办,USB接口驱动异常是常见问题,通常由驱动损坏、系统更新冲突、硬件故障或电源管理设置导致。以下是常用解决

Mysql如何解决死锁问题

《Mysql如何解决死锁问题》:本文主要介绍Mysql如何解决死锁问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录【一】mysql中锁分类和加锁情况【1】按锁的粒度分类全局锁表级锁行级锁【2】按锁的模式分类【二】加锁方式的影响因素【三】Mysql的死锁情况【1

SpringBoot内嵌Tomcat临时目录问题及解决

《SpringBoot内嵌Tomcat临时目录问题及解决》:本文主要介绍SpringBoot内嵌Tomcat临时目录问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录SprinjavascriptgBoot内嵌Tomcat临时目录问题1.背景2.方案3.代码中配置t