本文主要是介绍记一次请求暴增导致的线上问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
项目推广了一次直播秒杀活动,没有预估到请求量会这么大,出现了一次惨烈的线上事故
过程:
先是部分接口去查询数据库导致mysql出现压力,读写分离的从库经不住读的压力,cpu100%
数据库紧急扩容,增加从库,mysql压力降低
报错:org.springframework.jdbc.CannotGetJdbcConnectionException:Failed to obtain JDBC Connection
接着项目服务器访问量激增导致宕机
(1)报错java.io.IOException: Too many open files
https://www.cnblogs.com/kongzhongqijing/articles/3735664.html
https://blog.csdn.net/luckykapok918/article/details/76914834
(2)报错c.d.common.exception.RRExceptionHandler: java.io.IOException: Broken pipe
https://blog.csdn.net/NathanniuBee/article/details/101436205
https://blog.csdn.net/zqz_zqz/article/details/52235479
(3)Caused by: java.io.IOException: Server returned HTTP response code: 504 for URL
(4)Caused by: java.io.IOException: Server returned HTTP response code: 502 for URL:
紧急加了一些服务器后,服务器请求压力降低
但是走缓存的页面加载还是慢,查询redis指标,发现压力正常,个人猜测是mq长链接一直在消耗服务器资源,还是需要完善监控系统,方便后期排查问题
rabbitmq连接池爆满
报错:org.springframework.amqp.AmqpConnectException: java.net.ConnectException: Connection refused
前期并发导致的遗留问题:rabbitmq生产了一些错误数据,自动应答导致错误消息一直重试,unack问题需要解决
后期rabbitmq代码需调整为手动应答
报错:org.springframework.amqp.rabbit.listener.exception.ListenerExecutionFailedException:Listener method 'public void com.daoism.app.mq.component.BuyOrderReceiver.handle(java.lang.String)' threw exception
这篇关于记一次请求暴增导致的线上问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!