关于Minio性能优化 A timeout exceeded while waiting to proceed with the request, please reduce your request

本文主要是介绍关于Minio性能优化 A timeout exceeded while waiting to proceed with the request, please reduce your request,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

因生产环境数据量和并发量过大,Minio会出现上传超时问题

具体报错:A timeout exceeded while waiting to proceed with the request, please reduce your request

经查阅资料,有4种解决方案

查阅文献:
https://www.oomake.com/question/17229356
https://www.nuomiphp.com/t/6254af8578e87f77ee3d038c.html
https://www.hxstrive.com/subject/minio/673.htm
https://github.com/minio/minio/tree/master/docs/config#api
https://blog.csdn.net/qq_62982856/article/details/128995909

1.检查Minio代码,有使用到流的地方需要及时关闭流
  • 手动关闭
try {           // 获取输入流InputStream inputStream = minioClient.getObject(GetObjectArgs.builder().bucket(bucket).object(filePath).build());// 关闭流inputStream.close();         
} catch (Exception e) {e.printStackTrace();
}
  • 使用try catch自动关闭流
try (InputStream input = downloadFileStream(fileName);ByteArrayOutputStream bos = new ByteArrayOutputStream()){//缓存byte[] b = new byte[1024];int n;while ((n = input.read(b)) != -1) {bos.write(b, 0, n);}//改变为byte[]return bos.toByteArray();
}catch (Exception e) {log.error("Minio出错",e);
}
2.检查Minio存储目录

部署单机版Minio时,假设你文件存放的目录为 a/,不要放太多的 object ,应该分开放
比如以日期,或者文件 hash 取几位建目录再把 object 放进去
因为单机版存在这样一个问题,就是如果一个文件夹 a/下面有多个 object ,你 100 万个全放 a/下面,list 性能会非常低,单机版似乎是以源文件方式直接存到磁盘的

3.部署Minio集群

集群要求:至少4个Minio服务

  • 4台机器,每一台机器一个Minio,每一个Minio指定当前机器硬盘

或其它组合方式部署Minio集群,部署Minio集群前先百度一下部署集群的要求

4.优化Minio配置参数
  • docker可以设置Minio环境变量来设置Minio配置
环境变量单位说明
MINIO_API_REQUESTS_MAXnumberset the maximum number of concurrent requests (default: ‘0’)
MINIO_API_REQUESTS_DEADLINEdurationset the deadline for API requests waiting to be processed (default: ‘10s’)
MINIO_API_CLUSTER_DEADLINEdurationset the deadline for cluster readiness check (default: ‘10s’)
MINIO_API_CORS_ALLOW_ORIGINcsvset comma separated list of origins allowed for CORS requests (default: ‘*’)
MINIO_API_REMOTE_TRANSPORT_DEADLINEdurationset the deadline for API requests on remote transports while proxying between federated instances e.g. “2h” (default: ‘2h’)
MINIO_API_LIST_QUORUMstringset the acceptable quorum expected for list operations e.g. “optimal”, “reduced”, “disk”, “strict” (default: ‘strict’)
MINIO_API_REPLICATION_PRIORITYstringset replication priority (default: ‘auto’)
MINIO_API_TRANSITION_WORKERSnumberset the number of transition workers (default: ‘100’)
MINIO_API_STALE_UPLOADS_EXPIRYdurationset to expire stale multipart uploads older than this values (default: ‘24h’)
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVALdurationset to change intervals when stale multipart uploads are expired (default: ‘6h’)
MINIO_API_DELETE_CLEANUP_INTERVALdurationset to change intervals when deleted objects are permanently deleted from “.trash” folder (default: ‘5m’)
MINIO_API_DISABLE_ODIRECTbooleanset to disable O_DIRECT for reads under special conditions. NOTE: it is not recommended to disable O_DIRECT without prior testing. (default: ‘off’)

MINIO_API_REQUESTS_DEADLINE 和 MINIO_API_STALE_UPLOADS_EXPIRY 是我此次优化的环境变量

docker-compose配置

  • 通过设置config.josn文件设置Minio配置
    参考:https://github.com/minio/minio/tree/master/docs/config#api

这篇关于关于Minio性能优化 A timeout exceeded while waiting to proceed with the request, please reduce your request的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/273763

相关文章

Python通过模块化开发优化代码的技巧分享

《Python通过模块化开发优化代码的技巧分享》模块化开发就是把代码拆成一个个“零件”,该封装封装,该拆分拆分,下面小编就来和大家简单聊聊python如何用模块化开发进行代码优化吧... 目录什么是模块化开发如何拆分代码改进版:拆分成模块让模块更强大:使用 __init__.py你一定会遇到的问题模www.

SpringBoot首笔交易慢问题排查与优化方案

《SpringBoot首笔交易慢问题排查与优化方案》在我们的微服务项目中,遇到这样的问题:应用启动后,第一笔交易响应耗时高达4、5秒,而后续请求均能在毫秒级完成,这不仅触发监控告警,也极大影响了用户体... 目录问题背景排查步骤1. 日志分析2. 性能工具定位优化方案:提前预热各种资源1. Flowable

SpringBoot3实现Gzip压缩优化的技术指南

《SpringBoot3实现Gzip压缩优化的技术指南》随着Web应用的用户量和数据量增加,网络带宽和页面加载速度逐渐成为瓶颈,为了减少数据传输量,提高用户体验,我们可以使用Gzip压缩HTTP响应,... 目录1、简述2、配置2.1 添加依赖2.2 配置 Gzip 压缩3、服务端应用4、前端应用4.1 N

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

MyBatis 动态 SQL 优化之标签的实战与技巧(常见用法)

《MyBatis动态SQL优化之标签的实战与技巧(常见用法)》本文通过详细的示例和实际应用场景,介绍了如何有效利用这些标签来优化MyBatis配置,提升开发效率,确保SQL的高效执行和安全性,感... 目录动态SQL详解一、动态SQL的核心概念1.1 什么是动态SQL?1.2 动态SQL的优点1.3 动态S

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

一文详解SpringBoot响应压缩功能的配置与优化

《一文详解SpringBoot响应压缩功能的配置与优化》SpringBoot的响应压缩功能基于智能协商机制,需同时满足很多条件,本文主要为大家详细介绍了SpringBoot响应压缩功能的配置与优化,需... 目录一、核心工作机制1.1 自动协商触发条件1.2 压缩处理流程二、配置方案详解2.1 基础YAML

MySQL中慢SQL优化的不同方式介绍

《MySQL中慢SQL优化的不同方式介绍》慢SQL的优化,主要从两个方面考虑,SQL语句本身的优化,以及数据库设计的优化,下面小编就来给大家介绍一下有哪些方式可以优化慢SQL吧... 目录避免不必要的列分页优化索引优化JOIN 的优化排序优化UNION 优化慢 SQL 的优化,主要从两个方面考虑,SQL 语

MySQL中慢SQL优化方法的完整指南

《MySQL中慢SQL优化方法的完整指南》当数据库响应时间超过500ms时,系统将面临三大灾难链式反应,所以本文将为大家介绍一下MySQL中慢SQL优化的常用方法,有需要的小伙伴可以了解下... 目录一、慢SQL的致命影响二、精准定位问题SQL1. 启用慢查询日志2. 诊断黄金三件套三、六大核心优化方案方案

Redis中高并发读写性能的深度解析与优化

《Redis中高并发读写性能的深度解析与优化》Redis作为一款高性能的内存数据库,广泛应用于缓存、消息队列、实时统计等场景,本文将深入探讨Redis的读写并发能力,感兴趣的小伙伴可以了解下... 目录引言一、Redis 并发能力概述1.1 Redis 的读写性能1.2 影响 Redis 并发能力的因素二、