关于Minio性能优化 A timeout exceeded while waiting to proceed with the request, please reduce your request

本文主要是介绍关于Minio性能优化 A timeout exceeded while waiting to proceed with the request, please reduce your request,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

因生产环境数据量和并发量过大,Minio会出现上传超时问题

具体报错:A timeout exceeded while waiting to proceed with the request, please reduce your request

经查阅资料,有4种解决方案

查阅文献:
https://www.oomake.com/question/17229356
https://www.nuomiphp.com/t/6254af8578e87f77ee3d038c.html
https://www.hxstrive.com/subject/minio/673.htm
https://github.com/minio/minio/tree/master/docs/config#api
https://blog.csdn.net/qq_62982856/article/details/128995909

1.检查Minio代码,有使用到流的地方需要及时关闭流
  • 手动关闭
try {           // 获取输入流InputStream inputStream = minioClient.getObject(GetObjectArgs.builder().bucket(bucket).object(filePath).build());// 关闭流inputStream.close();         
} catch (Exception e) {e.printStackTrace();
}
  • 使用try catch自动关闭流
try (InputStream input = downloadFileStream(fileName);ByteArrayOutputStream bos = new ByteArrayOutputStream()){//缓存byte[] b = new byte[1024];int n;while ((n = input.read(b)) != -1) {bos.write(b, 0, n);}//改变为byte[]return bos.toByteArray();
}catch (Exception e) {log.error("Minio出错",e);
}
2.检查Minio存储目录

部署单机版Minio时,假设你文件存放的目录为 a/,不要放太多的 object ,应该分开放
比如以日期,或者文件 hash 取几位建目录再把 object 放进去
因为单机版存在这样一个问题,就是如果一个文件夹 a/下面有多个 object ,你 100 万个全放 a/下面,list 性能会非常低,单机版似乎是以源文件方式直接存到磁盘的

3.部署Minio集群

集群要求:至少4个Minio服务

  • 4台机器,每一台机器一个Minio,每一个Minio指定当前机器硬盘

或其它组合方式部署Minio集群,部署Minio集群前先百度一下部署集群的要求

4.优化Minio配置参数
  • docker可以设置Minio环境变量来设置Minio配置
环境变量单位说明
MINIO_API_REQUESTS_MAXnumberset the maximum number of concurrent requests (default: ‘0’)
MINIO_API_REQUESTS_DEADLINEdurationset the deadline for API requests waiting to be processed (default: ‘10s’)
MINIO_API_CLUSTER_DEADLINEdurationset the deadline for cluster readiness check (default: ‘10s’)
MINIO_API_CORS_ALLOW_ORIGINcsvset comma separated list of origins allowed for CORS requests (default: ‘*’)
MINIO_API_REMOTE_TRANSPORT_DEADLINEdurationset the deadline for API requests on remote transports while proxying between federated instances e.g. “2h” (default: ‘2h’)
MINIO_API_LIST_QUORUMstringset the acceptable quorum expected for list operations e.g. “optimal”, “reduced”, “disk”, “strict” (default: ‘strict’)
MINIO_API_REPLICATION_PRIORITYstringset replication priority (default: ‘auto’)
MINIO_API_TRANSITION_WORKERSnumberset the number of transition workers (default: ‘100’)
MINIO_API_STALE_UPLOADS_EXPIRYdurationset to expire stale multipart uploads older than this values (default: ‘24h’)
MINIO_API_STALE_UPLOADS_CLEANUP_INTERVALdurationset to change intervals when stale multipart uploads are expired (default: ‘6h’)
MINIO_API_DELETE_CLEANUP_INTERVALdurationset to change intervals when deleted objects are permanently deleted from “.trash” folder (default: ‘5m’)
MINIO_API_DISABLE_ODIRECTbooleanset to disable O_DIRECT for reads under special conditions. NOTE: it is not recommended to disable O_DIRECT without prior testing. (default: ‘off’)

MINIO_API_REQUESTS_DEADLINE 和 MINIO_API_STALE_UPLOADS_EXPIRY 是我此次优化的环境变量

docker-compose配置

  • 通过设置config.josn文件设置Minio配置
    参考:https://github.com/minio/minio/tree/master/docs/config#api

这篇关于关于Minio性能优化 A timeout exceeded while waiting to proceed with the request, please reduce your request的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/273763

相关文章

C++,C#,Rust,Go,Java,Python,JavaScript的性能对比全面讲解

《C++,C#,Rust,Go,Java,Python,JavaScript的性能对比全面讲解》:本文主要介绍C++,C#,Rust,Go,Java,Python,JavaScript性能对比全面... 目录编程语言性能对比、核心优势与最佳使用场景性能对比表格C++C#RustGoJavapythonjav

Spring Boot基于 JWT 优化 Spring Security 无状态登录实战指南

《SpringBoot基于JWT优化SpringSecurity无状态登录实战指南》本文介绍如何使用JWT优化SpringSecurity实现无状态登录,提高接口安全性,并通过实际操作步骤... 目录Spring Boot 实战:基于 JWT 优化 Spring Security 无状态登录一、先搞懂:为什

CPython与PyPy解释器架构的性能测试结果对比

《CPython与PyPy解释器架构的性能测试结果对比》Python解释器的选择对应用程序性能有着决定性影响,CPython以其稳定性和丰富的生态系统著称;而PyPy作为基于JIT(即时编译)技术的替... 目录引言python解释器架构概述CPython架构解析PyPy架构解析架构对比可视化性能基准测试测

Java 操作 MinIO详细步骤

《Java操作MinIO详细步骤》本文详细介绍了如何使用Java操作MinIO,涵盖了从环境准备、核心API详解到实战场景的全过程,文章从基础的桶和对象操作开始,到大文件分片上传、预签名URL生成... 目录Java 操作 MinIO 全指南:从 API 详解到实战场景引言:为什么选择 MinIO?一、环境

Java JAR 启动内存参数配置指南(从基础设置到性能优化)

《JavaJAR启动内存参数配置指南(从基础设置到性能优化)》在启动Java可执行JAR文件时,合理配置JVM内存参数是保障应用稳定性和性能的关键,本文将系统讲解如何通过命令行参数、环境变量等方式... 目录一、核心内存参数详解1.1 堆内存配置1.2 元空间配置(MetASPace)1.3 线程栈配置1.

Docker多阶段镜像构建与缓存利用性能优化实践指南

《Docker多阶段镜像构建与缓存利用性能优化实践指南》这篇文章将从原理层面深入解析Docker多阶段构建与缓存机制,结合实际项目示例,说明如何有效利用构建缓存,组织镜像层次,最大化提升构建速度并减少... 目录一、技术背景与应用场景二、核心原理深入分析三、关键 dockerfile 解读3.1 Docke

504 Gateway Timeout网关超时的根源及完美解决方法

《504GatewayTimeout网关超时的根源及完美解决方法》在日常开发和运维过程中,504GatewayTimeout错误是常见的网络问题之一,尤其是在使用反向代理(如Nginx)或... 目录引言为什么会出现 504 错误?1. 探索 504 Gateway Timeout 错误的根源 1.1 后端

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化(SEO)已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模

Java实现复杂查询优化的7个技巧小结

《Java实现复杂查询优化的7个技巧小结》在Java项目中,复杂查询是开发者面临的“硬骨头”,本文将通过7个实战技巧,结合代码示例和性能对比,手把手教你如何让复杂查询变得优雅,大家可以根据需求进行选择... 目录一、复杂查询的痛点:为何你的代码“又臭又长”1.1冗余变量与中间状态1.2重复查询与性能陷阱1.