S3上传时报错:Data read has a different length than the expected

2024-06-04 00:38

本文主要是介绍S3上传时报错:Data read has a different length than the expected,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

报错信息

使用S3上传文件时,发现存在几类报错。

第一种:Data read has a different length than the expected: dataLength=15932; expectedLength=19241;

这类报错的意思是,在上传时发现,该文件的实际长度和期望长度不一致。

完整的报错堆栈如下:

com.amazonaws.SdkClientException: Data read has a different length than the expected: dataLength=15932; expectedLength=19241; includeSkipped=false; in.getClass()=class com.amazonaws.internal.ResettableInputStream; markedSupported=true; marked=0; resetSinceLastMarked=false; markCount=1; resetCount=0at com.amazonaws.util.LengthCheckInputStream.checkLength(LengthCheckInputStream.java:151)at com.amazonaws.util.LengthCheckInputStream.read(LengthCheckInputStream.java:109)at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82)at com.amazonaws.event.ProgressInputStream.read(ProgressInputStream.java:180)at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82)at com.amazonaws.auth.AwsChunkedEncodingInputStream.setUpNextChunk(AwsChunkedEncodingInputStream.java:306)at com.amazonaws.auth.AwsChunkedEncodingInputStream.read(AwsChunkedEncodingInputStream.java:172)at org.apache.http.entity.InputStreamEntity.writeTo(InputStreamEntity.java:140)at com.amazonaws.http.RepeatableInputStreamRequestEntity.writeTo(RepeatableInputStreamRequestEntity.java:160)at org.apache.http.impl.DefaultBHttpClientConnection.sendRequestEntity(DefaultBHttpClientConnection.java:156)at org.apache.http.impl.conn.CPoolProxy.sendRequestEntity(CPoolProxy.java:160)at org.apache.http.protocol.HttpRequestExecutor.doSendRequest(HttpRequestExecutor.java:238)at com.amazonaws.http.protocol.SdkHttpRequestExecutor.doSendRequest(SdkHttpRequestExecutor.java:63)at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:123)at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:272)at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:185)at org.apache.http.impl.client.InternalHttpClient.doExecute$original$mo6pBbRM(InternalHttpClient.java:185)at org.apache.http.impl.client.InternalHttpClient.doExecute$original$mo6pBbRM$accessor$0Mzlaxvy(InternalHttpClient.java)at org.apache.http.impl.client.InternalHttpClient$auxiliary$3bqvKzTe.call(Unknown Source)at org.apache.skywalking.apm.agent.core.plugin.interceptor.enhance.InstMethodsInter.intercept(InstMethodsInter.java:95)at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java)at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:56)at com.amazonaws.http.apache.client.impl.SdkHttpClient.execute(SdkHttpClient.java:72)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeOneRequest(AmazonHttpClient.java:1258)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeHelper(AmazonHttpClient.java:1074)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.doExecute(AmazonHttpClient.java:745)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeWithTimer(AmazonHttpClient.java:719)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.execute(AmazonHttpClient.java:701)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.access$500(AmazonHttpClient.java:669)at com.amazonaws.http.AmazonHttpClient$RequestExecutionBuilderImpl.execute(AmazonHttpClient.java:651)at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:515)at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4443)at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4390)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1774)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1628)

第二种:Unable to calculate MD5 hash: /tmp/78c20e3adeb1202ade4ceb002cf4bd9e.png (No such file or directory)

这类报错的意思是,s3在上传文件时,会对文件做MD5的校验。在这个过程中发现指定的文件不存在。

这个堆栈信息比较少:

com.amazonaws.SdkClientException: Unable to calculate MD5 hash: /tmp/78c20e3adeb1202ade4ceb002cf4bd9e.png (No such file or directory)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1675)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1628)

原因推测

于是推测,第一种报错应该是因为s3在上传文件时,文件发生了变化导致的。而且可以看到,报错中基本都是expectedLength的长度大于dataLength的长度。那会不会是在上传的时候,这个文件被修改或者重新写入了?所以在重新写入的过程中,文件是不完整的,因此长度不一致。

代码排查

于是排查了一下代码,发现这部分上传的逻辑大概是这样的:

  1. 用时间戳拼接文件名,生成md5值。把这个值当做s3的key(就叫md5key吧)。
  2. 直接返回md5key,保存入库。之后通过线程池异步做上传逻辑
    1. 获取业务传入进来的附件链接,将文件存储到本地服务器,文件名是md5key.jpg。
    2. 调用s3的服务,将md5key.jpg进行上传。
    3. 删除服务器上的md5key.jpg。

问题就出现在这里!

  1. 如果业务方传入多个一样的附件链接(链接A、链接A、链接A),那么在处理的过程中,如果都是在同一毫秒去生成md5key,那是不是这三个链接的md5key都是一样的呢?
  2. 通过线程池去处理这三个文件时,线程1写入文件到md5key.jpg,开始上传。而此时线程2也开始写入文件到md5key.jpg,这时线程1的上传逻辑会发现,文件长度不一致,所以上传失败。
  3. 而当线程2写入md5key.jpg并上传完成后,线程3也开始写入。当线程3写入完成,准备上传时,这时凑巧线程2上传完成,并删除了md5key.jpg,那么线程3就会发现文件不见了,所以报出第二个错误,文件不存在。

排查了异常结果,发现果然是这个原因。并发场景,要考虑的东西还是很多的啊。

结论

  1. Data read has a different length than the expected这个报错,很有可能是文件准备上传时,被另一个写入线程覆盖了。可以按照这个思路去排查问题。
  2. No such file or directory这个报错,那就是如他所说,找不到文件。所以想想为啥文件没了呢?看看程序里有没有删除文件的逻辑呢?

这篇关于S3上传时报错:Data read has a different length than the expected的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1028573

相关文章

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

使用mvn deploy命令上传jar包的实现

《使用mvndeploy命令上传jar包的实现》本文介绍了使用mvndeploy:deploy-file命令将本地仓库中的JAR包重新发布到Maven私服,文中通过示例代码介绍的非常详细,对大家的学... 目录一、背景二、环境三、配置nexus上传账号四、执行deploy命令上传包1. 首先需要把本地仓中要

Java实现数据库图片上传功能详解

《Java实现数据库图片上传功能详解》这篇文章主要为大家详细介绍了如何使用Java实现数据库图片上传功能,包含从数据库拿图片传递前端渲染,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1、前言2、数据库搭建&nbsChina编程p; 3、后端实现将图片存储进数据库4、后端实现从数据库取出图片给前端5、前端拿到

HTML5 data-*自定义数据属性的示例代码

《HTML5data-*自定义数据属性的示例代码》HTML5的自定义数据属性(data-*)提供了一种标准化的方法在HTML元素上存储额外信息,可以通过JavaScript访问、修改和在CSS中使用... 目录引言基本概念使用自定义数据属性1. 在 html 中定义2. 通过 JavaScript 访问3.

Vue ElementUI中Upload组件批量上传的实现代码

《VueElementUI中Upload组件批量上传的实现代码》ElementUI中Upload组件批量上传通过获取upload组件的DOM、文件、上传地址和数据,封装uploadFiles方法,使... ElementUI中Upload组件如何批量上传首先就是upload组件 <el-upl

解决Spring运行时报错:Consider defining a bean of type ‘xxx.xxx.xxx.Xxx‘ in your configuration

《解决Spring运行时报错:Considerdefiningabeanoftype‘xxx.xxx.xxx.Xxx‘inyourconfiguration》该文章主要讲述了在使用S... 目录问题分析解决方案总结问题Description:Parameter 0 of constructor in x

解决IDEA使用springBoot创建项目,lombok标注实体类后编译无报错,但是运行时报错问题

《解决IDEA使用springBoot创建项目,lombok标注实体类后编译无报错,但是运行时报错问题》文章详细描述了在使用lombok的@Data注解标注实体类时遇到编译无误但运行时报错的问题,分析... 目录问题分析问题解决方案步骤一步骤二步骤三总结问题使用lombok注解@Data标注实体类,编译时

Java文件上传的多种实现方式

《Java文件上传的多种实现方式》文章主要介绍了文件上传接收接口的使用方法,包括获取文件信息、创建文件夹、保存文件到本地的两种方法,以及如何使用Postman进行接口调用... 目录Java文件上传的多方式1.文件上传接收文件接口2.接口主要内容部分3.postman接口调用总结Java文件上传的多方式1

Mybatis提示Tag name expected的问题及解决

《Mybatis提示Tagnameexpected的问题及解决》MyBatis是一个开源的Java持久层框架,用于将Java对象与数据库表进行映射,它提供了一种简单、灵活的方式来访问数据库,同时也... 目录概念说明MyBATis特点发现问题解决问题第一种方式第二种方式问题总结概念说明MyBatis(原名

使用Python实现大文件切片上传及断点续传的方法

《使用Python实现大文件切片上传及断点续传的方法》本文介绍了使用Python实现大文件切片上传及断点续传的方法,包括功能模块划分(获取上传文件接口状态、临时文件夹状态信息、切片上传、切片合并)、整... 目录概要整体架构流程技术细节获取上传文件状态接口获取临时文件夹状态信息接口切片上传功能文件合并功能小