S3上传时报错:Data read has a different length than the expected

2024-06-04 00:38

本文主要是介绍S3上传时报错:Data read has a different length than the expected,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

报错信息

使用S3上传文件时,发现存在几类报错。

第一种:Data read has a different length than the expected: dataLength=15932; expectedLength=19241;

这类报错的意思是,在上传时发现,该文件的实际长度和期望长度不一致。

完整的报错堆栈如下:

com.amazonaws.SdkClientException: Data read has a different length than the expected: dataLength=15932; expectedLength=19241; includeSkipped=false; in.getClass()=class com.amazonaws.internal.ResettableInputStream; markedSupported=true; marked=0; resetSinceLastMarked=false; markCount=1; resetCount=0at com.amazonaws.util.LengthCheckInputStream.checkLength(LengthCheckInputStream.java:151)at com.amazonaws.util.LengthCheckInputStream.read(LengthCheckInputStream.java:109)at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82)at com.amazonaws.event.ProgressInputStream.read(ProgressInputStream.java:180)at com.amazonaws.internal.SdkFilterInputStream.read(SdkFilterInputStream.java:82)at com.amazonaws.auth.AwsChunkedEncodingInputStream.setUpNextChunk(AwsChunkedEncodingInputStream.java:306)at com.amazonaws.auth.AwsChunkedEncodingInputStream.read(AwsChunkedEncodingInputStream.java:172)at org.apache.http.entity.InputStreamEntity.writeTo(InputStreamEntity.java:140)at com.amazonaws.http.RepeatableInputStreamRequestEntity.writeTo(RepeatableInputStreamRequestEntity.java:160)at org.apache.http.impl.DefaultBHttpClientConnection.sendRequestEntity(DefaultBHttpClientConnection.java:156)at org.apache.http.impl.conn.CPoolProxy.sendRequestEntity(CPoolProxy.java:160)at org.apache.http.protocol.HttpRequestExecutor.doSendRequest(HttpRequestExecutor.java:238)at com.amazonaws.http.protocol.SdkHttpRequestExecutor.doSendRequest(SdkHttpRequestExecutor.java:63)at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:123)at org.apache.http.impl.execchain.MainClientExec.execute(MainClientExec.java:272)at org.apache.http.impl.execchain.ProtocolExec.execute(ProtocolExec.java:185)at org.apache.http.impl.client.InternalHttpClient.doExecute$original$mo6pBbRM(InternalHttpClient.java:185)at org.apache.http.impl.client.InternalHttpClient.doExecute$original$mo6pBbRM$accessor$0Mzlaxvy(InternalHttpClient.java)at org.apache.http.impl.client.InternalHttpClient$auxiliary$3bqvKzTe.call(Unknown Source)at org.apache.skywalking.apm.agent.core.plugin.interceptor.enhance.InstMethodsInter.intercept(InstMethodsInter.java:95)at org.apache.http.impl.client.InternalHttpClient.doExecute(InternalHttpClient.java)at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:83)at org.apache.http.impl.client.CloseableHttpClient.execute(CloseableHttpClient.java:56)at com.amazonaws.http.apache.client.impl.SdkHttpClient.execute(SdkHttpClient.java:72)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeOneRequest(AmazonHttpClient.java:1258)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeHelper(AmazonHttpClient.java:1074)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.doExecute(AmazonHttpClient.java:745)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.executeWithTimer(AmazonHttpClient.java:719)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.execute(AmazonHttpClient.java:701)at com.amazonaws.http.AmazonHttpClient$RequestExecutor.access$500(AmazonHttpClient.java:669)at com.amazonaws.http.AmazonHttpClient$RequestExecutionBuilderImpl.execute(AmazonHttpClient.java:651)at com.amazonaws.http.AmazonHttpClient.execute(AmazonHttpClient.java:515)at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4443)at com.amazonaws.services.s3.AmazonS3Client.invoke(AmazonS3Client.java:4390)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1774)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1628)

第二种:Unable to calculate MD5 hash: /tmp/78c20e3adeb1202ade4ceb002cf4bd9e.png (No such file or directory)

这类报错的意思是,s3在上传文件时,会对文件做MD5的校验。在这个过程中发现指定的文件不存在。

这个堆栈信息比较少:

com.amazonaws.SdkClientException: Unable to calculate MD5 hash: /tmp/78c20e3adeb1202ade4ceb002cf4bd9e.png (No such file or directory)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1675)at com.amazonaws.services.s3.AmazonS3Client.putObject(AmazonS3Client.java:1628)

原因推测

于是推测,第一种报错应该是因为s3在上传文件时,文件发生了变化导致的。而且可以看到,报错中基本都是expectedLength的长度大于dataLength的长度。那会不会是在上传的时候,这个文件被修改或者重新写入了?所以在重新写入的过程中,文件是不完整的,因此长度不一致。

代码排查

于是排查了一下代码,发现这部分上传的逻辑大概是这样的:

  1. 用时间戳拼接文件名,生成md5值。把这个值当做s3的key(就叫md5key吧)。
  2. 直接返回md5key,保存入库。之后通过线程池异步做上传逻辑
    1. 获取业务传入进来的附件链接,将文件存储到本地服务器,文件名是md5key.jpg。
    2. 调用s3的服务,将md5key.jpg进行上传。
    3. 删除服务器上的md5key.jpg。

问题就出现在这里!

  1. 如果业务方传入多个一样的附件链接(链接A、链接A、链接A),那么在处理的过程中,如果都是在同一毫秒去生成md5key,那是不是这三个链接的md5key都是一样的呢?
  2. 通过线程池去处理这三个文件时,线程1写入文件到md5key.jpg,开始上传。而此时线程2也开始写入文件到md5key.jpg,这时线程1的上传逻辑会发现,文件长度不一致,所以上传失败。
  3. 而当线程2写入md5key.jpg并上传完成后,线程3也开始写入。当线程3写入完成,准备上传时,这时凑巧线程2上传完成,并删除了md5key.jpg,那么线程3就会发现文件不见了,所以报出第二个错误,文件不存在。

排查了异常结果,发现果然是这个原因。并发场景,要考虑的东西还是很多的啊。

结论

  1. Data read has a different length than the expected这个报错,很有可能是文件准备上传时,被另一个写入线程覆盖了。可以按照这个思路去排查问题。
  2. No such file or directory这个报错,那就是如他所说,找不到文件。所以想想为啥文件没了呢?看看程序里有没有删除文件的逻辑呢?

这篇关于S3上传时报错:Data read has a different length than the expected的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1028573

相关文章

论文翻译:arxiv-2024 Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey https://arxiv.org/abs/2406.04244 大规模语言模型的基准数据污染:一项综述 文章目录 大规模语言模型的基准数据污染:一项综述摘要1 引言 摘要 大规模语言模型(LLMs),如GPT-4、Claude-3和Gemini的快

Spring MVC 图片上传

引入需要的包 <dependency><groupId>commons-logging</groupId><artifactId>commons-logging</artifactId><version>1.1</version></dependency><dependency><groupId>commons-io</groupId><artifactId>commons-

CentOS下mysql数据库data目录迁移

https://my.oschina.net/u/873762/blog/180388        公司新上线一个资讯网站,独立主机,raid5,lamp架构。由于资讯网是面向小行业,初步估计一两年内访问量压力不大,故,在做服务器系统搭建的时候,只是简单分出一个独立的data区作为数据库和网站程序的专区,其他按照linux的默认分区。apache,mysql,php均使用yum安装(也尝试

使用Spring Boot集成Spring Data JPA和单例模式构建库存管理系统

引言 在企业级应用开发中,数据库操作是非常重要的一环。Spring Data JPA提供了一种简化的方式来进行数据库交互,它使得开发者无需编写复杂的JPA代码就可以完成常见的CRUD操作。此外,设计模式如单例模式可以帮助我们更好地管理和控制对象的创建过程,从而提高系统的性能和可维护性。本文将展示如何结合Spring Boot、Spring Data JPA以及单例模式来构建一个基本的库存管理系统

在SSH的基础上使用jquery.uploadify.js上传文件

在SSH框架的基础上,使用jquery.uploadify.js实现文件的上传,之前搞了好几天,都上传不了, 在Action那边File接收到的总是为null, 为了这个还上网搜了好多相关的信息,但都不行,最后还是搜到一篇文章帮助到我了,希望能帮助到为之困扰的人。 jsp页面的关键代码: <link rel="stylesheet" type="text/css" href="${page

vue 父组件调用子组件的方法报错,“TypeError: Cannot read property ‘subDialogRef‘ of undefined“

vue 父组件调用子组件的方法报错,“TypeError: Cannot read property ‘subDialogRef’ of undefined” 最近用vue做的一个界面,引入了一个子组件,在父组件中调用子组件的方法时,报错提示: [Vue warn]: Error in v-on handler: “TypeError: Cannot read property ‘methods

15 组件的切换和对组件的data的使用

划重点 a 标签的使用事件修饰符组件的定义组件的切换:登录 / 注册 泡椒鱼头 :微辣 <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><meta name="viewport" content="width=device-width, initial-scale=1.0"><meta http-equiv="X-UA-

12C 新特性,MOVE DATAFILE 在线移动 包括system, 附带改名 NID ,cdb_data_files视图坏了

ALTER DATABASE MOVE DATAFILE  可以改名 可以move file,全部一个命令。 resue 可以重用,keep好像不生效!!! system照移动不误-------- SQL> select file_name, status, online_status from dba_data_files where tablespace_name='SYSTEM'

【CTF Web】BUUCTF Upload-Labs-Linux Pass-13 Writeup(文件上传+PHP+文件包含漏洞+PNG图片马)

Upload-Labs-Linux 1 点击部署靶机。 简介 upload-labs是一个使用php语言编写的,专门收集渗透测试和CTF中遇到的各种上传漏洞的靶场。旨在帮助大家对上传漏洞有一个全面的了解。目前一共20关,每一关都包含着不同上传方式。 注意 1.每一关没有固定的通关方法,大家不要自限思维! 2.本项目提供的writeup只是起一个参考作用,希望大家可以分享出自己的通关思路

Vue3上传图片报错:Current request is not a multipart request

当你看到错误 "Current request is not a multipart request" 时,这通常意味着你的服务器或后端代码期望接收一个 multipart/form-data 类型的请求,但实际上并没有收到这样的请求。在使用 <el-upload> 组件时,如果你已经设置了 http-request 属性来自定义上传行为,并且遇到了这个错误,可能是因为你在发送请求时没有正确地设置