Vue + SpringBoot 实现文件的断点上传、秒传,存储到Minio

本文主要是介绍Vue + SpringBoot 实现文件的断点上传、秒传,存储到Minio,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、前端

1. 计算文件的md5值

  前端页面使用的elment-plus的el-upload组件。

    <el-upload action="#" :multiple="true" :auto-upload="false" :on-change="handleChange" :show-file-list="false"><FileButton content="上传文件" type="primary" class="file-button" /></el-upload>

当上传文件后,会调用handleChange 方法,可以在这里进行文件相关的操作。

//处理文件上传
const handleChange = async (uploadFile) => {//文件名字let fileName = uploadFile.name//文件的大小const fileSize = uploadFile.size || 0//当前的文件对象let fileItem = {}fileItem.fileName = fileNamefileItem.fileSize = fileSizefileItem.state = 1  //解码中fileItem.progress = 0  //进度是0fileItem.filePid = 102903232fileItem.fileMd5 = ""fileItem.uploadSize = 0fileUploadList.value.addFile(fileItem)//弹框显示isVisible.value = true//获得文件的md5if (uploadFile.raw) {await generateMD5OfFile(uploadFile.raw).then(res => {fileItem.fileMd5 = res})}fileUploadList.value.addMd5(fileItem.fileName, fileItem.fileMd5)fileUploadList.value.changeFileState(fileItem.fileName, 2)//分片上传let chunkTotals = Math.ceil(fileSize / chunkSize);//分片上传if (chunkTotals > 0) {for (let chunkNumber = 0, start = 0; chunkNumber < chunkTotals; chunkNumber++, start += chunkSize) {//文件最后的endlet end = Math.min(fileSize, start + chunkSize);// el-mement - plus中,上传的文件就在raw里面const files = uploadFile.raw?.slice(start, end)//上传的结果const result = await uploadFileToServer(files, chunkNumber + 1, chunkTotals, fileName , getCurrentId(), fileItem.fileMd5,userId)console.log(result.data)console.log(result.data.data)if (result.data.data.status === 1) {// console.log("上传中")//上传的进度fileUploadList.value.changeProgress(fileItem.fileName, ((end / fileSize) * 100).toFixed(1))//修改已经上传完成的文件大小fileUploadList.value.changeUploadSize(fileItem.fileName, end)} else if (result.data.data.status === 3) {// console.log("上传成功!"),这里是弹窗显示的文件上传进度,可以适当修改fileUploadList.value.changeFileState(fileItem.fileName, 3)  //上传完成fileUploadList.value.changeProgress(fileItem.fileName, 100)  // 进度100%//通过main,进行刷新$emit("addChangeNum")return ; //结束} else {message("上传失败", 'error')return;  //结束}}}
}

 计算文件的MD5值

//计算文件的md5
function generateMD5OfFile(file) {return new Promise((resolve, reject) => {let blobSlice = File.prototype.slice || File.prototype.mozSlice || File.prototype.webkitSlice,                        // Read in chunks of 2MBchunks = Math.ceil(file.size / chunkSize),currentChunk = 0,spark = new SparkMD5.ArrayBuffer(),fileReader = new FileReader();fileReader.onload = function (e) {console.log('read chunk nr', currentChunk + 1, 'of', chunks);spark.append(e.target.result);                   // Append array buffercurrentChunk++;if (currentChunk < chunks) {loadNext();} else {resolve(spark.end())}};fileReader.onerror = function () {reject('MD5 calc error')};function loadNext() {let start = currentChunk * chunkSize,end = ((start + chunkSize) >= file.size) ? file.size : start + chunkSize;fileReader.readAsArrayBuffer(blobSlice.call(file, start, end));}loadNext();})
}

2.计算文件切片数量

自定义文件切片大小 

//默认分片大小
const chunkSize = 5 * 1024 * 1024

3.分片上传文件

上传文件到服务器 

// 上传文件到服务器
const uploadFileToServer = async (file, chunkNumber, chunkTotal, fileName,filePid, fileMd5,userId) => {const form = new FormData();// 这里的data是文件form.append("file", file);form.append("chunkNumber", chunkNumber);form.append("chunkTotal", chunkTotal);form.append("fileName", fileName)form.append("fileMd5", fileMd5)form.append("filePid", filePid)form.append("userId", userId)var result = await axios({url: env_server_production + '/file/upload',headers: { 'Content-Type': 'multipart/form-data' },method: "post",timeout: 1000000,data: form})return result
}

4.实现相关文件的预览

可以简单的实现对一些文件的预览,比如图片、视频、word、pdf等等。

pdf:

等等

这里使用的是vue-office 

<template><div class="preview-body"><!-- word --><vue-office-docx v-if="getFileType() == 1" :src="getFileUrl()" style="height: 400px;" @rendered="renderedHandler"@error="errorHandler" /><!-- pdf --><vue-office-pdf v-else-if="getFileType() == 2" :src="getFileUrl()" style="height: 400px;"@rendered="renderedHandler" @error="errorHandler" /><!-- iamge --><div v-else-if="getFileType() == 3"><el-image :src="getFileUrl()" style="height: 100px; width: 100px;" :zoom-rate="1.2" :max-scale="7":min-scale="0.2" :preview-src-list="imageList" :initial-index="4" /><br><el-text style="margin-left: 0px;" link type="primary">点击图片查看详情</el-text></div><!-- 不支持显示 --><div v-else-if="getFileType() == 4"><br>该文件不支持在线浏览,请下载后查看!</div><!-- 视频 --><div v-else-if="getFileType() == 5"><video autoplay width="1200px" height="400px" controls :src="getFileUrl()"id="myVideo"></video></div><!-- 文本显示 --><div v-else><el-scrollbar height="400px" class="document-preview"><pre>{{ documentContent }}</pre></el-scrollbar></div></div>
</template><script setup>
//引入相关样式
import VueOfficeDocx from '@vue-office/docx'
import VueOfficePdf from '@vue-office/pdf'
import '@vue-office/docx/lib/index.css'
import { ref } from 'vue'
import axios from 'axios';const props = defineProps(['file'])
const video = document.getElementById("myVideo")const getFileUrl = () => {return "http://60.205.141.200:9000/" + props.file.filePath;
}
const getFileType = () => {let category = props.file.fileCategoryif (category == 18 || category == 19) {return 1}else if (category == 13)return 2else if (category == 9 || category == 14 || category == 5) {imageList.value.push(getFileUrl())return 3}else if (category == 20 || category == 11 || category == 15)return 4else if (category == 12) {//视频return 5} else {//文本readDocumentContent();}}const readDocumentContent = async () => {var res = await axios.get(getFileUrl(), {responseType: 'text',})documentContent.value = `\n${res.data}\n`
}
//文件中的内容
const documentContent = ref('')
//图片列表
const imageList = ref([])const renderedHandler = () => {console.log("渲染成功")
}
const errorHandler = () => {console.log("渲染失败")
}</script><style lang="scss" scoped>
.document-preview {margin-right: 100px;background-color: #ccc;width: 1164px;border: 2px solid #ccc;height: 400px;border-radius: 0 0 10px 10px;text-align: left;
}
pre {font-family: 'Microsoft YaHei';
}
</style>

二、后端

后端使用minio,minio先接收分片文件,上传完成所有的分片文件后,在合并分片文件,删除中间文件即可。

1.接收分片文件、合并文件。

/*** 上传文件方法。* 该方法负责检查文件是否已存在,如果存在,则返回已存在标志;如果不存在且是完整文件,则上传文件到MinIO并保存文件信息到数据库。** @param fileVO 文件相关信息VO,包含文件本身、MD5、文件名等。* @return 如果文件已存在,返回秒传状态码;如果文件上传完成,返回上传完成状态码;否则返回null。* @throws GeneralException 如果文件为空,抛出通用异常。*/@Override@Transactional(rollbackFor = Exception.class)  //所有的操作都在一个事务里面。public HashMap<Object, Object> uploadFile(FileVO fileVO) {if(fileVO.getFile().isEmpty())throw  new GeneralException("文件上传异常");FileInfo insertItem = new FileInfo();Date now = new Date();HashMap<Object, Object> map = new HashMap<>();//第一片文件if(fileVO.getChunkNumber() == 1){//先去数据库看看有没有这个文件QueryWrapper<FileInfo> queryWrapper = new QueryWrapper<>();queryWrapper.eq("file_md5", fileVO.getFileMd5());//通过Md5查询,别人是不是已经传过这个文件了(文件名不影响文件的MD5值)。List<FileInfo> fileInfoList = fileInfoMapper.selectList(queryWrapper);FileInfo fileInfo = null;if(fileInfoList.size() > 0){fileInfo = fileInfoList.get(0);}//别人已经上传过这个文件了,直接秒传if(fileInfo != null){log.info("服务器中有相同的文件,直接秒传");//说明minIO中有对应的文件insertItem.setUserId(fileVO.getUserId());insertItem.setFileMd5(fileVO.getFileMd5());insertItem.setFileName(fileInfo.getFileName());insertItem.setFileCategory(fileInfo.getFileCategory());insertItem.setFileId(StringUtil.getRandomString(10));insertItem.setDelFlag(FileDelFlagEnums.USING.getFlag());insertItem.setFilePid(fileVO.getFilePid());insertItem.setFilePath(fileInfo.getFilePath());insertItem.setCreateTime(now);insertItem.setFileSize(fileInfo.getFileSize());insertItem.setState(UploadStatus.UPLOAD_FINISH.getStatus());fileInfoMapper.insert(insertItem);System.err.println(insertItem);map.put("status",UploadStatus.UPLOAD_FINISH.getStatus());map.put("fileId",insertItem.getFileId());return map;}//插入 一个切片redisUtil.set(fileVO.getFileMd5(),0);}if(Integer.parseInt(redisUtil.get(fileVO.getFileMd5()).toString()) >= fileVO.getChunkNumber()){//说明这片文件已经上传过了。map.put("status",UploadStatus.UPLOADING.getStatus());return map;}//只有一段,直接放到服务器就行if(fileVO.getChunkTotal() == 1){int lastDotIndex = fileVO.getFileName().lastIndexOf(".");String type = fileVO.getFileName().substring(lastDotIndex + 1);String url = minioUtils.uploadFile(MessageConstant.MINIO_BUCKET,fileVO.getFileName(), fileVO.getFile());insertItem.setUserId(fileVO.getUserId());insertItem.setFileMd5(fileVO.getFileMd5());insertItem.setFileName(fileVO.getFileName());insertItem.setFileCategory(FileCategoryEnums.getByCode(type).getCategory());insertItem.setFileId(StringUtil.getRandomString(10));insertItem.setDelFlag(FileDelFlagEnums.USING.getFlag());insertItem.setFilePid(fileVO.getFilePid());insertItem.setFilePath(url);insertItem.setCreateTime(now);insertItem.setFileSize(fileVO.getFile().getSize());insertItem.setState(UploadStatus.UPLOAD_FINISH.getStatus());fileInfoMapper.insert(insertItem);//删除redis中的切片上传信息redisUtil.del(fileVO.getFileMd5());map.put("status",UploadStatus.UPLOAD_FINISH.getStatus());map.put("fileId",insertItem.getFileId());return map;}log.info("分片上传====> md5 :{} ,=====> index :{}",fileVO.getFileMd5(),fileVO.getChunkNumber());//不止一片,继续上传//放切片文件的目录是 文件的userId + md5值,这个是唯一的。String objectName = fileVO.getUserId() + fileVO.getFileMd5() ;try {minioUtils.putChunkObject(fileVO.getFile().getInputStream(), MessageConstant.MINIO_BUCKET, objectName + "/" + fileVO.getChunkNumber());} catch (IOException e) {throw new GeneralException("文件上传异常!");}//最后一片,进行合并if(Objects.equals(fileVO.getChunkNumber(), fileVO.getChunkTotal())){//获得文件类型int lastDotIndex = fileVO.getFileName().lastIndexOf(".");String type = fileVO.getFileName().substring(lastDotIndex + 1);//objectName : userId+md5String filePath = minioUtils.composeObject(MessageConstant.MINIO_BUCKET,MessageConstant.MINIO_BUCKET,objectName, type);insertItem.setUserId(fileVO.getUserId());insertItem.setFileMd5(fileVO.getFileMd5());insertItem.setFileName(fileVO.getFileName());insertItem.setFileCategory(FileCategoryEnums.getByCode(type).getCategory());insertItem.setFileId(StringUtil.getRandomString(10));insertItem.setDelFlag(FileDelFlagEnums.USING.getFlag());insertItem.setFilePid(fileVO.getFilePid());insertItem.setFilePath(filePath);insertItem.setCreateTime(now);Long fileSize = MessageConstant.DEFAULT_CHUNK_SIZE * (fileVO.getChunkTotal() - 1) + fileVO.getFile().getSize();insertItem.setFileSize(fileSize);insertItem.setState(UploadStatus.UPLOAD_FINISH.getStatus());//插入一条数据System.out.println(fileInfoMapper.insert(insertItem));//删除minio中的临时文件目录System.out.println(minioUtils.deleteFolder(MessageConstant.MINIO_BUCKET, objectName));//删除redis中的切片上传信息redisUtil.del(fileVO.getFileMd5());map.put("status",UploadStatus.UPLOAD_FINISH.getStatus());map.put("fileId",insertItem.getFileId());return map;}//更新redis中的切片上传信息redisUtil.incrby(fileVO.getFileMd5(),1);//上传中map.put("status",UploadStatus.UPLOADING.getStatus());return map;}

如何做到秒传?

一个文件有个不重复的md5值,所谓的秒传其实就是你要上传的文件,别人已经上传过了,minio中已经有这个文件了,再解析完文件的md5值之后,后端发现数据库中md5存在了,所以就不用上传文件了,直接在数据库中创建一个信息即可,也就实现了秒传。

如何做到断点传递?

传统传递过程是一整个文件上传,如果中断了下次传的时候,需要重新上传;断点传递,每次传递的时候,可以把分片信息放到redis中,同时下一次传分片的时候,判断一下,redis中时候已经有了这个分片,如果有就不用上传此分片文件,即断点传递。

这篇关于Vue + SpringBoot 实现文件的断点上传、秒传,存储到Minio的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1076400

相关文章

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

Python的Darts库实现时间序列预测

《Python的Darts库实现时间序列预测》Darts一个集统计、机器学习与深度学习模型于一体的Python时间序列预测库,本文主要介绍了Python的Darts库实现时间序列预测,感兴趣的可以了解... 目录目录一、什么是 Darts?二、安装与基本配置安装 Darts导入基础模块三、时间序列数据结构与

基于 Cursor 开发 Spring Boot 项目详细攻略

《基于Cursor开发SpringBoot项目详细攻略》Cursor是集成GPT4、Claude3.5等LLM的VSCode类AI编程工具,支持SpringBoot项目开发全流程,涵盖环境配... 目录cursor是什么?基于 Cursor 开发 Spring Boot 项目完整指南1. 环境准备2. 创建

Python使用FastAPI实现大文件分片上传与断点续传功能

《Python使用FastAPI实现大文件分片上传与断点续传功能》大文件直传常遇到超时、网络抖动失败、失败后只能重传的问题,分片上传+断点续传可以把大文件拆成若干小块逐个上传,并在中断后从已完成分片继... 目录一、接口设计二、服务端实现(FastAPI)2.1 运行环境2.2 目录结构建议2.3 serv

C#实现千万数据秒级导入的代码

《C#实现千万数据秒级导入的代码》在实际开发中excel导入很常见,现代社会中很容易遇到大数据处理业务,所以本文我就给大家分享一下千万数据秒级导入怎么实现,文中有详细的代码示例供大家参考,需要的朋友可... 目录前言一、数据存储二、处理逻辑优化前代码处理逻辑优化后的代码总结前言在实际开发中excel导入很

Python一次性将指定版本所有包上传PyPI镜像解决方案

《Python一次性将指定版本所有包上传PyPI镜像解决方案》本文主要介绍了一个安全、完整、可离线部署的解决方案,用于一次性准备指定Python版本的所有包,然后导出到内网环境,感兴趣的小伙伴可以跟随... 目录为什么需要这个方案完整解决方案1. 项目目录结构2. 创建智能下载脚本3. 创建包清单生成脚本4

Spring Security简介、使用与最佳实践

《SpringSecurity简介、使用与最佳实践》SpringSecurity是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架,本文给大家介绍SpringSec... 目录一、如何理解 Spring Security?—— 核心思想二、如何在 Java 项目中使用?——

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF

Nginx部署HTTP/3的实现步骤

《Nginx部署HTTP/3的实现步骤》本文介绍了在Nginx中部署HTTP/3的详细步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前提条件第一步:安装必要的依赖库第二步:获取并构建 BoringSSL第三步:获取 Nginx

springboot中使用okhttp3的小结

《springboot中使用okhttp3的小结》OkHttp3是一个JavaHTTP客户端,可以处理各种请求类型,比如GET、POST、PUT等,并且支持高效的HTTP连接池、请求和响应缓存、以及异... 在 Spring Boot 项目中使用 OkHttp3 进行 HTTP 请求是一个高效且流行的方式。