Spring Boot + EasyExcel + SqlServer 进行批量处理数据

本文主要是介绍Spring Boot + EasyExcel + SqlServer 进行批量处理数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

在日常开发和工作中,我们可能要根据用户上传的文件做一系列的处理,本篇文章就以Excel表格文件为例,模拟用户上传Excel文件,讲述后端如何高效的进行数据的处理。

一.引入 EasyExcel  依赖

        <!-- https://mvnrepository.com/artifact/com.alibaba/easyexcel --><dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>3.3.2</version></dependency>

二.在接口中编写代码

(一).使用什么参数接收?

由于用户上传的是一个Excel文件,也就是说前端发来的是一个Excel表格的文件,那么我们后端就需要使用  MultipartFile file  来进行接收

 @PostMapping("/importExcelUpdateFlag")public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {//具体代码......}

(二).如何存储到本地目录中(最后说为什么存储到本地)

既然前端发来了一个Excel文件,后端需要对其进行重命名还有大量的数据处理,那么如何存储到本地是一个问题。我们在三层架构的基础上,这个存储到本地的工作一般放在 Service 层进行处理。

Controller层的代码

下面的 uploadPath(也就是你要存储到本地的目录) 是自己在 yml文件中定义好的,然后进行使用,截图如下:

@PostMapping("/importExcelUpdateFlag")public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {//把前端发来的文件数据,传到本机指定的 uploadPath 目录之下String pathAndFileName = jdCloudService.uploadFile(file,uploadPath);//其他代码....}

注意这里 pathAndFileName 接收的是一个本地路径,后续需要根据这个路径找到指定文件

Service 层的代码

    @Overridepublic String uploadFile(MultipartFile file, String uploadPath) {if(file.isEmpty()){return "上传文件为空";}try {String originalFilename = StringUtils.cleanPath(file.getOriginalFilename());String fileExtension = originalFilename.substring(originalFilename.lastIndexOf("."));String newFilename = generateFilename() + fileExtension;File targetFile = new File(uploadPath + File.separator + newFilename);file.transferTo(targetFile);return uploadPath + "\\" + newFilename;} catch (Exception e) {return "文件上传失败: " +  e.getMessage();}}private String generateFilename() {// 根据你的需求生成新的文件名,例如使用时间戳或随机字符串等,这里使用时间戳return String.valueOf("更新文件名.." + System.currentTimeMillis());}
代码解读:我们假设前端传来了一个 hello.xlsx 文件
  1. String originalFilename = StringUtils.cleanPath(file.getOriginalFilename());这行代码会将 "hello.xlsx " 赋值给 originalFilename 变量。

  2. String fileExtension = originalFilename.substring(originalFilename.lastIndexOf("."));

    这行代码会从 "hello.txt" 中提取出文件扩展名 ".txt",并将其赋值给 fileExtension 变量。
  3. String newFilename = generateFilename() + fileExtension;

    这行代码会调用 generateFilename() 方法生成一个新的唯一文件名,例如 "abc123"。
  4. 将生成的文件名 "abc123.xlsx" 与文件扩展名 ".txt" 拼接,赋值给 newFilename 变量。
  5. File targetFile = new File(uploadPath + File.separator + newFilename);

    假设 uploadPath 是 "/path/to/uploads/"。这行代码会创建一个 File 对象,代表文件的保存路径和文件名 "/path/to/uploads/abc123.xlsx"。那么这个就会创建出文件了(但是没有内容)
  6. file.transferTo(targetFile);

    这行代码会将用户上传的 "hello.xlsx" 文件的内容,写入到 "/path/to/uploads/abc123.xlsx" 文件中。

通过这样的处理,原本名为 "hello.xlsx" 的文件会被保存为 "abc123.xlsx",并且保存在 "/path/to/uploads/" 目录下。这样可以避免文件名与现有文件发生冲突,确保文件上传的安全性。

注意这里返回给 Controller 层的是一个本地目录,是根据目录来找到指定的文件!

三.假设需求

现在假设我们本地指定的目录下面已经有用户上传的文件了,那么我们要对这个文件进行一系列的处理。 现在假设我们的需求是根据Excel文件中用户的 工号,更新用户的 Flag 标签(0变为1)

那么应该如何做呢?

继续编写代码

Controller层

    @PostMapping("/importExcelUpdateFlag")public Map<String,Object> importExcelUpdateFlag(@RequestBody MultipartFile file) {Map<String,Object> response = new HashMap<>();response.put("code",0);response.put("data",":");//把前端发来的文件数据,传到本机指定的 uploadPath 目录之下String pathAndFileName = jdCloudService.uploadFile(file,uploadPath);if(pathAndFileName.equals("上传文件为空") || pathAndFileName.equals("文件上传失败")) {response.put("msg",pathAndFileName);return response;}String feedBackMsg = jdCloudService.enableFlagUpdate(pathAndFileName);response.put("msg",feedBackMsg);return response;}

这里主要是 feedBackMsg,这个调用的 Service 层的代码是处理表格数据的主要内容,我们来看

Service层

    @Overridepublic String enableFlagUpdate(String filename) {//获取 PersonSynData 类的 Class 对象。Class<PersonSynData> head = PersonSynData.class;List<PersonSynData> updateList = new ArrayList<>();ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<PersonSynData>() {@Overridepublic void invoke(PersonSynData personSynData, AnalysisContext analysisContext) {updateList.add(personSynData);}@Overridepublic void doAfterAllAnalysed(AnalysisContext analysisContext) {System.out.println("Excel解析完成......");}}).build();//创建 sheet 对象,并且读取Excel的第一个sheet(下表从0开始),也可以根据 sheet 名称获取ReadSheet readSheet = EasyExcel.readSheet(0).build();//读取 sheet 表格数据,参数是可变参数,也可以读取多个sheet//这个操作会读取 excel 表格的数据excelReader.read(readSheet);//需要自己关闭流操作,在读取文件的时候会创建临时文件,如果不关闭的话,会损耗磁盘excelReader.finish();}

代码解读:

1.首先获取到实体类的 class 对象,后续需要进行使用

2.updateList 是要存储 Excel 表格中的每一行,每一行都是一个 实体类对象

3. ExcelReader excelReader = EasyExcel.read(filename, head, new AnalysisEventListener<PersonSynData>() {...});是Alibaba提供的一个工厂方法,用于创建一个 ExcelReader 对象。
filename 是要解析的 Excel 文件的路径。
head 是前面获取的 PersonSynData 类的 Class 对象,用于告诉 EasyExcel 应该如何解析 Excel 数据。
new AnalysisEventListener<PersonSynData>() {...} 是一个匿名内部类,实现了 AnalysisEventListener 接口。这个监听器用于处理 Excel 数据的解析过程

4. invoke 是必须重写的方法

  • 每解析到一行 Excel 数据,就会调用这个方法,并将解析后的 PersonSynData 实例作为参数传递进来。
  • 在这个方法中,我们将解析出的 PersonSynData 实例添加到 updateList 中。

5. doAfterAllAnalysed也是必须重写的方法

  • 这个方法是 AnalysisEventListener 接口的 doAfterAllAnalysed 方法的实现。
  • 当 Excel 文件的所有数据都解析完成后,就会调用这个方法。
  • 在这个方法中,我们打印了一条消息,表示 Excel 解析完成。

6.当代码执行到  excelReader.read(readSheet); 此时 updateList 中就有我们需要的数据了

注意!更新操作在下一篇博客: http://t.csdnimg.cn/RUZvM

四.为什么要缓存到本地?

缓存到本地和在内存中进行处理是两种不同的解决方案

在处理前端传来的Excel文件时,后端是否需要将其存储到本地再进行解析,确实存在几种不同的处理方式。

  1. 存储到本地后再解析:这种方式的优点是可以避免在内存中一次性加载整个Excel文件,从而减轻内存压力。同时,如果需要对文件进行多次处理,存储到本地后可以直接读取而无需重新上传,提高效率。缺点是需要占用服务器硬盘空间,并且需要额外的IO操作。

  2. 直接在内存中解析:这种方式可以省略存储到本地的步骤,直接从前端传来的数据流中进行解析。优点是减少了IO操作,提高了处理速度。缺点是需要一次性加载整个Excel文件到内存中,如果文件很大可能会造成内存溢出的风险。

综合来看,两种方式各有优缺点。具体采用哪种方式,需要根据实际业务需求、文件大小、服务器资源等因素进行权衡。如果Excel文件较小,且只需要处理一次,直接在内存中解析可能是更好的选择。而对于较大的Excel文件,或需要多次处理的场景,将其存储到本地可能会更合适。总之,在设计后端处理逻辑时,需要充分考虑各种因素,选择最佳的解决方案。

这篇关于Spring Boot + EasyExcel + SqlServer 进行批量处理数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1054157

相关文章

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时,有没有考虑过 JVM 是如何把静态的字节码(byte code)转化为运行时对象的呢,这个问题看似简单,但清楚的同学相信也不会太多,这篇文章首先介绍 JVM 类初始化的机制,然后给出几个易出错的实例来分析,帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段,分别是:loading 、Linking、initialization

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类,它们之间的依赖,构建起了整个框架。想要理解整个架构,最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文(security context)的信息。当前操作的用户是谁,该用户是否已经被认证,他拥有哪些角色权限…这些都被保

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M