java导出20w条数据

2024-04-03 09:28
文章标签 java 数据 导出 20w

本文主要是介绍java导出20w条数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
  • 一、前端代码
  • 二、后端代码
  • 总结


前言

在上次写的java导出excel的后,在导出20w条数据时出现了请求超时的情况,而且一次查询超多的数据会很慢,所以修改了一下,
针对数据量一旦过大前端请求需要一直等待超时的情况将前端请求改为异步请求,请求完之后让后台自己跑,跑完直接下载;
在查询数据时改为分页查询;
之前的放回excel,base64字符串前端模拟点击下载,改为先生成excel,返回生成的文件名,直接访问地址下载

一、前端代码

  async doExport() {let that = this;if(that.expflag){eframe.showToast("正在导出中");return;}that.expflag = true;let rqurl = constData.baseUrl + "/export";try {const response = await axios.get(rqurl, {params: {aab004:that.form.aab301,bab001:that.form.bab001,aab998:that.form.aab998,ddz128:that.form.ddz128,ddz183:that.form.ddz183,c_date:that.form.c_date}});var fileName = response.fileName;if (fileName != null && fileName != "") {var url = constData.baseUrl + "/download/"+fileName;that.expflag = false;window.location.href = url;}} catch (error) {that.expflag = false;console.error('Error:', error);}}

二、后端代码

@ResponseBody@RequestMapping(value = "/export",)public void export(HttpServletRequest request, HttpServletResponse response) throws BusinessException, UnsupportedEncodingException {String expFile;// 获取当前日期时间Date currentDate = new Date();// 定义日期时间格式SimpleDateFormat dateFormat = new SimpleDateFormat("yyyyMMddHHmmss");// 格式化当前日期时间String formattedDateTime = dateFormat.format(currentDate);// 构建新的文件名File file = null;expFile = "";FileOutputStream out = null;expFile = expFile + "excel" + formattedDateTime + "file.xlsx";file = this.creatDownloadFile(request, expFile);String aab004 = request.getParameter("aab004");String bab001 = request.getParameter("bab001");String aab998 = request.getParameter("aab998");String ddz128 = request.getParameter("ddz128");String ddz183 = request.getParameter("ddz183");String c_date = request.getParameter("c_date");file = ecoTownEnterpriseExportForm.getFile();System.out.println("==========开始导出===========");try {// 创建工作簿Workbook book = null;Sheet ws = null;Cell labelC = null;InputStream base = null;int sheetIndex = 0;if (file.isFile()) {base = new FileInputStream(file.getPath());} else {String path = request.getSession().getServletContext().getRealPath("") + "/resources/file/template/" + "base.xlsx";//System.out.println("文件是否存在:" + new File(path).exists());base = new FileInputStream(path);}book = new XSSFWorkbook(base);((InputStream) base).close();try {ws = book.getSheetAt(sheetIndex);} catch (Exception var32) {book.createSheet("sheet" + sheetIndex);ws = book.getSheetAt(sheetIndex);}int x = 1;int i = 0;Row row = ws.createRow(0);int xx;List<String> headRow = new ArrayList<>();headRow.add("单位社保编号");headRow.add("统一社会信用代码");headRow.add("单位名称");headRow.add("法定代表人");headRow.add("电话");headRow.add("身份证号");headRow.add("联系人");headRow.add("联系电话");headRow.add("单位地址");headRow.add("经营地址");headRow.add("月份");for (xx = 0; xx < headRow.size(); xx++) {labelC = row.createCell(xx, 1);String title = (headRow.get(xx));labelC.setCellValue(title);ws.setColumnWidth(xx, 4000);}EcoDTO ecoDTO = new EcoDTO();ecoDTO rowData = null;ecoDTO.setPageSize(new BigDecimal(10000));//分页查询每页数量List<EcoDTO> data = null;label240:while (true) {ecoDTO.setPageIndex(new BigDecimal(x));//分页查询 第几页data = DZ42.getEcoDtoList(ecoDTO);System.out.println("查第" + x + "次");++x;if (data != null && !data.isEmpty()) {xx = 0;while (true) {if (xx >= data.size()) {continue label240;}rowData = data.get(xx);row = ws.createRow(i + 1);// 设置数据行内容,这里需要根据实际情况设置每一列的数据row.createCell(0).setCellValue(rowData.getDdz128());row.createCell(1).setCellValue(rowData.getDdz183());row.createCell(2).setCellValue(rowData.getBab001());row.createCell(3).setCellValue(rowData.getAab998());row.createCell(4).setCellValue(rowData.getAab004());row.createCell(5).setCellValue(rowData.getAab013());row.createCell(6).setCellValue(rowData.getAae005());row.createCell(7).setCellValue(rowData.getAac147());row.createCell(8).setCellValue(rowData.getLxr());row.createCell(9).setCellValue(rowData.getLxdh());row.createCell(10).setCellValue(rowData.getDwdz());row.createCell(11).setCellValue(rowData.getJydz());row.createCell(12).setCellValue(rowData.getC_date());++i;++xx;}}book.setActiveSheet(sheetIndex);out = new FileOutputStream(file);book.write(out);break;}} catch (Exception var36) {var36.printStackTrace();throw new BusinessException(var36);} finally {if (out != null) {try {out.close();} catch (Exception var34) {throw new BusinessException(var34);}}System.out.println("==========结束导出===========");}JSONObject responseJson = new JSONObject();response.setHeader("Service-Type", "Servlet");response.setContentType("application/json;charset=UTF-8");// 直接将responseJsonStr发送回客户端responseJson.put("fileName",expFile);try {response.getWriter().write(responseJson.toJSONString());response.getWriter().flush();} catch (IOException e) {e.printStackTrace();}}

总结

虽然成功的导出了20w条数据,写完之后我测试了一下没有问题,又用了30w条也没问题,但是当导出40w条数据时出现了

org.springframework.web.util.NestedServletException: Handler dispatch
failed; nested exception is java.lang.OutOfMemoryError: Java heap
space

Java 堆空间不足,暂时还没解决,不知道怎么整。生产环境暂时数据量还没到所有不会报错,有没有大神提点建议,感激不尽。

这篇关于java导出20w条数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/872528

相关文章

Spring事务传播机制最佳实践

《Spring事务传播机制最佳实践》Spring的事务传播机制为我们提供了优雅的解决方案,本文将带您深入理解这一机制,掌握不同场景下的最佳实践,感兴趣的朋友一起看看吧... 目录1. 什么是事务传播行为2. Spring支持的七种事务传播行为2.1 REQUIRED(默认)2.2 SUPPORTS2

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Java进程异常故障定位及排查过程

《Java进程异常故障定位及排查过程》:本文主要介绍Java进程异常故障定位及排查过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、故障发现与初步判断1. 监控系统告警2. 日志初步分析二、核心排查工具与步骤1. 进程状态检查2. CPU 飙升问题3. 内存

java中新生代和老生代的关系说明

《java中新生代和老生代的关系说明》:本文主要介绍java中新生代和老生代的关系说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、内存区域划分新生代老年代二、对象生命周期与晋升流程三、新生代与老年代的协作机制1. 跨代引用处理2. 动态年龄判定3. 空间分

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》:本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器(Iterator)1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一

Java内存分配与JVM参数详解(推荐)

《Java内存分配与JVM参数详解(推荐)》本文详解JVM内存结构与参数调整,涵盖堆分代、元空间、GC选择及优化策略,帮助开发者提升性能、避免内存泄漏,本文给大家介绍Java内存分配与JVM参数详解,... 目录引言JVM内存结构JVM参数概述堆内存分配年轻代与老年代调整堆内存大小调整年轻代与老年代比例元空

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1