性能爆炸！SXSSFWorkbook原文件上追加写入分页导出

2024-04-01 19:04
文章标签 性能 导出 分页 写入 爆炸 追加 sxssfworkbook 原文件

本文主要是介绍性能爆炸！SXSSFWorkbook原文件上追加写入分页导出，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

使用SXSSF大数据导出，SXSSFWorkbook是用来生成海量excel数据文件，主要原理是借助临时存储空间生成excel，SXSSFWorkbook专门处理大数据，对于大型excel的创建且不会内存溢出的，就只有SXSSFWorkbook了。它的原理很简单，用硬盘空间换内存（就像hashmap用空间换时间一样）。 SXSSFWorkbook是streaming版本的XSSFWorkbook,它只会保存最新的excel rows在内存里供查看，在此之前的excel rows都会被写入到硬盘里（Windows电脑的话，是写入到C盘根目录下的temp文件夹）。被写入到硬盘里的rows是不可见的/不可访问的。只有还保存在内存里的才可以被访问到。

网上教程很多，下面是我跑出来的版本

项目依赖包及版本

<commons.compress.version>1.18</commons.compress.version>
<poi.version>4.0.1</poi.version><dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId>
<version>${ poi.version }</version> </dependency><dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId>
<version>${ poi.version }</version></dependency>
<dependency><groupId>org.apache.commons</groupId><artifactId>commons-compress</artifactId><version>${commons.compress.version}</version></dependency>

工具类

import dbox.tbox.lang.DateUtils;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.CellType;
import org.apache.poi.ss.usermodel.HorizontalAlignment;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;
import org.apache.poi.xssf.streaming.SXSSFSheet;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFRow;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.lang.reflect.Field;
import java.lang.reflect.Modifier;
import java.math.BigDecimal;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.Map;
import java.util.stream.Stream;/*** @Author ping* @Date 2023/12/4 17:04* excel工具类 用于service服务的导出，不使用export模式*/
public class ExcelUtil {// 读取 Excel 文件并将其映射为具体的 Java 对象public static <T> List<T> readExcel(String filePath, Class<T> clazz) throws Exception {List<T> objects = new ArrayList<>();try (FileInputStream fis = new FileInputStream(filePath);Workbook workbook = new XSSFWorkbook(fis)) {Sheet sheet = workbook.getSheetAt(0); // 选择工作表for (int i = 1; i <= sheet.getLastRowNum(); i++) {Row row = sheet.getRow(i);T obj = clazz.getDeclaredConstructor().newInstance();for (int j = 0; j < row.getLastCellNum(); j++) {Cell cell = row.getCell(j);String fieldName = sheet.getRow(0).getCell(j).getStringCellValue();Field field = clazz.getDeclaredField(fieldName);field.setAccessible(true);//跳过静态属性if (Modifier.isStatic(field.getModifiers())){continue;}//单元格为空的情况if (cell == null){continue;}if (cell.getCellType() == CellType.NUMERIC) {double numericValue = cell.getNumericCellValue();if (field.getType() == BigDecimal.class){field.set(obj, BigDecimal.valueOf(numericValue));}else if (field.getType() == Long.class){field.set(obj, (long) numericValue);}else if (field.getType() == Integer.class){field.set(obj, (int) numericValue);}else {field.set(obj, numericValue); // 设置为Double类型}} else if (cell.getCellType() == CellType.STRING) {if (field.getType() == Date.class){field.set(obj, DateUtils.strToDate(cell.getStringCellValue(),"yyyy-MM-dd HH:mm:ss"));}else if (field.getType() == String.class){field.set(obj, cell.getStringCellValue());}}}objects.add(obj);}} catch (Exception e) {e.printStackTrace();throw e;}return objects;}/*** 创建表头 MAP 格式为 filed，表头名* @param objects* @param filePath* @param titleMap* @param append* @param <T>* @throws IOException*/public static <T> void writeExcel(List<T> objects, String filePath, Map<String, String> titleMap, boolean append) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 创建表头List<String> titles = new ArrayList<>();titleMap.forEach((k, v) -> titles.add(v));if (!append) {Row headerRow = sheet.createRow(0);for (int i = 0; i < titles.size(); i++) {headerRow.createCell(i).setCellValue(titles.get(i));}}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum + 1;for (T object : objects) {Row row = sheet.createRow(currentRow++);for (String fieldName : titleMap.keySet()) {Cell cell = row.createCell(row.getLastCellNum());cell.setCellValue((String) getCellValue(object, fieldName));}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);}}/*** 只需要列名--不创建表头* @param objects* @param filePath* @param titleList* @param append* @param <T>* @throws IOException*/public static <T> void writeExcel(List<T> objects, String filePath, List<String> titleList, boolean append) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum + 1;for (T object : objects) {Row row = sheet.createRow(currentRow++);for (String fieldName : titleList) {Cell cell = row.createCell(row.getLastCellNum());cell.setCellValue((String) getCellValue(object, fieldName));}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);}}public static  void writeExcel(List<List<String>> objects, String filePath, boolean append,List<Integer> rigthList) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum;CellStyle cellStyle = workbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);for (List<String> objectList : objects) {Row row = sheet.createRow(currentRow++);for (int i =0;i<objectList.size();i++) {Cell cell = row.createCell(i);//右对齐if (rigthList.contains(i)){cell.setCellStyle(cellStyle);}if (objectList.get(i) == null) {cell.setCellValue("");} else {cell.setCellValue(objectList.get(i));}}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);} finally {// 确保工作簿被关闭以释放资源if (workbook != null) {workbook.close();}}}private static  <T> Object getCellValue(T object, String columnName) {// 这里业务对象有对应属性，且属性名与columnNam匹配Field field = getDeclaredField(object.getClass(), columnName);try {Object value = field.get(object);if (value instanceof Number) {return ((Number) value).doubleValue();} else if (value instanceof String) {return value;} else if (value instanceof Date){return DateUtils.dateToStr((Date)value,"yyyy-MM-dd HH:mm:ss");}return "";} catch (IllegalAccessException e) {e.printStackTrace();throw new RuntimeException(e);}}private static Field getDeclaredField(Class<?> clazz, String fieldName) {try {return clazz.getDeclaredField(fieldName);} catch (NoSuchFieldException e) {// 递归查找父类Field parentField = getDeclaredField(clazz.getSuperclass(), fieldName);if (parentField != null) {return parentField;}}return null;}public static void writeExcelBySXSSF(List<List<String>> newData,String filePath,  boolean append,List<Integer> rigthList) throws IOException {if (append) {// 打开现有的Excel文件FileInputStream fis = new FileInputStream(filePath);XSSFWorkbook xssfWorkbook = new XSSFWorkbook(fis);// 创建SXSSFWorkbook实例SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(1024);// 获取原有工作簿的工作表XSSFSheet xssfSheet = xssfWorkbook.getSheetAt(0); // 假设数据在第一个工作表SXSSFSheet sxssfSheet = sxssfWorkbook.createSheet(xssfSheet.getSheetName());// 复制原有工作表的数据和样式到SXSSFWorkbookcopySheet(xssfSheet, sxssfSheet);CellStyle cellStyle = sxssfWorkbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);// 追加新数据到SXSSFWorkbook的工作表int rowIndex = sxssfSheet.getLastRowNum() + 1;for (List<String> row : newData) {Row sxssfRow = sxssfSheet.createRow(rowIndex++);for (int i = 0; i < row.size(); i++) {Cell cell = sxssfRow.createCell(i);cell.setCellValue(row.get(i));if (rigthList != null && rigthList.contains(i)){cell.setCellStyle(cellStyle);}}}// 将SXSSFWorkbook写入文件，覆盖原有文件FileOutputStream os = new FileOutputStream(filePath);sxssfWorkbook.write(os);os.close();// 关闭工作簿和文件输入流sxssfWorkbook.close();xssfWorkbook.close();fis.close();} else {// 如果不追加，创建新的SXSSFWorkbook并写入数据的逻辑}}private static void copySheet(XSSFSheet xssfSheet, SXSSFSheet sxssfSheet) {for (int rowIndex = 0; rowIndex <= xssfSheet.getLastRowNum(); rowIndex++) {XSSFRow xssfRow = xssfSheet.getRow(rowIndex);Row sxssfRow = sxssfSheet.createRow(rowIndex);for (int cellIndex = 0; cellIndex < xssfRow.getLastCellNum(); cellIndex++) {Cell xssfCell = xssfRow.getCell(cellIndex);Cell sxssfCell = sxssfRow.createCell(cellIndex);if (xssfCell != null) {// 复制单元格的值sxssfCell.setCellValue(xssfCell.toString());// 复制单元格的样式/*CellStyle xssfCellStyle = xssfCell.getCellStyle();if (xssfCellStyle != null) {sxssfCell.setCellStyle(xssfCellStyle);// 复制其他样式属性，如字体、边框等}*/}}}}}

以上工具类里提供的都是一次性导出的方法。那如果说需要多次导出咋整呢。说实话，支付系统里头最头痛的就是导出大数据量，性能瓶颈第一卡在数据库资源，第二卡在poi性能。

做了一系列优化后，还是觉得分页最靠谱。分页查询分页导出，于是就会有这种场景，第一次写完的excel，第二次读取后再追加写入。但我们又知道SXSSFWorkbook类是专门给写定制的，压根就没法直接读取原excel文件。只能由XSSFWorkbook类读取。所以TM实现起来真难啊。只能先读，后复制再写。给两个方法自行体会。

第一个XSSFWorkbook类追加写入，只是参考模式，具体参数自己玩

public static  void writeExcel(List<List<String>> objects, String filePath, boolean append,List<Integer> rigthList) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum;CellStyle cellStyle = workbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);for (List<String> objectList : objects) {Row row = sheet.createRow(currentRow++);for (int i =0;i<objectList.size();i++) {Cell cell = row.createCell(i);//右对齐if (rigthList.contains(i)){cell.setCellStyle(cellStyle);}if (objectList.get(i) == null) {cell.setCellValue("");} else {cell.setCellValue(objectList.get(i));}}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);} finally {// 确保工作簿被关闭以释放资源if (workbook != null) {workbook.close();}}}private static  <T> Object getCellValue(T object, String columnName) {// 这里业务对象有对应属性，且属性名与columnNam匹配Field field = getDeclaredField(object.getClass(), columnName);try {Object value = field.get(object);if (value instanceof Number) {return ((Number) value).doubleValue();} else if (value instanceof String) {return value;} else if (value instanceof Date){return DateUtils.dateToStr((Date)value,"yyyy-MM-dd HH:mm:ss");}return "";} catch (IllegalAccessException e) {e.printStackTrace();throw new RuntimeException(e);}}private static Field getDeclaredField(Class<?> clazz, String fieldName) {try {return clazz.getDeclaredField(fieldName);} catch (NoSuchFieldException e) {// 递归查找父类Field parentField = getDeclaredField(clazz.getSuperclass(), fieldName);if (parentField != null) {return parentField;}}return null;}

第二个SXSSFWorkbook类追加写入

public static void writeExcelBySXSSF(List<List<String>> newData,String filePath,  boolean append,List<Integer> rigthList) throws IOException {if (append) {// 打开现有的Excel文件FileInputStream fis = new FileInputStream(filePath);XSSFWorkbook xssfWorkbook = new XSSFWorkbook(fis);// 创建SXSSFWorkbook实例SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(1024);// 获取原有工作簿的工作表XSSFSheet xssfSheet = xssfWorkbook.getSheetAt(0); // 假设数据在第一个工作表SXSSFSheet sxssfSheet = sxssfWorkbook.createSheet(xssfSheet.getSheetName());// 复制原有工作表的数据和样式到SXSSFWorkbookcopySheet(xssfSheet, sxssfSheet);CellStyle cellStyle = sxssfWorkbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);// 追加新数据到SXSSFWorkbook的工作表int rowIndex = sxssfSheet.getLastRowNum() + 1;for (List<String> row : newData) {Row sxssfRow = sxssfSheet.createRow(rowIndex++);for (int i = 0; i < row.size(); i++) {Cell cell = sxssfRow.createCell(i);cell.setCellValue(row.get(i));if (rigthList != null && rigthList.contains(i)){cell.setCellStyle(cellStyle);}}}// 将SXSSFWorkbook写入文件，覆盖原有文件FileOutputStream os = new FileOutputStream(filePath);sxssfWorkbook.write(os);os.close();// 关闭工作簿和文件输入流sxssfWorkbook.close();xssfWorkbook.close();fis.close();} else {// 如果不追加，创建新的SXSSFWorkbook并写入数据的逻辑}}private static void copySheet(XSSFSheet xssfSheet, SXSSFSheet sxssfSheet) {for (int rowIndex = 0; rowIndex <= xssfSheet.getLastRowNum(); rowIndex++) {XSSFRow xssfRow = xssfSheet.getRow(rowIndex);Row sxssfRow = sxssfSheet.createRow(rowIndex);for (int cellIndex = 0; cellIndex < xssfRow.getLastCellNum(); cellIndex++) {Cell xssfCell = xssfRow.getCell(cellIndex);Cell sxssfCell = sxssfRow.createCell(cellIndex);if (xssfCell != null) {// 复制单元格的值sxssfCell.setCellValue(xssfCell.toString());// 复制单元格的样式/*CellStyle xssfCellStyle = xssfCell.getCellStyle();if (xssfCellStyle != null) {sxssfCell.setCellStyle(xssfCellStyle);// 复制其他样式属性，如字体、边框等}*/}}}}

以上方法都是经过系统测试的，用于记录自己遇到的问题，如果你也遇到并且有疑问欢迎留言解答。

这篇关于性能爆炸！SXSSFWorkbook原文件上追加写入分页导出的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/867910。

相关文章

Vue3 的 shallowRef 和 shallowReactive：优化性能

Vue3 的 shallowRef 和 shallowReactive：优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉，那么对 shallowRef 和 shallowReactive 是否了解呢？ 在编程和数据结构中，“shallow”（浅层）通常指对数据结构的最外层进行操作，而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素，而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层（Shallow） 定义
阅读更多...
性能测试介绍

性能测试介绍

性能测试是一种测试方法，旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试，可以确定系统是否能够满足预期的性能要求，找出性能瓶颈和潜在的问题，并进行优化和调整。 发现性能瓶颈：性能测试可以帮助发现系统的性能瓶颈，即系统在高负载或高并发情况下可能出现的问题
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
黑神话，XSKY 星飞全闪单卷性能突破310万

黑神话，XSKY 星飞全闪单卷性能突破310万

当下，云计算仍然是企业主要的基础架构，随着关键业务的逐步虚拟化和云化，对于块存储的性能要求也日益提高。企业对于低延迟、高稳定性的存储解决方案的需求日益迫切。为了满足这些日益增长的 IO 密集型应用场景，众多云服务提供商正在不断推陈出新，推出具有更低时延和更高 IOPS 性能的云硬盘产品。 8 月 22 日 2024 DTCC 大会上（第十五届中国数据库技术大会），XSKY星辰天合正式公布了基于星
阅读更多...
从状态管理到性能优化：全面解析 Android Compose

从状态管理到性能优化：全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动
阅读更多...
oracle分页和mysql分页

oracle分页和mysql分页

mysql 分页 --查前5 数据select * from table_name limit 0,5 select * from table_name limit 5 --limit关键字的用法：LIMIT [offset,] rows--offset指定要返回的第一行的偏移量，rows第二个指定返回行的最大数目。初始行的偏移量是0(不是1)。   oracle 分页 --查前1-9
阅读更多...
PR曲线——一个更敏感的性能评估工具

PR曲线——一个更敏感的性能评估工具

在不均衡数据集的情况下，精确率-召回率（Precision-Recall, PR）曲线是一种非常有用的工具，因为它提供了比传统的ROC曲线更准确的性能评估。以下是PR曲线在不均衡数据情况下的一些作用： 关注少数类：在不均衡数据集中，少数类的样本数量远少于多数类。PR曲线通过关注少数类（通常是正类）的性能来弥补这一点，因为它直接评估模型在识别正类方面的能力。 精确率与召回率的平衡：精确率（Pr
阅读更多...
MySQL使用mysqldump导出数据

MySQL使用mysqldump导出数据

mysql mysqldump只导出表结构或只导出数据的实现方法 备份数据库： #mysqldump　数据库名　>数据库备份名 #mysqldump　-A　-u用户名　-p密码　数据库名>数据库备份名 #mysqldump　-d　-A　--add-drop-table　-uroot　-p　>xxx.sql 1.导出结构不导出数据 mysqldump　--opt　-d　数据库名　-u
阅读更多...
一步一步将PlantUML类图导出为自定义格式的XMI文件

一步一步将PlantUML类图导出为自定义格式的XMI文件

一步一步将PlantUML类图导出为自定义格式的XMI文件 说明： 首次发表日期：2024-09-08PlantUML官网： https://plantuml.com/zh/PlantUML命令行文档： https://plantuml.com/zh/command-line#6a26f548831e6a8cPlantUML XMI文档: https://plantuml.com/zh/xmi
阅读更多...
SQL2005 性能监视器计数器错误解决方法

SQL2005 性能监视器计数器错误解决方法

【系统环境】 windows 2003 +sql2005 【问题状况】 用户在不正当删除SQL2005后会造成SQL2005 性能监视器计数器错误，如下图 【解决办法】 1、在 “开始” --> “运行”中输入 regedit，开启注册表编辑器，定位到 [HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVer
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2