性能爆炸！SXSSFWorkbook原文件上追加写入分页导出

2024-04-01 19:04
文章标签 性能 导出 分页 写入 爆炸 追加 sxssfworkbook 原文件

本文主要是介绍性能爆炸！SXSSFWorkbook原文件上追加写入分页导出，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

使用SXSSF大数据导出，SXSSFWorkbook是用来生成海量excel数据文件，主要原理是借助临时存储空间生成excel，SXSSFWorkbook专门处理大数据，对于大型excel的创建且不会内存溢出的，就只有SXSSFWorkbook了。它的原理很简单，用硬盘空间换内存（就像hashmap用空间换时间一样）。 SXSSFWorkbook是streaming版本的XSSFWorkbook,它只会保存最新的excel rows在内存里供查看，在此之前的excel rows都会被写入到硬盘里（Windows电脑的话，是写入到C盘根目录下的temp文件夹）。被写入到硬盘里的rows是不可见的/不可访问的。只有还保存在内存里的才可以被访问到。

网上教程很多，下面是我跑出来的版本

项目依赖包及版本

<commons.compress.version>1.18</commons.compress.version>
<poi.version>4.0.1</poi.version><dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId>
<version>${ poi.version }</version> </dependency><dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId>
<version>${ poi.version }</version></dependency>
<dependency><groupId>org.apache.commons</groupId><artifactId>commons-compress</artifactId><version>${commons.compress.version}</version></dependency>

工具类

import dbox.tbox.lang.DateUtils;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.CellType;
import org.apache.poi.ss.usermodel.HorizontalAlignment;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.usermodel.WorkbookFactory;
import org.apache.poi.xssf.streaming.SXSSFSheet;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFRow;
import org.apache.poi.xssf.usermodel.XSSFSheet;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.lang.reflect.Field;
import java.lang.reflect.Modifier;
import java.math.BigDecimal;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;
import java.util.Map;
import java.util.stream.Stream;/*** @Author ping* @Date 2023/12/4 17:04* excel工具类 用于service服务的导出，不使用export模式*/
public class ExcelUtil {// 读取 Excel 文件并将其映射为具体的 Java 对象public static <T> List<T> readExcel(String filePath, Class<T> clazz) throws Exception {List<T> objects = new ArrayList<>();try (FileInputStream fis = new FileInputStream(filePath);Workbook workbook = new XSSFWorkbook(fis)) {Sheet sheet = workbook.getSheetAt(0); // 选择工作表for (int i = 1; i <= sheet.getLastRowNum(); i++) {Row row = sheet.getRow(i);T obj = clazz.getDeclaredConstructor().newInstance();for (int j = 0; j < row.getLastCellNum(); j++) {Cell cell = row.getCell(j);String fieldName = sheet.getRow(0).getCell(j).getStringCellValue();Field field = clazz.getDeclaredField(fieldName);field.setAccessible(true);//跳过静态属性if (Modifier.isStatic(field.getModifiers())){continue;}//单元格为空的情况if (cell == null){continue;}if (cell.getCellType() == CellType.NUMERIC) {double numericValue = cell.getNumericCellValue();if (field.getType() == BigDecimal.class){field.set(obj, BigDecimal.valueOf(numericValue));}else if (field.getType() == Long.class){field.set(obj, (long) numericValue);}else if (field.getType() == Integer.class){field.set(obj, (int) numericValue);}else {field.set(obj, numericValue); // 设置为Double类型}} else if (cell.getCellType() == CellType.STRING) {if (field.getType() == Date.class){field.set(obj, DateUtils.strToDate(cell.getStringCellValue(),"yyyy-MM-dd HH:mm:ss"));}else if (field.getType() == String.class){field.set(obj, cell.getStringCellValue());}}}objects.add(obj);}} catch (Exception e) {e.printStackTrace();throw e;}return objects;}/*** 创建表头 MAP 格式为 filed，表头名* @param objects* @param filePath* @param titleMap* @param append* @param <T>* @throws IOException*/public static <T> void writeExcel(List<T> objects, String filePath, Map<String, String> titleMap, boolean append) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 创建表头List<String> titles = new ArrayList<>();titleMap.forEach((k, v) -> titles.add(v));if (!append) {Row headerRow = sheet.createRow(0);for (int i = 0; i < titles.size(); i++) {headerRow.createCell(i).setCellValue(titles.get(i));}}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum + 1;for (T object : objects) {Row row = sheet.createRow(currentRow++);for (String fieldName : titleMap.keySet()) {Cell cell = row.createCell(row.getLastCellNum());cell.setCellValue((String) getCellValue(object, fieldName));}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);}}/*** 只需要列名--不创建表头* @param objects* @param filePath* @param titleList* @param append* @param <T>* @throws IOException*/public static <T> void writeExcel(List<T> objects, String filePath, List<String> titleList, boolean append) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum + 1;for (T object : objects) {Row row = sheet.createRow(currentRow++);for (String fieldName : titleList) {Cell cell = row.createCell(row.getLastCellNum());cell.setCellValue((String) getCellValue(object, fieldName));}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);}}public static  void writeExcel(List<List<String>> objects, String filePath, boolean append,List<Integer> rigthList) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum;CellStyle cellStyle = workbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);for (List<String> objectList : objects) {Row row = sheet.createRow(currentRow++);for (int i =0;i<objectList.size();i++) {Cell cell = row.createCell(i);//右对齐if (rigthList.contains(i)){cell.setCellStyle(cellStyle);}if (objectList.get(i) == null) {cell.setCellValue("");} else {cell.setCellValue(objectList.get(i));}}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);} finally {// 确保工作簿被关闭以释放资源if (workbook != null) {workbook.close();}}}private static  <T> Object getCellValue(T object, String columnName) {// 这里业务对象有对应属性，且属性名与columnNam匹配Field field = getDeclaredField(object.getClass(), columnName);try {Object value = field.get(object);if (value instanceof Number) {return ((Number) value).doubleValue();} else if (value instanceof String) {return value;} else if (value instanceof Date){return DateUtils.dateToStr((Date)value,"yyyy-MM-dd HH:mm:ss");}return "";} catch (IllegalAccessException e) {e.printStackTrace();throw new RuntimeException(e);}}private static Field getDeclaredField(Class<?> clazz, String fieldName) {try {return clazz.getDeclaredField(fieldName);} catch (NoSuchFieldException e) {// 递归查找父类Field parentField = getDeclaredField(clazz.getSuperclass(), fieldName);if (parentField != null) {return parentField;}}return null;}public static void writeExcelBySXSSF(List<List<String>> newData,String filePath,  boolean append,List<Integer> rigthList) throws IOException {if (append) {// 打开现有的Excel文件FileInputStream fis = new FileInputStream(filePath);XSSFWorkbook xssfWorkbook = new XSSFWorkbook(fis);// 创建SXSSFWorkbook实例SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(1024);// 获取原有工作簿的工作表XSSFSheet xssfSheet = xssfWorkbook.getSheetAt(0); // 假设数据在第一个工作表SXSSFSheet sxssfSheet = sxssfWorkbook.createSheet(xssfSheet.getSheetName());// 复制原有工作表的数据和样式到SXSSFWorkbookcopySheet(xssfSheet, sxssfSheet);CellStyle cellStyle = sxssfWorkbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);// 追加新数据到SXSSFWorkbook的工作表int rowIndex = sxssfSheet.getLastRowNum() + 1;for (List<String> row : newData) {Row sxssfRow = sxssfSheet.createRow(rowIndex++);for (int i = 0; i < row.size(); i++) {Cell cell = sxssfRow.createCell(i);cell.setCellValue(row.get(i));if (rigthList != null && rigthList.contains(i)){cell.setCellStyle(cellStyle);}}}// 将SXSSFWorkbook写入文件，覆盖原有文件FileOutputStream os = new FileOutputStream(filePath);sxssfWorkbook.write(os);os.close();// 关闭工作簿和文件输入流sxssfWorkbook.close();xssfWorkbook.close();fis.close();} else {// 如果不追加，创建新的SXSSFWorkbook并写入数据的逻辑}}private static void copySheet(XSSFSheet xssfSheet, SXSSFSheet sxssfSheet) {for (int rowIndex = 0; rowIndex <= xssfSheet.getLastRowNum(); rowIndex++) {XSSFRow xssfRow = xssfSheet.getRow(rowIndex);Row sxssfRow = sxssfSheet.createRow(rowIndex);for (int cellIndex = 0; cellIndex < xssfRow.getLastCellNum(); cellIndex++) {Cell xssfCell = xssfRow.getCell(cellIndex);Cell sxssfCell = sxssfRow.createCell(cellIndex);if (xssfCell != null) {// 复制单元格的值sxssfCell.setCellValue(xssfCell.toString());// 复制单元格的样式/*CellStyle xssfCellStyle = xssfCell.getCellStyle();if (xssfCellStyle != null) {sxssfCell.setCellStyle(xssfCellStyle);// 复制其他样式属性，如字体、边框等}*/}}}}}

以上工具类里提供的都是一次性导出的方法。那如果说需要多次导出咋整呢。说实话，支付系统里头最头痛的就是导出大数据量，性能瓶颈第一卡在数据库资源，第二卡在poi性能。

做了一系列优化后，还是觉得分页最靠谱。分页查询分页导出，于是就会有这种场景，第一次写完的excel，第二次读取后再追加写入。但我们又知道SXSSFWorkbook类是专门给写定制的，压根就没法直接读取原excel文件。只能由XSSFWorkbook类读取。所以TM实现起来真难啊。只能先读，后复制再写。给两个方法自行体会。

第一个XSSFWorkbook类追加写入，只是参考模式，具体参数自己玩

public static  void writeExcel(List<List<String>> objects, String filePath, boolean append,List<Integer> rigthList) throws IOException {// 确保工作簿以指定模式打开Workbook workbook;if (append) {try (FileInputStream fis = new FileInputStream(filePath)) {workbook = WorkbookFactory.create(fis);}} else {workbook = new XSSFWorkbook();}// 获取或创建SheetSheet sheet = workbook.getSheet("Sheet1");if (sheet == null) {sheet = workbook.createSheet("Sheet1");}// 写入数据int lastRowNum = sheet.getPhysicalNumberOfRows();int currentRow = lastRowNum == 0 ? 0 : lastRowNum;CellStyle cellStyle = workbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);for (List<String> objectList : objects) {Row row = sheet.createRow(currentRow++);for (int i =0;i<objectList.size();i++) {Cell cell = row.createCell(i);//右对齐if (rigthList.contains(i)){cell.setCellStyle(cellStyle);}if (objectList.get(i) == null) {cell.setCellValue("");} else {cell.setCellValue(objectList.get(i));}}}// 写入文件try (FileOutputStream outputStream = new FileOutputStream(filePath)) {workbook.write(outputStream);} finally {// 确保工作簿被关闭以释放资源if (workbook != null) {workbook.close();}}}private static  <T> Object getCellValue(T object, String columnName) {// 这里业务对象有对应属性，且属性名与columnNam匹配Field field = getDeclaredField(object.getClass(), columnName);try {Object value = field.get(object);if (value instanceof Number) {return ((Number) value).doubleValue();} else if (value instanceof String) {return value;} else if (value instanceof Date){return DateUtils.dateToStr((Date)value,"yyyy-MM-dd HH:mm:ss");}return "";} catch (IllegalAccessException e) {e.printStackTrace();throw new RuntimeException(e);}}private static Field getDeclaredField(Class<?> clazz, String fieldName) {try {return clazz.getDeclaredField(fieldName);} catch (NoSuchFieldException e) {// 递归查找父类Field parentField = getDeclaredField(clazz.getSuperclass(), fieldName);if (parentField != null) {return parentField;}}return null;}

第二个SXSSFWorkbook类追加写入

public static void writeExcelBySXSSF(List<List<String>> newData,String filePath,  boolean append,List<Integer> rigthList) throws IOException {if (append) {// 打开现有的Excel文件FileInputStream fis = new FileInputStream(filePath);XSSFWorkbook xssfWorkbook = new XSSFWorkbook(fis);// 创建SXSSFWorkbook实例SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(1024);// 获取原有工作簿的工作表XSSFSheet xssfSheet = xssfWorkbook.getSheetAt(0); // 假设数据在第一个工作表SXSSFSheet sxssfSheet = sxssfWorkbook.createSheet(xssfSheet.getSheetName());// 复制原有工作表的数据和样式到SXSSFWorkbookcopySheet(xssfSheet, sxssfSheet);CellStyle cellStyle = sxssfWorkbook.createCellStyle();cellStyle.setAlignment(HorizontalAlignment.RIGHT);cellStyle.setWrapText(true);// 追加新数据到SXSSFWorkbook的工作表int rowIndex = sxssfSheet.getLastRowNum() + 1;for (List<String> row : newData) {Row sxssfRow = sxssfSheet.createRow(rowIndex++);for (int i = 0; i < row.size(); i++) {Cell cell = sxssfRow.createCell(i);cell.setCellValue(row.get(i));if (rigthList != null && rigthList.contains(i)){cell.setCellStyle(cellStyle);}}}// 将SXSSFWorkbook写入文件，覆盖原有文件FileOutputStream os = new FileOutputStream(filePath);sxssfWorkbook.write(os);os.close();// 关闭工作簿和文件输入流sxssfWorkbook.close();xssfWorkbook.close();fis.close();} else {// 如果不追加，创建新的SXSSFWorkbook并写入数据的逻辑}}private static void copySheet(XSSFSheet xssfSheet, SXSSFSheet sxssfSheet) {for (int rowIndex = 0; rowIndex <= xssfSheet.getLastRowNum(); rowIndex++) {XSSFRow xssfRow = xssfSheet.getRow(rowIndex);Row sxssfRow = sxssfSheet.createRow(rowIndex);for (int cellIndex = 0; cellIndex < xssfRow.getLastCellNum(); cellIndex++) {Cell xssfCell = xssfRow.getCell(cellIndex);Cell sxssfCell = sxssfRow.createCell(cellIndex);if (xssfCell != null) {// 复制单元格的值sxssfCell.setCellValue(xssfCell.toString());// 复制单元格的样式/*CellStyle xssfCellStyle = xssfCell.getCellStyle();if (xssfCellStyle != null) {sxssfCell.setCellStyle(xssfCellStyle);// 复制其他样式属性，如字体、边框等}*/}}}}

以上方法都是经过系统测试的，用于记录自己遇到的问题，如果你也遇到并且有疑问欢迎留言解答。

这篇关于性能爆炸！SXSSFWorkbook原文件上追加写入分页导出的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/867910。

相关文章

vue+elementui分页输入框回车与页面中@keyup.enter事件冲突解决

vue+elementui分页输入框回车与页面中@keyup.enter事件冲突解决

解决这个问题的思路只要判断事件源是哪个就好。el分页的回车触发事件是在按下时，抬起并不会再触发。而keyup.enter事件是在抬起时触发。 so，找不到分页的回车事件那就拿keyup.enter事件搞事情。只要判断这个抬起事件的$event中的锚点样式判断不等于分页特有的样式就可以了 @keyup.enter="allKeyup($event)" //页面上的//js中allKeyup(e
阅读更多...
Java中如何优化数据库查询性能？

Java中如何优化数据库查询性能？

Java中如何优化数据库查询性能？ 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Java中如何优化数据库查询性能，这是提升应用程序响应速度和用户体验的关键技术。 优化数据库查询性能的重要性 在现代应用开发中，数据库查询是最常见的操作之一。随着数据量的增加和业务复杂度的提升，数据库查询的性能优化显得尤为重
阅读更多...
OSG学习：LOD、数据分页、动态调度

OSG学习：LOD、数据分页、动态调度

LOD（level of detail）：是指根据物体模型的结点在显示环境中所处的位置和重要度，决定物体渲染的资源分配，降低非重要物体的面数和细节度，从而获得高效率的渲染运算。在OSG的场景结点组织结构中，专门提供了场景结点osg::LOD来表达不同的细节层次模型。其中，osg::LOD结点作为父节点，每个子节点作为一个细节层次，设置不同的视域，在不同的视域下显示相应的子节点。 数据分页：在城市
阅读更多...
PHP生成csv格式Excel，秒级别实现excel导出功能

PHP生成csv格式Excel，秒级别实现excel导出功能

防止报超内存，兼容中文，兼容科学技术法。 爽。。。。很爽。。。。 /*** 告诉浏览器下载csv文件* @param string $filename*/public static function downloadCsv($data, $filename, $encoding = 'utf-8'){header("Content-type: text/csv");header("Conten
阅读更多...
Clickhouse 的性能优化实践总结

Clickhouse 的性能优化实践总结

文章目录 前言性能优化的原则数据结构优化内存优化磁盘优化网络优化CPU优化查询优化数据迁移优化 前言 ClickHouse是一个性能很强的OLAP数据库，性能强是建立在专业运维之上的，需要专业运维人员依据不同的业务需求对ClickHouse进行有针对性的优化。同一批数据，在不同的业务下，查询性能可能出现两极分化。 性能优化的原则 在进行ClickHouse性能优化时，有几条
阅读更多...
MyBatis系列之分页插件及问题

MyBatis系列之分页插件及问题

概述 无论是C端产品页面，还是后台系统页面，不可能一次性将全部数据加载出来。后台系统一般都是PC端登录，用Table组件（如Ant Design Table）渲染展示数据，可点击列表的下一页（或指定某一页）查看数据。C端产品如App，在下滑时可查看更多数据，看起来像是一次性加载数据，实际上也是分批请求后台系统获取数据。而这，就是分页功能。 如果没有使用Hibernate或MyBatis这样的O
阅读更多...
oracle数据导出txt及导入txt

oracle数据导出txt及导入txt

oracle数据导出txt及导入txt ORACLE数据导出TXT及从TXT导入： 导出到TXT文件： 1、用PL/SQL DEV打开CMD窗口。 2、spool d:/output.txt; 3、set heading off; --去掉表头 4、select * from usergroup; 5、spool off; www.2ct
阅读更多...
从JavaScript 数组去重看兼容性问题，及性能优化（摘自玉伯博客）

从JavaScript 数组去重看兼容性问题，及性能优化（摘自玉伯博客）

缘由 JavaScript 数组去重经常出现在前端招聘的笔试题里，比如： 有数组 var arr = ['a', 'b', 'c', '1', 0, 'c', 1, '', 1, 0]，请用 JavaScript 实现去重函数 unqiue，使得 unique(arr) 返回 ['a', 'b', 'c', '1', 0, 1, ''] 作为笔试题，考点有二： 正确。别小看这个考点
阅读更多...
Android性能优化系列之Bitmap图片优化

Android性能优化系列之Bitmap图片优化

在Android开发过程中，Bitmap往往会给开发者带来一些困扰，因为对Bitmap操作不慎，就容易造成OOM(Java.lang.OutofMemoryError - 内存溢出)，本篇博客，我们将一起探讨Bitmap的性能优化。 为什么Bitmap会导致OOM？ 1.每个机型在编译ROM时都设置了一个应用堆内存VM值上限dalvik.vm.heapgrowthlimit，用来限定每个应用可
阅读更多...
Java面试题：内存管理、类加载机制、对象生命周期及性能优化

Java面试题：内存管理、类加载机制、对象生命周期及性能优化

1. 说一下 JVM 的主要组成部分及其作用？ JVM包含两个子系统和两个组件：Class loader(类装载)、Execution engine(执行引擎)、Runtime data area(运行时数据区)、Native Interface(本地接口)。 Class loader(类装载)：根据给定的全限定名类名(如：java.lang.Object)装载class文件到Runtim
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2