【昕宝爸爸小模块】深入浅出之为什么POI的SXSSFWorkbook占用内存更小

2024-01-24 23:20

本文主要是介绍【昕宝爸爸小模块】深入浅出之为什么POI的SXSSFWorkbook占用内存更小,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述


➡️博客首页       https://blog.csdn.net/Java_Yangxiaoyuan


       欢迎优秀的你👍点赞、🗂️收藏、加❤️关注哦。


       本文章CSDN首发,欢迎转载,要注明出处哦!


       先感谢优秀的你能认真的看完本文,有问题欢迎评论区交流,都会认真回复!


🔓为什么POI的SXSSFWorkbook占用内存更小?

  • 🏆POI的SXSSFWorkbook
  • 🏆POI的SXSSFWorkbook占用内存
  • 🏆扩展
    • 配置行缓存限制

🏆POI的SXSSFWorkbook

SXSSFWorkbook类是Apache POI库的一部分,它是一个流行的Java库,用于读写Microsoft Office文件。

SXSSFWorkbook类代表XSSFWorkbook类的流版本,用于创建和操作Excel(.xlsx)文件。

通过使用SXSSFWorkbook类,您可以处理大型Excel文件而不会遇到OutOfMemoryError,因为它将数据写入临时文件而不是全部保存在内存中。这使得处理大型数据集时非常高效。

以下是使用SXSSFWorkbook创建Excel文件的示例:


import org.apache.poi.xssf.streaming.SXSSFWorkbook;import org.apache.poi.xssf.usermodel.XSSFSheet;import org.apache.poi.xssf.usermodel.XSSFRow;import org.apache.poi.xssf.usermodel.XSSFCell;import java.io.FileOutputStream;public class ExcelWriter {public static void main(String[] args) {try (SXSSFWorkbook workbook = new SXSSFWorkbook(); // 创建一个SXSSFWorkbook对象FileOutputStream outputStream = new FileOutputStream("output.xlsx")) { // 创建一个文件输出流XSSFSheet sheet = workbook.createSheet("Sheet1"); // 创建一个名为"Sheet1"的工作表// 创建行和单元格for (int rowNum = 0; rowNum < 10; rowNum++) {XSSFRow row = sheet.createRow(rowNum); // 创建一行for (int cellNum = 0; cellNum < 5; cellNum++) {XSSFCell cell = row.createCell(cellNum); // 创建一个单元格cell.setCellValue("Row " + rowNum + ", Cell " + cellNum); // 设置单元格的值}}workbook.write(outputStream); // 将工作簿写入文件} catch (Exception e) {e.printStackTrace();}}
}

在这个示例中,我们创建了一个新的SXSSFWorkbook,然后在其中创建了一个sheet,并将sheet填充了行和单元格。最后,我们使用FileOutputStream将工作簿写入输出文件中。

🏆POI的SXSSFWorkbook占用内存

SXSSFWorkbook 类是为了处理大型 Excel 文件而设计的。它的实现原理是通过将部分数据写入磁盘上的临时文件来减少内存占用

在SXSSFWorkbook类中,有一个类叫做sheetDataWriter,这个类的作用就是将部分数据写入磁盘上的临时文件的

public class SXSSFWorkbook implements Workbook {protected SheetDatalriter createSheetDatawriter() throws IOException {if( compressTmpFiles) {return new GZIPSheetDatawriter( sharedStringSource);}return new SheetDatawriter( sharedStringSource);}
}

写入过程是在 SheetDataWriter 的 writeRow 方法中实现的。此方法会被 SXSSFSheet 调用,以将行数据转换成XML 并写入临时文件。

public void writeRow(int rownum,SXSSFRow row) throws IOException {if ( numberOfFlushedRows == 0) _lowestIndex0fFlushedRows = rownum;_numberLastFlushedRow = Math.max(rownum, numberLastFlushedRow);_numberOfCellsOfLastFlushedRow = row.getLastCellNum();_numberOfFlushedRows++;beginRow(rownum, row);Iterator<Cel1> cells = row.allCellsIterator();int columnIndex = 0;while (cells.hasNext()) {writeCell(columnIndex++, cells.next());}endRow();
}

writeRow()方法会循环调用writeCell()方法:

 public void writeCell(int columnIndex,Cell cell) throws IOException {if (cell == null) {return;}String ref = new CellReference( rownum, columnIndex).formatAsString();_out.write("<c");writeAttribute("r", ref);Cellstyle cellstyle = cell.getCellstyle();if (cellstyle.getIndex() != ) {// need to convert the short to unsigned short as the indexes can be up to 64k// ideally we would use int for this index, but that would need changes to some more//APIswriteAttribute("s"Integer.toString(cellStyle.getIndex() & 0xffff));}CellType cellType = cel1.getCellType();switch (cellType) {case BLANK: {_out.write('>');break;}case FORMULA: {switch(cell.getCachedFormulaResultType()) {case NUMERIC:writeAttribute("t","n");break;case STRING:writeAttribute("t"STCellType.STR.toString());break;case BOOLEAN:writeAttribute("t""b");break;case ERROR:writeAttribute("t""e");break;}_out.write("><f>");outputQuotedString(cell.getCellFormula());_out.write("</f>"):switch (cell.getCachedFormulaResultType()) {case NUMERIC:double nval = cell.getNumericCellValue();if (!Double.isNaN(nval)) {_out.write("<v>");_out.write(Double.tostring(nval));_out.write("</v>");}break;case STRING:String value = cell.getstringCellValue();if(value != null && !value.isEmpty()) {_out.write("<v>");_out.write(value);_out.write("</v>");}break;case BOOLEAN:_out.write("><v>");_out.write(cell.getBooleanCellValue() ?1:"0");_out.write("</v>");break;case ERROR: {FormulaError error = FormulaError.forInt(cell.getErrorCellValue());_out.write("><v>");_out.write(error.getString());_out.write("</v>");break;}}break;}case STRING:  {if ( sharedStringSource != null) {XSSFRichTextString rt = new XSSFRichTextString(cell.getStringCellValue());int sRef = sharedStringSource.addSharedStringItem(rt);writeAttribute("t"STCellType.s.toString());_out.write("><v>");_out.write(String.value0f(sRef));_out.write("</v>");} else {writeAttribute("t","inlineStr");_out.write("><is><t");if (hasLeadingTrailingSpaces(cell.getStringCellValue())) {writeAttribute("xml:space","preserve");}out .write(">");outputQuotedstring(cell.getstringCellValue());_out.write("</t></is>");}break;}case NUMERIC: {writeAttribute("t""n");_out.write("><v>");_out.write(Double.toString(cell.getNumericCellValue()));_out .write("</v>) ;break;}case BOOLEAN: {writeAttribute("t""b");_out .write("><v>) ;_out.write(cell.getBooleanCellValue() ?"1” :"0");out.write("</v>");break;}case ERROR: {FormulaError error = FormulaError.forInt(cell.getErrorCellValue());writeAttribute("t","e");_out .write("><v>);_out.write(error.getstring());_out.write("</v>");break;}default: {throw new IllegalStateException("Invalid cell type: " + cellType);}}_out.write("</c>");}

在这个方法中,数据会在 out.write(…) 调用时写入磁盘,这里的_out其实就是一个写入磁盘文件的Writer,他的write方法就会把内容写入到临时文件中。

我尝试着在 out初始化的地方,也就是:

public SheetDatawriter() throws IOException {_fd = createTempFile();_out = createWriter( fd);
}

中加了断点,就能在运行过程中找到这个临时文件,tail一下临时文件就会发现它不断地有文件写入。

在这里插入图片描述
感兴趣的也可以debug看一下这个临时文件的内容,其实它就是一个xml文件,然后写入的就是我们excel中的内容。

在这里插入图片描述
所以,在SXSSFWorkbook中,我们在写入文件时,并不是把所有内容都暂留在内存内,而是会把部分数据写入临时文件,来减少对内存的占用,内存中只保留当前的一部分数据,这样就可以避免内存溢出的问题了。

🏆扩展

配置行缓存限制

我们可以主动设置行缓存限制,超过这个限制的数据将被写入磁盘上的临时文件。在创建SXSSFWorkbook的时候,可以指定rowAccessWindowSize来实现。

/*** Construct an empty workbook and specify the window for row access.* <p>* When a new node is created via (@link SXSSFSheet#createRow) and the total number* of unflushed records would exceed the specified value, then the* row with the lowest index value is flushed and cannot be accessed*  via f@link SXSSFSheet#getRow] anymore.* </p>* <p>* A value of <code>-1</code> indicates unlimited access. In this case all* records that have not been flushed by a call to <code>flush()</code> are available* for random access.* </p>* <p>* A value of <code>0</code> is not allowed because it would flush any newly created row* without having a chance to specify any cells.* </p>* @param rowAccesslindowSize the number of rows that are kept in memory until flushed out , see above.*/public SXSSFWorkbook(int rowAccesswindowSize){this(null /*workbook*/, rowAccessWindowSize):}

这篇关于【昕宝爸爸小模块】深入浅出之为什么POI的SXSSFWorkbook占用内存更小的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/641352

相关文章

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

Python使用date模块进行日期处理的终极指南

《Python使用date模块进行日期处理的终极指南》在处理与时间相关的数据时,Python的date模块是开发者最趁手的工具之一,本文将用通俗的语言,结合真实案例,带您掌握date模块的六大核心功能... 目录引言一、date模块的核心功能1.1 日期表示1.2 日期计算1.3 日期比较二、六大常用方法详

Java利用poi实现word表格转excel

《Java利用poi实现word表格转excel》这篇文章主要为大家详细介绍了Java如何利用poi实现word表格转excel,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 一、每行对象类需要针对不同的表格进行对应的创建。package org.example.wordToEx

python中time模块的常用方法及应用详解

《python中time模块的常用方法及应用详解》在Python开发中,时间处理是绕不开的刚需场景,从性能计时到定时任务,从日志记录到数据同步,时间模块始终是开发者最得力的工具之一,本文将通过真实案例... 目录一、时间基石:time.time()典型场景:程序性能分析进阶技巧:结合上下文管理器实现自动计时

Redis 内存淘汰策略深度解析(最新推荐)

《Redis内存淘汰策略深度解析(最新推荐)》本文详细探讨了Redis的内存淘汰策略、实现原理、适用场景及最佳实践,介绍了八种内存淘汰策略,包括noeviction、LRU、LFU、TTL、Rand... 目录一、 内存淘汰策略概述二、内存淘汰策略详解2.1 ​noeviction(不淘汰)​2.2 ​LR

使用Apache POI在Java中实现Excel单元格的合并

《使用ApachePOI在Java中实现Excel单元格的合并》在日常工作中,Excel是一个不可或缺的工具,尤其是在处理大量数据时,本文将介绍如何使用ApachePOI库在Java中实现Excel... 目录工具类介绍工具类代码调用示例依赖配置总结在日常工作中,Excel 是一个不可或缺的工http://

Golang基于内存的键值存储缓存库go-cache

《Golang基于内存的键值存储缓存库go-cache》go-cache是一个内存中的key:valuestore/cache库,适用于单机应用程序,本文主要介绍了Golang基于内存的键值存储缓存库... 目录文档安装方法示例1示例2使用注意点优点缺点go-cache 和 Redis 缓存对比1)功能特性

Go使用pprof进行CPU,内存和阻塞情况分析

《Go使用pprof进行CPU,内存和阻塞情况分析》Go语言提供了强大的pprof工具,用于分析CPU、内存、Goroutine阻塞等性能问题,帮助开发者优化程序,提高运行效率,下面我们就来深入了解下... 目录1. pprof 介绍2. 快速上手:启用 pprof3. CPU Profiling:分析 C

Node.js net模块的使用示例

《Node.jsnet模块的使用示例》本文主要介绍了Node.jsnet模块的使用示例,net模块支持TCP通信,处理TCP连接和数据传输,具有一定的参考价值,感兴趣的可以了解一下... 目录简介引入 net 模块核心概念TCP (传输控制协议)Socket服务器TCP 服务器创建基本服务器服务器配置选项服