使用EasyExcel导出百万条数据

2024-01-05 17:36
文章标签 数据 使用 导出 easyexcel 百万条

本文主要是介绍使用EasyExcel导出百万条数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

使用EasyExcel导出百万条数据

应用是基于100W条数据进行的测试
首先：导入相关需要的依赖：

		<dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>3.16</version></dependency><dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>3.16</version></dependency><dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>2.2.10</version><exclusions><exclusion><groupId>org.apache.poi</groupId><artifactId>poi</artifactId></exclusion><exclusion><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId></exclusion><exclusion><groupId>org.apache.poi</groupId><artifactId>poi-ooxml-schemas</artifactId></exclusion></exclusions></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.16.20</version></dependency><!-- junit --><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version><scope>test</scope></dependency><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-simple</artifactId><version>1.7.25</version><scope>compile</scope></dependency>

创建所需要的实体类，如下：

@Accessors(chain = true)
@Data
public class ExcelBean {@ExcelProperty("主键id")private String id;@ExcelProperty("姓名")private String name;@ExcelProperty("地址")private String address;@ExcelProperty("年龄")private Integer age;@ExcelProperty("数量")private Integer number;@NumberFormat("#.##")@ExcelProperty("身高")private Double high;@ExcelProperty("距离")private Double distance;@DateTimeFormat("yyyy-MM-dd HH:mm:ss")@ExcelProperty("开始时间")private Date startTime;@ExcelProperty("结束时间")private Date endTime;
}

创建所用到的测试类，如下：

@Slf4j
public class writeExcelByApi {public static final String FILE_NAME = "C:\\Users\\861123001\\Desktop\\mqtt压测软件\\自造数据\\test_04.xlsx";// 每个 sheet 写入的数据public static final int NUM_PER_SHEET = 300000;// 每次向 sheet 中写入的数据（分页写入）public static final int NUM_BY_TIMES = 50000;@Testpublic void writeExcelByApi(){String fileName = FILE_NAME;log.info("导出excel名称={}",fileName);long startTime = System.currentTimeMillis();//调用apiList<ExcelBean> date = getDate();EasyExcel.write(fileName,ExcelBean.class).sheet().doWrite(date);log.info("导出excel结束,数据量={}，耗时={}ms", date.size(), System.currentTimeMillis() - startTime);}/*** 获取excel 导出的数据** @return list 集合*/public static List<ExcelBean> getDate(){log.info("开始生成数据");//创建返回数据集合List<ExcelBean> list = new ArrayList<>();Date date = new Date();long startTime = System.currentTimeMillis();for (int i = 0; i < 2000000; i++) {//创建数据对象ExcelBean excelBean = new ExcelBean();ExcelBean excel = excelBean.setId(UUID.randomUUID().toString()).setName("小明" + (10000 + i)).setAddress("浙江省杭州市西湖").setAge(i).setNumber(i + 10000).setHigh(1.234 * i).setDistance(3.14 * i).setStartTime(date).setEndTime(date);list.add(excel);}log.info("数据生成结束，数据量={}，耗时={}ms", list.size(), System.currentTimeMillis() - startTime);return list;}
}

EasyExcel 导出 excel 应用优化一：可以通过分sheet来解决超出100万的数据

	@Testpublic void writeExcelByMulSheet() {String fileName = FILE_NAME;log.info("导出excel名称={}",fileName);long startTime = System.currentTimeMillis();//获取数据List<ExcelBean> date = getDate();//获取sheet的个数int sheetNum = date.size() % NUM_PER_SHEET == 0 ? date.size() / NUM_PER_SHEET : date.size() / NUM_PER_SHEET + 1;//指定写入的文件ExcelWriter excelWriter = EasyExcel.write(fileName, ExcelBean.class).build();for (int i = 0; i < sheetNum; i++) {long l = System.currentTimeMillis();//设置sheet的名字，每个sheet名称不能相同String sheetName = "sheet" + i;WriteSheet writeSheet = EasyExcel.writerSheet(i, sheetName).build();//开始根结束行数int startNum = i * NUM_PER_SHEET;int endNum = i == sheetNum - 1 ? date.size() : (i + 1) *  NUM_PER_SHEET;excelWriter.write(date.subList(startNum, endNum), writeSheet);log.info("写入sheet={}，数据量{}-{}={}，耗时={}ms", sheetName, endNum, startNum, endNum - startNum, System.currentTimeMillis() - l);}//最好放在finally中excelWriter.finish();log.info("导出excel结束,总数据量={}，耗时={}ms", date.size(), System.currentTimeMillis() - startTime);}

EasyExcel 导出 excel 应用优化二：数据源 list 太大，直接读取全部的 list 数据导致 OOM
将 list 数据进行分页读取，并进行分页写入到 excel。这样还有个好处，每次每页读取部分数据，然后写入到 excel 中（相当于该批数据已经从内存刷到了磁盘），也增加了写入的效率；poi 中的导出excel，为此专门提供了一个刷新磁盘的 api，具体代码如下

	@Testpublic void writeExcelByMulWrite() {String fileName = FILE_NAME;log.info("导出excel名称={}",fileName);long startTime = System.currentTimeMillis();//获取数据List<ExcelBean> date = getDate();ExcelWriter excelWriter = EasyExcel.write(fileName, ExcelBean.class).build();//适用于针对100万数据以下的写法//WriteSheet writeSheet = EasyExcel.writerSheet("testSheet" ).build();//计算需要写的次数int times = date.size() % NUM_BY_TIMES == 0 ? date.size() / NUM_BY_TIMES : date.size() / NUM_BY_TIMES + 1;for (int i = 0; i < times; i++) {long l = System.currentTimeMillis();WriteSheet writeSheet = EasyExcel.writerSheet("testSheet" + i).build();//开始跟结束行数int startNum = i * NUM_BY_TIMES;int endNum = i == times - 1 ? date.size() : (i + 1) * NUM_BY_TIMES;excelWriter.write(date.subList(startNum, endNum), writeSheet);log.info("写入数量{}-{}={}，耗时={}ms", endNum, startNum, endNum - startNum, startTime - l);}//最好写在finally里if (excelWriter != null) {excelWriter.finish();}}

EasyExcel 导出 excel 应用优化三：结合前面两种方案
将 list 数据进行分页读取，并且每个 sheet 分多次写入，且写入到多个 sheet 中

	@Testpublic void writeExcelByMulSheetAndMulWrite() {String fileName = FILE_NAME;log.info("导出excel名称={}", fileName);long startTime = System.currentTimeMillis();//获取数据List<ExcelBean> date = getDate();//获取sheet表数int sheetNum = date.size() % NUM_PER_SHEET == 0 ? date.size() / NUM_PER_SHEET : date.size() / NUM_PER_SHEET + 1;//获取每个sheet导入的次数int writeNumPerSheet = NUM_PER_SHEET % NUM_BY_TIMES == 0 ? NUM_PER_SHEET / NUM_BY_TIMES : NUM_PER_SHEET / NUM_BY_TIMES + 1;// 最后一个 sheet 写入的数量int writeNumLastSheet = date.size() - (sheetNum - 1) * NUM_PER_SHEET;// 最后一个 sheet 写入的次数int writeNumPerLastSheet = writeNumLastSheet % NUM_BY_TIMES == 0 ? writeNumLastSheet / NUM_BY_TIMES : writeNumLastSheet / NUM_BY_TIMES + 1;// 指定写入的文件ExcelWriter excelWriter = EasyExcel.write(fileName, ExcelBean.class).build();for (int i = 0; i < sheetNum; i++) {String sheetName = "sheet" + i;WriteSheet writeSheet = EasyExcel.writerSheet(i, sheetName).build();int writeNum = i == sheetNum - 1 ? writeNumPerLastSheet : writeNumPerSheet; // 每个sheet 写入的次数int endEndNum = i == sheetNum - 1 ? date.size() : (i + 1) * NUM_PER_SHEET; // 每个sheet 最后一次写入的最后行数for (int j = 0; j < writeNum; j++) {long l = System.currentTimeMillis();int startNum = i * NUM_PER_SHEET + j * NUM_BY_TIMES;int endNum = j == writeNum - 1 ? endEndNum : i * NUM_PER_SHEET + (j + 1) * NUM_BY_TIMES;excelWriter.write(date.subList(startNum, endNum), writeSheet);log.info("写入sheet={}，数据量={}-{}={}，耗时={}", sheetName, endNum, startNum, endNum - startNum, startTime - l);}}// 需要放入 finally 中if (excelWriter != null) {excelWriter.finish();}log.info("导出excel结束,总数据量={}，耗时={}ms", date.size(), System.currentTimeMillis() - startTime);}

在这里插入图片描述

这篇关于使用EasyExcel导出百万条数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/573634。

相关文章

Java String字符串的常用使用方法

Java String字符串的常用使用方法

《JavaString字符串的常用使用方法》String是JDK提供的一个类,是引用类型,并不是基本的数据类型,String用于字符串操作,在之前学习c语言的时候,对于一些字符串,会初始化字符数组表... 目录一、什么是String二、如何定义一个String1. 用双引号定义2. 通过构造函数定义三、St
阅读更多...
Pydantic中Optional 和Union类型的使用

Pydantic中Optional 和Union类型的使用

《Pydantic中Optional和Union类型的使用》本文主要介绍了Pydantic中Optional和Union类型的使用,这两者在处理可选字段和多类型字段时尤为重要,文中通过示例代码介绍的... 目录简介Optional 类型Union 类型Optional 和 Union 的组合总结简介Pyd
阅读更多...
Vue3使用router,params传参为空问题

Vue3使用router,params传参为空问题

《Vue3使用router,params传参为空问题》：本文主要介绍Vue3使用router,params传参为空问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录vue3使用China编程router,params传参为空1.使用query方式传参2.使用 Histo
阅读更多...
使用Python自建轻量级的HTTP调试工具

使用Python自建轻量级的HTTP调试工具

《使用Python自建轻量级的HTTP调试工具》这篇文章主要为大家详细介绍了如何使用Python自建一个轻量级的HTTP调试工具,文中的示例代码讲解详细,感兴趣的小伙伴可以参考一下... 目录一、为什么需要自建工具二、核心功能设计三、技术选型四、分步实现五、进阶优化技巧六、使用示例七、性能对比八、扩展方向建
阅读更多...
使用Python实现一键隐藏屏幕并锁定输入

使用Python实现一键隐藏屏幕并锁定输入

《使用Python实现一键隐藏屏幕并锁定输入》本文主要介绍了使用Python编写一个一键隐藏屏幕并锁定输入的黑科技程序,能够在指定热键触发后立即遮挡屏幕,并禁止一切键盘鼠标输入,这样就再也不用担心自己... 目录1. 概述2. 功能亮点3.代码实现4.使用方法5. 展示效果6. 代码优化与拓展7. 总结1.
阅读更多...
使用Python开发一个简单的本地图片服务器

使用Python开发一个简单的本地图片服务器

《使用Python开发一个简单的本地图片服务器》本文介绍了如何结合wxPython构建的图形用户界面GUI和Python内建的Web服务器功能,在本地网络中搭建一个私人的,即开即用的网页相册,文中的示... 目录项目目标核心技术栈代码深度解析完整代码工作流程主要功能与优势潜在改进与思考运行结果总结你是否曾经
阅读更多...
Linux中的计划任务(crontab)使用方式

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》：本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务（crontab）二、crontab基础1、cro
阅读更多...
kotlin中const 和val的区别及使用场景分析

kotlin中const 和val的区别及使用场景分析

《kotlin中const和val的区别及使用场景分析》在Kotlin中,const和val都是用来声明常量的,但它们的使用场景和功能有所不同,下面给大家介绍kotlin中const和val的区别,... 目录kotlin中const 和val的区别1. val:2. const:二 代码示例1 Java
阅读更多...
C++变换迭代器使用方法小结

C++变换迭代器使用方法小结

《C++变换迭代器使用方法小结》本文主要介绍了C++变换迭代器使用方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、源码2、代码解析代码解析：transform_iterator1. transform_iterat
阅读更多...
C++中std::distance使用方法示例

C++中std::distance使用方法示例

《C++中std::distance使用方法示例》std::distance是C++标准库中的一个函数,用于计算两个迭代器之间的距离,本文主要介绍了C++中std::distance使用方法示例,具... 目录语法使用方式解释示例输出：其他说明：总结std::distance&n编程bsp;是 C++ 标准
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2