基于POI的可快速定制Excel导出脚本设想

2023-11-04 09:59

本文主要是介绍基于POI的可快速定制Excel导出脚本设想,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基于POI的可快速定制Excel导出脚本设想

背景

  年关将至,业务人员提出了好多比较着急但是又不常用的取数需求。所谓不常用,大概了是由于业务人员前期调研产生的临时需求,后续也不会大面积铺开,没必要专门分配人员去开发。所谓比较着急,开发人员开发出来需要一段时间,等到投产窗口投产又得一段时间,一定程度上可能错过这个市场机遇,基于此,提出这个设想。

  目前从网络上所查到的方法都是基于poi去实现的,且实现方法比较简单,不太适用于比较复杂的业务场景(超大规模数据导出(一个excel装不下),大规模数据分组(以千为单位)导出等),秉承着“用户至上”的原则,急业务人员之所急,想业务人员之所想,于是便提出了如此设想。

  为了能够满足可快速定制的功能,参考了一些开源项目的配置文件和流程控制文件,这些大都是基于yml文件和json文件去实现的,因此决定通过json+sql来实现可定制的功能

可定制的json文件

目前json文件设想如下:

{"fileName":"文件名称","titleTemplate" : [  //之所以用数组的形式是为了可以日后扩展为一个文件中多个sheet页{"sheetName" : "sheet页名称","title":[{"titleName": "表头的标题","headName": "与后续内容数据对应的一个key","heightSize": 单元格宽度}]}],"contentTemplate": [ //同样采用数组的方式是为了保证每个sheet都有对应的sql[{"execute":"select distinct street as street from epidemic_house",  //待执行的sql"args":"street",       //需要去传递的参数作为下个分组使用"split": true},{"execute":"select * from epidemic_house where street = ${street}" //需要导出文件用的sql,参数为上个sql传递过来的,根据上个sql执行结果分批执行,待生成文件sql无args参数(目前仅仅支持一个参数)}]]
}

json文件中的titleTemplate是为了生成导出excel中的标题信息,contentTemplate是通过sql去查询需要的数据,最后通过java代码去完成excel的拼接(目前只支持一个sheet页的处理,不支持多个sheet页的处理)

一个简单的样例

该案例是为了完成对待处理数据的超大规模分组,根据street参数生成每个street为分组的excel数据

{"fileName":"20221124高风险地区分类","titleTemplate" : [{"sheetName" : "poiScript测试","title":[{"titleName": "街道","headName": "street","heightSize":3000},{"titleName": "社区","headName": "village","heightSize":4000},{"titleName": "具体地区","headName": "location","heightSize":4500},{"titleName": "时间","headName": "time","heightSize":3000}]}],"contentTemplate": [[{"execute":"select distinct street as street from epidemic_house","args":"street","split": true},{"execute":"select * from epidemic_house where street = ${street}"}]]
}

代码部分

代码部分并无特别惊艳之处,只是实现了两个最主要的功能

  • 1、实现对超大规模数据拆分并生成多个excel
  • 2、实现通过sql的迭代查询从而完成超大规模数据的分组导出
    代码一:实现对超大规模数据拆分并生成多个excel
    /*** 提前判断内容的数据连是否过大excel是否装得下,是否需要分成多个excel文件* @param sheetName* @param titleData* @param contentData* @param fileName*/private void preCreateExcelFile(String sheetName, JSONArray titleData, JSONArray contentData, String fileName) {if(contentData.size() < EXCEL_ROE_LIMIT + 1)  {createExcelFile(sheetName, titleData, contentData, fileName);} else {int totalCount = contentData.size()/EXCEL_ROE_LIMIT + 1;for(int i=1;i<= totalCount; i++) {int fromIndex = (i-1)*EXCEL_ROE_LIMIT;JSONArray subContentData = new JSONArray();for(int j = fromIndex; j<((fromIndex+ + EXCEL_ROE_LIMIT)>contentData.size()?contentData.size():(fromIndex+ + EXCEL_ROE_LIMIT)); j++) {subContentData.add(contentData.getJSONObject(j));}createExcelFile(sheetName, titleData, subContentData, fileName + "part" + i);subContentData.clear();}}}

代码二:实现通过sql的迭代查询从而完成超大规模数据的分组导出

/*** 开始进行分文件处理* @param contentData 内容信息* @param titleData 标题信息*/private void createSplitExcelByFile(JSONArray contentData, JSONObject titleData, String fileName) {String args = "";JSONArray titleName = titleData.getJSONArray("title");List<Map<String, Object>> tempExecMap = Lists.newArrayList();for(int i=0;i<contentData.size();i++) {JSONObject contentJSON = contentData.getJSONObject(i);String execute = contentJSON.getString(EXECUTE);if(!StringUtils.isEmpty(args)) {//当前待执行的sql是最终生成文件的sql,执行处理if(CollectionUtils.isEmpty(tempExecMap)) {//如果不需要根据参数进行拆分的话,直接导出createExcelFile(titleData.getString(SHEET_NAME), titleName,  executeOrder(execute, titleName), fileName);} else {//需要分组,根据之前查询的分组结果进行拆分for(int j=0;j<tempExecMap.size();j++) {execute = execute.replaceAll("\\$\\{" + args + "\\}", "\"" + tempExecMap.get(j).get(args).toString() + "\"");preCreateExcelFile(titleData.getString(SHEET_NAME), titleName,  executeOrder(execute, titleName), fileName+tempExecMap.get(j).get(args));execute = contentJSON.getString(EXECUTE);}}} else {//有参数,表示当前待处理的sql并不是最终生成文件的sql,作为前置查询条件继续执行tempExecMap = poiScriptService.executeOrder(execute);args = contentJSON.getString(ARGS);}}}

样例json执行结果

这些excel根据超大规模分组实现的,共分类为五百个excel,每个excel数据量上万,截图仅展示一小部分

在这里插入图片描述

详细的代码链接请看:https://github.com/rootdeng77/rootdeng.github.io/tree/master/src/main/java/com/example/rootdeng/POIScript

这篇关于基于POI的可快速定制Excel导出脚本设想的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/344989

相关文章

Oracle Expdp按条件导出指定表数据的方法实例

《OracleExpdp按条件导出指定表数据的方法实例》:本文主要介绍Oracle的expdp数据泵方式导出特定机构和时间范围的数据,并通过parfile文件进行条件限制和配置,文中通过代码介绍... 目录1.场景描述 2.方案分析3.实验验证 3.1 parfile文件3.2 expdp命令导出4.总结

Linux使用nohup命令在后台运行脚本

《Linux使用nohup命令在后台运行脚本》在Linux或类Unix系统中,后台运行脚本是一项非常实用的技能,尤其适用于需要长时间运行的任务或服务,本文我们来看看如何使用nohup命令在后台... 目录nohup 命令简介基本用法输出重定向& 符号的作用后台进程的特点注意事项实际应用场景长时间运行的任务服

Rust中的Option枚举快速入门教程

《Rust中的Option枚举快速入门教程》Rust中的Option枚举用于表示可能不存在的值,提供了多种方法来处理这些值,避免了空指针异常,文章介绍了Option的定义、常见方法、使用场景以及注意事... 目录引言Option介绍Option的常见方法Option使用场景场景一:函数返回可能不存在的值场景

SpringBoot使用Apache POI库读取Excel文件的操作详解

《SpringBoot使用ApachePOI库读取Excel文件的操作详解》在日常开发中,我们经常需要处理Excel文件中的数据,无论是从数据库导入数据、处理数据报表,还是批量生成数据,都可能会遇到... 目录项目背景依赖导入读取Excel模板的实现代码实现代码解析ExcelDemoInfoDTO 数据传输

java poi实现Excel多级表头导出方式(多级表头,复杂表头)

《javapoi实现Excel多级表头导出方式(多级表头,复杂表头)》文章介绍了使用javapoi库实现Excel多级表头导出的方法,通过主代码、合并单元格、设置表头单元格宽度、填充数据、web下载... 目录Java poi实现Excel多级表头导出(多级表头,复杂表头)上代码1.主代码2.合并单元格3.

如何使用 Bash 脚本中的time命令来统计命令执行时间(中英双语)

《如何使用Bash脚本中的time命令来统计命令执行时间(中英双语)》本文介绍了如何在Bash脚本中使用`time`命令来测量命令执行时间,包括`real`、`user`和`sys`三个时间指标,... 使用 Bash 脚本中的 time 命令来统计命令执行时间在日常的开发和运维过程中,性能监控和优化是不

bat脚本启动git bash窗口,并执行命令方式

《bat脚本启动gitbash窗口,并执行命令方式》本文介绍了如何在Windows服务器上使用cmd启动jar包时出现乱码的问题,并提供了解决方法——使用GitBash窗口启动并设置编码,通过编写s... 目录一、简介二、使用说明2.1 start.BAT脚本2.2 参数说明2.3 效果总结一、简介某些情

Java实现批量化操作Excel文件的示例代码

《Java实现批量化操作Excel文件的示例代码》在操作Excel的场景中,通常会有一些针对Excel的批量操作,这篇文章主要为大家详细介绍了如何使用GcExcel实现批量化操作Excel,感兴趣的可... 目录前言 | 问题背景什么是GcExcel场景1 批量导入Excel文件,并读取特定区域的数据场景2

.NET利用C#字节流动态操作Excel文件

《.NET利用C#字节流动态操作Excel文件》在.NET开发中,通过字节流动态操作Excel文件提供了一种高效且灵活的方式处理数据,本文将演示如何在.NET平台使用C#通过字节流创建,读取,编辑及保... 目录用C#创建并保存Excel工作簿为字节流用C#通过字节流直接读取Excel文件数据用C#通过字节

电脑桌面文件删除了怎么找回来?别急,快速恢复攻略在此

在日常使用电脑的过程中,我们经常会遇到这样的情况:一不小心,桌面上的某个重要文件被删除了。这时,大多数人可能会感到惊慌失措,不知所措。 其实,不必过于担心,因为有很多方法可以帮助我们找回被删除的桌面文件。下面,就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件,并且还没有进行其他操作,那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C