基于POI的可快速定制Excel导出脚本设想

2023-11-04 09:59

本文主要是介绍基于POI的可快速定制Excel导出脚本设想,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基于POI的可快速定制Excel导出脚本设想

背景

  年关将至,业务人员提出了好多比较着急但是又不常用的取数需求。所谓不常用,大概了是由于业务人员前期调研产生的临时需求,后续也不会大面积铺开,没必要专门分配人员去开发。所谓比较着急,开发人员开发出来需要一段时间,等到投产窗口投产又得一段时间,一定程度上可能错过这个市场机遇,基于此,提出这个设想。

  目前从网络上所查到的方法都是基于poi去实现的,且实现方法比较简单,不太适用于比较复杂的业务场景(超大规模数据导出(一个excel装不下),大规模数据分组(以千为单位)导出等),秉承着“用户至上”的原则,急业务人员之所急,想业务人员之所想,于是便提出了如此设想。

  为了能够满足可快速定制的功能,参考了一些开源项目的配置文件和流程控制文件,这些大都是基于yml文件和json文件去实现的,因此决定通过json+sql来实现可定制的功能

可定制的json文件

目前json文件设想如下:

{"fileName":"文件名称","titleTemplate" : [  //之所以用数组的形式是为了可以日后扩展为一个文件中多个sheet页{"sheetName" : "sheet页名称","title":[{"titleName": "表头的标题","headName": "与后续内容数据对应的一个key","heightSize": 单元格宽度}]}],"contentTemplate": [ //同样采用数组的方式是为了保证每个sheet都有对应的sql[{"execute":"select distinct street as street from epidemic_house",  //待执行的sql"args":"street",       //需要去传递的参数作为下个分组使用"split": true},{"execute":"select * from epidemic_house where street = ${street}" //需要导出文件用的sql,参数为上个sql传递过来的,根据上个sql执行结果分批执行,待生成文件sql无args参数(目前仅仅支持一个参数)}]]
}

json文件中的titleTemplate是为了生成导出excel中的标题信息,contentTemplate是通过sql去查询需要的数据,最后通过java代码去完成excel的拼接(目前只支持一个sheet页的处理,不支持多个sheet页的处理)

一个简单的样例

该案例是为了完成对待处理数据的超大规模分组,根据street参数生成每个street为分组的excel数据

{"fileName":"20221124高风险地区分类","titleTemplate" : [{"sheetName" : "poiScript测试","title":[{"titleName": "街道","headName": "street","heightSize":3000},{"titleName": "社区","headName": "village","heightSize":4000},{"titleName": "具体地区","headName": "location","heightSize":4500},{"titleName": "时间","headName": "time","heightSize":3000}]}],"contentTemplate": [[{"execute":"select distinct street as street from epidemic_house","args":"street","split": true},{"execute":"select * from epidemic_house where street = ${street}"}]]
}

代码部分

代码部分并无特别惊艳之处,只是实现了两个最主要的功能

  • 1、实现对超大规模数据拆分并生成多个excel
  • 2、实现通过sql的迭代查询从而完成超大规模数据的分组导出
    代码一:实现对超大规模数据拆分并生成多个excel
    /*** 提前判断内容的数据连是否过大excel是否装得下,是否需要分成多个excel文件* @param sheetName* @param titleData* @param contentData* @param fileName*/private void preCreateExcelFile(String sheetName, JSONArray titleData, JSONArray contentData, String fileName) {if(contentData.size() < EXCEL_ROE_LIMIT + 1)  {createExcelFile(sheetName, titleData, contentData, fileName);} else {int totalCount = contentData.size()/EXCEL_ROE_LIMIT + 1;for(int i=1;i<= totalCount; i++) {int fromIndex = (i-1)*EXCEL_ROE_LIMIT;JSONArray subContentData = new JSONArray();for(int j = fromIndex; j<((fromIndex+ + EXCEL_ROE_LIMIT)>contentData.size()?contentData.size():(fromIndex+ + EXCEL_ROE_LIMIT)); j++) {subContentData.add(contentData.getJSONObject(j));}createExcelFile(sheetName, titleData, subContentData, fileName + "part" + i);subContentData.clear();}}}

代码二:实现通过sql的迭代查询从而完成超大规模数据的分组导出

/*** 开始进行分文件处理* @param contentData 内容信息* @param titleData 标题信息*/private void createSplitExcelByFile(JSONArray contentData, JSONObject titleData, String fileName) {String args = "";JSONArray titleName = titleData.getJSONArray("title");List<Map<String, Object>> tempExecMap = Lists.newArrayList();for(int i=0;i<contentData.size();i++) {JSONObject contentJSON = contentData.getJSONObject(i);String execute = contentJSON.getString(EXECUTE);if(!StringUtils.isEmpty(args)) {//当前待执行的sql是最终生成文件的sql,执行处理if(CollectionUtils.isEmpty(tempExecMap)) {//如果不需要根据参数进行拆分的话,直接导出createExcelFile(titleData.getString(SHEET_NAME), titleName,  executeOrder(execute, titleName), fileName);} else {//需要分组,根据之前查询的分组结果进行拆分for(int j=0;j<tempExecMap.size();j++) {execute = execute.replaceAll("\\$\\{" + args + "\\}", "\"" + tempExecMap.get(j).get(args).toString() + "\"");preCreateExcelFile(titleData.getString(SHEET_NAME), titleName,  executeOrder(execute, titleName), fileName+tempExecMap.get(j).get(args));execute = contentJSON.getString(EXECUTE);}}} else {//有参数,表示当前待处理的sql并不是最终生成文件的sql,作为前置查询条件继续执行tempExecMap = poiScriptService.executeOrder(execute);args = contentJSON.getString(ARGS);}}}

样例json执行结果

这些excel根据超大规模分组实现的,共分类为五百个excel,每个excel数据量上万,截图仅展示一小部分

在这里插入图片描述

详细的代码链接请看:https://github.com/rootdeng77/rootdeng.github.io/tree/master/src/main/java/com/example/rootdeng/POIScript

这篇关于基于POI的可快速定制Excel导出脚本设想的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/344989

相关文章

使用Python快速实现链接转word文档

《使用Python快速实现链接转word文档》这篇文章主要为大家详细介绍了如何使用Python快速实现链接转word文档功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 演示代码展示from newspaper import Articlefrom docx import

Python创建Excel的4种方式小结

《Python创建Excel的4种方式小结》这篇文章主要为大家详细介绍了Python中创建Excel的4种常见方式,文中的示例代码简洁易懂,具有一定的参考价值,感兴趣的小伙伴可以学习一下... 目录库的安装代码1——pandas代码2——openpyxl代码3——xlsxwriterwww.cppcns.c

Python给Excel写入数据的四种方法小结

《Python给Excel写入数据的四种方法小结》本文主要介绍了Python给Excel写入数据的四种方法小结,包含openpyxl库、xlsxwriter库、pandas库和win32com库,具有... 目录1. 使用 openpyxl 库2. 使用 xlsxwriter 库3. 使用 pandas 库

SpringBoot定制JSON响应数据的实现

《SpringBoot定制JSON响应数据的实现》本文主要介绍了SpringBoot定制JSON响应数据的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们... 目录前言一、如何使用@jsonView这个注解?二、应用场景三、实战案例注解方式编程方式总结 前言

使用Python在Excel中创建和取消数据分组

《使用Python在Excel中创建和取消数据分组》Excel中的分组是一种通过添加层级结构将相邻行或列组织在一起的功能,当分组完成后,用户可以通过折叠或展开数据组来简化数据视图,这篇博客将介绍如何使... 目录引言使用工具python在Excel中创建行和列分组Python在Excel中创建嵌套分组Pyt

Java使用POI-TL和JFreeChart动态生成Word报告

《Java使用POI-TL和JFreeChart动态生成Word报告》本文介绍了使用POI-TL和JFreeChart生成包含动态数据和图表的Word报告的方法,并分享了实际开发中的踩坑经验,通过代码... 目录前言一、需求背景二、方案分析三、 POI-TL + JFreeChart 实现3.1 Maven

使用Python在Excel中插入、修改、提取和删除超链接

《使用Python在Excel中插入、修改、提取和删除超链接》超链接是Excel中的常用功能,通过点击超链接可以快速跳转到外部网站、本地文件或工作表中的特定单元格,有效提升数据访问的效率和用户体验,这... 目录引言使用工具python在Excel中插入超链接Python修改Excel中的超链接Python

10个Python自动化办公的脚本分享

《10个Python自动化办公的脚本分享》在日常办公中,我们常常会被繁琐、重复的任务占据大量时间,本文为大家分享了10个实用的Python自动化办公案例及源码,希望对大家有所帮助... 目录1. 批量处理 Excel 文件2. 自动发送邮件3. 批量重命名文件4. 数据清洗5. 生成 PPT6. 自动化测试

如何利用Python实现给Excel表格截图

《如何利用Python实现给Excel表格截图》这篇文章主要为大家详细介绍了如何利用Python实现给Excel表格截图功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 我搜索了网络上的方案,感觉把 Excel 表格转换为 html 再用 platwright 截图是比China编程较顺

使用Java实现一个解析CURL脚本小工具

《使用Java实现一个解析CURL脚本小工具》文章介绍了如何使用Java实现一个解析CURL脚本的工具,该工具可以将CURL脚本中的Header解析为KVMap结构,获取URL路径、请求类型,解析UR... 目录使用示例实现原理具体实现CurlParserUtilCurlEntityICurlHandler