基于POI的可快速定制Excel导出脚本设想

2023-11-04 09:59

本文主要是介绍基于POI的可快速定制Excel导出脚本设想,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

基于POI的可快速定制Excel导出脚本设想

背景

  年关将至,业务人员提出了好多比较着急但是又不常用的取数需求。所谓不常用,大概了是由于业务人员前期调研产生的临时需求,后续也不会大面积铺开,没必要专门分配人员去开发。所谓比较着急,开发人员开发出来需要一段时间,等到投产窗口投产又得一段时间,一定程度上可能错过这个市场机遇,基于此,提出这个设想。

  目前从网络上所查到的方法都是基于poi去实现的,且实现方法比较简单,不太适用于比较复杂的业务场景(超大规模数据导出(一个excel装不下),大规模数据分组(以千为单位)导出等),秉承着“用户至上”的原则,急业务人员之所急,想业务人员之所想,于是便提出了如此设想。

  为了能够满足可快速定制的功能,参考了一些开源项目的配置文件和流程控制文件,这些大都是基于yml文件和json文件去实现的,因此决定通过json+sql来实现可定制的功能

可定制的json文件

目前json文件设想如下:

{"fileName":"文件名称","titleTemplate" : [  //之所以用数组的形式是为了可以日后扩展为一个文件中多个sheet页{"sheetName" : "sheet页名称","title":[{"titleName": "表头的标题","headName": "与后续内容数据对应的一个key","heightSize": 单元格宽度}]}],"contentTemplate": [ //同样采用数组的方式是为了保证每个sheet都有对应的sql[{"execute":"select distinct street as street from epidemic_house",  //待执行的sql"args":"street",       //需要去传递的参数作为下个分组使用"split": true},{"execute":"select * from epidemic_house where street = ${street}" //需要导出文件用的sql,参数为上个sql传递过来的,根据上个sql执行结果分批执行,待生成文件sql无args参数(目前仅仅支持一个参数)}]]
}

json文件中的titleTemplate是为了生成导出excel中的标题信息,contentTemplate是通过sql去查询需要的数据,最后通过java代码去完成excel的拼接(目前只支持一个sheet页的处理,不支持多个sheet页的处理)

一个简单的样例

该案例是为了完成对待处理数据的超大规模分组,根据street参数生成每个street为分组的excel数据

{"fileName":"20221124高风险地区分类","titleTemplate" : [{"sheetName" : "poiScript测试","title":[{"titleName": "街道","headName": "street","heightSize":3000},{"titleName": "社区","headName": "village","heightSize":4000},{"titleName": "具体地区","headName": "location","heightSize":4500},{"titleName": "时间","headName": "time","heightSize":3000}]}],"contentTemplate": [[{"execute":"select distinct street as street from epidemic_house","args":"street","split": true},{"execute":"select * from epidemic_house where street = ${street}"}]]
}

代码部分

代码部分并无特别惊艳之处,只是实现了两个最主要的功能

  • 1、实现对超大规模数据拆分并生成多个excel
  • 2、实现通过sql的迭代查询从而完成超大规模数据的分组导出
    代码一:实现对超大规模数据拆分并生成多个excel
    /*** 提前判断内容的数据连是否过大excel是否装得下,是否需要分成多个excel文件* @param sheetName* @param titleData* @param contentData* @param fileName*/private void preCreateExcelFile(String sheetName, JSONArray titleData, JSONArray contentData, String fileName) {if(contentData.size() < EXCEL_ROE_LIMIT + 1)  {createExcelFile(sheetName, titleData, contentData, fileName);} else {int totalCount = contentData.size()/EXCEL_ROE_LIMIT + 1;for(int i=1;i<= totalCount; i++) {int fromIndex = (i-1)*EXCEL_ROE_LIMIT;JSONArray subContentData = new JSONArray();for(int j = fromIndex; j<((fromIndex+ + EXCEL_ROE_LIMIT)>contentData.size()?contentData.size():(fromIndex+ + EXCEL_ROE_LIMIT)); j++) {subContentData.add(contentData.getJSONObject(j));}createExcelFile(sheetName, titleData, subContentData, fileName + "part" + i);subContentData.clear();}}}

代码二:实现通过sql的迭代查询从而完成超大规模数据的分组导出

/*** 开始进行分文件处理* @param contentData 内容信息* @param titleData 标题信息*/private void createSplitExcelByFile(JSONArray contentData, JSONObject titleData, String fileName) {String args = "";JSONArray titleName = titleData.getJSONArray("title");List<Map<String, Object>> tempExecMap = Lists.newArrayList();for(int i=0;i<contentData.size();i++) {JSONObject contentJSON = contentData.getJSONObject(i);String execute = contentJSON.getString(EXECUTE);if(!StringUtils.isEmpty(args)) {//当前待执行的sql是最终生成文件的sql,执行处理if(CollectionUtils.isEmpty(tempExecMap)) {//如果不需要根据参数进行拆分的话,直接导出createExcelFile(titleData.getString(SHEET_NAME), titleName,  executeOrder(execute, titleName), fileName);} else {//需要分组,根据之前查询的分组结果进行拆分for(int j=0;j<tempExecMap.size();j++) {execute = execute.replaceAll("\\$\\{" + args + "\\}", "\"" + tempExecMap.get(j).get(args).toString() + "\"");preCreateExcelFile(titleData.getString(SHEET_NAME), titleName,  executeOrder(execute, titleName), fileName+tempExecMap.get(j).get(args));execute = contentJSON.getString(EXECUTE);}}} else {//有参数,表示当前待处理的sql并不是最终生成文件的sql,作为前置查询条件继续执行tempExecMap = poiScriptService.executeOrder(execute);args = contentJSON.getString(ARGS);}}}

样例json执行结果

这些excel根据超大规模分组实现的,共分类为五百个excel,每个excel数据量上万,截图仅展示一小部分

在这里插入图片描述

详细的代码链接请看:https://github.com/rootdeng77/rootdeng.github.io/tree/master/src/main/java/com/example/rootdeng/POIScript

这篇关于基于POI的可快速定制Excel导出脚本设想的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/344989

相关文章

springboot security快速使用示例详解

《springbootsecurity快速使用示例详解》:本文主要介绍springbootsecurity快速使用示例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录创www.chinasem.cn建spring boot项目生成脚手架配置依赖接口示例代码项目结构启用s

java中使用POI生成Excel并导出过程

《java中使用POI生成Excel并导出过程》:本文主要介绍java中使用POI生成Excel并导出过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录需求说明及实现方式需求完成通用代码版本1版本2结果展示type参数为atype参数为b总结注:本文章中代码均为

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

Python实现将MySQL中所有表的数据都导出为CSV文件并压缩

《Python实现将MySQL中所有表的数据都导出为CSV文件并压缩》这篇文章主要为大家详细介绍了如何使用Python将MySQL数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到... python将mysql数据库中所有表的数据都导出为CSV文件到一个目录,并压缩为zip文件到另一个

Java利用poi实现word表格转excel

《Java利用poi实现word表格转excel》这篇文章主要为大家详细介绍了Java如何利用poi实现word表格转excel,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 一、每行对象类需要针对不同的表格进行对应的创建。package org.example.wordToEx

利用Python实现添加或读取Excel公式

《利用Python实现添加或读取Excel公式》Excel公式是数据处理的核心工具,从简单的加减运算到复杂的逻辑判断,掌握基础语法是高效工作的起点,下面我们就来看看如何使用Python进行Excel公... 目录python Excel 库安装Python 在 Excel 中添加公式/函数Python 读取

最新Spring Security实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)

《最新SpringSecurity实战教程之表单登录定制到处理逻辑的深度改造(最新推荐)》本章节介绍了如何通过SpringSecurity实现从配置自定义登录页面、表单登录处理逻辑的配置,并简单模拟... 目录前言改造准备开始登录页改造自定义用户名密码登陆成功失败跳转问题自定义登出前后端分离适配方案结语前言

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)

《Java导入、导出excel用法步骤保姆级教程(附封装好的工具类)》:本文主要介绍Java导入、导出excel的相关资料,讲解了使用Java和ApachePOI库将数据导出为Excel文件,包括... 目录前言一、引入Apache POI依赖二、用法&步骤2.1 创建Excel的元素2.3 样式和字体2.

C++快速排序超详细讲解

《C++快速排序超详细讲解》快速排序是一种高效的排序算法,通过分治法将数组划分为两部分,递归排序,直到整个数组有序,通过代码解析和示例,详细解释了快速排序的工作原理和实现过程,需要的朋友可以参考下... 目录一、快速排序原理二、快速排序标准代码三、代码解析四、使用while循环的快速排序1.代码代码1.由快