使用双异步后，从 191s 优化到 2s（3）

2024-03-21 12:04
文章标签 使用 优化 异步 2s 191s

本文主要是介绍使用双异步后，从 191s 优化到 2s（3），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

在开发中，我们经常会遇到这样的需求，将Excel的数据导入数据库中。

一、一般我会这样做：

  1. 通过POI读取需要导入的Excel；
  2. 以文件名为表名、列头为列名、并将数据拼接成sql；
  3. 通过JDBC或mybatis插入数据库；

操作起来，如果文件比较多，数据量都很大的时候，会非常慢。

访问之后，感觉没什么反应，实际上已经在读取 + 入库了，只是比较慢而已。

读取一个10万行的Excel，居然用了191s，我还以为它卡死了呢！

 

java
 

复制代码
 

private void readXls(String filePath, String filename) throws Exception { @SuppressWarnings("resource") XSSFWorkbook xssfWorkbook = new XSSFWorkbook(new FileInputStream(filePath)); // 读取第一个工作表 XSSFSheet sheet = xssfWorkbook.getSheetAt(0); // 总行数 int maxRow = sheet.getLastRowNum(); StringBuilder insertBuilder = new StringBuilder(); insertBuilder.append("insert into ").append(filename).append(" ( UUID,"); XSSFRow row = sheet.getRow(0); for (int i = 0; i < row.getPhysicalNumberOfCells(); i++) { insertBuilder.append(row.getCell(i)).append(","); } insertBuilder.deleteCharAt(insertBuilder.length() - 1); insertBuilder.append(" ) values ( "); StringBuilder stringBuilder = new StringBuilder(); for (int i = 1; i <= maxRow; i++) { XSSFRow xssfRow = sheet.getRow(i); String id = ""; String name = ""; for (int j = 0; j < row.getPhysicalNumberOfCells(); j++) { if (j == 0) { id = xssfRow.getCell(j) + ""; } else if (j == 1) { name = xssfRow.getCell(j) + ""; } } boolean flag = isExisted(id, name); if (!flag) { stringBuilder.append(insertBuilder); stringBuilder.append('\'').append(uuid()).append('\'').append(","); for (int j = 0; j < row.getPhysicalNumberOfCells(); j++) { stringBuilder.append('\'').append(value).append('\'').append(","); } stringBuilder.deleteCharAt(stringBuilder.length() - 1); stringBuilder.append(" )").append("\n"); } } List<String> collect = Arrays.stream(stringBuilder.toString().split("\n")).collect(Collectors.toList()); int sum = JdbcUtil.executeDML(collect); } private static boolean isExisted(String id, String name) { String sql = "select count(1) as num from " + static_TABLE + " where ID = '" + id + "' and NAME = '" + name + "'"; String num = JdbcUtil.executeSelect(sql, "num"); return Integer.valueOf(num) > 0; } private static String uuid() { return UUID.randomUUID().toString().replace("-", ""); } 
 

二、谁写的？拖出去，斩了！
 

优化1：先查询全部数据，缓存到map中，插入前再进行判断，速度快了很多。
 

优化2：如果单个Excel文件过大，可以采用 异步 + 多线程 读取若干行，分批入库。
 

 

 

优化3：如果文件数量过多，可以采一个Excel一个异步，形成完美的双异步读取插入。
 

 

 

使用双异步后，从 191s 优化到 2s，你敢信？
 

下面贴出异步读取Excel文件、并分批读取大Excel文件的关键代码。
 

1、readExcelCacheAsync控制类
 

 

java
 

复制代码
 

@RequestMapping(value = "/readExcelCacheAsync", method = RequestMethod.POST) @ResponseBody public String readExcelCacheAsync() { String path = "G:\\测试\\data\\"; try { // 在读取Excel之前，缓存所有数据 USER_INFO_SET = getUserInfo(); File file = new File(path); String[] xlsxArr = file.list(); for (int i = 0; i < xlsxArr.length; i++) { File fileTemp = new File(path + "\\" + xlsxArr[i]); String filename = fileTemp.getName().replace(".xlsx", ""); readExcelCacheAsyncService.readXls(path + filename + ".xlsx", filename); } } catch (Exception e) { logger.error("|#ReadDBCsv|#异常: ", e); return "error"; } return "success"; } 
 

2、分批读取超大Excel文件
 

 

java
 

复制代码
 

@Async("async-executor") public void readXls(String filePath, String filename) throws Exception { @SuppressWarnings("resource") XSSFWorkbook xssfWorkbook = new XSSFWorkbook(new FileInputStream(filePath)); // 读取第一个工作表 XSSFSheet sheet = xssfWorkbook.getSheetAt(0); // 总行数 int maxRow = sheet.getLastRowNum(); logger.info(filename + ".xlsx，一共" + maxRow + "行数据！"); StringBuilder insertBuilder = new StringBuilder(); insertBuilder.append("insert into ").append(filename).append(" ( UUID,"); XSSFRow row = sheet.getRow(0); for (int i = 0; i < row.getPhysicalNumberOfCells(); i++) { insertBuilder.append(row.getCell(i)).append(","); } insertBuilder.deleteCharAt(insertBuilder.length() - 1); insertBuilder.append(" ) values ( "); int times = maxRow / STEP + 1; //logger.info("将" + maxRow + "行数据分" + times + "次插入数据库！"); for (int time = 0; time < times; time++) { int start = STEP * time + 1; int end = STEP * time + STEP; if (time == times - 1) { end = maxRow; } if(end + 1 - start > 0){ //logger.info("第" + (time + 1) + "次插入数据库！" + "准备插入" + (end + 1 - start) + "条数据！"); //readExcelDataAsyncService.readXlsCacheAsync(sheet, row, start, end, insertBuilder); readExcelDataAsyncService.readXlsCacheAsyncMybatis(sheet, row, start, end, insertBuilder); } } } 
 

3、异步批量入库
 

 

java
 

复制代码
 

@Async("async-executor") public void readXlsCacheAsync(XSSFSheet sheet, XSSFRow row, int start, int end, StringBuilder insertBuilder) { StringBuilder stringBuilder = new StringBuilder(); for (int i = start; i <= end; i++) { XSSFRow xssfRow = sheet.getRow(i); String id = ""; String name = ""; for (int j = 0; j < row.getPhysicalNumberOfCells(); j++) { if (j == 0) { id = xssfRow.getCell(j) + ""; } else if (j == 1) { name = xssfRow.getCell(j) + ""; } } // 先在读取Excel之前，缓存所有数据，再做判断 boolean flag = isExisted(id, name); if (!flag) { stringBuilder.append(insertBuilder); stringBuilder.append('\'').append(uuid()).append('\'').append(","); for (int j = 0; j < row.getPhysicalNumberOfCells(); j++) { stringBuilder.append('\'').append(value).append('\'').append(","); } stringBuilder.deleteCharAt(stringBuilder.length() - 1); stringBuilder.append(" )").append("\n"); } } List<String> collect = Arrays.stream(stringBuilder.toString().split("\n")).collect(Collectors.toList()); if (collect != null && collect.size() > 0) { int sum = JdbcUtil.executeDML(collect); } } private boolean isExisted(String id, String name) { return ReadExcelCacheAsyncController.USER_INFO_SET.contains(id + "," + name); } 
 

4、异步线程池工具类
 

@Async的作用就是异步处理任务。
 

  1. 在方法上添加@Async，表示此方法是异步方法；
  2. 在类上添加@Async，表示类中的所有方法都是异步方法；
  3. 使用此注解的类，必须是Spring管理的类；
  4. 需要在启动类或配置类中加入@EnableAsync注解，@Async才会生效；
 

在使用@Async时，如果不指定线程池的名称，也就是不自定义线程池，@Async是有默认线程池的，使用的是Spring默认的线程池SimpleAsyncTaskExecutor。
 

默认线程池的默认配置如下：
 

  1. 默认核心线程数：8；
  2. 最大线程数：Integet.MAX_VALUE；
  3. 队列使用LinkedBlockingQueue；
  4. 容量是：Integet.MAX_VALUE；
  5. 空闲线程保留时间：60s；
  6. 线程池拒绝策略：AbortPolicy；
 

从最大线程数可以看出，在并发情况下，会无限制的创建线程，我勒个吗啊。
 

也可以通过yml重新配置：
 

 

xml
 

复制代码
 

spring: task: execution: pool: max-size: 10 core-size: 5 keep-alive: 3s queue-capacity: 1000 thread-name-prefix: my-executor 
 

也可以自定义线程池，下面通过简单的代码来实现以下@Async自定义线程池。
 

 

java
 

复制代码
 

@EnableAsync// 支持异步操作 @Configuration public class AsyncTaskConfig { /** * com.google.guava中的线程池 * @return */ @Bean("my-executor") public Executor firstExecutor() { ThreadFactory threadFactory = new ThreadFactoryBuilder().setNameFormat("my-executor").build(); // 获取CPU的处理器数量 int curSystemThreads = Runtime.getRuntime().availableProcessors() * 2; ThreadPoolExecutor threadPool = new ThreadPoolExecutor(curSystemThreads, 100, 200, TimeUnit.SECONDS, new LinkedBlockingQueue<>(), threadFactory); threadPool.allowsCoreThreadTimeOut(); return threadPool; } /** * Spring线程池 * @return */ @Bean("async-executor") public Executor asyncExecutor() { ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor(); // 核心线程数 taskExecutor.setCorePoolSize(24); // 线程池维护线程的最大数量，只有在缓冲队列满了之后才会申请超过核心线程数的线程 taskExecutor.setMaxPoolSize(200); // 缓存队列 taskExecutor.setQueueCapacity(50); // 空闲时间，当超过了核心线程数之外的线程在空闲时间到达之后会被销毁 taskExecutor.setKeepAliveSeconds(200); // 异步方法内部线程名称 taskExecutor.setThreadNamePrefix("async-executor-"); /** * 当线程池的任务缓存队列已满并且线程池中的线程数目达到maximumPoolSize，如果还有任务到来就会采取任务拒绝策略 * 通常有以下四种策略： * ThreadPoolExecutor.AbortPolicy:丢弃任务并抛出RejectedExecutionException异常。 * ThreadPoolExecutor.DiscardPolicy：也是丢弃任务，但是不抛出异常。 * ThreadPoolExecutor.DiscardOldestPolicy：丢弃队列最前面的任务，然后重新尝试执行任务（重复此过程） * ThreadPoolExecutor.CallerRunsPolicy：重试添加当前的任务，自动重复调用 execute() 方法，直到成功 */ taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy()); taskExecutor.initialize(); return taskExecutor; } } 
 

 

 

5、异步失效的原因
 

  1. 注解@Async的方法不是public方法；
  2. 注解@Async的返回值只能为void或Future；
  3. 注解@Async方法使用static修饰也会失效；
  4. 没加@EnableAsync注解；
  5. 调用方和@Async不能在一个类中；
  6. 在Async方法上标注@Transactional是没用的，但在Async方法调用的方法上标注@Transcational是有效的；
 

三、线程池中的核心线程数设置问题
 

有一个问题，一直没时间摸索，线程池中的核心线程数CorePoolSize、最大线程数MaxPoolSize，设置成多少，最合适，效率最高。
 

借着这个机会，测试一下。
 

1、我记得有这样一个说法，CPU的处理器数量
 

将核心线程数CorePoolSize设置成CPU的处理器数量，是不是效率最高的？
 

 

java
 

复制代码
 

// 获取CPU的处理器数量 int curSystemThreads = Runtime.getRuntime().availableProcessors() * 2; 
 

Runtime.getRuntime().availableProcessors()获取的是CPU核心线程数，也就是计算资源。
 

  • CPU密集型，线程池大小设置为N，也就是和cpu的线程数相同，可以尽可能地避免线程间上下文切换，但在实际开发中，一般会设置为N+1，为了防止意外情况出现线程阻塞，如果出现阻塞，多出来的线程会继续执行任务，保证CPU的利用效率。
  • IO密集型，线程池大小设置为2N，这个数是根据业务压测出来的，如果不涉及业务就使用推荐。
 

在实际中，需要对具体的线程池大小进行调整，可以通过压测及机器设备现状，进行调整大小。
 

如果线程池太大，则会造成CPU不断的切换，对整个系统性能也不会有太大的提升，反而会导致系统缓慢。
 

我的电脑的CPU的处理器数量是24。
 

那么一次读取多少行最合适呢？
 

测试的Excel中含有10万条数据，10万/24 = 4166，那么我设置成4200，是不是效率最佳呢？
 

测试的过程中发现，好像真的是这样的。
 

2、我记得大家都习惯性的将核心线程数CorePoolSize和最大线程数MaxPoolSize设置成一样的，都爱设置成200。
 

是随便写的，还是经验而为之？
 

测试发现，当你将核心线程数CorePoolSize和最大线程数MaxPoolSize都设置为200的时候，第一次它会同时开启150个线程，来进行工作。
 

这个是为什么？
 

3、经过数十次的测试
 

  1. 发现核心线程数好像差别不大
  2. 每次读取和入库的数量是关键，不能太多，因为每次入库会变慢；
  3. 也不能太少，如果太少，超过了150个线程，就会造成线程阻塞，也会变慢；
 

四、通过EasyExcel读取并插入数据库
 

EasyExcel的方式，我就不写双异步优化了，大家切记陷入低水平勤奋的怪圈。
 

1、ReadEasyExcelController
 

 

java
 

复制代码
 

@RequestMapping(value = "/readEasyExcel", method = RequestMethod.POST) @ResponseBody public String readEasyExcel() { try { String path = "G:\\测试\\data\\"; String[] xlsxArr = new File(path).list(); for (int i = 0; i < xlsxArr.length; i++) { String filePath = path + xlsxArr[i]; File fileTemp = new File(path + xlsxArr[i]); String fileName = fileTemp.getName().replace(".xlsx", ""); List<UserInfo> list = new ArrayList<>(); EasyExcel.read(filePath, UserInfo.class, new ReadEasyExeclAsyncListener(readEasyExeclService, fileName, batchCount, list)).sheet().doRead(); } }catch (Exception e){ logger.error("readEasyExcel 异常：",e); return "error"; } return "suceess"; } 
 

2、ReadEasyExeclAsyncListener
 

 

java
 

复制代码
 

public ReadEasyExeclService readEasyExeclService; // 表名 public String TABLE_NAME; // 批量插入阈值 private int BATCH_COUNT; // 数据集合 private List<UserInfo> LIST; public ReadEasyExeclAsyncListener(ReadEasyExeclService readEasyExeclService, String tableName, int batchCount, List<UserInfo> list) { this.readEasyExeclService = readEasyExeclService; this.TABLE_NAME = tableName; this.BATCH_COUNT = batchCount; this.LIST = list; } @Override public void invoke(UserInfo data, AnalysisContext analysisContext) { data.setUuid(uuid()); data.setTableName(TABLE_NAME); LIST.add(data); if(LIST.size() >= BATCH_COUNT){ // 批量入库 readEasyExeclService.saveDataBatch(LIST); } } @Override public void doAfterAllAnalysed(AnalysisContext analysisContext) { if(LIST.size() > 0){ // 最后一批入库 readEasyExeclService.saveDataBatch(LIST); } } public static String uuid() { return UUID.randomUUID().toString().replace("-", ""); } } 
 

3、ReadEasyExeclServiceImpl
 

 

java
 

复制代码
 

@Service public class ReadEasyExeclServiceImpl implements ReadEasyExeclService { @Resource private ReadEasyExeclMapper readEasyExeclMapper; @Override public void saveDataBatch(List<UserInfo> list) { // 通过mybatis入库 readEasyExeclMapper.saveDataBatch(list); // 通过JDBC入库 // insertByJdbc(list); list.clear(); } private void insertByJdbc(List<UserInfo> list){ List<String> sqlList = new ArrayList<>(); for (UserInfo u : list){ StringBuilder sqlBuilder = new StringBuilder(); sqlBuilder.append("insert into ").append(u.getTableName()).append(" ( UUID,ID,NAME,AGE,ADDRESS,PHONE,OP_TIME ) values ( "); sqlBuilder.append("'").append(ReadEasyExeclAsyncListener.uuid()).append("',") .append("'").append(u.getId()).append("',") .append("'").append(u.getName()).append("',") .append("'").append(u.getAge()).append("',") .append("'").append(u.getAddress()).append("',") .append("'").append(u.getPhone()).append("',") .append("sysdate )"); sqlList.add(sqlBuilder.toString()); } JdbcUtil.executeDML(sqlList); } } 
 

4、UserInfo
 

 

java
 

复制代码
 

@Data public class UserInfo { private String tableName; private String uuid; @ExcelProperty(value = "ID") private String id; @ExcelProperty(value = "NAME") private String name; @ExcelProperty(value = "AGE") private String age; @ExcelProperty(value = "ADDRESS") private String address; @ExcelProperty(value = "PHONE") private String phone; }
 


                                    

                                        这篇关于使用双异步后，从 191s 优化到 2s（3）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
                                    

                                    

                                

                            

                            

                        

                    

                    

                        

                            

                            http://www.chinasem.cn/article/832585。
                            
                        

                    

                    
                    

                        
                            
                        
                    

                

                

                    相关文章
                

                    

                        

                            

                                

                                    
                                        使用Python实现可恢复式多线程下载器
                                    
                                

                            

                            

                                

                                    使用Python实现可恢复式多线程下载器
                                

                                

                                    《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下...																									目录一、智能续传：从崩溃边缘抢救进度二、多线程加速：榨干网络带宽三、速度控制：做网络的好邻居四、终端交互
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        Python中注释使用方法举例详解
                                    
                                

                            

                            

                                

                                    Python中注释使用方法举例详解
                                

                                

                                    《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,：本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下...																									目录一、前言二、什么是注释？示例：三、单行注释语法：以 China编程# 开头，后面的内容为注释内容示例：示例：四
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        Go语言数据库编程GORM 的基本使用详解
                                    
                                

                            

                            

                                

                                    Go语言数据库编程GORM 的基本使用详解
                                

                                

                                    《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作...																									目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        MyBatisPlus如何优化千万级数据的CRUD
                                    
                                

                            

                            

                                

                                    MyBatisPlus如何优化千万级数据的CRUD
                                

                                

                                    《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl...																									目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        ModelMapper基本使用和常见场景示例详解
                                    
                                

                            

                            

                                

                                    ModelMapper基本使用和常见场景示例详解
                                

                                

                                    《ModelMapper基本使用和常见场景示例详解》ModelMapper是Java对象映射库,支持自动映射、自定义规则、集合转换及高级配置（如匹配策略、转换器）,可集成SpringBoot,减少样板...																									目录1. 添加依赖2. 基本用法示例：简单对象映射3. 自定义映射规则4. 集合映射5. 高级配置匹
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        Spring 框架之Springfox使用详解
                                    
                                

                            

                            

                                

                                    Spring 框架之Springfox使用详解
                                

                                

                                    《Spring框架之Springfox使用详解》Springfox是Spring框架的API文档工具,集成Swagger规范,自动生成文档并支持多语言/版本,模块化设计便于扩展,但存在版本兼容性、性...																									目录核心功能工作原理模块化设计使用示例注意事项优缺点优点缺点总结适用场景建议总结Springfox 是
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        嵌入式数据库SQLite 3配置使用讲解
                                    
                                

                            

                            

                                

                                    嵌入式数据库SQLite 3配置使用讲解
                                

                                

                                    《嵌入式数据库SQLite3配置使用讲解》本文强调嵌入式项目中SQLite3数据库的重要性,因其零配置、轻量级、跨平台及事务处理特性,可保障数据溯源与责任明确,详细讲解安装配置、基础语法及SQLit...																									目录0、惨痛教训1、SQLite3环境配置（1）、下载安装SQLite库（2）、解压下载的文件（3）、
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        使用Python绘制3D堆叠条形图全解析
                                    
                                

                            

                            

                                

                                    使用Python绘制3D堆叠条形图全解析
                                

                                

                                    《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下...																									目录为什么选择 3D 堆叠条形图代码实现：从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景：3D 堆叠图
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        Springboot如何正确使用AOP问题
                                    
                                

                            

                            

                                

                                    Springboot如何正确使用AOP问题
                                

                                

                                    《Springboot如何正确使用AOP问题》：本文主要介绍Springboot如何正确使用AOP问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教...																									目录​一、AOP概念二、切点表达式​execution表达式案例三、AOP通知四、springboot中使用AOP导出
                                

                                

                                    阅读更多...
                                

                            

                        

                    

                    

                        

                            

                                

                                    
                                        Navicat数据表的数据添加,删除及使用sql完成数据的添加过程
                                    
                                

                            

                            

                                

                                    Navicat数据表的数据添加,删除及使用sql完成数据的添加过程
                                

                                

                                    《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》：本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有...																									目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面，查看左下角从左
                                

                                

                                    阅读更多...
                                

                            

                        

                    

            

        

    


    


    

        

            Copyright China编程   23002807@qq.com
        

        

            沪ICP备2023033072号-2