首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
191s专题
使用双异步后,从 191s 优化到 2s(3)
在开发中,我们经常会遇到这样的需求,将Excel的数据导入数据库中。 一、一般我会这样做: 通过POI读取需要导入的Excel;以文件名为表名、列头为列名、并将数据拼接成sql;通过JDBC或mybatis插入数据库; 操作起来,如果文件比较多,数据量都很大的时候,会非常慢。 访问之后,感觉没什么反应,实际上已经在读取 + 入库了,只是比较慢而已。 读取一个10万行的Excel,
阅读更多...
使用双异步后,从 191s 优化到 2s(2)
在开发中,我们经常会遇到这样的需求,将Excel的数据导入数据库中。 一、一般我会这样做: 通过POI读取需要导入的Excel;以文件名为表名、列头为列名、并将数据拼接成sql;通过JDBC或mybatis插入数据库; 操作起来,如果文件比较多,数据量都很大的时候,会非常慢。 访问之后,感觉没什么反应,实际上已经在读取 + 入库了,只是比较慢而已。 读取一个10万行的Excel,
阅读更多...
使用双异步后,从 191s 优化到 2s
目录 一、一般我会这样做:操作起来,如果文件比较多,数据量都很大的时候,会非常慢。 二、谁写的?拖出去,斩了!优化1:先查询全部数据,缓存到map中,插入前再进行判断,速度快了很多。优化2:如果单个Excel文件过大,可以采用 异步 + 多线程 读取若干行,分批入库。优化3:如果文件数量过多,可以采一个Excel一个异步,形成完美的双异步读取插入。1、readExcelCacheAsyn
阅读更多...