在数据库插入万条数据,比普通插入提升百倍速度

2023-10-17 23:36

本文主要是介绍在数据库插入万条数据,比普通插入提升百倍速度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在数据库插入万条数据,比普通插入提升百倍速度


JDBC中通过普通方法插入一万条数据

   /*** 普通方法插入10000条数据* @throws Exception*/@Testpublic void testInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?user=root&password=abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "shiSheng" + i);preparedStatement.setObject(2, "1" + i);preparedStatement.setObject(3, "男" + i);//一条一条插入数据preparedStatement.executeUpdate();}//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("普通方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}

运行结果

普通方式执行插入1万个数据消耗的时间:23391

可以看到用了大概23秒的时间,效率十分的低下,这还只是插入最简单数据的情况下


通过批量插入来提升百倍速度
 	/*** 批量插入10000条数据* @throws Exception*/@Testpublic void batchInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?rewriteBatchedStatements=true","root","abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "a" + i);preparedStatement.setObject(2, "b" + i);preparedStatement.setObject(3, "c" + i);//将所有要插入的数据添加到values后面preparedStatement.addBatch();}//批量插入数据preparedStatement.executeBatch();//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("优化方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}

运行结果

优化方式执行插入1万个数据消耗的时间:231

通过对比可以看到普通方法用了23391毫秒,优化后只用了231毫秒,速度提升了百倍以上,这对项目是一个很大的提升

变动

  • 改动一

在获取连接时加上rewriteBatchedStatements=true,意思是允许批量插入数据

  • 改动二

preparedStatement.executeUpdate();
改为
preparedStatement.addBatch();
由原先的一条一条插入数据,改为把所有要插入的数据都添加到values后面,之后再统一插入数据

  • 改动三

在for循环外加上preparedStatement.executeBatch();数据全部添加完成后统一执行批量插入操作

原因

其实就是调用了statement中的一个批量插入函数,提高了效率。
原先是通过for循环一条一条的插入数据,这样效率很低,现在是通过for循环把要插入的数据都保存到一个地方,循环结束后统一进行插入,这样节省很多空间内存,也提高了效率。


我是时生,一个正在努力的小白。欢迎批评,欢迎指正,欢迎共享。 如果这篇文章对你有帮助,麻烦点个赞呗!

这篇关于在数据库插入万条数据,比普通插入提升百倍速度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/228705

相关文章

数据库oracle用户密码过期查询及解决方案

《数据库oracle用户密码过期查询及解决方案》:本文主要介绍如何处理ORACLE数据库用户密码过期和修改密码期限的问题,包括创建用户、赋予权限、修改密码、解锁用户和设置密码期限,文中通过代码介绍... 目录前言一、创建用户、赋予权限、修改密码、解锁用户和设置期限二、查询用户密码期限和过期后的修改1.查询用

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

mysql数据库分区的使用

《mysql数据库分区的使用》MySQL分区技术通过将大表分割成多个较小片段,提高查询性能、管理效率和数据存储效率,本文就来介绍一下mysql数据库分区的使用,感兴趣的可以了解一下... 目录【一】分区的基本概念【1】物理存储与逻辑分割【2】查询性能提升【3】数据管理与维护【4】扩展性与并行处理【二】分区的

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

IDEA如何切换数据库版本mysql5或mysql8

《IDEA如何切换数据库版本mysql5或mysql8》本文介绍了如何将IntelliJIDEA从MySQL5切换到MySQL8的详细步骤,包括下载MySQL8、安装、配置、停止旧服务、启动新服务以及... 目录问题描述解决方案第一步第二步第三步第四步第五步总结问题描述最近想开发一个新应用,想使用mysq

C#使用yield关键字实现提升迭代性能与效率

《C#使用yield关键字实现提升迭代性能与效率》yield关键字在C#中简化了数据迭代的方式,实现了按需生成数据,自动维护迭代状态,本文主要来聊聊如何使用yield关键字实现提升迭代性能与效率,感兴... 目录前言传统迭代和yield迭代方式对比yield延迟加载按需获取数据yield break显式示迭

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da