本文主要是介绍在数据库插入万条数据,比普通插入提升百倍速度,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在数据库插入万条数据,比普通插入提升百倍速度
JDBC中通过普通方法插入一万条数据
/*** 普通方法插入10000条数据* @throws Exception*/@Testpublic void testInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?user=root&password=abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "shiSheng" + i);preparedStatement.setObject(2, "1" + i);preparedStatement.setObject(3, "男" + i);//一条一条插入数据preparedStatement.executeUpdate();}//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("普通方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}
运行结果
普通方式执行插入1万个数据消耗的时间:23391
可以看到用了大概23秒的时间,效率十分的低下,这还只是插入最简单数据的情况下
通过批量插入来提升百倍速度
/*** 批量插入10000条数据* @throws Exception*/@Testpublic void batchInsert() throws Exception {//注册驱动Class.forName("com.mysql.cj.jdbc.Driver");//获取连接Connection connection = DriverManager.getConnection("jdbc:mysql:///testDb?rewriteBatchedStatements=true","root","abc123");//编写sql语句String sql = "insert into user(name,,age,sex) values (?,?,?)";//创建statementPreparedStatement preparedStatement = connection.prepareStatement(sql);//计算插入数据开始时间long startTime = System.currentTimeMillis();for (int i = 1; i < 10000; i++) {preparedStatement.setObject(1, "a" + i);preparedStatement.setObject(2, "b" + i);preparedStatement.setObject(3, "c" + i);//将所有要插入的数据添加到values后面preparedStatement.addBatch();}//批量插入数据preparedStatement.executeBatch();//运行完插入数据的结束时间long endTime = System.currentTimeMillis();//计算两者的差值,也就是插入1万条数据所用的时间long time = endTime - startTime;System.out.println("优化方式执行插入1万个数据消耗的时间:" + time );//关闭资源preparedStatement.close();connection.close();}
运行结果
优化方式执行插入1万个数据消耗的时间:231
通过对比可以看到普通方法用了23391毫秒,优化后只用了231毫秒,速度提升了百倍以上,这对项目是一个很大的提升
变动
- 改动一
在获取连接时加上rewriteBatchedStatements=true,意思是允许批量插入数据
- 改动二
preparedStatement.executeUpdate();
改为
preparedStatement.addBatch();
由原先的一条一条插入数据,改为把所有要插入的数据都添加到values后面,之后再统一插入数据
- 改动三
在for循环外加上preparedStatement.executeBatch();数据全部添加完成后统一执行批量插入操作
原因
其实就是调用了statement中的一个批量插入函数,提高了效率。
原先是通过for循环一条一条的插入数据,这样效率很低,现在是通过for循环把要插入的数据都保存到一个地方,循环结束后统一进行插入,这样节省很多空间内存,也提高了效率。
我是时生,一个正在努力的小白。欢迎批评,欢迎指正,欢迎共享。 如果这篇文章对你有帮助,麻烦点个赞呗!
这篇关于在数据库插入万条数据,比普通插入提升百倍速度的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!