mysql数据库100万条数据JDBC插入的各种方式效率对比。

本文主要是介绍mysql数据库100万条数据JDBC插入的各种方式效率对比。,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

mysql数据库100万条数据JDBC插入的各种方式效率对比

  下面测试四个方式:

   1 、一条一条插入  166秒/10万

   2、jdbc采用事务提交  135秒/10万

   3、batch方式(内部实现方式-拼接values) 12.73秒/10万

   4、事务+batch方式   9.99秒/10万

package test.jbdc;import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;import org.junit.Test;/*** 大数据量的插入---> 测试100万条数据  【一共5个字段的表】* 方法1、普通采用jdbc插入* 方法2、jdbc用事务进行提交  --> 事务提交是把语句一起执行* 方法3、batch语句   --> 内部实现是是把 values 后面的插入值变成成 values(,,,),(,,,,) :*/
public class BigDataTest {/*** 一、普通方式* 时间:10万条:16672ms 折合100万条 = 166.72秒 */@Testpublic void test1(){Connection conn = JDBCUtil.getConnection();PreparedStatement stmt  = null;long t1 = System.currentTimeMillis();try {stmt = conn.prepareStatement("insert into test_yxtj values(?,?,?,?,?)");for (int i = 0; i <100000; i++) {stmt.setInt(1, i);stmt.setFloat(2, i);stmt.setString(3, i+"");stmt.setInt(4, i);stmt.setInt(5, i);stmt.execute();}} catch (SQLException e) {e.printStackTrace();}finally {JDBCUtil.release(null, stmt, conn);}long t2 = System.currentTimeMillis();System.out.println((t2-t1));}/*** 二、事务提交 :* 时间:10万条:13558ms 折合100万条 = 135.5秒 */@Testpublic void test2(){Connection conn = JDBCUtil.getConnection();PreparedStatement stmt  = null;long t1 = System.currentTimeMillis();try {conn.setAutoCommit(false);stmt = conn.prepareStatement("insert into test_yxtj values(?,?,?,?,?)");for (int i = 0; i <100000; i++) {stmt.setInt(1, i);stmt.setFloat(2, i);stmt.setString(3, i+"");stmt.setInt(4, i);stmt.setInt(5, i);stmt.execute();}conn.commit();} catch (SQLException e) {e.printStackTrace();}finally {JDBCUtil.release(null, stmt, conn);}long t2 = System.currentTimeMillis();System.out.println((t2-t1));}/*** 三、批处理:* 特别注意:需要url参数加:rewriteBatchedStatements=true* url范例: jdbc:mysql://127.0.0.1/XXX?characterEncoding=UTF-8&rewriteBatchedStatements=true* 时间 : 10万条:1273ms 折合100万条 = 12.73秒 */@Testpublic void test3(){Connection conn = JDBCUtil.getConnection();PreparedStatement stmt  = null;long t1 = System.currentTimeMillis();try {stmt = conn.prepareStatement("insert into test_yxtj values(?,?,?,?,?)");for (int i = 0; i <100000; i++) {stmt.setInt(1, i);stmt.setFloat(2, i);stmt.setString(3, i+"");stmt.setInt(4, i);stmt.setInt(5, i);stmt.addBatch();}stmt.executeBatch();} catch (SQLException e) {e.printStackTrace();}finally {JDBCUtil.release(null, stmt, conn);}long t2 = System.currentTimeMillis();System.out.println((t2-t1));}/*** 四、事务+批处理并且分批执行* 结论:加事务时间无影响,但是分批次能提供效率的增加* 时间:100万条:9900ms 折合100万条 = 9.99秒 * 时间:500万条:46943ms = 47秒*/@Testpublic void test4(){Connection conn = JDBCUtil.getConnection();PreparedStatement stmt  = null;long t1 = System.currentTimeMillis();try {//conn.setAutoCommit(false);  /**取消事务对时间无太大影响!!*/stmt = conn.prepareStatement("insert into test_yxtj values(?,?,?,?,?)");//            for (int i = 1; i <=100; i++) { //1万条一次
//                for (int j = 1; j <=10000; j++) {
//                    stmt.setInt(1, ((i-1)*10000)+j);
//                    stmt.setFloat(2, ((i-1)*10000)+j);
//                    stmt.setString(3, ((i-1)*10000)+j+"");
//                    stmt.setInt(4, ((i-1)*10000)+j);
//                    stmt.setInt(5, ((i-1)*10000)+j);
//                    stmt.addBatch();
//                }
//                stmt.executeBatch();
//                stmt.clearBatch(); /**清除缓存*/
//                System.out.println("执行到第"+i+"外循环");
//            }//conn.commit();//-------> 上面固定了100万条,假如不确定多少数据量的情况,就不好指定2层循环.可采用下面的样子int size = 5000000;for (int i = 0; i < size; i++) {stmt.setInt(1, i);stmt.setFloat(2, i);stmt.setString(3, i+"");stmt.setInt(4, i);stmt.setInt(5, i);stmt.addBatch();if(i%10000==0||i==size-1){ //1万次一条,或者最后一次进行提交。stmt.executeBatch();stmt.clearBatch(); /**清除缓存*/System.out.println("执行到第"+i/10000+"外循环");}}} catch (SQLException e) {
//            try {
//                conn.rollback();
//            } catch (SQLException e1) {
//                e1.printStackTrace();
//            }}finally {JDBCUtil.release(null, stmt, conn);}long t2 = System.currentTimeMillis();System.out.println((t2-t1));}}

这篇关于mysql数据库100万条数据JDBC插入的各种方式效率对比。的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/481885

相关文章

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u

浅谈mysql的not exists走不走索引

《浅谈mysql的notexists走不走索引》在MySQL中,​NOTEXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引,下面就来介绍一下mysql的notexists走不走索... 在mysql中,​NOT EXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引。以下

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》:本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目,它提供了一个容易使用的持续集成系统,并且提供了大量的plugin满

PowerShell中15个提升运维效率关键命令实战指南

《PowerShell中15个提升运维效率关键命令实战指南》作为网络安全专业人员的必备技能,PowerShell在系统管理、日志分析、威胁检测和自动化响应方面展现出强大能力,下面我们就来看看15个提升... 目录一、PowerShell在网络安全中的战略价值二、网络安全关键场景命令实战1. 系统安全基线核查

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Qt使用QSqlDatabase连接MySQL实现增删改查功能

《Qt使用QSqlDatabase连接MySQL实现增删改查功能》这篇文章主要为大家详细介绍了Qt如何使用QSqlDatabase连接MySQL实现增删改查功能,文中的示例代码讲解详细,感兴趣的小伙伴... 目录一、创建数据表二、连接mysql数据库三、封装成一个完整的轻量级 ORM 风格类3.1 表结构

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

C#读写文本文件的多种方式详解

《C#读写文本文件的多种方式详解》这篇文章主要为大家详细介绍了C#中各种常用的文件读写方式,包括文本文件,二进制文件、CSV文件、JSON文件等,有需要的小伙伴可以参考一下... 目录一、文本文件读写1. 使用 File 类的静态方法2. 使用 StreamReader 和 StreamWriter二、二进

MySQL 中的 CAST 函数详解及常见用法

《MySQL中的CAST函数详解及常见用法》CAST函数是MySQL中用于数据类型转换的重要函数,它允许你将一个值从一种数据类型转换为另一种数据类型,本文给大家介绍MySQL中的CAST... 目录mysql 中的 CAST 函数详解一、基本语法二、支持的数据类型三、常见用法示例1. 字符串转数字2. 数字