jdbc 与 mysql 连接 - Blod及批量数据处理

2024-02-19 15:58

本文主要是介绍jdbc 与 mysql 连接 - Blod及批量数据处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Blob 类型的数据操作

package com.atguigu5.blob;import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.sql.Blob;
import java.sql.Connection;
import java.sql.Date;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;import org.junit.Test;import com.atguigu3.bean.Customer;
import com.atguigu3.util.JDBCUtils;/*** 测试使用 PreparedStatement 操作 Blob 类型的数据* */
public class BlobTest {// 向数据表 customers 中插入 Blob 类型的字段@Testpublic void testInsert1() throws Exception {Connection conn = JDBCUtils.getConnection();String sql = "insert into customers(name,email,birth,photo)values(?,?,?,?)";PreparedStatement ps = conn.prepareStatement(sql);ps.setObject(1, "李阿豪");ps.setObject(2,"li@qq.com");ps.setObject(3, "1992-09-08");// 操纵 Blob 类型的变量FileInputStream is = new FileInputStream(new File("壁纸3.jpg"));ps.setBlob(4, is);ps.execute();is.close();JDBCUtils.closeResource(conn, ps);}// 向数据表 customers 中插入 Blob 类型的字段@Testpublic void testInsert2() throws Exception {Connection conn = JDBCUtils.getConnection();String sql = "insert into customers(name,email,birth,photo)values(?,?,?,?)";PreparedStatement ps = conn.prepareStatement(sql);ps.setObject(1, "元昊");ps.setObject(2,"yuanhao@qq.com");ps.setObject(3, "1992-09-08");// 操纵 Blob 类型的变量FileInputStream is = new FileInputStream(new File("壁纸5.jpg"));ps.setBlob(4, is);ps.execute();is.close();JDBCUtils.closeResource(conn, ps);// 在 mysql 下的 my.ini 文件尾添加: max_allowed_packet=16M// 完成后,"此电脑" - "管理" - "服务和应用程序" - "服务" - "MySQL" - "重新启动"// 完成操作后,就可以上传大于 1M 的图片到 MySQL 了。}// 向数据表 customers 中修改 Blob 类型的字段 @Testpublic void testUpdate() throws Exception {Connection conn = JDBCUtils.getConnection();String sql = "update customers set photo = ? where id = ?";PreparedStatement ps = conn.prepareStatement(sql);// 填充占位符// 操纵 Blob 类型的变量FileInputStream is = new FileInputStream(new File("壁纸1.jpeg"));ps.setBlob(1, is);// 23 : 要修改 id 号ps.setInt(2,23);ps.execute();is.close();JDBCUtils.closeResource(conn, ps);}// 查询数据表 customers 中 Blob 类型的字段@Testpublic void testQuery() {Connection conn = null;PreparedStatement ps = null;InputStream is = null;FileOutputStream fos = null;ResultSet rs = null;try {conn = JDBCUtils.getConnection();String sql = "select id,name,email,birth,photo from customers where id = ?";ps = conn.prepareStatement(sql);ps.setInt(1, 23);rs = ps.executeQuery();if(rs.next()) {// 方式一:通过顺序的方式 类似于 ArrayList
//			int id = rs.getInt(1);
//			String name = rs.getString(2);
//			String email = rs.getString(3);
//			Date birth = rs.getDate(4);// 方式二:通过别名的方式int id = rs.getInt("id");String name = rs.getString("name");String email = rs.getString("email");Date birth = rs.getDate("birth");Customer cust = new Customer(id,name,email,birth);System.out.println(cust);// 将 Blob 类型的字段下载下来,以文件的方式保存在本地Blob photo = rs.getBlob("photo");// photo 是一个比较大的数据,这时需要用 流 的方式获取is = photo.getBinaryStream();fos = new FileOutputStream("zhangyuhao.jpg");byte[] buffer = new byte[1024];int len;while((len = is.read(buffer)) != -1) {fos.write(buffer,0,len);}}} catch (Exception e) {e.printStackTrace();} finally {try {if(is != null)is.close();} catch (IOException e) {e.printStackTrace();}try {if(fos != null)fos.close();} catch (IOException e) {e.printStackTrace();}JDBCUtils.closeResource(conn, ps, rs);}}
}

让 mysql 开启批处理的支持 :

?rewriteBatchedStatements = true 写在配置文件的 url 后面

user=root
password=123456
url=jdbc:mysql://localhost:3306/test?rewriteBatchedStatements = true
driverClass=com.mysql.cj.jdbc.Driver
package com.atguigu5.blob;import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.SQLException;import org.junit.Test;import com.atguigu3.util.JDBCUtils;/*** 使用 PreparedStatement 实现批量数据的操作** update、delete 本身就具有批量操作的效果。* 此时的批量操作,主要指的时批量插入。使用 PreparedStatement 如何实现更高效的批量插入?* * 题目:向 goods 表中插入 20000 条数据*   CREATE TABLE goods(*       id INT PRIMARY KEY AUTO_INCREMENT,*       NAME VARCHAR(25)*   );* * 方式一:使用 Statement*    Connection  conn = JDBCUtils.getConnection();*    Statement st = conn.createStatement();*    for(int i = 1; i <= 20000; i++){*    		String sql = "insert into goods(name) values('name_" + i + "')";*    		st.execute(sql);*    }* */
public class InsertTest {// 批量插入的方式二:使用 PreparedStatement@Testpublic void testInsert1() {Connection conn = null;PreparedStatement ps = null;try {long start = System.currentTimeMillis();conn = JDBCUtils.getConnection();String sql = "insert into goods(name)values(?)";ps = conn.prepareStatement(sql);for(int i = 1; i <= 20000; i++) {ps.setObject(1, "name_" + i);ps.execute();}long end = System.currentTimeMillis();System.out.println("花费的时间为: " + (end - start));// 20000:76229 } catch (Exception e) {e.printStackTrace();} finally {JDBCUtils.closeResource(conn, ps);}}/**  批量插入的方式三*  		1.addBatch()、executeBatch()、clearBatch()*  		2.mysql 服务器默认是关闭此处理的,我们需要通过一个参数,让 mysql 开启批处理的支持。*  	   		    ?rewriteBatchedStatements = true 写在配置文件的 url 后面*  		3.使用更新的 mysql 驱动:mysql-connector-java-5.1.37-bin.jar*  */@Testpublic void testInsert2() {Connection conn = null;PreparedStatement ps = null;try {long start = System.currentTimeMillis();conn = JDBCUtils.getConnection();String sql = "insert into goods(name)values(?)";ps = conn.prepareStatement(sql);for(int i = 1; i <= 1000000; i++) {ps.setObject(1, "name_" + i);// 1."攒" sqlps.addBatch();if(i % 500 == 0) {// 2.执行 batchps.executeBatch();// 3.清空 batchps.clearBatch();}}long end = System.currentTimeMillis();System.out.println("花费的时间为: " + (end - start));// 20000:76229 -- 1525// 1000000:18780 -- 		} catch (Exception e) {e.printStackTrace();} finally {JDBCUtils.closeResource(conn, ps);}}/**  批量插入的方式四: 设置连接不允许自动提交数据		*  */@Testpublic void testInsert3() {Connection conn = null;PreparedStatement ps = null;try {long start = System.currentTimeMillis();conn = JDBCUtils.getConnection();// 设置不允许自动提交数据(为了提高插入速度,缩短插入时间)conn.setAutoCommit(false);String sql = "insert into goods(name)values(?)";ps = conn.prepareStatement(sql);for(int i = 1; i <= 1000000; i++) {ps.setObject(1, "name_" + i);// 1."攒" sqlps.addBatch();if(i % 500 == 0) {// 2.执行 batchps.executeBatch();// 3.清空 batchps.clearBatch();}}// 提交数据conn.commit();long end = System.currentTimeMillis();System.out.println("花费的时间为: " + (end - start));// 20000:76229 -- 1525// 1000000:18780 -- 9939		} catch (Exception e) {e.printStackTrace();} finally {JDBCUtils.closeResource(conn, ps);}}
}

这篇关于jdbc 与 mysql 连接 - Blod及批量数据处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/725153

相关文章

SpringBoot分段处理List集合多线程批量插入数据方式

《SpringBoot分段处理List集合多线程批量插入数据方式》文章介绍如何处理大数据量List批量插入数据库的优化方案:通过拆分List并分配独立线程处理,结合Spring线程池与异步方法提升效率... 目录项目场景解决方案1.实体类2.Mapper3.spring容器注入线程池bejsan对象4.创建

MySQL的JDBC编程详解

《MySQL的JDBC编程详解》:本文主要介绍MySQL的JDBC编程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言一、前置知识1. 引入依赖2. 认识 url二、JDBC 操作流程1. JDBC 的写操作2. JDBC 的读操作总结前言本文介绍了mysq

java.sql.SQLTransientConnectionException连接超时异常原因及解决方案

《java.sql.SQLTransientConnectionException连接超时异常原因及解决方案》:本文主要介绍java.sql.SQLTransientConnectionExcep... 目录一、引言二、异常信息分析三、可能的原因3.1 连接池配置不合理3.2 数据库负载过高3.3 连接泄漏

Python实现Excel批量样式修改器(附完整代码)

《Python实现Excel批量样式修改器(附完整代码)》这篇文章主要为大家详细介绍了如何使用Python实现一个Excel批量样式修改器,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一... 目录前言功能特性核心功能界面特性系统要求安装说明使用指南基本操作流程高级功能技术实现核心技术栈关键函

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解

《使用Python批量将.ncm格式的音频文件转换为.mp3格式的实战详解》本文详细介绍了如何使用Python通过ncmdump工具批量将.ncm音频转换为.mp3的步骤,包括安装、配置ffmpeg环... 目录1. 前言2. 安装 ncmdump3. 实现 .ncm 转 .mp34. 执行过程5. 执行结

Python实现批量CSV转Excel的高性能处理方案

《Python实现批量CSV转Excel的高性能处理方案》在日常办公中,我们经常需要将CSV格式的数据转换为Excel文件,本文将介绍一个基于Python的高性能解决方案,感兴趣的小伙伴可以跟随小编一... 目录一、场景需求二、技术方案三、核心代码四、批量处理方案五、性能优化六、使用示例完整代码七、小结一、

C#实现一键批量合并PDF文档

《C#实现一键批量合并PDF文档》这篇文章主要为大家详细介绍了如何使用C#实现一键批量合并PDF文档功能,文中的示例代码简洁易懂,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言效果展示功能实现1、添加文件2、文件分组(书签)3、定义页码范围4、自定义显示5、定义页面尺寸6、PDF批量合并7、其他方法

MySQL中On duplicate key update的实现示例

《MySQL中Onduplicatekeyupdate的实现示例》ONDUPLICATEKEYUPDATE是一种MySQL的语法,它在插入新数据时,如果遇到唯一键冲突,则会执行更新操作,而不是抛... 目录1/ ON DUPLICATE KEY UPDATE的简介2/ ON DUPLICATE KEY UP

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分