JDBC |封装JDBCUtils|PreparedStatement|事务|批处理|数据库连接池| Blob类型数据的读写|Apache—DBUtils简介

本文主要是介绍JDBC |封装JDBCUtils|PreparedStatement|事务|批处理|数据库连接池| Blob类型数据的读写|Apache—DBUtils简介,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一.概述

在Java中,数据库存取技术可分为如下几类:

  1. JDBC直接访问数据库
  2. JDO技术(Java Data Object)
  3. 第三方O/R工具,如Hibernate, Mybatis 等

JDBC是java访问数据库的基石,JDO, Hibernate等只是更好的封装了JDBC。

1、什么是JDBC

JDBC(Java Database Connectivity)是一个独立于特定数据库管理系统(DBMS)、通用的SQL数据库存取和操作的公共接口(一组API),定义了用来访问数据库的标准Java类库,使用这个类库可以以一种标准的方法、方便地访问数据库资源

JDBC为访问不同的数据库提供了一种统一的途径,为开发者屏蔽了一些细节问题。

JDBC的目标是使Java程序员使用JDBC可以连接任何提供了JDBC驱动程序的数据库系统,这样就使得程序员无需对特定的数据库系统的特点有过多的了解,从而大大简化和加快了开发过程。

如果没有JDBC,那么Java程序访问数据库时是这样的:

2、JDBC API

   JDBC API是一系列的接口,它统一和规范了应用程序与数据库的连接、执行SQL语句,并到得到返回结果等各类操作。声明在java.sql与javax.sql包中。

3、JDBC 可以做什么

我们可以做以下事情:增删改查

  • 查询女神们的基本信息
  • 查询女神们的详细信息
  • 查询心仪女神的电话号码 ,噢耶
  • 添加心仪的女神
  • 删除不符合要求的女神
  • 修改女神的信息
  • 查询管理员的所有信息

3、JDBC程序编写步骤

  1. 注册驱动
  2. 释放资源
  3. 执行增删改查
  4. 获取连接

二、演示完整步骤

 准备工作:引入JDBC驱动程序

驱动程序由数据库提供商提供下载。 MySQL的驱动下载地址:http://dev.mysql.com/downloads/

如何在Java Project项目应用中添加数据库驱动jar:

  1. 把 拷贝到项目中一个目录中
  2. (2)添加到项目的类路径下

在驱动jar上右键-->Build Path-->Add to Build Path

注意:如果是Dynamic Web Project(动态的web项目)话,则是把驱动jar放到WebContent(有的开发工具叫WebRoot)目录中的WEB-INF目录中的lib目录下即可

(一)加载并注册驱动

加载并注册驱动:

加载驱动,把驱动类加载到内存

注册驱动,把驱动类的对象交给DriverManager管理,用于后面创建连接等使用。

1、Class.forName( )

因为 Driver 接口的驱动程序类都包含了静态代码块,在这个静态代码块中,会调用 DriverManager.registerDriver() 方法来注册自身的一个实例,所以可以换一种方式来加载驱动。(即只要想办法让驱动类的这段静态代码块执行即可注册驱动类,而要让这段静态代码块执行,只要让该类被类加载器加载即可)

调用 Class 类的静态方法 forName(),向其传递要加载的 JDBC 驱动的类名

//通过反射,加载与注册驱动类,解耦合(不直接依赖)

Class.forName("com.mysql.jdbc.Driver");

2、服务提供者框架(例如:JDBC的驱动程序)自动注册(有版本要求)

符合JDBC 4.0规范的驱动程序包含了一个文件META-INF/services/java.sql.Driver,在这个文件中提供了JDBC驱动实现的类名。例如:mysql-connector-java-5.1.40-bin.jar文件中就可以找到java.sql.Driver文件,用文本编辑器打开文件就可以看到:com.mysql.jdbc.Driver类。

JVM的服务提供者框架在启动应用时就会注册服务,例如:MySQL的JDBC驱动就会被注册,而原代码中的Class.forName("com.mysql.jdbc.Driver")仍然可以存在,但是不会起作用。

但是注意mysql-connector-java-5.0.8-bin.jar版本的jar中没有,如下

二)获取数据库链接

可以通过 DriverManager 类建立到数据库的连接Connection:

DriverManager 试图从已注册的 JDBC 驱动程序集中选择一个适当的驱动程序。

  1. public static Connection getConnection(String url)
  2. public static Connection getConnection(String url,String user, String password)
  3. public static Connection getConnection(String url,Properties info)其中Properties info通常至少应该包括 "user" 和 "password" 属性

JDBC URL 用于标识一个被注册的驱动程序,驱动程序管理器通过这个 URL 选择正确的驱动程序,从而建立到数据库的连接。JDBC URL的标准由三部分组成,各部分间用冒号分隔。

jdbc:<子协议>:<子名称>

  1. 协议:JDBC URL中的协议总是jdbc
  2. 子协议:子协议用于标识一个数据库驱动程序
  3. 子名称:一种标识数据库的方法。子名称可以依不同的子协议而变化,用子名称的目的是为了定位数据库提供足够的信息

例如:

  1. MySQL的连接URL编写方式:
    1. jdbc:mysql://主机名称:mysql服务端口号/数据库名称?参数=值&参数=值
    2. jdbc:mysql://localhost:3306/testdb
    3. jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=utf8如果JDBC程序与服务器端的字符集不一致,会导致乱码,那么可以通过参数指定服务器端的字符集
    4. jdbc:mysql://localhost:3306/testdb?user=root&password=123456
  2. Oracle9i【了解】
    1. jdbc:oracle:thin:@主机名称:oracle服务端口号:数据库名称
    2. jdbc:oracle:thin:@localhost:1521:testdb
  3. SQLServer【了解】
    1. jdbc:sqlserver://主机名称:sqlserver服务端口号:DatabaseName=数据库名称
    2. jdbc:sqlserver://localhost:1433:DatabaseName=testdb

        //1、加载与注册驱动

        Class.forName("com.mysql.jdbc.Driver");

       

        //2、获取数据库连接

        String url = "jdbc:mysql://localhost:3306/test";

        Connection conn = DriverManager.getConnection(url, "root", "root");

(三)操作或访问数据库

数据库连接被用于向数据库服务器发送命令和 SQL 语句,并接受数据库服务器返回的结果。

其实一个数据库连接就是一个Socket连接。

在 java.sql 包中有 3 个接口分别定义了对数据库的调用的不同方式:

  1. Statement:用于执行静态 SQL 语句并返回它所生成结果的对象。
    1. PrepatedStatement:SQL 语句被预编译并存储在此对象中,然后可以使用此对象多次高效地执行该语句。
      1. CallableStatement:用于执行 SQL 存储过程

Statement

通过调用 Connection 对象的 createStatement() 方法创建该对象

该对象用于执行静态的 SQL 语句,并且返回执行结果

Statement 接口中定义了下列方法用于执行 SQL 语句:

int excuteUpdate(String sql):执行更新操作INSERT、UPDATE、DELETE

ResultSet excuteQuery(String sql):执行查询操作SELECT

ResultSet

通过调用 Statement 对象的 excuteQuery() 方法创建该对象

ResultSet 对象以逻辑表格的形式封装了执行数据库操作的结果集,ResultSet 接口由数据库厂商实现

ResultSet 对象维护了一个指向当前数据行的游标,初始的时候,游标在第一行之前,可以通过 ResultSet 对象的 next() 方法移动到下一行

ResultSet 接口的常用方法:

  1. boolean next()
  2. getXxx(String columnLabel):columnLabel使用 SQL AS 子句指定的列标签。如果未指定 SQL AS 子句,则标签是列名称
  3. getXxx(int index) :索引从1开始

增删改查示例代码:

public class TestConnection {

        //增删改

        @Test

        public void testUpdate() throws  Exception {

                 //步骤1:注册驱动(为了让mysql的实现类加载到内存可以使用)

                

//              DriverManager.registerDriver(new Driver());

                 Class.forName("com.mysql.jdbc.Driver");

       

                 //步骤2:获取连接

                

                 Properties properties  = new Properties();//配置文件要求里面必须有连接参数和配置参数

                

                 properties.load(new FileInputStream("src\\druid.properties"));

                 DataSource ds =        DruidDataSourceFactory.createDataSource(properties);

                

                

                 Connection connection = ds.getConnection();

                

                 //步骤3:执行增删改查操作

                 //①获取执行sql语句的命令对象

                 Statement statement = connection.createStatement();

                

                

                 //②执行sql语句

//              statement.executeQuery(sql);//执行查询语句

//              statement.executeUpdate(sql)//执行增删改语法,返回受影响行数

//              statement.execute(sql)//执行任何sql语句

                

                 int update = statement.executeUpdate("delete from admin where id =1");

                

                 //③处理结果

                 System.out.println(update>0?"成功":"失败");

                

                 //步骤4:关闭连接(释放资源)

                

                 statement.close();

                 connection.close();

                

        }

        //查询

        @Test

        public void testQuery() throws Exception {

                 //1.注册驱动

                 Class.forName("com.mysql.jdbc.Driver");              

                 //2.获取连接

                 Properties  pro = new Properties();

                 pro.load(new FileInputStream("src\\druid.properties"));

                

                 DataSource ds = DruidDataSourceFactory.createDataSource(pro);

                

                 Connection connection = ds.getConnection();

                

                 //3.执行查询

                

                 //①获取执行sql的命令对象

                 Statement statement = connection.createStatement();

                

                 //②执行sql

                

                 ResultSet set = statement.executeQuery("select name bname,sex gender,borndate born from beauty");

                 while(set.next()) {

                        

                         String name = set.getString("bname");

                         char gender = set.getString("gender").charAt(0);

                         Date date = set.getDate("born");

        //              String date = set.getString("born");

                        

                         System.out.println(name+"\t"+gender+"\t"+date);

                

                 }

                

                 //4.关闭

                 set.close();

                 statement.close();

                 connection.close();

                

        }

       

}

四)释放资源

Connection、Statement、ResultSet都是应用程序和数据库服务器的连接资源,使用后一定要关闭,可以在finally中关闭

演示未关闭后果:

package com.atguigu.conn;

import java.sql.Connection;

import java.sql.DriverManager;

public class TestConnectionClose {

    public static void main(String[] args) throws Exception{

        //1、加载与注册驱动

        Class.forName("com.mysql.jdbc.Driver");

       

        //2、获取数据库连接

        String url = "jdbc:mysql://localhost:3306/test";

       

        //my.ini中max_connections=10

        for (int i = 0; i < 15; i++) {

             Connection conn = DriverManager.getConnection(url,"root", "123456");

             System.out.println(conn);

             //没有关闭,资源一直没有释放

        }

    }

}

三、封装JDBCUtils

四、PreparedStatement

1、Statement的不足

(1)SQL拼接

(2)SQL注入

SQL 注入是利用某些系统没有对用户输入的数据进行充分的检查,而在用户输入数据中注入非法的 SQL 语句段或命令,从而利用系统的 SQL 引擎完成恶意行为的做法。对于 Java 而言,要防范 SQL 注入,只要用 PreparedStatement 取代 Statement 就可以了。

(3)处理Blob类型的数据

BLOB (binary large object),二进制大对象,BLOB常常是数据库中用来存储二进制文件的字段类型。

插入BLOB类型的数据必须使用PreparedStatement,因为BLOB类型的数据无法使用字符串拼接写的。

MySQL的四种BLOB类型(除了在存储的最大信息量上不同外,他们是等同的)

  如果还是报错:xxx too large,那么在mysql的安装目录下,找my.ini文件加上如下的配置参数:

  max_allowed_packet=16M

注意:修改了my.ini文件,一定要重新启动服

实际使用中根据需要存入的数据大小定义不同的BLOB类型

需要注意的是:如果存储的文件过大,数据库的性能会下降。

CREATE TABLE `user` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `username` varchar(20) COLLATE utf8_unicode_ci DEFAULT NULL,

  `head_picture` mediumblob,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

package com.atguigu.statement;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.ResultSet;

import java.sql.Statement;

import java.util.Scanner;

import org.junit.Test;

/*

 * Statement

 * 1、SQL拼接

 * 2、SQL注入

 * 3、处理不了Blob类型的数据

 */

public class TestStatementProblem {

   

    @Test

    public void add() throws Exception{

        Scanner input = new Scanner(System.in);

        System.out.println("请输入姓名:");

        String name = input.nextLine();

       

        System.out.println("请输入领导编号:");

        int mid = input.nextInt();

       

        System.out.println("请输入部门编号:");

        int did = input.nextInt();

       

        //1、连接数据库

        Class.forName("com.mysql.jdbc.Driver");

       

        String url = "jdbc:mysql://localhost:3306/1221db";

        String user = "root";

        String password = "123456";

        Connection conn = DriverManager.getConnection(url, user, password);

       

        //2、创建Statement对象

        Statement st = conn.createStatement();

       

        //3、编写sql

        String sql = "INSERT INTO emp (ename,`mid`,did) VALUES('" + name+"'," + mid + "," + did + ")";

       

        //4、执行sql

        int update = st.executeUpdate(sql);

        System.out.println(update>0?"添加成功":"添加失败");

       

        //5、释放资源

        st.close();

        conn.close();

    }

   

    @Test

    public void select()throws Exception{

        Scanner input = new Scanner(System.in);

        System.out.println("请输入姓名:");

        String name = input.nextLine();

       

        //1、连接数据库

        Class.forName("com.mysql.jdbc.Driver");

       

        String url = "jdbc:mysql://localhost:3306/1221db";

        String user = "root";

        String password = "123456";

        Connection conn = DriverManager.getConnection(url, user, password);

       

        //2、写sql

        //孙红雷  ' or '1' = '1

        String sql = "SELECT eid,ename,tel,gender,salary FROM t_employee WHERE ename = '" + name + "'";

        System.out.println(sql);

//      SELECT eid,ename,tel,gender,salary FROM t_employee WHERE ename = '孙红雷  ' or '1' = '1'

       

        //3、用Statement执行

        Statement st = conn.createStatement();

       

        //4、执行查询sql

        ResultSet rs = st.executeQuery(sql);

        while(rs.next()){

             int id = rs.getInt(1);

             String ename = rs.getString(2);

             String tel = rs.getString(3);

             String gender =rs.getString(4);

             double salary = rs.getDouble(5);

            

             System.out.println(id+"\t" + ename + "\t" + tel + "\t" + gender + "\t" +salary);

        }

       

        //5、释放资源

        st.close();

        conn.close();

    }

   

    @Test

    public void testAddBlob(){

        String sql = "INSERT INTO `user` (username,`password`,photo)VALUES('chai','123',没法在String中处理Blob类型的数据);";

    }

}

2、PreparedStatement概述

可以通过调用 Connection 对象的 preparedStatement(String sql) 方法获取 PreparedStatement 对象

PreparedStatement 接口是 Statement 的子接口,它表示一条预编译过的 SQL 语句

  1. PreparedStatement 对象所代表的 SQL 语句中的参数用问号(?)来表示,调用 PreparedStatement 对象的 setXxx() 方法来设置这些参数. setXxx() 方法有两个参数,第一个参数是要设置的 SQL 语句中的参数的索引(从 1 开始),第二个是设置的 SQL 语句中的参数的值
  2. ResultSet executeQuery()执行查询,并返回该查询生成的 ResultSet 对象。
  3. int executeUpdate():执行更新,包括增、删、该

package com.atguigu.preparedstatement;

import java.io.FileInputStream;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.util.Scanner;

import org.junit.Test;

/*

 * PreparedStatement:是Statement子接口

 * 1、SQL不需要拼接

 * 2、SQL不会出现注入

 * 3、可以处理Blob类型的数据

 * tinyblob:255字节以内

 * blob:65K以内

 * mediumblob:16M以内

 * longblob:4G以内

 *

 * 如果还是报错:xxx too large,那么在mysql的安装目录下,找my.ini文件加上如下的配置参数:

 * max_allowed_packet=16M

 * 注意:修改了my.ini文件,一定要重新启动服务

 *

 */

public class TestPreparedStatement {

    @Test

    public void add() throws Exception {

        Scanner input = new Scanner(System.in);

        System.out.println("请输入姓名:");

        String name = input.nextLine();

       

        System.out.println("请输入手机号码:");

        String tel = input.nextLine();

       

        System.out.println("请输入性别:");

        String gender = input.nextLine();

       

        System.out.println("请输入薪资:");

        double salary = input.nextDouble();

       

        System.out.println("请输入部门编号:");

        int did = input.nextInt();

       

        //1、连接数据库

        Class.forName("com.mysql.jdbc.Driver");

       

        String url = "jdbc:mysql://localhost:3306/test";

        String user = "root";

        String password = "123456";

        Connection conn = DriverManager.getConnection(url, user, password);

        //2、编写带?的SQL

        String sql = "INSERT INTO t_employee (ename,tel,gender,salary,did) VALUES(?,?,?,?,?)";

       

        // 3、准备一个PreparedStatement:预编译sql

        PreparedStatement pst = conn.prepareStatement(sql);// 对带?的sql进行预编译

        // 4、把?用具体的值进行代替

        pst.setString(1, name);

        pst.setString(2, tel);

        pst.setString(3, gender);

        pst.setDouble(4, salary);

        pst.setInt(5, did);

        // 5、执行sql

        int len = pst.executeUpdate();

        System.out.println(len>0?"添加成功":"添加失败");

        // 6、释放资源

        pst.close();

        conn.close();

    }

    @Test

    public void select() throws Exception {

        Scanner input = new Scanner(System.in);

        System.out.println("请输入姓名:");

        String name = input.nextLine();

       

        //1、连接数据库

        Class.forName("com.mysql.jdbc.Driver");

       

        String url = "jdbc:mysql://localhost:3306/test";

        String user = "root";

        String password = "123456";

        Connection conn = DriverManager.getConnection(url, user, password);

        //2、编写带?的sql

        //孙红雷  ' or '1' = '1

        String sql = "SELECT eid,ename,tel,gender,salary FROM t_employee WHERE ename = ?";

                

        // 3、把带?的sql语句进行预编译

        PreparedStatement pst = conn.prepareStatement(sql);

        // 4、把?用具体的变量的赋值

        pst.setString(1, name);

        // 5、执行sql

        ResultSet rs = pst.executeQuery();

        while (rs.next()) {

             int id = rs.getInt("eid");

             String ename = rs.getString("ename");

             String tel = rs.getString("tel");

             String gender = rs.getString("gender");

             double salary = rs.getDouble("salary");

             System.out.println(id + "\t" + ename + "\t" + tel + "\t" + gender + "\t" + salary);

        }

        // 6、释放资源

        rs.close();

        pst.close();

        conn.close();

    }

    @Test

    public void addBlob() throws Exception {

        Scanner input = new Scanner(System.in);

        System.out.println("请输入用户名:");

        String username = input.nextLine();

        System.out.println("请输入密码:");

        String pwd = input.nextLine();

        System.out.println("请指定照片的路径:");

        String photoPath = input.nextLine();

        //1、连接数据库

        Class.forName("com.mysql.jdbc.Driver");

       

        String url = "jdbc:mysql://localhost:3306/test";

        String user = "root";

        String password = "123456";

        Connection conn = DriverManager.getConnection(url, user, password);

       

        //2、 INSERT INTO `user` VALUES(NULL,用户名,密码,照片)

        String sql = "INSERT INTO `user` (username,`password`,head_picture)VALUES(?,?,?)";

        // 3、准备一个PreparedStatement:预编译sql

        PreparedStatement pst = conn.prepareStatement(sql);// 对带?的sql进行预编译

        // 4、对?进行设置

        pst.setString(1, username);

        pst.setString(2, pwd);

        pst.setBlob(3, new FileInputStream(photoPath));

        // 5、执行sql

        int len = pst.executeUpdate();

        System.out.println(len > 0 ? "添加成功" : "添加失败");

        // 6、释放资源

        pst.close();

        conn.close();

    }

}

3、PreparedStatement vs Statement

  1. 代码的可读性和可维护性. Statement的sql拼接是个难题。
  2. PreparedStatement 可以防止 SQL 注入
  3. PreparedStatement 可以处理Blob类型的数据
  4. PreparedStatement 能最大可能提高性能:OraclePostgreSQL8是这样,但是对于MySQL不一定比Statement高)
    1. DBServer会对预编译语句提供性能优化。因为预编译语句有可能被重复调用,所以语句在被DBServer的编译器编译后的执行代码被缓存下来,那么下次调用时只要是相同的预编译语句就不需要编译,只要将参数直接传入编译过的语句执行代码中就会得到执行。

4、JDBC 取得数据库自动生成的主键

获取自增长的键值:

(1)在创建PreparedStatement对象时

原来:

PreparedStatement pst = conn.preparedStatement(sql);

现在:

PreparedStatement pst = conn.prepareStatement(orderInsert,Statement.RETURN_GENERATED_KEYS);

(2)原来执行更新

原来:

 int len = pst.executeUpdate();      

 现在:

int len = pst.executeUpdate();

ResultSet rs = pst.getGeneratedKeys();

if(rs.next()){

         Object key = rs.getObject(第几列);//获取自增长的键值

}      

package com.atguigu.preparedstatement;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.ResultSet;

import java.sql.Statement;

import java.util.Scanner;

public class TestGenerateKey {

    public static void main(String[] args) throws Exception{

        Scanner input = new Scanner(System.in);

        System.out.println("请输入姓名:");

        String name = input.nextLine();

       

        System.out.println("请输入手机号码:");

        String tel = input.nextLine();

       

        System.out.println("请输入性别:");

        String gender = input.nextLine();

       

        System.out.println("请输入薪资:");

        double salary = input.nextDouble();

       

        System.out.println("请输入部门编号:");

        int did = input.nextInt();

       

        //1、连接数据库

        Class.forName("com.mysql.jdbc.Driver");

       

        String url = "jdbc:mysql://localhost:3306/test";

        String user = "root";

        String password = "123456";

        Connection conn = DriverManager.getConnection(url, user, password);

        //2、编写带?的SQL

        String sql = "INSERT INTO t_employee (ename,tel,gender,salary,did) VALUES(?,?,?,?,?)";

       

        // 3、准备一个PreparedStatement:预编译sql

//      执行添加语句,如果需要获取自增长的键值,那么在此处要告知mysql服务器,在创建PreparedStatement对象时,增加一个参数

        //autoGeneratedKeys - 指示是否应该返回自动生成的键的标志,它是 Statement.RETURN_GENERATED_KEYS 或 Statement.NO_GENERATED_KEYS 之一

        PreparedStatement pst = conn.prepareStatement(sql,Statement.RETURN_GENERATED_KEYS);

       

        // 4、把?用具体的值进行代替

        pst.setString(1, name);

        pst.setString(2, tel);

        pst.setString(3, gender);

        pst.setDouble(4, salary);

        pst.setInt(5, did);

        // 5、执行sql

        int len = pst.executeUpdate();

        System.out.println(len>0?"添加成功":"添加失败");

       

        ResultSet rs = pst.getGeneratedKeys();

        if(rs.next()){

             System.out.println("新员工编号是:" + rs.getObject(1));

        }

        // 6、释放资源

        pst.close();

        conn.close();

    }

}

五、事务

JDBC程序中当一个连接对象被创建时,默认情况下是自动提交事务:每次执行一个 SQL 语句时,如果执行成功,就会向数据库自动提交,而不能回滚。

JDBC程序中为了让多个 SQL 语句作为一个事务执行:(重点)

  1. 调用 Connection 对象的 setAutoCommit(false); 以取消自动提交事务
  2. 在所有的 SQL 语句都成功执行后,调用 commit(); 方法提交事务
  3. 在其中某个操作失败或出现异常时,调用 rollback(); 方法回滚事务
  4. 若此时 Connection 没有被关闭, 则需要恢复其自动提交状态 setAutoCommit(true);

注意:

如果多个操作,每个操作使用的是自己单独的连接,则无法保证事务。即同一个事务的多个操作必须在同一个连接下

package com.atguigu.transaction;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.SQLException;

public class TestTransaction {

    public static void main(String[] args){

        Connection conn = null;

        try {

             //1、连接数据库

             Class.forName("com.mysql.jdbc.Driver");

             String url = "jdbc:mysql://localhost:3306/test";

             String user = "root";

             String password = "123456";

             conn = DriverManager.getConnection(url, user, password);

             //设置手动提交

             conn.setAutoCommit(false);

             String sql1 = "update t_department set description = ? where did = ?";

             PreparedStatement pst1 = conn.prepareStatement(sql1);

             pst1.setObject(1, "挣大钱的");

             pst1.setObject(2, 4);

             int len1 = pst1.executeUpdate();

             System.out.println(len1>0?"更新部门信息成功":"更新部门信息失败");

             pst1.close();

            

             String sql2 = "update t_employee set salary = salary + ? where did = ?";

             PreparedStatement pst2 = conn.prepareStatement(sql2);

             pst2.setObject(1, 20000);

             pst2.setObject(2, 4);

             int len2 = pst2.executeUpdate();

             System.out.println(len2>0?"更新部门信息成功":"更新部门信息失败");

             pst2.close();

            

             conn.commit();

        }catch (Exception e) {

             try {

                 if(conn!=null){

                     conn.rollback();

                 }

             } catch (SQLException e1) {

                 e1.printStackTrace();

             }

        } finally{

             try {

                 if(conn!=null){

                     //恢复自动提交

                     conn.setAutoCommit(true);

                     //释放连接

                     conn.close();

                 }

             } catch (SQLException e) {

                 e.printStackTrace();

             }

        }

    }

}

六、批处理

当需要成批插入或者更新记录时。可以采用Java的批量更新机制,这一机制允许多条语句一次性提交给数据库批量处理。通常情况下比单独提交处理更有效率。

JDBC的批量处理语句包括下面两个方法:

  1. addBatch():添加需要批量处理的SQL语句或参数
  2. executeBatch():执行批量处理语句;
  3. clearBatch():清空批处理包的语句

通常我们会遇到两种批量执行SQL语句的情况:

  1. 多条SQL语句的批量处理;
  2. 一个SQL语句的批量传参注意:JDBC连接MySQL时,如果要使用批处理功能,请再url中加参数?rewriteBatchedStatements=truePreparedStatement作批处理插入时使用values(使用value没有效果)
package com.atguigu.preparedstatement;import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;import org.junit.Test;public class TestBatch {@Testpublic void noBatch()throws Exception{Class.forName("com.mysql.jdbc.Driver");String url = "jdbc:mysql://localhost:3306/test";String user = "root";String password = "123456";Connection conn = DriverManager.getConnection(url, user, password);String sql = "INSERT INTO t_department(dname,description) VALUES(?,?)";PreparedStatement st = conn.prepareStatement(sql);for(int i=0; i<1000; i++){st.setString(1, "测试部门" + i);st.setString(2, "测试部门描述"  + i);st.executeUpdate();}st.close();conn.close();}@Testpublic void useBatch()throws Exception{Class.forName("com.mysql.jdbc.Driver");String url = "jdbc:mysql://localhost:3306/test?rewriteBatchedStatements=true";String user = "root";String password = "123456";Connection conn = DriverManager.getConnection(url, user, password);String sql = "INSERT INTO t_department(dname,description) VALUES(?,?)";PreparedStatement st = conn.prepareStatement(sql);for(int i=0; i<1000; i++){st.setString(1, "测试部门" + i);st.setString(2, "测试部门描述"  + i);st.addBatch();}st.executeBatch();st.close();conn.close();}
}

七、Blob类型数据的读写【选学】

MySQL中,BLOB是一个二进制大型对象,是一个可以存储大量数据的容器,它能容纳不同大小的数据。

MySQL的四种BLOB类型(除了在存储的最大信息量上不同外,他们是等同的)

实际使用中根据需要存入的数据大小定义不同的BLOB类型。
需要注意的是:如果存储的文件过大,数据库的性能会下降

八、数据库连接池

1、数据库连接池

(1)数据库连接池的必要性

不使用数据库连接池存在的问题:

  1. 普通的JDBC数据库连接使用 DriverManager 来获取,每次向数据库建立连接的时候都要将 Connection 加载到内存中,再验证IP地址,用户名和密码(得花费0.05s~1s的时间)。需要数据库连接的时候,就向数据库要求一个,执行完成后再断开连接。这样的方式将会消耗大量的资源和时间。数据库的连接资源并没有得到很好的重复利用.若同时有几百人甚至几千人在线,频繁的进行数据库连接操作将占用很多的系统资源,严重的甚至会造成服务器的崩溃。
  2. 对于每一次数据库连接,使用完后都得断开。否则,如果程序出现异常而未能关闭,将会导致数据库系统中的内存泄漏,最终将导致重启数据库。
  3. 这种开发不能控制被创建的连接对象数,系统资源会被毫无顾及的分配出去,如连接过多,也可能导致内存泄漏,服务器崩溃

为解决传统开发中的数据库连接问题,可以采用数据库连接池技术(connection pool

数据库连接池的基本思想就是为数据库连接建立一个“缓冲池”。预先在缓冲池中放入一定数量的连接,当需要建立数据库连接时,只需从“缓冲池”中取出一个,使用完毕之后再放回去。数据库连接池负责分配、管理和释放数据库连接,它允许应用程序重复使用一个现有的数据库连接,而不是重新建立一个。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数,当应用程序向连接池请求的连接数超过最大连接数量时,这些请求将被加入到等待队列中。

数据库连接池技术的优点:

  1. 资源重用:
    1. 由于数据库连接得以重用,避免了频繁创建,释放连接引起的大量性能开销。在减少系统消耗的基础上,另一方面也增加了系统运行环境的平稳性。
  2. 更快的系统反应速度
    1. 数据库连接池在初始化过程中,往往已经创建了若干数据库连接置于连接池中备用。此时连接的初始化工作均已完成。对于业务请求处理而言,直接利用现有可用连接,避免了数据库连接初始化和释放过程的时间开销,从而减少了系统的响应时间
  3. 新的资源分配手段
    1. 对于多应用共享同一数据库的系统而言,可在应用层通过数据库连接池的配置,实现某一应用最大可用数据库连接数的限制,避免某一应用独占所有的数据库资源
  4. 统一的连接管理,避免数据库连接泄露
    1. 在较为完善的数据库连接池实现中,可根据预先的占用超时设定,强制回收被占用连接,从而避免了常规数据库连接操作中可能出现的资源泄露

2)多种开源的数据库连接池

JDBC 的数据库连接池使用 javax.sql.DataSource 来表示,DataSource 只是一个接口,该接口通常由服务器(Weblogic, WebSphere, Tomcat)提供实现,也有一些开源组织提供实现:

  1. DBCP 是Apache提供的数据库连接池,速度相对c3p0较快,但因自身存在BUG,Hibernate3已不再提供支持
  2. C3P0 是一个开源组织提供的一个数据库连接池,速度相对较慢,稳定性还可以
  3. Proxool 是sourceforge下的一个开源项目数据库连接池,有监控连接池状态的功能,稳定性较c3p0差一点
  4. BoneCP 是一个开源组织提供的数据库连接池,速度快
  5. Druid 是阿里提供的数据库连接池,据说是集DBCP 、C3P0 、Proxool 优点于一身的数据库连接池,但是速度不知道是否有BoneCP快

DataSource 通常被称为数据源,它包含连接池和连接池管理两个部分,习惯上也经常把 DataSource 称为连接池

注意:

  1. 数据源和数据库连接不同,数据源无需创建多个,它是产生数据库连接的工厂,因此整个应用只需要一个数据源即可。
  2. 当数据库访问结束后,程序还是像以前一样关闭数据库连接:conn.close(); 但conn.close()并没有关闭数据库的物理连接,它仅仅把数据库连接释放,归还给了数据库连接池。

(3)Druid(德鲁伊)数据源

 Druid是阿里巴巴开源平台上一个数据库连接池实现,它结合了C3P0、DBCP、Proxool等DB池的优点,同时加入了日志监控,可以很好的监控DB池连接和SQL的执行情况,可以说是针对监控而生的DB连接池,据说是目前最好的连接池

package com.atguigu.druid;

import java.sql.Connection;

import java.util.Properties;

import javax.sql.DataSource;

import com.alibaba.druid.pool.DruidDataSourceFactory;

public class TestDruid {

    public static void main(String[] args) throws Exception {

        Properties pro = new Properties();

        pro.load(TestDruid.class.getClassLoader().getResourceAsStream("druid.properties"));

        DataSource ds = DruidDataSourceFactory.createDataSource(pro);

        Connection conn = ds.getConnection();

        System.out.println(conn);

    }

}

url=jdbc:mysql://localhost:3306/test?rewriteBatchedStatements=true

username=root

password=123456

driverClassName=com.mysql.jdbc.Driver

initialSize=10

maxActive=20

maxWait=1000

filters=wall

详细配置参数:

配置

缺省

说明

name

配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。 如果没有配置,将会生成一个名字,格式是:”DataSource-” + System.identityHashCode(this)

jdbcUrl

连接数据库的url,不同数据库不一样。例如:mysql : jdbc:mysql://10.20.153.104:3306/druid2 oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto

username

连接数据库的用户名

password

连接数据库的密码。如果你不希望密码直接写在配置文件中,可以使用ConfigFilter。详细看这里:https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter

driverClassName

根据url自动识别 这一项可配可不配,如果不配置druid会根据url自动识别dbType,然后选择相应的driverClassName(建议配置下)

initialSize

0

初始化时建立物理连接的个数。初始化发生在显示调用init方法,或者第一次getConnection时

maxActive

8

最大连接池数量

maxIdle

8

已经不再使用,配置了也没效果

minIdle

最小连接池数量

maxWait

获取连接时最大等待时间,单位毫秒。配置了maxWait之后,缺省启用公平锁,并发效率会有所下降,如果需要可以通过配置useUnfairLock属性为true使用非公平锁。

poolPreparedStatements

false

是否缓存preparedStatement,也就是PSCache。PSCache对支持游标的数据库性能提升巨大,比如说oracle。在mysql下建议关闭。

maxOpenPreparedStatements

-1

要启用PSCache,必须配置大于0,当大于0时,poolPreparedStatements自动触发修改为true。在Druid中,不会存在Oracle下PSCache占用内存过多的问题,可以把这个数值配置大一些,比如说100

validationQuery

用来检测连接是否有效的sql,要求是一个查询语句。如果validationQuery为null,testOnBorrow、testOnReturn、testWhileIdle都不会其作用。

testOnBorrow

true

申请连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能。

testOnReturn

false

归还连接时执行validationQuery检测连接是否有效,做了这个配置会降低性能

testWhileIdle

false

建议配置为true,不影响性能,并且保证安全性。申请连接的时候检测,如果空闲时间大于timeBetweenEvictionRunsMillis,执行validationQuery检测连接是否有效。

timeBetweenEvictionRunsMillis

有两个含义: 1)Destroy线程会检测连接的间隔时间2)testWhileIdle的判断依据,详细看testWhileIdle属性的说明

numTestsPerEvictionRun

不再使用,一个DruidDataSource只支持一个EvictionRun

minEvictableIdleTimeMillis

connectionInitSqls

物理连接初始化的时候执行的sql

exceptionSorter

根据dbType自动识别 当数据库抛出一些不可恢复的异常时,抛弃连接

filters

属性类型是字符串,通过别名的方式配置扩展插件,常用的插件有: 监控统计用的filter:stat日志用的filter:log4j防御sql注入的filter:wall

proxyFilters

类型是List,如果同时配置了filters和proxyFilters,是组合关系,并非替换关系

2、ThreadLocal【了解】

JDK 1.2的版本中就提供java.lang.ThreadLocal,ThreadLocal为解决多线程程序的并发问题提供了一种新的思路。使用这个工具类可以很简洁地编写出优美的多线程程序。

ThreadLocal用于保存某个线程共享变量,原因是在Java中,每一个线程中都有一个ThreadLocalMap<ThreadLocal, Object>,其key就是一个ThreadLocal,而Object即为该线程的共享变量。而这个map是通过ThreadLocal的set和get方法操作的。对于同一个static ThreadLocal,不同线程只能从中get,set,remove自己的变量,而不会影响其他线程的变量。

1、ThreadLocal.get: 获取ThreadLocal中当前线程共享变量的值。

2、ThreadLocal.set: 设置ThreadLocal中当前线程共享变量的值。

3、ThreadLocal.remove: 移除ThreadLocal中当前线程共享变量的值。

4、ThreadLocal.initialValue: ThreadLocal没有被当前线程赋值时或当前线程刚调用remove方法后调用get方法,返回此方法值。

3、封装JDBCTools

package com.atguigu.util;

import java.sql.Connection;

import java.sql.SQLException;

import java.util.Properties;

import javax.sql.DataSource;

import com.alibaba.druid.pool.DruidDataSourceFactory;

/*

 * 获取连接或释放连接的工具类

 */

public class JDBCTools {

    // 1、数据源,即连接池

    private static DataSource dataSource;

   

    // 2、ThreadLocal对象

    private static ThreadLocal<Connection> threadLocal;

    static {

        try {

             //1、读取druip.properties文件

             Properties pro = new Properties();

             pro.load(JDBCTools.class.getClassLoader().getResourceAsStream("druid.properties"));

            

             //2、连接连接池

             dataSource = DruidDataSourceFactory.createDataSource(pro);

             //3、创建线程池

             threadLocal = new ThreadLocal<>();

        } catch (Exception e) {

             e.printStackTrace();

        }

    }

    /**

     * 获取连接的方法

     *

     * @return

     * @throws SQLException

     */

    public static Connection getConnection() {

        // 从当前线程中获取连接

        Connection connection = threadLocal.get();

        if (connection == null) {

             // 从连接池中获取一个连接

             try {

                 connection = dataSource.getConnection();

                 // 将连接与当前线程绑定

                 threadLocal.set(connection);

             } catch (SQLException e) {

                 e.printStackTrace();

             }

        }

        return connection;

    }

    /**

     * 释放连接的方法

     *

     * @param connection

     */

    public static void releaseConnection() {

        // 获取当前线程中的连接

        Connection connection = threadLocal.get();

        if (connection != null) {

             try {

                 connection.close();

                 // 将已经关闭的连接从当前线程中移除

                 threadLocal.remove();

             } catch (SQLException e) {

                 e.printStackTrace();

             }

        }

    }

}

九、Apache—DBUtils简介

commons-dbutils 是 Apache 组织提供的一个开源 JDBC工具类库,它是对JDBC的简单封装,学习成本极低,并且使用dbutils能极大简化jdbc编码的工作量,同时也不会影响程序的性能

DbUtils :提供如关闭连接、装载JDBC驱动程序等常规工作的工具类,里面的所有方法都是静态的。主要方法如下:

  1. public static void close(…) throws java.sql.SQLException: DbUtils类提供了三个重载的关闭方法。这些方法检查所提供的参数是不是NULL,如果不是的话,它们就关闭Connection、Statement和ResultSet。
  2. public static void closeQuietly(…): 这一类方法不仅能在Connection、Statement和ResultSet为NULL情况下避免关闭,还能隐藏一些在程序中抛出的SQLEeception。
  3. public static void commitAndClose(Connection conn)throws SQLException 用来提交连接的事务,然后关闭连接
  4. public static void commitAndCloseQuietly(Connection conn): 用来提交连接的事务,然后关闭连接,并且在关闭连接时不抛出SQL异常。
  5. public static void rollback(Connection conn)throws SQLException允许conn为null,因为方法内部做了判断
  6. public static void rollbackAndClose(Connection conn)throws SQLException
  7. rollbackAndCloseQuietly(Connection)
  8. public static boolean loadDriver(java.lang.String driverClassName):这一方装载并注册JDBC驱动程序,如果成功就返回true。使用该方法,你不需要捕捉这个异常ClassNotFoundException。

2、QueryRunner类

该类封装了SQL的执行,是线程安全的。

  1. 可以实现增、删、改、查、批处理、
  2. 考虑了事务处理需要共用Connection

3)该类最主要的就是简单化了SQL查询,它与ResultSetHandler组合在一起使用可以完成大部分的数据库操作,能够大大减少编码量。

QueryRunner类提供了两个构造方法:

  1. QueryRunner():默认的构造方法
  2. QueryRunner(DataSource ds):需要一个 javax.sql.DataSource 来作参数的构造方法。

(1)更新

  1. public int update(Connection conn, String sql, Object... params) throws SQLException:用来执行一个更新(插入、更新或删除)操作。
  2. ......

(2)插入

  1. public <T> T insert(Connection conn,String sql,ResultSetHandler<T> rsh, Object... params) throws SQLException:只支持INSERT语句,其中 rsh - The handler used to create the result object from the ResultSet of auto-generated keys.  返回值: An object generated by the handler.即自动生成的键值
  2. ....

(3)批处理

  1. public int[] batch(Connection conn,String sql,Object[][] params)throws SQLException: INSERT, UPDATE, or DELETE语句
  2. public <T> T insertBatch(Connection conn,String sql,ResultSetHandler<T> rsh,Object[][] params)throws SQLException:只支持INSERT语句
  3. .....

(4)使用QueryRunner类实现查询

  1. public Object query(Connection conn, String sql, ResultSetHandler rsh,Object... params) throws SQLException:执行一个查询操作,在这个查询中,对象数组中的每个元素值被用来作为查询语句的置换参数。该方法会自行处理 PreparedStatement 和 ResultSet 的创建和关闭。
  2. ...... 

3、ResultSetHandler接口

该接口用于处理 java.sql.ResultSet,将数据按要求转换为另一种形式。ResultSetHandler 接口提供了一个单独的方法:Object handle (java.sql.ResultSet  rs)该方法的返回值将作为QueryRunner类的query()方法的返回值。

该接口有如下实现类可以使用:

  1. ArrayHandler:把结果集中的第一行数据转成对象数组。
  2. ArrayListHandler:把结果集中的每一行数据都转成一个数组,再存放到List中。
  3. BeanHandler:将结果集中的第一行数据封装到一个对应的JavaBean实例中。
  4. BeanListHandler:将结果集中的每一行数据都封装到一个对应的JavaBean实例中,存放到List里。
  5. ColumnListHandler:将结果集中某一列的数据存放到List中。
  6. KeyedHandler(name):将结果集中的每一行数据都封装到一个Map里,再把这些map再存到一个map里,其key为指定的key。
  7. MapHandler:将结果集中的第一行数据封装到一个Map里,key是列名,value就是对应的值。
  8. MapListHandler:将结果集中的每一行数据都封装到一个Map里,然后再存放到List

4、表与JavaBean

int,double等在Java中都用包装类,因为mysql中的所有类型都可能是NULL,而Java只有引用数据类型才有NULL值

public class Employee {

        private Integer eid;

        private String ename;

        private String tel;

        private String gender;//mysql中用char,在Java中也要用String

        private Double salary;

        private Double commissionPct;

        private Date birthday;//此处用String或Date

        private Date hiredate;

        private Integer jobId;

        private String email;

        private Integer mid;

        private String address;

        private String nativePlace;

        private Integer did;

...

}

通过给列取别名的方式,来告知数据库的列名与其对应实体的属性名

 5.示例代码

package com.atguigu.apache.dbutils;import java.util.List;
import java.util.Map;import org.apache.commons.dbutils.QueryRunner;
import org.apache.commons.dbutils.handlers.BeanHandler;
import org.apache.commons.dbutils.handlers.BeanListHandler;
import org.apache.commons.dbutils.handlers.MapListHandler;
import org.apache.commons.dbutils.handlers.ScalarHandler;
import org.junit.Test;import com.atguigu.bean.Book;
import com.atguigu.util.JDBCTools;public class TestDBUtils {QueryRunner qr = new QueryRunner();@Testpublic void testUpdate() throws Exception {Book book = new Book(0, "红楼梦", "曹雪芹", 88.8, 0, 200, null);// 写sql语句String sql = "insert into books(title,author,price,sales,stock,img_path) values(?,?,?,?,?,?)";qr.update(JDBCTools.getConnection(), sql, book.getTitle(), book.getAuthor(), book.getPrice(), book.getSales(),book.getStock(), book.getImgPath());}@Testpublic void testInsert() throws Exception {Book book = new Book(0, "红楼梦", "曹雪芹", 88.8, 0, 200, null);// 写sql语句String sql = "insert into books(title,author,price,sales,stock,img_path) values(?,?,?,?,?,?)";Long id = qr.insert(JDBCTools.getConnection(), sql, new ScalarHandler<Long>(), book.getTitle(),book.getAuthor(), book.getPrice(), book.getSales(), book.getStock(), book.getImgPath());System.out.println("新书编号:" + id);}@Testpublic void testBatch() throws Exception {Object[][] params = new Object[2][3];params[0][0] = 1;params[0][1] = 1;params[0][2] = 1;params[1][0] = 1;params[1][1] = 1;params[1][2] = 2;String sql = "update books set sales = sales + ? , stock = stock - ? where id = ?";qr.batch(JDBCTools.getConnection(), sql, params);}@Testpublic void testGetBean() throws Exception {// 写sql语句// 当JavaBean的属性名与字段名不一致时,可以通过指定别名告知属性名String sql = "select id,title,author,price,sales,stock,img_path imgPath from books where id = ?";Book b = qr.query(JDBCTools.getConnection(), sql, new BeanHandler<Book>(Book.class), 2);System.out.println(b);}@Testpublic void testGetBeanList() throws Exception {// 写sql语句// 当JavaBean的属性名与字段名不一致时,可以通过指定别名告知属性名String sql = "select id,title,author,price,sales,stock,img_path imgPath from books where price between ? and ? ";List<Book> list = qr.query(JDBCTools.getConnection(), sql, new BeanListHandler<Book>(Book.class), 10, 20);for (Book b : list) {System.out.println(b);}}@Testpublic void testGetSingleValue() throws Exception {// 获取数据库中图书的总记录数String sql = "select count(*) from books";Long count = qr.query(JDBCTools.getConnection(), sql,  new ScalarHandler<Long>());System.out.println(count);}@Testpublic void testGetMap() throws Exception {String sql = "SELECT user_id userId,COUNT(*) FROM `orders` GROUP BY user_id";List<Map<String, Object>> list = qr.query(JDBCTools.getConnection(), sql, new MapListHandler());for (Map<String, Object> map : list) {System.out.println(map);}}
}
package com.atguigu.bean;public class Book {private Integer id;private String title;private String author;private Double price;private Integer sales;private Integer stock;private String imgPath ="static/img/default.jpg";public Book(Integer id, String title, String author, Double price, Integer sales, Integer stock, String imgPath) {super();this.id = id;this.title = title;this.author = author;this.price = price;this.sales = sales;this.stock = stock;if(imgPath != null){this.imgPath = imgPath;}}public Book() {super();}public Integer getId() {return id;}public void setId(Integer id) {this.id = id;}public String getTitle() {return title;}public void setTitle(String title) {this.title = title;}public String getAuthor() {return author;}public void setAuthor(String author) {this.author = author;}public Double getPrice() {return price;}public void setPrice(Double price) {this.price = price;}public Integer getSales() {return sales;}public void setSales(Integer sales) {this.sales = sales;}public Integer getStock() {return stock;}public void setStock(Integer stock) {this.stock = stock;}public String getImgPath() {return imgPath;}public void setImgPath(String imgPath) {this.imgPath = imgPath;}@Overridepublic String toString() {return "Book [id=" + id + ", title=" + title + ", author=" + author + ", price=" + price + ", sales=" + sales+ ", stock=" + stock + ", imgPath=" + imgPath + "]";}}

这篇关于JDBC |封装JDBCUtils|PreparedStatement|事务|批处理|数据库连接池| Blob类型数据的读写|Apache—DBUtils简介的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123892

相关文章

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明(认真看哦) AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证,则会调用 #attemptAuthentica

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

10. 文件的读写

10.1 文本文件 操作文件三大类: ofstream:写操作ifstream:读操作fstream:读写操作 打开方式解释ios::in为了读文件而打开文件ios::out为了写文件而打开文件,如果当前文件存在则清空当前文件在写入ios::app追加方式写文件ios::trunc如果文件存在先删除,在创建ios::ate打开文件之后令读写位置移至文件尾端ios::binary二进制方式

MySQL数据库宕机,启动不起来,教你一招搞定!

作者介绍:老苏,10余年DBA工作运维经验,擅长Oracle、MySQL、PG、Mongodb数据库运维(如安装迁移,性能优化、故障应急处理等)公众号:老苏畅谈运维欢迎关注本人公众号,更多精彩与您分享。 MySQL数据库宕机,数据页损坏问题,启动不起来,该如何排查和解决,本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志,排查哪个表(表空间

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi