java基础练习（使用java实现跨库数据调度ETL）

2023-11-03 22:12
文章标签 java 基础 数据 实现 使用 练习 调度 etl 跨库

本文主要是介绍java基础练习（使用java实现跨库数据调度ETL），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介

        本文写一篇关于java库与库之间的数据传输，现实生产中可能是通过其他方式完成，在没有架构的基础上使用java实现跨库的数据传送，非常不便利。但是作为练习我觉得确实非常有用，涉及的java知识点相对较多。本文以一个实列讲解，一个思考留给学习的粉丝就行后续实操锻炼。

实操准备

数据库表名链接url
数据源Oracle-19cdm.book 
jdbc:oracle:thin:@//localhost:1521/ORCL
目标源postgresql-15.2main.book 
jdbc:postgresql://10.0.0.199:6432/postgres

配置JDBC驱动

        通过dbeaver找到想要的驱动信息，也算是开发的一个小tips;        

通过dbeaver链接的对应的源库和目标库，如何能正常连接，使用dbeaver连接的JDBC驱动就好了。

        点击编辑驱动，

        记住这里的类名和url模板。然后点击库，会出现一些JDBC包

将以上的jar复制到idea当前所创建的project下的lib目录中

 

此时JDBC依赖包就创建完成了

创建测试数据

        在源数据中创建一个有数据的表，用于将数据调度到postgresql数据库中去

create table dm.book(ID varchar2(50), name varchar2(50), author varchar2(50), 	price number(10,3), public_inc varchar2(50));INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('0A2H3IW92I3JQU10S83OQ8O3B4IS8U4H', '镜花缘', '李汝珍', 29.4, '人民文学出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('N4H1KS83HSI3HQ9DH33EBSSDIDCJ32C3', '山海经', '厚朴', 56.9, '古文出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('B3JSI38AU4JD94KWIW9SHERF3FEV39SD', '玉观音', '海岩', 54.3, '广东文旅出版集团');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('11afb0ddf43a4ee59aadf380c1f15ad5', '活着', '余华', 23.43, '中华书局');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('6d14bb33654a46e686be7e49d4fae396', '三国演义', '罗贯中', 126.81, '人民文学出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('0364d4b04387497a917e5e1dd6d8c96c', '红楼梦', '曹雪芹', 133.54, '人民文学出版社');
INSERT INTO dm.book
(ID, name, author, price, public_inc)
VALUES('044a980718124da894fdd70f37006d13', '水浒传', '施耐庵', 98.64, '上海美术出版社');

编辑代码

        为了完成以上的代码业务需求，我们代码分成三个文件完成

1，创建一个实体类，在java中用于存储表结构的数据，

2，核心逻辑代码，也就整个完成主体调度ETL的主题代码。

3，调用代码

一 ，创建实体类


public class book {private String id ;private String name;private String author;private double price;private String public_inc;//以下代码都是自动生成的，只需要把以上的代码编辑完成，然后生成getter，setter。public book(String id, String name, String author, double price, String public_inc) {this.id = id;this.name = name;this.author = author;this.price = price;this.public_inc = public_inc;}public book() {}public String getId() {return id;}public void setId(String id) {this.id = id;}public String getName() {return name;}public void setName(String name) {this.name = name;}public String getAuthor() {return author;}public void setAuthor(String author) {this.author = author;}public double getPrice() {return price;}public void setPrice(double price) {this.price = price;}public String getPublic_inc() {return public_inc;}public void setPublic_inc(String public_inc) {this.public_inc = public_inc;}
}

 实体类中创建了变量的数据类型就需要自动生成其然后生成getter，setter以及构造方法和无参构造方法

 依次点击构造方法，getter and setter.

         构造方法创建两个，一个无参，一个有参。

        完成这两个操作之后，我们的实体类就创建完成了。

实体类的三大特点：

        属性封装：实体类通常会使用private修饰符来保护属性不被直接访问，只通过提供的getter和setter方法来获取或设置属性的值。
        数据操作：实体类通常会包含一些数据操作的方法，如插入、删除、修改等，以便在业务逻辑中进行数据处理。
        对象实例化：使用实体类可以方便地创建业务模型中的对象实例。
        实体类主要适用于存储数据库多行多列的表结构数据。

二，核心逻辑代码

//在下问代码编辑中会提示生成所需的import，只需要点击即可。
import java.sql.*;
import java.util.ArrayList;
import java.util.List;
//创建类名，自定义，本文使用的text
public class text {
//创建main方法public static int main(String[] args) {
//定义目标数据据的urlString pgurl= "jdbc:postgresql://10.0.0.199:6432/postgres" ;
//创建一个名为ResultSql，数据类型为自定义的book的变量,用于装在表的结构化数据，其表的数据类型必须是自定义实体类book所有的List<book> ResultSql = new ArrayList<>();//定义一个源数据库oracle的urlString orclusrl="jdbc:oracle:thin:@//localhost:1521/ORCL";try {//第一步加载源数据库的urlClass.forName("oracle.jdbc.driver.OracleDriver");//使用JDBC的DriverManager类的getConnection()方法建立到指定数据库的连接Connection connection = DriverManager.getConnection(orclusrl, "system", "system");//使用Connection对象的createStatement()方法创建一个新的Statement对象。这个对象可以用来执行各种类型的SQL语句，包括查询、更新、删除等。Statement statement = connection.createStatement();
//使用Statement对象的executeQuery()方法执行SQL查询语句，并将结果集存储在ResultSet对象rs中。ResultSet rs = statement.executeQuery("select id, name, author, price, public_inc from dm.book");//while(rs.next()){是一个while循环，它会一直重复，直到结果集中没有更多的行。每次迭代都会使光标向下移动一行，以便读取下一组数据while(rs.next()){//它们创建了一个新的Book对象，book A = new book();//并通过ResultSet的getString()和getDouble()方法将每一列的数据提取出来，分别赋值给Book对象的属性。A.setId(rs.getString("id"));A.setName(rs.getString("name"));A.setAuthor(rs.getString("author"));A.setPrice(rs.getDouble("price"));A.setPublic_inc(rs.getString("public_inc"));//将这个Book对象添加到了ResultSql集合中。ResultSql.add(A);}//关闭Statement对象statement.close();//关闭链接connection.close();} catch (SQLException e) {e.printStackTrace();} catch (ClassNotFoundException e) {e.printStackTrace();}//定义变量i用于接受下文executeUpdate方法的返回值int i = 0;try {//加载postgresql的JDBC驱动Class.forName("org.postgresql.Driver");//创建与postgresql的数据库链接Connection connection = DriverManager.getConnection(pgurl, "readywrite", "readywrite");//使用Connection对象的prepareStatement()方法创建一个PreparedStatement对象。这里的sql参数表示要执行的SQL语句，可以带有占位符，String sql="insert into main.book(id, name, author, price, public_inc) values (?,?,?,?,?)";//使用Connection对象的prepareStatement()方法创建一个PreparedStatement对象。这里的sql参数表示要执行的SQL语句PreparedStatement preparedStatement = connection.prepareStatement(sql);//是一个for-each循环，它会对ResultSql集合中的每个元素进行迭代。直到结果集中没有更多的行。每次迭代都会使光标向下移动一行，以便读取下一组数据for (book A:ResultSql){//在循环体内。它们将当前Book对象的每个属性的值设置到PreparedStatement对象对应的占位符上。// 这里的setString()和setDouble()方法是用来设置非二进制类型的数据；// 对于二进制类型的数据，则需要使用setBinaryStream()、setBlob()、setBytes()、setCharacterStream()、// setClob()、setNCharacterStream()、setNClob()、setObject()、setRef()、setRowId()、setSQLXML()等方法。preparedStatement.setString(1,A.getId());preparedStatement.setString(2,A.getName());preparedStatement.setString(3,A.getAuthor());preparedStatement.setDouble(4,A.getPrice());preparedStatement.setString(5,A.getPublic_inc());//使用PreparedStatement对象的executeUpdate()方法执行SQL插入语句，返回受影响的行数。//此处一个是一个循环，所以每一此执行的都是一行，变量I的值也就是1.i = preparedStatement.executeUpdate();}preparedStatement.close();connection.close();} catch (SQLException e) {e.printStackTrace();} catch (ClassNotFoundException e) {e.printStackTrace();}return i;}
}

关键字讲解

在定义一个实体类属性的变量的时候 

固定格式：List<实体类名>  变量名 = new ArrayList<>();

line47    int i = 0;

定义了一个变量i，用于接受后面执行insert后的返回值，其返回值是0或者1；

思考：

        如何让这个变量I变成一个累计值。

line 54 

String sql="insert into main.book(id, name, author, price, public_inc) values (?,?,?,?,?)";

在定义一个SQL语句变量的时候里面使用了“？”，这个问号是一个占位符，用于

preparedStatement.setString方法的定位。

调用代码

import java.util.List;public class dy {public static void main(String[] args) {//在text的main方法的属性设置中，应为viod替换成了static int, 而这个int必须与代码中retrun I 返回值数据类型相同。//调用代码中设置了一个int类型的bk变量，用于接收text.main调用的返回值I。int bk = text.main(new String[]{"开始调用"});System.out.println(bk);}
}

         点击运行调用脚本

        到目标数据库中查看效果。 

        数据库展示正常。 

这篇关于java基础练习（使用java实现跨库数据调度ETL）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/341213。

相关文章

C++使用栈实现括号匹配的代码详解

C++使用栈实现括号匹配的代码详解

《C++使用栈实现括号匹配的代码详解》在编程中,括号匹配是一个常见问题,尤其是在处理数学表达式、编译器解析等任务时,栈是一种非常适合处理此类问题的数据结构,能够精确地管理括号的匹配问题,本文将通过C+... 目录引言问题描述代码讲解代码解析栈的状态表示测试总结引言在编程中，括号匹配是一个常见问题，尤其是在
阅读更多...
Java实现检查多个时间段是否有重合

Java实现检查多个时间段是否有重合

《Java实现检查多个时间段是否有重合》这篇文章主要为大家详细介绍了如何使用Java实现检查多个时间段是否有重合,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录流程概述步骤详解China编程步骤1：定义时间段类步骤2：添加时间段步骤3：检查时间段是否有重合步骤4：输出结果示例代码结语作
阅读更多...
Java中String字符串使用避坑指南

Java中String字符串使用避坑指南

《Java中String字符串使用避坑指南》Java中的String字符串是我们日常编程中用得最多的类之一,看似简单的String使用,却隐藏着不少“坑”,如果不注意,可能会导致性能问题、意外的错误容... 目录8个避坑点如下：1. 字符串的不可变性：每次修改都创建新对象2. 使用 == 比较字符串，陷阱满
阅读更多...
Java判断多个时间段是否重合的方法小结

Java判断多个时间段是否重合的方法小结

《Java判断多个时间段是否重合的方法小结》这篇文章主要为大家详细介绍了Java中判断多个时间段是否重合的方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录判断多个时间段是否有间隔判断时间段集合是否与某时间段重合判断多个时间段是否有间隔实体类内容public class D
阅读更多...
Python使用国内镜像加速pip安装的方法讲解

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip？2. 什么是 -i 参数？二、国内镜像源的选择三、如何
阅读更多...
使用C++实现链表元素的反转

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定
阅读更多...
IDEA编译报错“java: 常量字符串过长”的原因及解决方法

IDEA编译报错“java: 常量字符串过长”的原因及解决方法

《IDEA编译报错“java:常量字符串过长”的原因及解决方法》今天在开发过程中,由于尝试将一个文件的Base64字符串设置为常量,结果导致IDEA编译的时候出现了如下报错java:常量字符串过长,... 目录一、问题描述二、问题原因2.1 理论角度2.2 源码角度三、解决方案解决方案①：StringBui
阅读更多...
Linux使用nload监控网络流量的方法

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个
阅读更多...
Java覆盖第三方jar包中的某一个类的实现方法

Java覆盖第三方jar包中的某一个类的实现方法

《Java覆盖第三方jar包中的某一个类的实现方法》在我们日常的开发中,经常需要使用第三方的jar包,有时候我们会发现第三方的jar包中的某一个类有问题,或者我们需要定制化修改其中的逻辑,那么应该如何... 目录一、需求描述二、示例描述三、操作步骤四、验证结果五、实现原理一、需求描述需求描述如下：需要在
阅读更多...
Java中ArrayList和LinkedList有什么区别举例详解

Java中ArrayList和LinkedList有什么区别举例详解

《Java中ArrayList和LinkedList有什么区别举例详解》：本文主要介绍Java中ArrayList和LinkedList区别的相关资料,包括数据结构特性、核心操作性能、内存与GC影... 目录一、底层数据结构二、核心操作性能对比三、内存与 GC 影响四、扩容机制五、线程安全与并发方案六、工程
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2