linux上datax 安装以及使用

2024-08-24 18:04
文章标签 linux 安装 使用 datax

本文主要是介绍linux上datax 安装以及使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

DataX 是一款由阿里巴巴开源的数据同步工具,旨在帮助用户实现不同数据源之间的高效数据迁移和同步。无论是从传统的关系型数据库、NoSQL 数据库,还是到大数据存储系统,DataX 都能够轻松应对各种数据同步需求。通过简单的配置和灵活的插件机制,用户可以快速构建数据同步任务,实现数据的可靠传输和处理。DataX 的设计理念注重性能和可扩展性,同时保证数据同步过程的稳定性和数据一致性。

安装部署

安装部署主要有两种方式

  • 源码构建 (java环境(git jdk maven等))

    # git clone 源码下载  
    # 或者 通过DataX项目的release 页面下载最新的源码包 https://github.com/alibaba/DataX/releases
    git clone git@github.com:alibaba/DataX.git
    # 推荐jdk版本为1.8 jdk 版本大于16 是需要改动下源码 
    # 将项目中的引入到Record 的类 手动添加导包路径  不然可能被识别为jdk里的Record
    # import com.alibaba.datax.common.element.Record;
    # maven构建
    mvn -U clean package assembly:assembly -Dmaven.test.skip=true 
    # 打包成功后的DataX包位于 target/datax/datax/
    # {DataX_source_code_home}/target/datax/datax/ ,结构如下:

    在这里插入图片描述

  • 直接下载工具包 链接 https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar.gz

第二种 下载完成需要进行解压

tar -zxvf ./datax.tar.gz

使用

使用过程也比较简单

  • 编写job
  • 启动job执行
    # 需要python环境  我这里是 python3 命令
    python3 ./bin/datax.py ./job/job.json
    

例如说 我想从一个mysql 同步单张表的数据到另一个mysql中 那我可以编写如下job配置

{"job": {"setting": {"speed": {"channel": 1},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "数据库连接账号","password": "数据库连接密码","splitPk": "id","column":["需要同步的列数据 多个列 ,分割"],"connection": [{"table": ["待同步的表名"],"jdbcUrl": ["jdbc:mysql://数据库连接地址:3306/数据库名称?characterEncoding=utf8&useSSL=false"]}]}},"writer": {"name": "mysqlwriter","parameter": {"writeMode": "insert","username": "写入的数据库账号","password": "写入数据库密码","column":["写的数据表列明 多个,分割"],"preSql": ["前置执行语句例如先删除写入数据库的表数据 从头导入 delete from us_login_log"],"connection": [{"jdbcUrl": "jdbc:mysql://数据库连接得治:3306/数据库名称?characterEncoding=utf8&useSSL=false","table": ["同步的表名"]}]}}}]}
}

执行job

python3 ./bin/datax.py ./job/job.json

同步的过程中可以看到 传输的速度 以及条数
在这里插入图片描述
gc 日志

在这里插入图片描述

迁移完成

在这里插入图片描述

问题

启动job时 遇到 mac上datax启动 报错 配置信息错误,您提供的配置文件[/xx/datax/plugin/reader/.DS_Store/plugin.json]不存在

参数文章: https://blog.csdn.net/a15835774652/article/details/141398721


good day !!!

这篇关于linux上datax 安装以及使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1103209

相关文章

使用Python实现矢量路径的压缩、解压与可视化

《使用Python实现矢量路径的压缩、解压与可视化》在图形设计和Web开发中,矢量路径数据的高效存储与传输至关重要,本文将通过一个Python示例,展示如何将复杂的矢量路径命令序列压缩为JSON格式,... 目录引言核心功能概述1. 路径命令解析2. 路径数据压缩3. 路径数据解压4. 可视化代码实现详解1

Pandas透视表(Pivot Table)的具体使用

《Pandas透视表(PivotTable)的具体使用》透视表用于在数据分析和处理过程中进行数据重塑和汇总,本文就来介绍一下Pandas透视表(PivotTable)的具体使用,感兴趣的可以了解一下... 目录前言什么是透视表?使用步骤1. 引入必要的库2. 读取数据3. 创建透视表4. 查看透视表总结前言

Python 交互式可视化的利器Bokeh的使用

《Python交互式可视化的利器Bokeh的使用》Bokeh是一个专注于Web端交互式数据可视化的Python库,本文主要介绍了Python交互式可视化的利器Bokeh的使用,具有一定的参考价值,感... 目录1. Bokeh 简介1.1 为什么选择 Bokeh1.2 安装与环境配置2. Bokeh 基础2

Android使用ImageView.ScaleType实现图片的缩放与裁剪功能

《Android使用ImageView.ScaleType实现图片的缩放与裁剪功能》ImageView是最常用的控件之一,它用于展示各种类型的图片,为了能够根据需求调整图片的显示效果,Android提... 目录什么是 ImageView.ScaleType?FIT_XYFIT_STARTFIT_CENTE

Java学习手册之Filter和Listener使用方法

《Java学习手册之Filter和Listener使用方法》:本文主要介绍Java学习手册之Filter和Listener使用方法的相关资料,Filter是一种拦截器,可以在请求到达Servl... 目录一、Filter(过滤器)1. Filter 的工作原理2. Filter 的配置与使用二、Listen

Pandas使用AdaBoost进行分类的实现

《Pandas使用AdaBoost进行分类的实现》Pandas和AdaBoost分类算法,可以高效地进行数据预处理和分类任务,本文主要介绍了Pandas使用AdaBoost进行分类的实现,具有一定的参... 目录什么是 AdaBoost?使用 AdaBoost 的步骤安装必要的库步骤一:数据准备步骤二:模型

使用Pandas进行均值填充的实现

《使用Pandas进行均值填充的实现》缺失数据(NaN值)是一个常见的问题,我们可以通过多种方法来处理缺失数据,其中一种常用的方法是均值填充,本文主要介绍了使用Pandas进行均值填充的实现,感兴趣的... 目录什么是均值填充?为什么选择均值填充?均值填充的步骤实际代码示例总结在数据分析和处理过程中,缺失数

如何使用 Python 读取 Excel 数据

《如何使用Python读取Excel数据》:本文主要介绍使用Python读取Excel数据的详细教程,通过pandas和openpyxl,你可以轻松读取Excel文件,并进行各种数据处理操... 目录使用 python 读取 Excel 数据的详细教程1. 安装必要的依赖2. 读取 Excel 文件3. 读

解决Maven项目idea找不到本地仓库jar包问题以及使用mvn install:install-file

《解决Maven项目idea找不到本地仓库jar包问题以及使用mvninstall:install-file》:本文主要介绍解决Maven项目idea找不到本地仓库jar包问题以及使用mvnin... 目录Maven项目idea找不到本地仓库jar包以及使用mvn install:install-file基

最详细安装 PostgreSQL方法及常见问题解决

《最详细安装PostgreSQL方法及常见问题解决》:本文主要介绍最详细安装PostgreSQL方法及常见问题解决,介绍了在Windows系统上安装PostgreSQL及Linux系统上安装Po... 目录一、在 Windows 系统上安装 PostgreSQL1. 下载 PostgreSQL 安装包2.