linux部署安装DataX和DataX-Web

2024-05-14 11:20
文章标签 linux 部署 安装 web datax

本文主要是介绍linux部署安装DataX和DataX-Web,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.基础环境

JDK(1.8 及其以上都可以,推荐 1.8),安装过程略

Python(2 或者 3 都可以),安装过程略

Apache Maven 3.6.1+(只有DataX源码编译安装时需要)

1.1下载maven安装包

访问https://maven.apache.org/download.cgi下载官方安装包

1.2安装maven
#创建maven目录
mkdir -p /usr/local/maven
cd /usr/local/maven/#上传安装包至/usr/local/maven/# 解压
tar -zxvf apache-maven-3.9.6-bin.tar.gz
1.3配置maven环境变量
vim /etc/profile
#在文件末尾增加
MAVEN_HOME=/usr/local/maven/apache-maven-3.9.6/
PATH=$MAVEN_HOME/bin:$PATH
#保存退出后,重载配置
source /etc/profile#验证,查看maven版本
mvn -version
1.4配置 Maven 本地仓库
#新建本地库文件夹
mkdir -p /usr/local/maven/repository#编辑配置文件/usr/local/maven/apache-maven-3.9.6/conf/settings.xml
vim /usr/local/maven/apache-maven-3.9.6/conf/settings.xml
#在注释的localRepository节点后,增加
<localRepository>/usr/local/maven/repository</localRepository>
1.5配置仓库镜像

在 settings.xml 配置文件中找到 mirrors 节点,添加以下内容:

<!-- 阿里云仓库 -->
<mirror><id>alimaven</id><mirrorOf>central</mirrorOf><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>

1.6验证

mvn help:system

执行mvn help:system后会从mven仓库下载一些必须的插件,大概一分多钟,下载完成后会显示系统变量和环境变量。

2.安装DataX

访问https://github.com/alibaba/DataX下载工具包

#将下载好的安装包上传至/usr/local/#解压
tar -zxvf datax.tar.gz -C /usr/local/#自检脚本
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json

3.安装DataX-Web

3.1环境要求
  • MySQL (5.5+) 必选,对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库

  • JDK (1.8.0_xxx) 必选

  • Maven (3.6.1+) 必选

  • DataX 必选

  • Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件,替换文件在doc/datax-web/datax-python3下,网址https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3) 必选,主要用于调度执行底层DataX的启动脚本,默认的方式是以Java子进程方式执行DataX,用户可以选择以Python方式来做自定义的改造

3.2下载安装包

访问https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md,下载官方安装包

上传至/usr/local/

3.3安装
#解压
tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/
#执行安装脚本
/usr/local/datax-web-2.1.2/bin/install.sh --force
3.4数据库配置

在mysql中创建datax_web数据库,执行数据库脚本/bin/db/datax-web.sql

修改DataX-web的配置文件/usr/local/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

3.5配置python 脚本路径

编辑/usr/local/datax-web-2.1.2/modules/datax-executor/bin/env.properties

PYTHON_PATH=/usr/local/datax/bin/datax.py

3.6启动服务

/usr/local/datax-web-2.1.2/bin/start-all.sh#查看服务,出现DataXAdminApplication和DataXExecutorApplication进程,表示项目运行成功
jps
3.7访问UI界面

访问地址http://服务器IP:9527/index.html#/login?redirect=%2Fdashboard,其中9527为默认端口,默认账户信息:用户名 admin 密码 123456

4.常见问题

[DataX引擎配置错误,该问题通常是由于DataX安装错误引起,请联系您的运维解决 .].  - 在有总bps限速条件下,单个channel的bps值不能为空,也不能为非正数

编辑/usr/local/datax/conf/core.json,调整core.transport​​​​​​​.channel​​​​​​​.speed​​​​​​​.byte为2000000(即2MB)保存即可,无需重启。

参考文章:

DataX官方指引

DataX-Web官方指引

https://blog.csdn.net/weixin_46560589/article/details/134592916

这篇关于linux部署安装DataX和DataX-Web的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/988609

相关文章

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

linux hostname设置全过程

《linuxhostname设置全过程》:本文主要介绍linuxhostname设置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录查询hostname设置步骤其它相关点hostid/etc/hostsEDChina编程A工具license破解注意事项总结以RHE

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素

在Linux终端中统计非二进制文件行数的实现方法

《在Linux终端中统计非二进制文件行数的实现方法》在Linux系统中,有时需要统计非二进制文件(如CSV、TXT文件)的行数,而不希望手动打开文件进行查看,例如,在处理大型日志文件、数据文件时,了解... 目录在linux终端中统计非二进制文件的行数技术背景实现步骤1. 使用wc命令2. 使用grep命令

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程(几C?)1. 使用 nproc(最简单)2. 使用 lscpu(详细信

如何使用Maven创建web目录结构

《如何使用Maven创建web目录结构》:本文主要介绍如何使用Maven创建web目录结构的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录创建web工程第一步第二步第三步第四步第五步第六步第七步总结创建web工程第一步js通过Maven骨架创pytho

Java Web实现类似Excel表格锁定功能实战教程

《JavaWeb实现类似Excel表格锁定功能实战教程》本文将详细介绍通过创建特定div元素并利用CSS布局和JavaScript事件监听来实现类似Excel的锁定行和列效果的方法,感兴趣的朋友跟随... 目录1. 模拟Excel表格锁定功能2. 创建3个div元素实现表格锁定2.1 div元素布局设计2.

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令,常用的包括shutdown-r、reboot、init6等,不同命令适用于不同场景,本文将详细... 在管理和维护 linux 服务器时,完成系统更新、故障排查或日常维护后,重启系统往往是必不可少的步骤。本文