DataX-json模板(hdfsToMysql、hdfsToOracle、mysqlToHdfs、oracleToDoris)【全】

本文主要是介绍DataX-json模板(hdfsToMysql、hdfsToOracle、mysqlToHdfs、oracleToDoris)【全】,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 前言
    • 1. HDFS 到 MySQL (hdfsToMysql)
    • 2. HDFS 到 Oracle (hdfsToOracle)
    • 3. MySQL 到 HDFS (mysqlToHdfs)
    • 4. Oracle 到 Doris (oracleToDoris)
  • 总结

前言

DataX 是一款由阿里巴巴开源的数据同步工具,它提供了丰富的数据源插件,支持包括但不限于 MySQL、Oracle、HDFS 等多种数据源的同步。以下是几种常见同步场景的 JSON 模板示例。


1. HDFS 到 MySQL (hdfsToMysql)

  • 当您需要将数据从 HDFS 同步到 MySQL 时,可以使用如下的 JSON 模板:
{"job": {"content": [{"reader": {"name": "hdfsreader","parameter": {"path": "/user/hive/warehouse/ads.db/ads_zhy_site_stat_di/date=${dt1}","defaultFS": "hdfs://dn22:8020","fileType": "parquet","skipHeader": false,"column": [{"index":"0","type":"string"},{"index":"1","type":"string"},{"index":"2","type":"int"},{"index":"3","type":"int"},{ "name": "date", "type": "string","value":"${dt1}"}]}},"writer": {"name": "mysqlwriter","parameter": {"writeMode": "insert","username": "cnooc_fuse","password": "root","column": ["`site_id`","`fuel_type`","`vehicle_num`","`through_vehicle_num`","`date`"],"connection": [{"table": ["t_site_flow_stat_day"],"jdbcUrl": "jdbc:mysql://172.0.0.1:8086/cnooc_fuse?useUnicode=true&characterEncoding=utf-8&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&dontTrackOpenResources=true"}]}}}]
,"setting": {"speed": {"channel": "2"}}}
}

2. HDFS 到 Oracle (hdfsToOracle)

  • 将数据从 HDFS 同步到 Oracle 的 JSON 模板如下:
{"job": {"content": [{"reader": {"name": "hdfsreader","parameter": {"path": "/user/hive/warehouse/mid.db/hky_veh_run_time/dt=${dt}","defaultFS": "hdfs://nn01:8020","fileType": "parquet","skipHeader": false,"column": [{"index":"0","type":"long"},{"index":"1","type":"int"},{"index":"2","type":"int"},{ "name": "dt", "type": "long","value":"${dt}"}]}},"writer": {"name": "oraclewriter","parameter": {"username": "root","password": "root","column": ["TRANS","AD_CODE","RUN_TIME","DT"],"connection": [{"table": ["HKY_VEH_RUN_TIME"],"jdbcUrl": "jdbc:oracle:thin:@172.0.0.1:1521:rdt1"}]}}}],"setting": {"speed": {"channel": "2"}}}
}

3. MySQL 到 HDFS (mysqlToHdfs)

  • 从 MySQL 同步数据到 HDFS 的 JSON 模板示例:
{"job": {"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "cnooc_fuse","password": "root","connection": [{"querySql": ["SELECT id,site_name,area_type,province,city,site_type,company_name,tel,lon,lat,is_cnooc,address, section_code,road_type,road_name,site_state,
recommend_type, manage_type, remark, note, create_user,create_time, update_user, update_time, is_deletedFROM t_site_new "],"jdbcUrl": ["jdbc:mysql://172.0.0.1:8086/cnooc_fuse?allowLoadLocalInfile=false&autoDeserialize=false&allowLocalInfile=false&allowUrlInLocalInfile=false"]}]}},"writer": {"name": "hdfswriter","parameter": {"column": [{"name": "id","type": "int"},{"name": "site_name","type": "string"},{"name": "area_type","type": "int"},{"name": "province","type": "int"},{"name": "city","type": "int"},{"name": "site_type","type": "int"},{"name": "company_name","type": "string"},{"name": "tel","type": "string"},{"name": "lon","type": "double"},{"name": "lat","type": "double"},{"name": "is_cnooc","type": "int"},{"name": "address","type": "string"},{"name": "section_code","type": "string"},{"name": "road_type","type": "string"},{"name": "road_name","type": "string"},{"name": "site_state","type": "string"},{"name": "recommend_type","type": "string"},{"name": "manage_type","type": "string"},{"name": "remark","type": "string"},{"name": "note","type": "string"},{"name": "create_user","type": "string"},{"name": "update_user","type": "string"},{"name": "create_time","type": "string"},{"name": "update_time","type": "string"},{"name": "is_deleted","type": "int"}],"compress": "snappy","defaultFS": "hdfs://nn01:8020","fieldDelimiter":",","fileName": "datax","fileType": "parquet","path": "/user/hive/warehouse/ods.db/ods_tran_logistics_site/","writeMode": "truncate"}}}],"setting": {"speed": {"channel": "2"}}}
}

4. Oracle 到 Doris (oracleToDoris)

  • 将数据从 Oracle 同步到 Doris 的 JSON 模板:
{"job": {"setting": {"speed": {"channel": 1},"errorLimit": {"record": 0,"percentage": 0}},"content": [{"reader": {"name": "oraclereader","parameter": {"column": [
"SERIAL_ID",
"CYCLE",
"REGION_CODE",
"TYPE",
"SRC_REGION",
"DST_REGION",
"SRC_TIME",
"HB_TIME",
"STATUS",
"CREATE_TIME"],"connection": [{"jdbcUrl": ["jdbc:oracle:thin:@//172.0.0.1:32021/s_tsshprod"],"table": ["HEART_BEAT_INFO"]}],"password": "root","splitPk": "","username": "tssh","where": "1=1 and CREATE_TIME >= TO_DATE('${dt}', 'YYYY-MM-DD HH24:MI:SS') - INTERVAL '1:10' HOUR TO MINUTE"}},"writer": {"name": "doriswriter","parameter": {"loadUrl": ["172.0.0.1:8030"],"loadProps": {"format": "json","strip_outer_array": true},"column": [
"serial_id",
"cycle",
"region_code",
"type",
"src_region",
"dst_region",
"src_time",
"hb_time",
"status",
"create_time"],"username": "yunwei","password": "root","postSql": [],"preSql": [],"flushInterval": 30000,"connection": [{"jdbcUrl": "jdbc:mysql://172.0.0.1:9030/collect","selectedDatabase": "collect","table": ["dl_01_heart_beat_info"]}]}}}]}
}

总结

如果此篇文章有帮助到您, 希望打大佬们能关注点赞收藏评论支持一波,非常感谢大家!
如果有不对的地方请指正!!!

这篇关于DataX-json模板(hdfsToMysql、hdfsToOracle、mysqlToHdfs、oracleToDoris)【全】的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/935769

相关文章

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

使用Jackson进行JSON生成与解析的新手指南

《使用Jackson进行JSON生成与解析的新手指南》这篇文章主要为大家详细介绍了如何使用Jackson进行JSON生成与解析处理,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 核心依赖2. 基础用法2.1 对象转 jsON(序列化)2.2 JSON 转对象(反序列化)3.

JSON Web Token在登陆中的使用过程

《JSONWebToken在登陆中的使用过程》:本文主要介绍JSONWebToken在登陆中的使用过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录JWT 介绍微服务架构中的 JWT 使用结合微服务网关的 JWT 验证1. 用户登录,生成 JWT2. 自定义过滤

Java利用JSONPath操作JSON数据的技术指南

《Java利用JSONPath操作JSON数据的技术指南》JSONPath是一种强大的工具,用于查询和操作JSON数据,类似于SQL的语法,它为处理复杂的JSON数据结构提供了简单且高效... 目录1、简述2、什么是 jsONPath?3、Java 示例3.1 基本查询3.2 过滤查询3.3 递归搜索3.4

如何自定义Nginx JSON日志格式配置

《如何自定义NginxJSON日志格式配置》Nginx作为最流行的Web服务器之一,其灵活的日志配置能力允许我们根据需求定制日志格式,本文将详细介绍如何配置Nginx以JSON格式记录访问日志,这种... 目录前言为什么选择jsON格式日志?配置步骤详解1. 安装Nginx服务2. 自定义JSON日志格式各

python dict转换成json格式的实现

《pythondict转换成json格式的实现》本文主要介绍了pythondict转换成json格式的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下... 一开始你变成字典格式data = [ { 'a' : 1, 'b' : 2, 'c编程' : 3,

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程

Java实现XML与JSON的互相转换详解

《Java实现XML与JSON的互相转换详解》这篇文章主要为大家详细介绍了如何使用Java实现XML与JSON的互相转换,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. XML转jsON1.1 代码目的1.2 代码实现2. JSON转XML3. JSON转XML并输出成指定的

Jackson库进行JSON 序列化时遇到了无限递归(Infinite Recursion)的问题及解决方案

《Jackson库进行JSON序列化时遇到了无限递归(InfiniteRecursion)的问题及解决方案》使用Jackson库进行JSON序列化时遇到了无限递归(InfiniteRecursi... 目录解决方案‌1. 使用 @jsonIgnore 忽略一个方向的引用2. 使用 @JsonManagedR

SpringBoot接收JSON类型的参数方式

《SpringBoot接收JSON类型的参数方式》:本文主要介绍SpringBoot接收JSON类型的参数方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、jsON二、代码准备三、Apifox操作总结一、JSON在学习前端技术时,我们有讲到过JSON,而在