本文主要是介绍Flink 数据同步先行者- FlinkX,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Flink
数据同步先行者- FlinkX
最近在学习Flink
,看到目前的Connector支持还较少,联想到之前的DataX
与FlinkX
,由感而发。
从我个人的理解上,Connector
是连接各个数据源的连接器,它屏蔽了一系列的组件兼容问题,实现统一的数据源连接与数据实体的抽象,就是为了数据通道而生的基础设施,而目前数据通道做的比较全的就是DataX
。
DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
DataX
本身作为离线数据同步框架,将数据源读取和写入抽象成为Reader/Writer
插件,纳入到整个同步框架中。
Reader
:Reader为数据采集模块,负责采集数据源的数据,将数据发送给Framework。Writer
: Writer
这篇关于Flink 数据同步先行者- FlinkX的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!