本文主要是介绍Flink 常用的 Source 和 Sink Connectors 介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
通过前面我们可以知道 Flink Job 的大致结构就是 Source ——> Transformation ——> Sink
。
那么这个 Source 是什么意思呢?我们下面来看看。
Data Source 介绍
Data Source 是什么呢?就字面意思其实就可以知道:数据来源。
Flink 做为一款流式计算框架,它可用来做批处理,即处理静态的数据集、历史的数据集;也可以用来做流处理,即处理实时的数据流(做计算操作),然后将处理后的数据实时下发,只要数据源源不断过来,Flink 就能够一直计算下去。
Flink 中你可以使用 StreamExecutionEnvironment.addSource(sourceFunction)
来为你的程序添加数据来源。
Flink 已经提供了若干实现好了的 source function,当然你也可以通过实现 SourceFunction 来自定义非并行的 source 或者实现 ParallelSourceFunction 接口或者扩展 RichParallelSourceFunction 来自定义并行的 source。
那么常用的 Data Source 有哪些呢?
常用的 Data Source
StreamExecutionEnvironment 中可以使用以下这些已实现的 stream source。
这篇关于Flink 常用的 Source 和 Sink Connectors 介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!