前言：一、StreamTask执行算子的生命周期二、 Source的streamTask用的是SourceStreamTask三、基础转换操作，窗口用的是OneInputStreamTask1、初始化OneInputStreamTask2、StreamTask运行invoke调用的是StreamTask的processInput方法3、从缓冲区获取数据放入到内存中4、调用算子的proce

使用CDH6.3.2安装了hadoop集群，但是CDH不支持flink的安装，网上有CDH集成flink的文章，大都比较麻烦；但其实我们只需要把flink的作业提交到yarn集群即可，接下来以CDH yarn为基础，flink on yarn模式的配置步骤。 一、部署flink 1、下载解压 官方下载地址：Downloads | Apache Flink 注意：CDH6.3.2是使用的sc

前言 Flink自从1.10就喊着要搞流批一体，据说1.14是个里程碑，特意体验下。 变化 DataSet消失 笔者隐约记得，Flink1.8老版本和Spark很像，同样分Stream流处理和DataSet批处理。新版本中： package com.zhiyong.flinkStudy;import org.apache.flink.api.common.functions.FlatMa

目录 SourceReader 概念 SourceReader 源码方法 void start(); InputStatus pollNext(ReaderOutput output) throws Exception; List snapshotState(long checkpointId); CompletableFuture isAvailable(); void addSp

目录 SourceReader 概念 SourceReader 源码方法 void start(); InputStatus pollNext(ReaderOutput output) throws Exception; List snapshotState(long checkpointId); CompletableFuture isAvailable(); void addSp

目录  SplitEnumerator概念 SplitEnumerator源码 void start() void handleSplitRequest(int subtaskId, @Nullable String requesterHostname); void addSplitsBack(List splits, int subtaskId); void addReader(in