Flink调研与使用

本文主要是介绍Flink调研与使用，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

• 文档：Flink官方中文文档 相当清楚的文档了，直接看就行了。

前言

通常Flink的应用场景有以下三种（详细见 Flink应用场景）：

• 事件驱动型应用

• 数据分析应用

• 数据管道应用

• 先上手安装：flink安装启动(docker)
  

好博客

• Flink应用场景

• 聊聊Flink DataStream的八种物理分区逻辑

• Flink之用户代码生成调度层图结构

• Apache Flink-浅读

• Jark’s Blog Flink 系列 - 来自以为阿里的小哥，文章相当不错，值得推荐！！！

  • Flink 原理与实现：如何处理反压问题
  • Flink 原理与实现：内存管理
  • Flink 原理与实现：架构和拓扑概览
  • Flink 原理与实现：如何生成 StreamGraph
  • Flink 原理与实现：理解 Flink 中的计算资源
  • Flink 原理与实现：如何生成 JobGraph
  • Flink 原理与实现：数据流上的类型和操作
  • Flink 原理与实现：Window 机制
  • Flink 原理与实现：Session Window
  • Flink 原理与实现：Table & SQL API
  • Flink 原理与实现：Aysnc I/O
  • Flink在美团的实践与应用
  • Flink小贴士 (1)：确定Flink作业所需资源大小时要考虑的6件事
  • Flink 小贴士 (2)：Flink 如何管理 Kafka 消费位点
  • 5分钟从零构建第一个 Flink 应用
  • Flink 零基础实战教程：如何计算实时热门商品
  • 一文了解 Apache Flink 核心技术
  • Flink 小贴士 (3): 轻松理解 Watermark
  • Flink 小贴士 (4): 如何选择状态后端
  • Flink 小贴士 (5): Savepoint 和 Checkpoint 的 3 个不同点
  • Flink 小贴士 (6): 使用 Broadcast State 的 4 个注意事项
  • Flink 小贴士 (7): 4个步骤，让 Flink 应用达到生产状态
  • 如何从小白成长为 Apache Committer?
  • Flink SQL 编程实践
  • Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
  • Demo：基于 Flink SQL 构建流式应用

Flink 使用之紧急避坑

• Flink 版本问题，Flink 代码版本一定要和Fink应用版本一样
• Flink jar 包上传找不到类的问题，项目打包有两种方式：
  • 只打包自己的代码（如果只是用Flink和jdk 代码依赖可以这样），上传的jar包会很小；以下是pom：

    <build><plugins><plugin><artifactId>maven-compiler-plugin</artifactId><configuration><source>1.8</source><target>1.8</target><encoding>UTF-8</encoding></configuration></plugin></plugins></build>

• 打包自己的代码和相关依赖，（如果有其它引入，可以这样操作，一般实际应用都比较复杂，会引入Kafka，Redis等），缺点：打的包比较大。以下是对应的pom：

   <build><plugins><plugin><artifactId>maven-compiler-plugin</artifactId><version>2.3.2</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><artifactId>maven-assembly-plugin</artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration><executions><execution><id>make-assembly</id><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins></build>

• Kafka 接入ACL验证问题
  demo 如下：

public static void main(String[] args) throws Exception {System.out.println("UpAndDownConditionFlinkKafkaConsumer start.");final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();env.enableCheckpointing(5000); // 非常关键，一定要设置启动检查点！！env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);Properties props = new Properties();props.setProperty(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS);props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_GROUP_ID);String jassc = "org.apache.kafka.common.security.scram.ScramLoginModule required"+ " username=" + SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_USER+ " password=" + SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_SECRET + ";";props.setProperty("sasl.jaas.config", jassc);props.setProperty("security.protocol", "SASL_PLAINTEXT");props.setProperty("sasl.mechanism", "SCRAM-SHA-256");FlinkKafkaConsumer<String> consumer =new FlinkKafkaConsumer<>(SourceParams.KAFKA_BOOT_STRAP_SERVERS_4_UP_AND_DOWN_STATUS_TOPIC, new SimpleStringSchema(), props);env.addSource(consumer).process(new ProcessFunction<String, Object>() {@Overridepublic void processElement(String value, ProcessFunction<String, Object>.Context ctx, Collector<Object> out) throws Exception {System.out.println(value);out.collect(value);}}).print("Kafka message.");env.execute("Flink-Kafka demo");}

这篇关于Flink调研与使用的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---