Flink读取kafka数据并以parquet格式写入HDFS

本文主要是介绍Flink读取kafka数据并以parquet格式写入HDFS，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《2021年最新版大数据面试题全面开启更新》
《2021年最新版大数据面试题全面开启更新》

大数据业务场景中，经常有一种场景：外部数据发送到kafka中，flink作为中间件消费kafka数据并进行业务处理；处理完成之后的数据可能还需要写入到数据库或者文件系统中，比如写入hdfs中；
目前基于spark进行计算比较主流，需要读取hdfs上的数据，可以通过读取parquet：spark.read.parquet(path)

数据实体：

public class Prti {private String passingTime;private String plateNo;public Prti() {}//gettter and setter 方法....
}

public class FlinkReadKafkaToHd

这篇关于Flink读取kafka数据并以parquet格式写入HDFS的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---