本文主要是介绍一个用Kakfa低级api的SparkStreaming程序实例，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
spark2.4以后可以用structStreaming
低级api消费:KafkaUtils.createDirectStream方式
这种方式不同于Receiver(高级api)接收数据，它定期地从kafka的topic下对应的partition中查询最新的偏移量，再根据偏移量范围在每个batch里面处理数据，Spark通过调用kafka简单的消费者Api（低级api）读取一定范围的数据。
相比基于Receiver方式有几个优点：
A、简化并行
不需要创建多个kafka输入流，然后union它们，sparkStreaming将会创建和kafka分区数相同的rdd的分区数，而且会从kafka中并行读取数据，spark中RDD的分区数和kafka中的topic分区数是一一对应的关系。
B、高效
第一种实现数据的零丢失是将数据预先保存在WAL中，会复制一遍数据，会导致数据被拷贝两次，第一次是接受kafka中topic的数据，另一次是写到WAL中。而没有receiver的这种方式消除了这个问题。
这篇关于一个用Kakfa低级api的SparkStreaming程序实例的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
