本文主要是介绍Spark Streaming反压，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
在默认情况下，Spark Streaming 通过 receivers (或者是 Direct 方式) 以生产者生产数据的速率接收数据。当 batch processing time > batch interval 的时候，即每个批次数据处理的时间要比 Spark Streaming 批处理间隔时间长；越来越多的数据被接收，但是数据的处理速度没有跟上，导致系统开始出现数据堆积，可能进一步导致 Executor 端出现 OOM 问题而出现失败的情况。
在 Spark 1.5之前，为了解决这个问题，对于 Receiver-based 数据接收器，可以通过配置spark.streaming.receiver.maxRate参数来限制每个 receiver 每秒最大可以接收的记录的数据；对于 Direct Approach 的数据接收，可以通过配置spark.streaming.kafka.maxRatePerPartition参数来限制每次作业中每个 Kafka 分区最多读取的记录条数。这种方法虽然可以通过限制接收速率，来适配当前的处理能力，但这种方式存在以下几个问题：
- 需要事先估计好集群的处理速度以及消息数据的产生速度
- 这两种方式需要人工参与，修改完相关参数之后，我们需要手动重启 Spark Streaming 应用程序
- 如果当前集群的处理能力高于配置的 maxRate，而且 producer 产生的数据高于 maxRate，这会导致集群资源利用率低下，而且也会导致数据不能够及时处理
反压机制
Spark 1.5 引入了反压（Back Pressure）机制，其通过动态收集系统的一些数据来自动地适配集群数据处理能力。
Spark St
这篇关于Spark Streaming反压的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
