本文主要是介绍Kafka系列之:Connect 中的错误报告,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
Kafka系列之:Connect 中的错误报告
Kafka Connect 提供错误报告来处理各个处理阶段遇到的错误。默认情况下,转换期间或转换中遇到的任何错误都会导致连接器失败。每个连接器配置还可以通过跳过此类错误、选择性地将每个错误以及失败操作的详细信息和有问题的记录(具有各种详细级别)写入 Connect 应用程序日志来容忍此类错误。当接收器连接器处理从其 Kafka 主题消耗的消息时,这些机制还会捕获错误,并且所有错误都可以写入可配置的“死信队列”(DLQ) Kafka 主题。
要将连接器的转换器、转换或接收器连接器本身内的错误报告到日志,请在连接器配置中设置errors.log.enable=true 以记录每个错误和问题记录的主题、分区和偏移量的详细信息。出于其他调试目的,请设置errors.log.include.messages=true,以将问题记录键、值和标头也记录到日志中(请注意,这可能会记录敏感信息)。
要将连接器的转换器、转换或接收器连接器本身内的错误报告给死信队列主题,请设置errors.deadletterqueue.topic.name,并可选设置errors.deadletterqueue.context.headers.enable=true。
默认情况下,连接器在错误或异常时立即表现出“失败快速”行为。这相当于将以下配置属性及其默认属性添加到连接器配置:
# disable retries on failure
errors.retry.timeout
这篇关于Kafka系列之:Connect 中的错误报告的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!