本文主要是介绍CDC 整合方案:Flink 集成 Confluent Schema Registry 读取 Debezium 消息写入 Hudi,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
本文介绍的整体方案选型是:使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 (Avro 格式)接入到 Kafka 之后,通过 Flink 读取并解析这些 CDC 数据,其中,数据是以 Confluent 的 Avro 格式存储的,也就是说,Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时,都需要和 Confluent Schema Registry 进行交互,从而获取 Schema 信息,消息经 Flink 读取后会写入到 Hudi 表,从而完成全部的数据接入工作。
1. 前置依赖
本文不会展开介绍 CDC 数据进入 Kafka 之前的操作,此部分可以参考 [《CDC一键入湖:当 Apache Hudi DeltaStreamer 遇见 Serverless Spark》](https://laurence.blog.csdn.net/article/details/132011197) 一文的前半部分架构以及第 2 节环境准备部分的介绍,以下是前半部分数据管道使用到的相关组件的构建方法和文档:
①MySQL:如果仅以测试为目的,建议使用Debezium提供的官方Docker镜像,构建操作可参考其官方文档(下文将给出的操作示例所处理的CDC数据就是自于该MySQL镜像中的inventory数据库)ÿ
这篇关于CDC 整合方案:Flink 集成 Confluent Schema Registry 读取 Debezium 消息写入 Hudi的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!