本文主要是介绍46.canal 版本的 ODS 层处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
2.6.1 数据格式
2.6.2 SparkStreaming 对 Topic 分流业务代码
canal 会追踪整个数据库的变更,把所有的数据变化都发到一个 topic 中了,但是为了
后续处理方便,应该把这些数据根据不同的表,分流到不同的主题中去。
(1)Kafka 发送数据工具类
在gmall2020-realtime模块中创建MyKafkaSink工具类,用于向Kafka中发送数据,
前面创建的 MyKafkaUtil 主要用于消费 Kafka 数据。
(2)SparkStreaming 分流业务代码
(3)测试
➢ 启动 Redis
➢
启动 canal
➢
运行 BaseDBCanalApp 程序
➢
运行/opt/module/rt_dblog 模拟生成日志
➢
查看 kafka 下的主题
这篇关于46.canal 版本的 ODS 层处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!