数据异构 Canal-Spring-Boot-Starter的技术实现

2024-05-04 01:08

本文主要是介绍数据异构 Canal-Spring-Boot-Starter的技术实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Canal-Spring-Boot-Starter 使用

1、在spring boot 项目配置文件 application.yml内增加以下内容


spring:canal:instances:example:                  # 拉取 example 目标的数据host: 192.168.10.179    # canal 所在机器的ipport: 11111             # canal 默认暴露端口user-name: canal        # canal 用户名password: canal         # canal 密码batch-size: 600         # canal 每次拉取的数据条数retry-count: 5          # 重试次数,如果重试5次后,仍无法连接,则断开cluster-enabled: false  # 是否开启集群zookeeper-address:      # zookeeper 地址(开启集群的情况下生效), 例: 192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181acquire-interval: 1000  # 未拉取到消息情况下,获取消息的时间间隔毫秒值subscribe: .*\\..*      # 默认情况下拉取所有库、所有表
prod:example: exampledatabase: books

2、在spring boot 项目中的代码使用实例

import com.alibaba.otter.canal.protocol.CanalEntry;
import com.duxinglangzi.canal.starter.annotation.CanalInsertListener;
import com.duxinglangzi.canal.starter.annotation.CanalListener;
import com.duxinglangzi.canal.starter.annotation.CanalUpdateListener;
import com.duxinglangzi.canal.starter.annotation.EnableCanalListener;
import com.duxinglangzi.canal.starter.mode.CanalMessage;
import org.springframework.stereotype.Service;import java.util.stream.Collectors;/*** @author wuqiong 2022/4/12* @description*/
@EnableCanalListener
@Service
public class CanalListenerTest {/*** 必须在类上 使用 EnableCanalListener 注解才能开启 canal listener** 目前 Listener 方法的参数必须为 com.duxinglangzi.canal.starter.mode.CanalMessage* 程序在启动过程中会做检查*//*** 监控更新操作* 支持动态参数配置,配置项需在 yml 或 properties 进行配置* 目标是 ${prod.example} 的  ${prod.database} 库  users表*/@CanalUpdateListener(destination = "${prod.example}", database = "${prod.database}", table = {"users"})public void listenerExampleBooksUsers(CanalMessage message) {printChange("listenerExampleBooksUsers", message);}/*** 监控更新操作 ,目标是 example的  books库  users表*/@CanalInsertListener(destination = "example", database = "books", table = {"users"})public void listenerExampleBooksUser(CanalMessage message) {printChange("listenerExampleBooksUsers", message);}/*** 监控更新操作 ,目标是 example的  books库  books表*/@CanalUpdateListener(destination = "example", database = "books", table = {"books"})public void listenerExampleBooksBooks(CanalMessage message) {printChange("listenerExampleBooksBooks", message);}/*** 监控更新操作 ,目标是 example的  books库的所有表*/@CanalListener(destination = "example", database = "books", eventType = CanalEntry.EventType.UPDATE)public void listenerExampleBooksAll(CanalMessage message) {printChange("listenerExampleBooksAll", message);}/*** 监控更新操作 ,目标是 example的  所有库的所有表*/@CanalListener(destination = "example", eventType = CanalEntry.EventType.UPDATE)public void listenerExampleAll(CanalMessage message) {printChange("listenerExampleAll", message);}/*** 监控更新、删除、新增操作 ,所有配置的目标下的所有库的所有表*/@CanalListener(eventType = {CanalEntry.EventType.UPDATE, CanalEntry.EventType.INSERT, CanalEntry.EventType.DELETE})public void listenerAllDml(CanalMessage message) {printChange("listenerAllDml", message);}public void printChange(String method, CanalMessage message) {CanalEntry.EventType eventType = message.getEventType();CanalEntry.RowData rowData = message.getRowData();System.out.println(" >>>>>>>>>>>>>[当前数据库: "+message.getDataBaseName()+" ," +"数据库表名: " + message.getTableName() + " , " +"方法: " + method );if (eventType == CanalEntry.EventType.DELETE) {rowData.getBeforeColumnsList().stream().collect(Collectors.toList()).forEach(ele -> {System.out.println("[方法: " + method + " ,  delete 语句 ] --->> 字段名: " + ele.getName() + ", 删除的值为: " + ele.getValue());});}if (eventType == CanalEntry.EventType.INSERT) {rowData.getAfterColumnsList().stream().collect(Collectors.toList()).forEach(ele -> {System.out.println("[方法: " + method + " ,insert 语句 ] --->> 字段名: " + ele.getName() + ", 新增的值为: " + ele.getValue());});}if (eventType == CanalEntry.EventType.UPDATE) {for (int i = 0; i < rowData.getAfterColumnsList().size(); i++) {CanalEntry.Column afterColumn = rowData.getAfterColumnsList().get(i);CanalEntry.Column beforeColumn = rowData.getBeforeColumnsList().get(i);System.out.println("[方法: " + method + " , update 语句 ] -->> 字段名," + afterColumn.getName() +" , 是否修改: " + afterColumn.getUpdated() +" , 修改前的值: " + beforeColumn.getValue() +" , 修改后的值: " + afterColumn.getValue());}}}}

以上展示了在 spring boot 项目中 canal starter 的基本使用

3、源码地址

对于 canal-spring-boot-starter 源代码为楼主自己封装, github地址: https://github.com/duxinglangzi/canal-spring-boot-starter
另附国内 gitee 地址: https://gitee.com/duxinglangzi/canal-spring-boot-starter

如果有需要的同学,可以自行下载源码进行修改和自定义封装

这篇关于数据异构 Canal-Spring-Boot-Starter的技术实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/958042

相关文章

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2

Android实现两台手机屏幕共享和远程控制功能

《Android实现两台手机屏幕共享和远程控制功能》在远程协助、在线教学、技术支持等多种场景下,实时获得另一部移动设备的屏幕画面,并对其进行操作,具有极高的应用价值,本项目旨在实现两台Android手... 目录一、项目概述二、相关知识2.1 MediaProjection API2.2 Socket 网络

Java中的JSONObject详解

《Java中的JSONObject详解》:本文主要介绍Java中的JSONObject详解,需要的朋友可以参考下... Java中的jsONObject详解一、引言在Java开发中,处理JSON数据是一种常见的需求。JSONObject是处理JSON对象的一个非常有用的类,它提供了一系列的API来操作J

使用Python实现图像LBP特征提取的操作方法

《使用Python实现图像LBP特征提取的操作方法》LBP特征叫做局部二值模式,常用于纹理特征提取,并在纹理分类中具有较强的区分能力,本文给大家介绍了如何使用Python实现图像LBP特征提取的操作方... 目录一、LBP特征介绍二、LBP特征描述三、一些改进版本的LBP1.圆形LBP算子2.旋转不变的LB

Redis消息队列实现异步秒杀功能

《Redis消息队列实现异步秒杀功能》在高并发场景下,为了提高秒杀业务的性能,可将部分工作交给Redis处理,并通过异步方式执行,Redis提供了多种数据结构来实现消息队列,总结三种,本文详细介绍Re... 目录1 Redis消息队列1.1 List 结构1.2 Pub/Sub 模式1.3 Stream 结

SpringBoot多数据源配置完整指南

《SpringBoot多数据源配置完整指南》在复杂的企业应用中,经常需要连接多个数据库,SpringBoot提供了灵活的多数据源配置方式,以下是详细的实现方案,需要的朋友可以参考下... 目录一、基础多数据源配置1. 添加依赖2. 配置多个数据源3. 配置数据源Bean二、JPA多数据源配置1. 配置主数据

C# Where 泛型约束的实现

《C#Where泛型约束的实现》本文主要介绍了C#Where泛型约束的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录使用的对象约束分类where T : structwhere T : classwhere T : ne

将Java程序打包成EXE文件的实现方式

《将Java程序打包成EXE文件的实现方式》:本文主要介绍将Java程序打包成EXE文件的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录如何将Java程序编程打包成EXE文件1.准备Java程序2.生成JAR包3.选择并安装打包工具4.配置Launch4

SpringBoot内嵌Tomcat临时目录问题及解决

《SpringBoot内嵌Tomcat临时目录问题及解决》:本文主要介绍SpringBoot内嵌Tomcat临时目录问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录SprinjavascriptgBoot内嵌Tomcat临时目录问题1.背景2.方案3.代码中配置t

SpringBoot使用GZIP压缩反回数据问题

《SpringBoot使用GZIP压缩反回数据问题》:本文主要介绍SpringBoot使用GZIP压缩反回数据问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录SpringBoot使用GZIP压缩反回数据1、初识gzip2、gzip是什么,可以干什么?3、Spr