数据异构 Canal-Spring-Boot-Starter的技术实现

2024-05-04 01:08
文章标签 java 数据 实现 技术 spring canal boot 异构 starter

本文主要是介绍数据异构 Canal-Spring-Boot-Starter的技术实现，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Canal-Spring-Boot-Starter 使用

1、在spring boot 项目配置文件 application.yml内增加以下内容


spring:canal:instances:example:                  # 拉取 example 目标的数据host: 192.168.10.179    # canal 所在机器的ipport: 11111             # canal 默认暴露端口user-name: canal        # canal 用户名password: canal         # canal 密码batch-size: 600         # canal 每次拉取的数据条数retry-count: 5          # 重试次数,如果重试5次后,仍无法连接,则断开cluster-enabled: false  # 是否开启集群zookeeper-address:      # zookeeper 地址(开启集群的情况下生效), 例: 192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181acquire-interval: 1000  # 未拉取到消息情况下,获取消息的时间间隔毫秒值subscribe: .*\\..*      # 默认情况下拉取所有库、所有表
prod:example: exampledatabase: books

2、在spring boot 项目中的代码使用实例

import com.alibaba.otter.canal.protocol.CanalEntry;
import com.duxinglangzi.canal.starter.annotation.CanalInsertListener;
import com.duxinglangzi.canal.starter.annotation.CanalListener;
import com.duxinglangzi.canal.starter.annotation.CanalUpdateListener;
import com.duxinglangzi.canal.starter.annotation.EnableCanalListener;
import com.duxinglangzi.canal.starter.mode.CanalMessage;
import org.springframework.stereotype.Service;import java.util.stream.Collectors;/*** @author wuqiong 2022/4/12* @description*/
@EnableCanalListener
@Service
public class CanalListenerTest {/*** 必须在类上 使用 EnableCanalListener 注解才能开启 canal listener** 目前 Listener 方法的参数必须为 com.duxinglangzi.canal.starter.mode.CanalMessage* 程序在启动过程中会做检查*//*** 监控更新操作* 支持动态参数配置，配置项需在 yml 或 properties 进行配置* 目标是 ${prod.example} 的  ${prod.database} 库  users表*/@CanalUpdateListener(destination = "${prod.example}", database = "${prod.database}", table = {"users"})public void listenerExampleBooksUsers(CanalMessage message) {printChange("listenerExampleBooksUsers", message);}/*** 监控更新操作 ，目标是 example的  books库  users表*/@CanalInsertListener(destination = "example", database = "books", table = {"users"})public void listenerExampleBooksUser(CanalMessage message) {printChange("listenerExampleBooksUsers", message);}/*** 监控更新操作 ，目标是 example的  books库  books表*/@CanalUpdateListener(destination = "example", database = "books", table = {"books"})public void listenerExampleBooksBooks(CanalMessage message) {printChange("listenerExampleBooksBooks", message);}/*** 监控更新操作 ，目标是 example的  books库的所有表*/@CanalListener(destination = "example", database = "books", eventType = CanalEntry.EventType.UPDATE)public void listenerExampleBooksAll(CanalMessage message) {printChange("listenerExampleBooksAll", message);}/*** 监控更新操作 ，目标是 example的  所有库的所有表*/@CanalListener(destination = "example", eventType = CanalEntry.EventType.UPDATE)public void listenerExampleAll(CanalMessage message) {printChange("listenerExampleAll", message);}/*** 监控更新、删除、新增操作 ，所有配置的目标下的所有库的所有表*/@CanalListener(eventType = {CanalEntry.EventType.UPDATE, CanalEntry.EventType.INSERT, CanalEntry.EventType.DELETE})public void listenerAllDml(CanalMessage message) {printChange("listenerAllDml", message);}public void printChange(String method, CanalMessage message) {CanalEntry.EventType eventType = message.getEventType();CanalEntry.RowData rowData = message.getRowData();System.out.println(" >>>>>>>>>>>>>[当前数据库: "+message.getDataBaseName()+" ," +"数据库表名: " + message.getTableName() + " , " +"方法: " + method );if (eventType == CanalEntry.EventType.DELETE) {rowData.getBeforeColumnsList().stream().collect(Collectors.toList()).forEach(ele -> {System.out.println("[方法: " + method + " ,  delete 语句 ] --->> 字段名: " + ele.getName() + ", 删除的值为: " + ele.getValue());});}if (eventType == CanalEntry.EventType.INSERT) {rowData.getAfterColumnsList().stream().collect(Collectors.toList()).forEach(ele -> {System.out.println("[方法: " + method + " ,insert 语句 ] --->> 字段名: " + ele.getName() + ", 新增的值为: " + ele.getValue());});}if (eventType == CanalEntry.EventType.UPDATE) {for (int i = 0; i < rowData.getAfterColumnsList().size(); i++) {CanalEntry.Column afterColumn = rowData.getAfterColumnsList().get(i);CanalEntry.Column beforeColumn = rowData.getBeforeColumnsList().get(i);System.out.println("[方法: " + method + " , update 语句 ] -->> 字段名," + afterColumn.getName() +" , 是否修改: " + afterColumn.getUpdated() +" , 修改前的值: " + beforeColumn.getValue() +" , 修改后的值: " + afterColumn.getValue());}}}}

以上展示了在 spring boot 项目中 canal starter 的基本使用

3、源码地址

对于 canal-spring-boot-starter 源代码为楼主自己封装， github地址: https://github.com/duxinglangzi/canal-spring-boot-starter
另附国内 gitee 地址: https://gitee.com/duxinglangzi/canal-spring-boot-starter

如果有需要的同学，可以自行下载源码进行修改和自定义封装

这篇关于数据异构 Canal-Spring-Boot-Starter的技术实现的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/958042。

相关文章

JVM 的类初始化机制

JVM 的类初始化机制

前言 当你在 Java 程序中new对象时，有没有考虑过 JVM 是如何把静态的字节码（byte code）转化为运行时对象的呢，这个问题看似简单，但清楚的同学相信也不会太多，这篇文章首先介绍 JVM 类初始化的机制，然后给出几个易出错的实例来分析，帮助大家更好理解这个知识点。 JVM 将字节码转化为运行时对象分为三个阶段，分别是：loading 、Linking、initialization
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
Spring Security--Architecture Overview

Spring Security--Architecture Overview

1 核心组件 这一节主要介绍一些在Spring Security中常见且核心的Java类，它们之间的依赖，构建起了整个框架。想要理解整个架构，最起码得对这些类眼熟。 1.1 SecurityContextHolder SecurityContextHolder用于存储安全上下文（security context）的信息。当前操作的用户是谁，该用户是否已经被认证，他拥有哪些角色权限…这些都被保
阅读更多...
Spring Security基于数据库验证流程详解

Spring Security基于数据库验证流程详解

Spring Security 校验流程图 相关解释说明（认真看哦） AbstractAuthenticationProcessingFilter 抽象类 /*** 调用 #requiresAuthentication(HttpServletRequest, HttpServletResponse) 决定是否需要进行验证操作。* 如果需要验证，则会调用 #attemptAuthentica
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
Java架构师知识体认识

Java架构师知识体认识

源码分析 常用设计模式 Proxy代理模式Factory工厂模式Singleton单例模式Delegate委派模式Strategy策略模式Prototype原型模式Template模板模式 Spring5 beans 接口实例化代理Bean操作 Context Ioc容器设计原理及高级特性Aop设计原理Factorybean与Beanfactory Transaction 声明式事物
阅读更多...
大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2