监听MySQL binlog

2024-08-23 20:20
文章标签 mysql 监听 binlog database

本文主要是介绍监听MySQL binlog,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 背景
    • 快速入门
    • 监听普通文件内容变动

背景

1、内容

通过监听mysql的主库的写、删、更新操作产生的binlog日志,来做业务(eg:监控数据、同步数据等)

2、作用

  • 无感知

服务A编辑数据库,服务B监听A的mysql内容,对于A而言,感知不到服务B的存在

3、缺点

  • 主库压力大

如果写的并发很高,服务B监听binlog,同步信息,会对主库造成压力

  • 必须写库成功后,才能监听到binlog同步的内容

假如B站用户点赞行为,A服务需要写库,写完库后,B服务需要同步财务结算up主收益

假如A写库失败了,B服务监听不到binlog,本次点赞行为就丢失了。这种场景不适合

这种场景可以使用MQ来解决


快速入门

1、pom

<!-- https://mvnrepository.com/artifact/com.gitee.Jmysy/binlog4j-spring-boot-starter -->
<dependency><groupId>com.gitee.Jmysy</groupId><artifactId>binlog4j-spring-boot-starter</artifactId><version>1.9.1</version>
</dependency>
  • 支持集群模式
  • 宕机续读(服务A写mysql,服务B监听,假如在服务B宕机期间,A写了新数据,则B重新启动后,仍可以获取到期间的binlog同步内容),实现:通过redis配置的serverId,去对应的binlogfileName + position获取
  • 数据转换

2、yml配置

spring:binlog4j:redis-config:host: 127.0.0.1port: 6379database: 1client-configs:master:host: "127.0.0.1"port: 3306username: "root"password: "941123"mode: standalonepersistence: trueserver-id: 1234

2、code实现

package com.mjp.binlog;import com.gitee.Jmysy.binlog4j.core.BinlogEvent;
import com.gitee.Jmysy.binlog4j.core.IBinlogEventHandler;
import com.gitee.Jmysy.binlog4j.springboot.starter.annotation.BinlogSubscriber;/*** Author:majinpeng* Date: 2024/08/23 10:47*/
@BinlogSubscriber(clientName = "master")
public class Binlog4jServiceHandler implements IBinlogEventHandler<Object> {// 这里的Object即你数据库中的实体类,比如Order、User// 如果可以确定,则使用具体的User// 如果是Object,则binlogEvent中的T data属性是map@Overridepublic void onInsert(BinlogEvent<Object> binlogEvent) {}@Overridepublic void onUpdate(BinlogEvent<Object> binlogEvent) {System.out.println(binlogEvent.toString());}@Overridepublic void onDelete(BinlogEvent<Object> binlogEvent) {}@Overridepublic boolean isHandle(String s, String s1) {// 如果将<Object>使用具体的<User>接收,则一定需要在isHandle中,判断当前Binlog4jServiceHandler是否执行了// 否则可能会因为映射的对象不符合,造成数据丢失return false;}
}

监听普通文件内容变动

1、实现CommandLineRunner接口 或 ApplicationRunner接口

2、使用hutool的WatchMonitor工具类(底层封装了JDK的WatchService)

<!-- https://mvnrepository.com/artifact/cn.hutool/hutool-all -->
<dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.8.31</version>
</dependency>

3、使用Tailer工具类

@Component
public class MonitorFile implements CommandLineRunner {@Overridepublic void run(String... args) throws Exception {File file = FileUtil.file("C:\\Users\\admin\\Desktop\\test.txt");try (WatchMonitor watchMonitor = WatchMonitor.create(file, WatchMonitor.ENTRY_MODIFY)) {watchMonitor.setWatcher(new Watcher() {@Overridepublic void onCreate(WatchEvent<?> event, Path currentPath) {}@Overridepublic void onModify(WatchEvent<?> event, Path currentPath) {Object context = event.context();System.out.println("modify!!!" + context.toString());}@Overridepublic void onDelete(WatchEvent<?> event, Path currentPath) {}@Overridepublic void onOverflow(WatchEvent<?> event, Path currentPath) {}});// 监听目录的足最大深度,watchMonitor.setMaxDepth(3);watchMonitor.start();}Tailer tailer = new Tailer(file, line -> System.out.println("变动的数据内容为:" + line));tailer.start();}
}

这篇关于监听MySQL binlog的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1100410

相关文章

Mysql 中的多表连接和连接类型详解

《Mysql中的多表连接和连接类型详解》这篇文章详细介绍了MySQL中的多表连接及其各种类型,包括内连接、左连接、右连接、全外连接、自连接和交叉连接,通过这些连接方式,可以将分散在不同表中的相关数据... 目录什么是多表连接?1. 内连接(INNER JOIN)2. 左连接(LEFT JOIN 或 LEFT

mysql重置root密码的完整步骤(适用于5.7和8.0)

《mysql重置root密码的完整步骤(适用于5.7和8.0)》:本文主要介绍mysql重置root密码的完整步骤,文中描述了如何停止MySQL服务、以管理员身份打开命令行、替换配置文件路径、修改... 目录第一步:先停止mysql服务,一定要停止!方式一:通过命令行关闭mysql服务方式二:通过服务项关闭

SQL Server数据库磁盘满了的解决办法

《SQLServer数据库磁盘满了的解决办法》系统再正常运行,我还在操作中,突然发现接口报错,后续所有接口都报错了,一查日志发现说是数据库磁盘满了,所以本文记录了SQLServer数据库磁盘满了的解... 目录问题解决方法删除数据库日志设置数据库日志大小问题今http://www.chinasem.cn天发

mysql主从及遇到的问题解决

《mysql主从及遇到的问题解决》本文详细介绍了如何使用Docker配置MySQL主从复制,首先创建了两个文件夹并分别配置了`my.cnf`文件,通过执行脚本启动容器并配置好主从关系,文中还提到了一些... 目录mysql主从及遇到问题解决遇到的问题说明总结mysql主从及遇到问题解决1.基于mysql

MySQL的索引失效的原因实例及解决方案

《MySQL的索引失效的原因实例及解决方案》这篇文章主要讨论了MySQL索引失效的常见原因及其解决方案,它涵盖了数据类型不匹配、隐式转换、函数或表达式、范围查询、LIKE查询、OR条件、全表扫描、索引... 目录1. 数据类型不匹配2. 隐式转换3. 函数或表达式4. 范围查询之后的列5. like 查询6

Linux下MySQL8.0.26安装教程

《Linux下MySQL8.0.26安装教程》文章详细介绍了如何在Linux系统上安装和配置MySQL,包括下载、解压、安装依赖、启动服务、获取默认密码、设置密码、支持远程登录以及创建表,感兴趣的朋友... 目录1.找到官网下载位置1.访问mysql存档2.下载社区版3.百度网盘中2.linux安装配置1.

SpringBoot整合Canal+RabbitMQ监听数据变更详解

《SpringBoot整合Canal+RabbitMQ监听数据变更详解》在现代分布式系统中,实时获取数据库的变更信息是一个常见的需求,本文将介绍SpringBoot如何通过整合Canal和Rabbit... 目录需求步骤环境搭建整合SpringBoot与Canal实现客户端Canal整合RabbitMQSp

vue如何监听对象或者数组某个属性的变化详解

《vue如何监听对象或者数组某个属性的变化详解》这篇文章主要给大家介绍了关于vue如何监听对象或者数组某个属性的变化,在Vue.js中可以通过watch监听属性变化并动态修改其他属性的值,watch通... 目录前言用watch监听深度监听使用计算属性watch和计算属性的区别在vue 3中使用watchE

PostgreSQL如何用psql运行SQL文件

《PostgreSQL如何用psql运行SQL文件》文章介绍了两种运行预写好的SQL文件的方式:首先连接数据库后执行,或者直接通过psql命令执行,需要注意的是,文件路径在Linux系统中应使用斜杠/... 目录PostgreSQ编程L用psql运行SQL文件方式一方式二总结PostgreSQL用psql运

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示