23 open-replicator 解析binlog失败 available: 4, event type: 19

2024-05-28 15:38
文章标签 解析 23 type 失败 open 19 binlog available event replicator

本文主要是介绍23 open-replicator 解析binlog失败 available: 4, event type: 19，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

问题出现

使用 open-replicator 来解析 binLog 的时候出现了这个问题, 这个包 似乎是14年之后 就没有杂更新了

open-replicator 的版本是现在的最新的版本1.0.7, 详情请见 参考的ref


15:55:33.435 [binlog-parser-1] ERROR c.g.c.o.b.impl.AbstractBinlogParser - failed to parse binlog
java.lang.RuntimeException: assertion failed, available: 4, event type: 19at com.google.code.or.binlog.impl.FileBasedBinlogParser.doParse(FileBasedBinlogParser.java:141) ~[open-replicator-1.0.7.jar:na]at com.google.code.or.binlog.impl.AbstractBinlogParser$Task.run(AbstractBinlogParser.java:244) ~[open-replicator-1.0.7.jar:na]at java.lang.Thread.run(Thread.java:745) [na:1.7.0_79]


然后 跟到代码里面去瞅了瞅, 
FileBasedBinlogParser.doParse 108 - 149, 是挂在了下面的 " if(is.available() != 0) {" 

		while(isRunning() && is.available() > 0) {try {//final BinlogEventV4HeaderImpl header = new BinlogEventV4HeaderImpl();header.setTimestamp(is.readLong(4) * 1000L);header.setEventType(is.readInt(1));header.setServerId(is.readLong(4));header.setEventLength(is.readInt(4));header.setNextPosition(is.readLong(4));header.setFlags(is.readInt(2));header.setBinlogFileName(this.binlogFileName);header.setTimestampOfReceipt(System.currentTimeMillis());is.setReadLimit((int)(header.getEventLength() - header.getHeaderLength())); // Ensure the event boundaryif(isVerbose() && LOGGER.isInfoEnabled()) {LOGGER.info("read an event, header: {}", header);}//if(this.stopPosition > 0 && header.getPosition() > this.stopPosition) {break;}// Parse the event bodyif(this.eventFilter != null && !this.eventFilter.accepts(header, context)) {this.defaultParser.parse(is, header, context);} else {BinlogEventParser parser = getEventParser(header.getEventType());if(parser == null) parser = this.defaultParser;parser.parse(is, header, context);}// Ensure the packet boundaryif(is.available() != 0) {throw new RuntimeException("assertion failed, available: " + is.available() + ", event type: " + header.getEventType());}} catch(Exception e) {IOUtils.closeQuietly(is);throw e;} finally {is.setReadLimit(0);}}


首先是一个 FormatDescriptionEventParser, binlog 的版本号之类的东西
然后 之后的时候, 是一个 QueryEventParser
然后 之后是一个 TableMapEventParser, 然后 就是在这一步的 "parser.parse(is, header, context);" 之后, 

is.available() 得到的是 日志中的4, 

XInputStream.available 185 - 189

		if(this.readLimit > 0) {return this.readLimit - this.readCount;} else {return this.tail - this.head + this.is.available();}



就是这里 this.readLimit - this.readCount;
然后 想了一下 可不可能是 mysql binLog 和当前使用的 open-replicator 的版本不匹配呢, 
然后 当前使用的是 1.0.7, 然后 我把其版本改成了 1.0.6, 之后 就没有报这个问题了,


shit 原来是由于 1.0.6 拿到异常之后没有 打出来, 因此 我没有看到这个问题, 呵呵呵 还以为自己又机智了一会呢,,


问题临时解决

下午的时候, 对于 open-replicator 总共更新了几个地方 : TableMapEventParser, XidEventParser, WriteRowsEventParser, UpdateRowsEventParser, DeleteRowsEventParser, 基本上就是消耗 binlog 中的多出来的四个字节, 这四个字节有什么作用我也不知道, 官方文档上也没找到, 搜索也没有搜索到, 已经满足了我现在的需求[可能 还有一些地方还有需要处理的地方]
结合下午的研习, 晚上的时候, 瞅了瞅官方文档, 整理了一下 两个不同的地方, 
有两个不同的地方, 一就是, TableMapEvent body 增加了四个字节, CU Event 增加了四个字节, D 最后增加了四个字节
第二 就是 WRITE_ROWS_EVENT 的 ExtraInfo 部分,, 
前者是 binlog中有的, 然后 open-replicator 中没有, mysql官方文档也没有, 
然后 后者是 binlog 中有的, 然后 open-replicator 中有, mysql 官方文档中没有,, 
我去 xxx, 可能是我没找到吧 ???


记录一下 


======================= add at 2017.08.10 ======================= 

哦, 说一说后面的事情吧, 后来没过多久我就想到, 可能虽然 原开发人员没有维护open-replicator了, 但是 还有别的朋友 fork open-replpicator, 然后 继续维护的吧, 然后 就来瞅了瞅, 果然不少, 然后 找了一个维护相对来说比较稳定的朋友[zendesk]的 open-replicator, clone 下来, 然后 打包什么的, 感谢原作者 以及这位朋友






参考连接

下面的一系列链接, 才是吊炸天的存在


whitesock/open-replicator
https://github.com/whitesock/open-replicator
https://github.com/zendesk/open-replicator/

20.5 Event Classes and Types
https://dev.mysql.com/doc/internals/en/event-classes-and-types.html
20.7 Event Structure
https://dev.mysql.com/doc/internals/en/event-structure.html
20.8 Binary Log Versions [START_EVENT]
https://dev.mysql.com/doc/internals/en/binary-log-versions.html
20.9 Event Data for Specific Event Types
https://dev.mysql.com/doc/internals/en/event-data-for-specific-event-types.html


4.6.7 mysqlbinlog — Utility for Processing Binary Log Files
https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog.html
4.6.7.1 mysqlbinlog Hex Dump Format
https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog-hexdump.html
4.6.7.2 mysqlbinlog Row Event Display

https://dev.mysql.com/doc/refman/5.7/en/mysqlbinlog-row-events.html


这篇关于23 open-replicator 解析binlog失败 available: 4, event type: 19的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1010978。

相关文章

网页解析 lxml 库--实战

网页解析 lxml 库--实战

lxml库使用流程 lxml 是 Python 的第三方解析库，完全使用 Python 语言编写，它对 XPath表达式提供了良好的支 持，因此能够了高效地解析 HTML/XML 文档。本节讲解如何通过 lxml 库解析 HTML 文档。 pip install lxml lxm| 库提供了一个 etree 模块，该模块专门用来解析 HTML/XML 文档，下面来介绍一下 lxml 库
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
安卓链接正常显示，ios#符被转义%23导致链接访问404

安卓链接正常显示，ios#符被转义%23导致链接访问404

原因分析： url中含有特殊字符 中文未编码 都有可能导致URL转换失败，所以需要对url编码处理  如下： guard let allowUrl = webUrl.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) else {return} 后面发现当url中有#号时，会被误伤转义为%23，导致链接无法访问
阅读更多...
OWASP十大安全漏洞解析

OWASP十大安全漏洞解析

OWASP（开放式Web应用程序安全项目）发布的“十大安全漏洞”列表是Web应用程序安全领域的权威指南，它总结了Web应用程序中最常见、最危险的安全隐患。以下是对OWASP十大安全漏洞的详细解析： 1. 注入漏洞（Injection） 描述：攻击者通过在应用程序的输入数据中插入恶意代码，从而控制应用程序的行为。常见的注入类型包括SQL注入、OS命令注入、LDAP注入等。 影响：可能导致数据泄
阅读更多...
从状态管理到性能优化：全面解析 Android Compose

从状态管理到性能优化：全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动
阅读更多...
Spring 源码解读：自定义实现Bean定义的注册与解析

Spring 源码解读：自定义实现Bean定义的注册与解析

引言 在Spring框架中，Bean的注册与解析是整个依赖注入流程的核心步骤。通过Bean定义，Spring容器知道如何创建、配置和管理每个Bean实例。本篇文章将通过实现一个简化版的Bean定义注册与解析机制，帮助你理解Spring框架背后的设计逻辑。我们还将对比Spring中的BeanDefinition和BeanDefinitionRegistry，以全面掌握Bean注册和解析的核心原理。
阅读更多...
CSP 2023 提高级第一轮 CSP-S 2023初试题 完善程序第二题解析 未完

CSP 2023 提高级第一轮 CSP-S 2023初试题 完善程序第二题解析 未完

一、题目阅读 （最大值之和）给定整数序列 a0,⋯,an−1，求该序列所有非空连续子序列的最大值之和。上述参数满足 1≤n≤105 和 1≤ai≤108。 一个序列的非空连续子序列可以用两个下标 ll 和 rr（其中0≤l≤r<n0≤l≤r<n）表示，对应的序列为 al,al+1,⋯,ar​。两个非空连续子序列不同，当且仅当下标不同。 例如，当原序列为 [1,2,1,2] 时，要计算子序列 [
阅读更多...
多线程解析报表

多线程解析报表

假如有这样一个需求，当我们需要解析一个Excel里多个sheet的数据时，可以考虑使用多线程，每个线程解析一个sheet里的数据，等到所有的sheet都解析完之后，程序需要提示解析完成。 Way1 join import java.time.LocalTime;public class Main {public static void main(String[] args) thro
阅读更多...
ZooKeeper 中的 Curator 框架解析

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时，Curator 是一个非常流行的客户端库，它简化了 ZooKeeper 的使用，提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架，包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2