半同步复制中可能出现的异常情况以及应该如何应对?

2024-02-23 01:32

本文主要是介绍半同步复制中可能出现的异常情况以及应该如何应对?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 半同步复制如何应对各种异常情况?
    • 一、准备知识
      • 事务提交会经历哪些阶段
      • 何为半同步复制
    • 二、可能出现哪些异常以及如何解决
      • master 在flush binlog之前宕机
      • master 在flush binlog 之后,send binlog之前宕机
      • master 在send binlog之后,收到ack之前宕机

半同步复制如何应对各种异常情况?

全篇以MySQL-5.7 after_sync模式半同步为背景,sync_binlog=1.

对外承诺的数据零丢失,通过半同步复制究竟能实现吗?为了能够回答这个问题,我们必须对半同步复制中可能出现的任何异常情况进行描述,并且了解故障时的master-slave数据状态。

一、准备知识

事务提交会经历哪些阶段

  • flush binlog

将每一个线程中缓存的binlog文件写到binlog cache中(binlog_cache_size)

  • sync redo

根据innodb_flush_log_at_trx_commit=1的设置,事务提交时,redo必须落盘。

  • sync binlog

将binlog cache 写入磁盘文件

  • send binlog

触发dump线程发送binlog给slave

  • read ack

读取slave返回的ACK信息

  • commit

在Innodb存储引擎中进行提交,包括释放undo,释放锁资源等。

  • 返回给客户端提交结果

何为半同步复制

以MySQL-5.7 semisync after_sync为例,半同步复制解释为如下:
master端事务提交时,在binlog落盘之后,必须等待slave返回ack信息,才可以继续下面的操作。至于什么ACK,ACK具体包含了什么,其他地方有讲到。sync binlog是事务提交过程其中的一个阶段。

二、可能出现哪些异常以及如何解决

事务提交过程的各个阶段以及时间顺序如下图,根据下图,可以假设出一系列的故障场景,以及面对这些场景,应该如何解决?

master 在flush binlog之前宕机

  • 宕机瞬间情况描述:

    • master在flush binlog之前宕机,客户端未收到commit成功的信息。
    • binlog未落盘
    • redo可能落盘,也可能没有,因为存在一个后台线程,在没间隔innodb_flush_log_at_timeout之后,进行redo的刷盘操作。
    • slave未收到此事务的binlog,slave中不会存在此数据。
  • 假设只有一个半同步slave,并且rpl_semi_sync_master_wait_for_slave_count=1,那么对应的切换逻辑如下:

    • 查看relay log是否被消费完成
    • 切换为master(通过域名或者SIP,入口改变应该注意的事项不在本次讨论范围之内,比如说arp,DNS缓存等等)
  • 切换后的master修复

    • binlog中不存在对应的提交失败的事务
    • redo中可能有,也可能没有
    • MySQL会回滚掉相关提交失败的事务
    • 数据和半同步 slave保持一致。

自己可以尝试分析下面这些场景,并进行描述。明天再更新

master 在flush binlog 之后,send binlog之前宕机

master 在send binlog之后,收到ack之前宕机

等等。

这篇关于半同步复制中可能出现的异常情况以及应该如何应对?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/737109

相关文章

Python 中的异步与同步深度解析(实践记录)

《Python中的异步与同步深度解析(实践记录)》在Python编程世界里,异步和同步的概念是理解程序执行流程和性能优化的关键,这篇文章将带你深入了解它们的差异,以及阻塞和非阻塞的特性,同时通过实际... 目录python中的异步与同步:深度解析与实践异步与同步的定义异步同步阻塞与非阻塞的概念阻塞非阻塞同步

浅谈mysql的sql_mode可能会限制你的查询

《浅谈mysql的sql_mode可能会限制你的查询》本文主要介绍了浅谈mysql的sql_mode可能会限制你的查询,这个问题主要说明的是,我们写的sql查询语句违背了聚合函数groupby的规则... 目录场景:问题描述原因分析:解决方案:第一种:修改后,只有当前生效,若是mysql服务重启,就会失效;

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》:本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my

通过Python脚本批量复制并规范命名视频文件

《通过Python脚本批量复制并规范命名视频文件》本文介绍了如何通过Python脚本批量复制并规范命名视频文件,实现自动补齐数字编号、保留原始文件、智能识别有效文件等功能,听过代码示例介绍的非常详细,... 目录一、问题场景:杂乱的视频文件名二、完整解决方案三、关键技术解析1. 智能路径处理2. 精准文件名

linux如何复制文件夹并重命名

《linux如何复制文件夹并重命名》在Linux系统中,复制文件夹并重命名可以通过使用“cp”和“mv”命令来实现,使用“cp-r”命令可以递归复制整个文件夹及其子文件夹和文件,而使用“mv”命令可以... 目录linux复制文件夹并重命名我们需要使用“cp”命令来复制文件夹我们还可以结合使用“mv”命令总

Java中将异步调用转为同步的五种实现方法

《Java中将异步调用转为同步的五种实现方法》本文介绍了将异步调用转为同步阻塞模式的五种方法:wait/notify、ReentrantLock+Condition、Future、CountDownL... 目录异步与同步的核心区别方法一:使用wait/notify + synchronized代码示例关键

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

Nacos集群数据同步方式

《Nacos集群数据同步方式》文章主要介绍了Nacos集群中服务注册信息的同步机制,涉及到负责节点和非负责节点之间的数据同步过程,以及DistroProtocol协议在同步中的应用... 目录引言负责节点(发起同步)DistroProtocolDistroSyncChangeTask获取同步数据getDis

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M