Xtrabackup导致主从延时问题

2024-04-25 14:52

本文主要是介绍Xtrabackup导致主从延时问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景问题

公司数据库备份采用Xtrabackup, 备份期间会导致数据库实例产生主从延时,增加数据库告警数量。而且数据库主从延时会影响数据访问的准确性,延时期间如果主库发生故障,会有数据丢失的风险;延时也可能影响抽数等相关任务;

原因分析:Xtrabackup备份完idb数据文件后,执行FLUSH TABLES WITH READ LOCK(FTWRL),取得一致性位点,然后开始备份非InnoDB文件(如frm、MYD、MYI、CSV、opt、par等格式的文件),在拷贝非InnoDB文件的过程当中,数据库处于全局只读状态,直到非InnoDB文件备份完毕后释放;

参数说明

默认参数

FTWRL ,它有两个作用,

1:将打开的表关闭,并将内存中的脏数据刷到硬盘,从而保证数据的一致性;

2:获取全局读锁,阻塞其他线程的写操作,从而确保备份过程中数据不被修改;

--lock-ddl:

采用"LOCK TABLES FOR BACKUP",参数的作用是在整个备份过程中获取全局的元数据锁(MDL),以阻止所有 DDL 操作。这意味着当使用此参数时,任何尝试对数据库进行 DDL 操作(如 ALTER TABLE、CREATE TABLE 等)的线程都将被阻塞,直到备份完成并释放 MDL 锁。

FTWRL 和LOCK TABLES FOR BACKUP 区别

1,范围:FTWRL锁定所有表,包括事务性和非事务性的;LOCK TABLES FOR BACKUP主要锁定非事务性的表。

2, 阻塞: FTWRL会阻塞所有表的更新操作,LOCK TABLES FOR BACKUP只阻塞非事务表的更新操作;

3, LOCK TABLES FOR BACKUP

--lock-ddl-per-table

参数的作用是为每个备份的表单独获取 MDL 锁。这意味着备份工具会针对每个非 InnoDB 表单独加锁,而不是在整个备份过程中加全局锁。这种方式可以减少对数据库操作的阻塞,因为不是所有的 DDL 操作都会被阻塞,只有那些针对正在备份的表的 DDL 操作才会被阻塞,从而降低对数据库延时的影响;

--lock-ddl-per-table备份过程日志如下,日志中可以看到,备份每张表的时候都单独添加MDL锁

240313 12:49:27 Locking MDL for mysql.plugin
240313 12:49:27 [01] Copying ./mysql/plugin.ibd to /export/data/dbbak/localbackup/mysql/plugin.ibd
240313 12:49:27 [01]        ...done
240313 12:49:27 Locking MDL for mysql.servers
240313 12:49:27 [01] Copying ./mysql/servers.ibd to /export/data/dbbak/localbackup/mysql/servers.ibd
240313 12:49:27 [01]        ...done
240313 12:49:27 Locking MDL for mysql.help_topic
240313 12:49:27 [01] Copying ./mysql/help_topic.ibd to /export/data/dbbak/localbackup/mysql/help_topic.ibd
240313 12:49:27 [01]        ...done
240313 12:49:27 Locking MDL for mysql.help_category

功能测试

下面测试对比xtrabackup默认备份方式和 --lock-ddl-per-table方式 对备份延时,备份时长的影响;

备份方式

FTWRL

lock-ddl-per-table 第1次

lock-ddl-per-table 第2次

lock-ddl 第1次

lock-ddl 第2次

备份节点

xx,xx,xx,xx

xx,xx,xx,xxxx,xx,xx,xxxx,xx,xx,xxxx,xx,xx,xx

节点配置

8c 24576M

8c 24576M

8c 24576M

8c 24576M

8c 24576M

落盘方式

云盘

云盘

云盘

云盘

云盘

备份数据量

295GB

295GB

295GB

295GB

295GB

开始时间

3/13 15:26

3/13 15:26

3/13 16:37

3/13 20:13

3/13 20:20

结束时间

3/13 16:06

3/13 16:08

3/13 17:20

3/13 21:04

3/13 21:10

备份时长

40min

42min

43min

51min

50min

备份产生延时

114s

0

0

115s

120s

结论

1, 通过使用lock-ddl-per-table功能,会解决备份延时问题;

2, 相较于默认FTWRL方式,lock-ddl-per-table和lock-ddl备份时间会有些延长,如果个别业务在特定时间有大数据任务,要多加留意,避免备份时间延长从而影响抽数任务完成时间,进而影响上下游相关任务

这篇关于Xtrabackup导致主从延时问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/934993

相关文章

好题——hdu2522(小数问题:求1/n的第一个循环节)

好喜欢这题,第一次做小数问题,一开始真心没思路,然后参考了网上的一些资料。 知识点***********************************无限不循环小数即无理数,不能写作两整数之比*****************************(一开始没想到,小学没学好) 此题1/n肯定是一个有限循环小数,了解这些后就能做此题了。 按照除法的机制,用一个函数表示出来就可以了,代码如下

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

安卓链接正常显示,ios#符被转义%23导致链接访问404

原因分析: url中含有特殊字符 中文未编码 都有可能导致URL转换失败,所以需要对url编码处理  如下: guard let allowUrl = webUrl.addingPercentEncoding(withAllowedCharacters: .urlQueryAllowed) else {return} 后面发现当url中有#号时,会被误伤转义为%23,导致链接无法访问

购买磨轮平衡机时应该注意什么问题和技巧

在购买磨轮平衡机时,您应该注意以下几个关键点: 平衡精度 平衡精度是衡量平衡机性能的核心指标,直接影响到不平衡量的检测与校准的准确性,从而决定磨轮的振动和噪声水平。高精度的平衡机能显著减少振动和噪声,提高磨削加工的精度。 转速范围 宽广的转速范围意味着平衡机能够处理更多种类的磨轮,适应不同的工作条件和规格要求。 振动监测能力 振动监测能力是评估平衡机性能的重要因素。通过传感器实时监

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k

6.1.数据结构-c/c++堆详解下篇(堆排序,TopK问题)

上篇:6.1.数据结构-c/c++模拟实现堆上篇(向下,上调整算法,建堆,增删数据)-CSDN博客 本章重点 1.使用堆来完成堆排序 2.使用堆解决TopK问题 目录 一.堆排序 1.1 思路 1.2 代码 1.3 简单测试 二.TopK问题 2.1 思路(求最小): 2.2 C语言代码(手写堆) 2.3 C++代码(使用优先级队列 priority_queue)

【VUE】跨域问题的概念,以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略,该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同,则需要服务器显式地允许这种跨域请求。一般在springbo

题目1254:N皇后问题

题目1254:N皇后问题 时间限制:1 秒 内存限制:128 兆 特殊判题:否 题目描述: N皇后问题,即在N*N的方格棋盘内放置了N个皇后,使得它们不相互攻击(即任意2个皇后不允许处在同一排,同一列,也不允许处在同一斜线上。因为皇后可以直走,横走和斜走如下图)。 你的任务是,对于给定的N,求出有多少种合法的放置方法。输出N皇后问题所有不同的摆放情况个数。 输入

vscode中文乱码问题,注释,终端,调试乱码一劳永逸版

忘记咋回事突然出现了乱码问题,很多方法都试了,注释乱码解决了,终端又乱码,调试窗口也乱码,最后经过本人不懈努力,终于全部解决了,现在分享给大家我的方法。 乱码的原因是各个地方用的编码格式不统一,所以把他们设成统一的utf8. 1.电脑的编码格式 开始-设置-时间和语言-语言和区域 管理语言设置-更改系统区域设置-勾选Bata版:使用utf8-确定-然后按指示重启 2.vscode

Android Environment 获取的路径问题

1. 以获取 /System 路径为例 /*** Return root of the "system" partition holding the core Android OS.* Always present and mounted read-only.*/public static @NonNull File getRootDirectory() {return DIR_ANDR