存储总量达 20T 的 MySQL 实例,如何完成迁移?

2023-12-01 10:08

本文主要是介绍存储总量达 20T 的 MySQL 实例,如何完成迁移?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

存储总量达 20T 的 MySQL 实例,如何完成迁移?
cloud.tencent.com  1-4
王亮,腾讯云高级工程师。2010 年加入腾讯,曾负责腾讯社交产品 CDN 图片类业务,动态加速业务的运维工作。现负责数据库产品的解决方案工作。
某国内大型游戏开发商有超过 130 个 IDC 部署 MySQL 实例,存储总量达 20T。因业务需要,将全部实例迁移到 腾讯云 CDB for MySQL。腾讯云数据库团队为保证业务迁移顺利进行,对迁移流程,工具进行了前期的调查研究,并对过程中发现的 4 大问题进行及时解决,以下是实际迁移经验分享:
目前开发商上云(外部 MySQL 迁移到 CDB)提供多种方案,其中开发商的 MySQL 实例有外网 IP 的可以直接使用腾讯云数据库迁移工具完成迁移(其他的迁移方法参见 链接 本次迁移任务中该开发商的所有 MySQL 实例均有外网代理 IP 供使用,故直接选用迁移工具完成数据导入。
迁移工具的基本原理:通过待迁移实例提供的高权限帐号获取源实例基本的 MySQL 实例配置,并同步到目标 CDB 实例;通过 mysqldump 直接将源实例导出传输到 CDB 实例后导入;源数据库实例和目标 CDB 建立主从关系同步新数据。其中 CDB 实例与源 IDC 之间通过 NAT 方式以一台带外网的服务器为中转发起通信。
在 腾讯云数据库控制台页面 根据引导建立迁移任务;在后台管理页面观察迁移任务后台日志等。
任务开始运行后检测代理机器流量变化,CDB 的写入等数据展示
知识点:如何为测试数据库产生较大的数据量。这里推荐一个工具 mysql_gen_data。产生测试数据并导入到 MySQL 的过程如下:
后台与腾讯云管理台查看本次测试任务,迁移成功完成。
由于本次迁移的开发商将使用他们自建 IDC 的从机向 CDB 迁移数据,简单关系如下图,之前没有使用迁移工具进行过类似操作,故进行本次测试。
知识点:如何配置 MySQL 的主从关系。测试的 MySQL 主从的配置如下:(主 MySQL)
后台与腾讯云管理台查看本次测试任务,迁移成功完成。
开发商在经过相关测试后,一期计划 15 个实例并发迁移到 CDB,每天总共产生约 100G 的 binlog。由于之前迁移工具没有大并发使用,且单日有较大数据更新,故提前测试用户场景。测试的基本架构如下图:在一个服务器上开启 15 个 MySQL 实例映射到不同端口,15 个 MySQL 实例同时和 15 个 CDB 实例建立主从,并发起迁移任务。
知识点:如何在一台服务器上创建多个 MySQL 实例?这里使用的 MySQL 自带的 mysqld_multi 工具,其实这只是一个 perl 脚本,开启多实例配置如下(/etc/my.conf)可以视内存大小,开多个 mysqld 的配置项:
然后使用 mysqld_multi start 1-4 启动配置项里面的对应数量实例即可。启动多个 MySQL 实例如图:
通过定时 update 对应数据库实例的数据,产生较大量的 binlog,单次 update 产生 700Mbinlog,每 2 小时执行一次,每天产生 7001215=126G.简单代码如下:
使用 数据库迁移工具 建立 15 个迁移任务,控制台和后台检查均迁移成功:
同时为了检验大量 binlog 情况下数据完整性,写了简单脚本定时检查数据是否有更新,脚本如下:(这里经过测试发现可以通过广州跳板机直接连接 CDB 实例的 masterIP,故直接在广州跳板机脚本拉取 IDC 更新数据,同时对比 CDB 实例数据,写入日志)
通过校验日志可以看到,数据更新均成功完成。
以上我方内部测试完成后,开发商自行进行了 3 次迁移,相关数据如下:
某次迁移的带宽表现。
由于开发商出口带宽只有约 500Mbps,经过测试发现迁移瓶颈主要出现在带宽限制上。实际并发时带宽大小待二期迁移时确认。
现象:如图所示,开发商在迁移过程中出现 proc 表无法迁移的现象
ERROR:Can’t load from mysql.proc. The table is probably corrupted
解决:经 CDB 开发同事确认跨版本迁移的 proc 表因字段定义不同存在异常,发布版本跳过 proc 表解决。
现象:迁移任务出现错误,无法迁移存储过程,binlog 追加失败
errno:1049:Error ‘Unknown database ‘xxxx’on query.
解决:原因为本次迁移选定了只迁移某个数据库,迁移过程中新建了一个数据库,并开启 binlog,导致 CDB 拉到的 binlog 有新数据库信息,和迁移数据库不匹配。解决方法为迁移过程不要出现 DDL 操作。
凡事预则立不预则废。正是因为客户在迁移前我们有多项功能测试,性能测试和边界条件测试的预备,使得在正式数据迁移时未出现数据不一致、现网运营切换故障等任何异常情况。为现网大规模的数据库实例迁移积累了经验。截止目前,客户逾 130 个 MySQL 实例已顺利迁移到 腾讯云 CDB 并开启现网运营。基于这样的经验,我们有能力也有信心为腾讯云用户提供更加优质高效的数据存储迁移服务。

这篇关于存储总量达 20T 的 MySQL 实例,如何完成迁移?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/440737

相关文章

Mysql 中的多表连接和连接类型详解

《Mysql中的多表连接和连接类型详解》这篇文章详细介绍了MySQL中的多表连接及其各种类型,包括内连接、左连接、右连接、全外连接、自连接和交叉连接,通过这些连接方式,可以将分散在不同表中的相关数据... 目录什么是多表连接?1. 内连接(INNER JOIN)2. 左连接(LEFT JOIN 或 LEFT

Oracle Expdp按条件导出指定表数据的方法实例

《OracleExpdp按条件导出指定表数据的方法实例》:本文主要介绍Oracle的expdp数据泵方式导出特定机构和时间范围的数据,并通过parfile文件进行条件限制和配置,文中通过代码介绍... 目录1.场景描述 2.方案分析3.实验验证 3.1 parfile文件3.2 expdp命令导出4.总结

使用JavaScript操作本地存储

《使用JavaScript操作本地存储》这篇文章主要为大家详细介绍了JavaScript中操作本地存储的相关知识,文中的示例代码讲解详细,具有一定的借鉴价值,有需要的小伙伴可以参考一下... 目录本地存储:localStorage 和 sessionStorage基本使用方法1. localStorage

mysql重置root密码的完整步骤(适用于5.7和8.0)

《mysql重置root密码的完整步骤(适用于5.7和8.0)》:本文主要介绍mysql重置root密码的完整步骤,文中描述了如何停止MySQL服务、以管理员身份打开命令行、替换配置文件路径、修改... 目录第一步:先停止mysql服务,一定要停止!方式一:通过命令行关闭mysql服务方式二:通过服务项关闭

SQL Server数据库磁盘满了的解决办法

《SQLServer数据库磁盘满了的解决办法》系统再正常运行,我还在操作中,突然发现接口报错,后续所有接口都报错了,一查日志发现说是数据库磁盘满了,所以本文记录了SQLServer数据库磁盘满了的解... 目录问题解决方法删除数据库日志设置数据库日志大小问题今http://www.chinasem.cn天发

mysql主从及遇到的问题解决

《mysql主从及遇到的问题解决》本文详细介绍了如何使用Docker配置MySQL主从复制,首先创建了两个文件夹并分别配置了`my.cnf`文件,通过执行脚本启动容器并配置好主从关系,文中还提到了一些... 目录mysql主从及遇到问题解决遇到的问题说明总结mysql主从及遇到问题解决1.基于mysql

MySQL的索引失效的原因实例及解决方案

《MySQL的索引失效的原因实例及解决方案》这篇文章主要讨论了MySQL索引失效的常见原因及其解决方案,它涵盖了数据类型不匹配、隐式转换、函数或表达式、范围查询、LIKE查询、OR条件、全表扫描、索引... 目录1. 数据类型不匹配2. 隐式转换3. 函数或表达式4. 范围查询之后的列5. like 查询6

Linux下MySQL8.0.26安装教程

《Linux下MySQL8.0.26安装教程》文章详细介绍了如何在Linux系统上安装和配置MySQL,包括下载、解压、安装依赖、启动服务、获取默认密码、设置密码、支持远程登录以及创建表,感兴趣的朋友... 目录1.找到官网下载位置1.访问mysql存档2.下载社区版3.百度网盘中2.linux安装配置1.

Python开发围棋游戏的实例代码(实现全部功能)

《Python开发围棋游戏的实例代码(实现全部功能)》围棋是一种古老而复杂的策略棋类游戏,起源于中国,已有超过2500年的历史,本文介绍了如何用Python开发一个简单的围棋游戏,实例代码涵盖了游戏的... 目录1. 围棋游戏概述1.1 游戏规则1.2 游戏设计思路2. 环境准备3. 创建棋盘3.1 棋盘类

PostgreSQL如何用psql运行SQL文件

《PostgreSQL如何用psql运行SQL文件》文章介绍了两种运行预写好的SQL文件的方式:首先连接数据库后执行,或者直接通过psql命令执行,需要注意的是,文件路径在Linux系统中应使用斜杠/... 目录PostgreSQ编程L用psql运行SQL文件方式一方式二总结PostgreSQL用psql运