数据库不停机迁移方案

2024-08-26 05:28
文章标签 数据库 方案 迁移 停机

本文主要是介绍数据库不停机迁移方案,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在业务发展过程中,可能会有需要进行数据迁移的场景。

一般来说可以分为两种

(1)停机迁移

(2)不停机迁移

停机迁移比较简单,步骤如下

(1)根据业务流量数据低峰时间,制定迁移计划。

(2)发布停业公告

(3)届时先停机,保证老库数据不会再变动,然后使用迁移工具进行数据的全量迁移

(4)迁移完成后进行新老数据库数据的对比校验

(5)数据校验没问题,流程切换到新库,完成

停机迁移的问题在于

(1)有的业务压根就不能容忍停机。还有就是数据全量迁移的耗时可能也比较久,长时间停机更是不可能接受。

(2)一把切,万一新库、新应用有什么问题,由于新库中新增的数据在老库中并没有,所有也没法切回老库,有问题也不能回滚。

但是停机迁移最大的好处是:简单!

所以实际业务中一些数据量没那么大,或者一些内部系统,非关键系统,采用这种方式其实是主流。再重复一遍,没有最好的方案,只有最适合的方案,有利就有弊,都是权衡取舍罢了。

不停机迁移步骤

(1)对业务代码进行改造,数据库修改操作改为双写,即同时写入新库和老库

insert:两边同时成功

delete:有的数据新库中没有,也没关系

update:有的数据新库中没有,也没关系

老库的写入不受影响,必须成功。新库的如果不成功也没关系,记录一下日志进行排查即可。

为了不影响系统的响应时间等,写入新库可以弄成异步操作

(2)将旧库所有数据迁移到新表

从老库中查询数据,更新到新库,伪代码

select 所有字段 from 旧表 where id in (select id from 旧表 order by id asc limit #{start},#{batchSize})

如果数据为空就结束

 否则对于里面的每条数据

开启事务

select 所有字段 from 旧表 where id = xxx for update;

插入新库(注意需要先delete再insert)

提交事务

这里要注意,一定要加for update锁定数据。

为什么?因为业务代码里面双写还在继续,比如业务代码中更新

update 表xx set monney = 100,然后旧表写入了,但迁移数据数据的读取代码在这之前执行的,所以读到的事旧数据。迁移代码正要把数据写入新库,双写代码已经把新库更新为最新数据,然后迁移代码又把旧数据覆盖上去了。这样就出现了丢失更新的问题。

如果加上for update,则能保证这一条数据在迁移过程中不发生改变,保证新老数据的一致性。

(3)校验两边数据的一致性。数据量太大的时候可以采用一般数据抽查、关键数据全量检查结合的方式

(4)将流量逐步切换到新表。灰度切换。

切换到新表,也就是主要写新的表,旧表也要写,这样如果新库有啥问题可以随时切换回旧库。

(5)平稳运行一段时间后,确保都没问题了,再全部转到新库上。

这篇关于数据库不停机迁移方案的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1107674

相关文章

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

mysql数据库重置表主键id的实现

《mysql数据库重置表主键id的实现》在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,本文主要介绍了mysql数据库重置表主键id的实现,具有一定的参考价值,感兴趣的可以了... 目录关键语法演示案例在我们的开发过程中,难免在做测试的时候会生成一些杂乱无章的SQL主键数据,当我们

Spring Boot 整合 MyBatis 连接数据库及常见问题

《SpringBoot整合MyBatis连接数据库及常见问题》MyBatis是一个优秀的持久层框架,支持定制化SQL、存储过程以及高级映射,下面详细介绍如何在SpringBoot项目中整合My... 目录一、基本配置1. 添加依赖2. 配置数据库连接二、项目结构三、核心组件实现(示例)1. 实体类2. Ma

IDEA中Git版本回退的两种实现方案

《IDEA中Git版本回退的两种实现方案》作为开发者,代码版本回退是日常高频操作,IntelliJIDEA集成了强大的Git工具链,但面对reset和revert两种核心回退方案,许多开发者仍存在选择... 目录一、版本回退前置知识二、Reset方案:整体改写历史1、IDEA图形化操作(推荐)1.1、查看提

Python实现html转png的完美方案介绍

《Python实现html转png的完美方案介绍》这篇文章主要为大家详细介绍了如何使用Python实现html转png功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 1.增强稳定性与错误处理建议使用三层异常捕获结构:try: with sync_playwright(

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir

MySQL中闪回功能的方案讨论及实现

《MySQL中闪回功能的方案讨论及实现》Oracle有一个闪回(flashback)功能,能够用户恢复误操作的数据,这篇文章主要来和大家讨论一下MySQL中支持闪回功能的方案,有需要的可以了解下... 目录1、 闪回的目标2、 无米无炊一3、 无米无炊二4、 演示5、小结oracle有一个闪回(flashb

Android App安装列表获取方法(实践方案)

《AndroidApp安装列表获取方法(实践方案)》文章介绍了Android11及以上版本获取应用列表的方案调整,包括权限配置、白名单配置和action配置三种方式,并提供了相应的Java和Kotl... 目录前言实现方案         方案概述一、 androidManifest 三种配置方式

查看Oracle数据库中UNDO表空间的使用情况(最新推荐)

《查看Oracle数据库中UNDO表空间的使用情况(最新推荐)》Oracle数据库中查看UNDO表空间使用情况的4种方法:DBA_TABLESPACES和DBA_DATA_FILES提供基本信息,V$... 目录1. 通过 DBjavascriptA_TABLESPACES 和 DBA_DATA_FILES