OGG SQLServer到Oracle同步  在线初始化

2024-01-26 17:30

本文主要是介绍OGG SQLServer到Oracle同步  在线初始化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Goldengate进行异构数据库同步时,初始化通常是一个比较困难的问题,OGG自带的Initial Load功能不能进行在线初始化,也就是不能保证数据是读一致性的。也不能与后续的增量数据进行无缝衔接。从SQLServer向Oracle进行数据初始化时我们可以借助中间库来实现。先用SQLServer的备份恢复功能,恢复一个中间库,再用OGG Intial Load功能从中间库中进行数据初始化。中间库是静态数据,这个数据的状态是某个LSN时间点的状态。OGG的CSN其实与SQLServer的LSN是同一个值。然后我们可以在Oracle目标端使用aftercsn功能从中间库LSN时间点开始应用数据。实现无缝初始化。

其他异构数据库的在线初始化也可以参考本文中的方法。

OGG CSN

对于 SQLServer的trail来说它的取值为:

从解释中来看当源端为SQL Server时 Goldengate的CSN取值是从数据库中取的。并且该值会为三段第一个值代表虚拟日志文件号,第二段为虚拟日志中的段号,第三段为日志记录号:

虚拟日志文件号:日志文件中的段号:日志记录号

 

例如:

0X00000d7e:0000036b:01bd

0000003454:0000000875:00445

0Xd7e:36b:1bd

3454:875:445

3454000000087500445

不同的SQL Server版本可能返回给OGG的CSN值不同,大体会为上面几种。

SQL Server LSN号

SQL Server LSN(Log Sequence Number),这个LSN也是会为三段。

  • the first part is the VLF sequence number.
  • the middle part is the offset to the log block
  • the last part is the slot number inside the log block

LSN与CSN的关系

OGG官方文档中并没有说明SQLServer LSN与CSN有什么关系。但从这他们两个的结构来看像是同一个值。

 

分析OGG trail文件中的trail并用APEX SQL分析SQL Server 的日志,分析同一条数据变化进行对比:

OGG trail中LOGCSN:

SQLServer中LSN:

 

 

提取CSN和LSN:

CSN: 00000025:0000013d:0003

LSN: 00000025:0000013D:0002

 

  1. LSN中的字母是大写的,而CSN中的值为小写。(该值为16进制值,可以忽略大小写)
  2. 最后一段CSN要比LSN大1个值。(实际测试中可以实验一下看看取哪个值作为aftercsn值比较合适)

在MOS文章中也说到了LSN和CSN是一样的值。

Oracle GoldenGate Best Practices: Instantiation from a SQL Server Source Database (Doc ID 1310946.1)

 

SQLServer在线初始化

使用OGG把SQLServer的数据同步到Oracle时面临的一个问题就是数据如何在线初始化。如果可以停业务那么可以使用initial Load的方式,采用离线初始化的方式。如果业务不能停,那么在线初始化就是个问题。

我们可以结合SQLServer 备份创建一个中间库,然后使用这个静止的中间库中进行数据库初始化。这样初始化到目标端的数据是状态一致的。然后在目标端启动应用进程时通过aftercsn的方式启动。 其中csn的值就是中间库恢复时的lsn。

 

参考:

https://docs.oracle.com/goldengate/1212/gg-winux/GWUAD/wu_csn.htm#GWUAD752

http://rusanu.com/2012/01/17/what-is-an-lsn-log-sequence-number/
Oracle GoldenGate Best Practices: Instantiation from a SQL Server Source Database (Doc ID 1310946.1)

 

山东神仓信息技术有限公司   专业技术服务,值得您信赖!

技术交流请加Goldengate技术交流群:315085903

 

 

这篇关于OGG SQLServer到Oracle同步  在线初始化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/647525

相关文章

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

MySql基本查询之表的增删查改+聚合函数案例详解

《MySql基本查询之表的增删查改+聚合函数案例详解》本文详解SQL的CURD操作INSERT用于数据插入(单行/多行及冲突处理),SELECT实现数据检索(列选择、条件过滤、排序分页),UPDATE... 目录一、Create1.1 单行数据 + 全列插入1.2 多行数据 + 指定列插入1.3 插入否则更

MySQL深分页进行性能优化的常见方法

《MySQL深分页进行性能优化的常见方法》在Web应用中,分页查询是数据库操作中的常见需求,然而,在面对大型数据集时,深分页(deeppagination)却成为了性能优化的一个挑战,在本文中,我们将... 目录引言:深分页,真的只是“翻页慢”那么简单吗?一、背景介绍二、深分页的性能问题三、业务场景分析四、

MySQL 迁移至 Doris 最佳实践方案(最新整理)

《MySQL迁移至Doris最佳实践方案(最新整理)》本文将深入剖析三种经过实践验证的MySQL迁移至Doris的最佳方案,涵盖全量迁移、增量同步、混合迁移以及基于CDC(ChangeData... 目录一、China编程JDBC Catalog 联邦查询方案(适合跨库实时查询)1. 方案概述2. 环境要求3.

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

C#连接SQL server数据库命令的基本步骤

《C#连接SQLserver数据库命令的基本步骤》文章讲解了连接SQLServer数据库的步骤,包括引入命名空间、构建连接字符串、使用SqlConnection和SqlCommand执行SQL操作,... 目录建议配合使用:如何下载和安装SQL server数据库-CSDN博客1. 引入必要的命名空间2.

全面掌握 SQL 中的 DATEDIFF函数及用法最佳实践

《全面掌握SQL中的DATEDIFF函数及用法最佳实践》本文解析DATEDIFF在不同数据库中的差异,强调其边界计算原理,探讨应用场景及陷阱,推荐根据需求选择TIMESTAMPDIFF或inte... 目录1. 核心概念:DATEDIFF 究竟在计算什么?2. 主流数据库中的 DATEDIFF 实现2.1

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串