Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步

2024-03-24 07:52

本文主要是介绍Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

OGG 是一种基于日志的结构化数据复制软件,它通过解析源数据库在线日志或归档日志获得数据的增删改变化。

OracleMysql
IP address192.168.80.100192.168.80.16
DB version19.2.05.7
host nametempmysql

OS version: CentOS 7.9

一,Oracle 服务器上的准备工作。

1.在oracle服务器上创建ogg 用户以及工作目录

su - rootuseradd ogg -g oinstallpasswd oggmkdir -p /opt/oggchown -R ogg /opt/oggmkdir -p /home/oracle/oradata/OGG/ORCLCDBmkdir -p /home/oracle/oradata/OGG/tablespacechown -R oracle:oinstall /home/oracle/oradata/OGG

2.安装ogg软件

su - ogg

将ogg安装包 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip 传到/home/ogg下

unzip -d ~ 213000_fbo_ggs_Linux_x64_Oracle_shiphome.zip
cd fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/

编辑 oggcore.rsp

更新以下行:

INSTALL_OPTION=ORA19C
SOFTWARE_LOCATION=/opt/ogg/source_endpoint

cd ..

./runInstaller -silent -nowait -responseFile /home/ogg/fbo_ggs_Linux_x64_Oracle_shiphome/Disk1/response/oggcore.rsp

3.编辑ogg用户环境变量

export PATH
export ORACLE_BASE=/u01/app/oracle
export ORACLE_HOME=$ORACLE_BASE/product/19.2.0/db_1
export ORACLE_SID=orcl
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$LD_LIBRARY_PATHexport OGG_HOME=/opt/ogg/source_endpoint/
export PATH=$OGG_HOME:$PATH:$ORACLE_HOME/bin
export TNS_ADMIN=$ORACLE_HOME/network/admin
alias ggsci='cd $OGG_HOME;ggsci'

source ~/.bashrc使其生效:

4.建立软链接


ln -s $ORACLE_HOME/lib/libnnz19.so /opt/ogg/source_endpoint/libnnz19.so
cd $OGG_HOMEldd ggsci

5.检查归档

su - oraclemkdir /home/oracle/archivelogsqlplus / as sysdbaarchive log list

6.开启oracle ogg

alter system set enable_goldengate_replication=true;

7.创建c##ogg所需要的表空间

创建c##ogg所需要的表空间:create tablespace oggtbs datafile '/home/oracle/oradata/OGG/tablespace/oggtbs01.dbf' size 1000M autoextend on;并在上面创建c##ogg用户:create user c##ogg identified by ogg default tablespace oggtbs;赋予权限:grant dba ,connect, resource, unlimited tablespace to c##ogg;exec dbms_goldengate_auth.grant_admin_privilege('c##ogg','*',TRUE);select username,common,con_id from cdb_users where username like '%OGG%';commit;

8.检查pdb状态

9.给c##ogg用户赋权限

grant dba ,connect, resource, unlimited tablespace to c##ogg;

10.编辑$TNS_ADMIN下的 tnsnames.ora文件

pdb =(DESCRIPTION =(ADDRESS_LIST =(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.80.100)(PORT = 1521)))(CONNECT_DATA =(SERVER = DEDICATED)(SERVICE_NAME =pdb)))

11.创建ogg所需要的表空间

create tablespace mytbs datafile '/home/oracle/oradata/OGG/tablespace/mytbs01.dbf' size 500M autoextend on;并在上面创建ogg用户:create user ogg identified by ogg default tablespace mytbs;赋予权限:grant dba ,connect, resource, unlimited tablespace to ogg;exec dbms_goldengate_auth.grant_admin_privilege('ogg','*',TRUE);select username,common,con_id from cdb_users where username like '%OGG%';commit;

12.验证ogg可以正常登录PDB数据库

13.创建ogg子目录

su - ogg
ggsci
create subdirs

14.切换到oracle用户,创建一个test_ogg用户

create user test_ogg identified by ogg ;grant dba ,connect, resource, unlimited tablespace to test_ogg;quit切换到test_ogg用户登录PDBsqlplus test_ogg/ogg@PDBcreate table test_ogg(id int,name varchar(20),primary key(id));

15.

切换到ogg用户:cd $OGG_HOMEggsciedit param ./globals填写以下内容oggschema ogg

16.输入以下内容

dblogin userid ogg@PDB password oggadd schematrandata PDB.test_oggadd trandata test_ogg.*capture tabledef test_ogg.*

17.OGG源端管理进程MGR配置:

edit param mgr添加以下内容PORT 7809

18.OGG源端抽取进程extoracle配置

edit param extorcl
extract extorclDDL INCLUDE ALLSETENV (ORACLE_HOME = "/u01/app/oracle/product/19.2.0/db_1")
SETENV (ORACLE_SID="orcl")
SETENV (NLS_LANG="american_america.AL32UTF8")
userid c##ogg@orcl , password ogg
exttrail /opt/ogg/source_endpoint/dirdat/to
table PDB.test_ogg.*;

19.

OGG源端传输进程pumysql配置edit param pumysql加入以下内容
extract pumysql
userid c##ogg@orcl, password ogg
rmthost 192.168.80.16,mgrport 7810
rmttrail /opt/ogg/target_endpoint/dirdat/rt
table PDB.test_ogg.*;

20.

delete extract pumysqladd extract pumysql, exttrailsource /opt/ogg/source_endpoint/dirdat/toadd rmttrail /opt/ogg/target_endpoint/dirdat/rt, extract pumysql, megabytes 100

info all

21.把这些全启动

start mgrstart extorclstart pumysql

其实可以看到现在Time Since Chkpt 这里是有问题的,没有及时的重置时间,因为我们mysql那边还没有进行配置

22.

edit param tab1
defsfile /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test
userid test_ogg@PDB, password ogg
table test_ogg.test_ogg;

23.

quit

./defgen paramfile dirprm/tab1.prm  

二,Mysql服务器上的准备工作。

1.安装Mysql步骤这里不做描述。

2.创建ogg用户

create user 'ogg'@'%' identified by 'ogg';grant all on *.* to 'ogg'@'%';

3.创建目的端ogg用户:ogg2

useradd ogg2passwd ogg2su - ogg2

4.将ogg for mysql安装包 传到/home/ogg2下

unzip -d ~ ./213000_ggs_Linux_x64_MySQL_64bit.zip

5.创建工作目录

mkdir /opt/ogg/target_endpointchown -R ogg2 /opt/ogg/target_endpoint

6.切换回ogg2用户:

tar -xvf ggs_Linux_x64_MySQL_64bit.tar -C /opt/ogg/target_endpoint

7.编辑环境变量

PATH=$PATH:$HOME/.local/bin:$HOME/binexport PATH
export JAVA_HOME=$HOME/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATHexport OGG_HOME=/opt/ogg/target_endpoint
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64:$JAVA_HOME/jre/lib/amd64/server:$JAVA_HOME/jre/lib/amd64/libjsig.so:$JAVA_HOME/jre/lib/amd64/server/libjvm.so:$OGG_HOME/lib:$HOME/libsexport PATH=$OGG_HOME:$PATH
alias ggsci='cd $OGG_HOME;ggsci'

8.

cd $OGG_HOMEggscicreate subdirs

9.edit param mgr

这个端口要和一.19步要对应上

10.OGG目的端检查点日志表checkpoint配置

edit param ./GLOBALS添加如下内容CHECKPOINTTABLE ogg.checkpoint

11.

创建MySQL的ogg用户:drop user ogg;create user 'ogg'@'%' identified by 'ogg';grant all on *.* to 'ogg'@'%';创建checkpoint所需的ogg库:create database ogg;
use oggcreate table test_ogg(id int,name varchar(20),primary key(id));

12.

将上次生成的 /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test 文件拷贝到 $OGG_HOME/dirdef下:cp /opt/ogg/source_endpoint/dirdef/ogg_test.ogg_test /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test

目标端:

13.进入ggsci命令行

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password oggadd checkpointtable ogg.ggs_checkpoint

14.edit params r_tab1  这里重中之重,所参考文档 这一步是有问题的。

replicat r_tab1
targetdb ogg@192.168.80.16:3306,userid ogg,password ogg
sourcedefs /opt/ogg/target_endpoint/dirdef/ogg_test.ogg_test
HANDLECOLLISIONS
MAP PDB.test_ogg.*,target ogg.test_ogg;

翻译过来就是,我理解的意思就是源表你指定了要同步一个PDB的内容,但是params r_tab1这个文件里面却没指定,所以MAP 后面应该是PDB.test_ogg.*。之前参考的文档有些许错误。

15.

dblogin sourcedb ogg@127.0.0.1:3306 ,userid ogg, password oggdelete replicat r_tab1add replicat r_tab1,exttrail /opt/ogg/target_endpoint/dirdat/rt,checkpointtable ogg.ggs_checkpoint
info allstart mgrstart r_tab1

16. 关于排错的体会。

首先看一下RBA是否是有值的,如果是0,证明数据没同步过来,解决思路是看一下Log Read Checkpoint 这个目录里面的文件名字是否对上了。

info all

看一下 Time Since Chkpt 每隔十几秒钟会不会清零,如果没清零,则肯定是有报错,去看日志,

view ggsevt

同时在Oracle这边 PUMYSQL组也Time Since Chkpt也应该十几秒清零一次,做检查点。

一般来讲,如果Time Since Chkpt 一直没清零,则几分钟后该程序就会停止。

最后,检查数据是否同步:

使用OGG实现Oracle 19C到MySQL 5.7的数据同步(1) - 知乎 (zhihu.com)

这篇关于Oracle 使用OGG(Oracle GoldenGate) 实现19c PDB与MySQL5.7 数据同步的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/840930

相关文章

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

java实现docker镜像上传到harbor仓库的方式

《java实现docker镜像上传到harbor仓库的方式》:本文主要介绍java实现docker镜像上传到harbor仓库的方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 前 言2. 编写工具类2.1 引入依赖包2.2 使用当前服务器的docker环境推送镜像2.2

C++20管道运算符的实现示例

《C++20管道运算符的实现示例》本文简要介绍C++20管道运算符的使用与实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录标准库的管道运算符使用自己实现类似的管道运算符我们不打算介绍太多,因为它实际属于c++20最为重要的

Java easyExcel实现导入多sheet的Excel

《JavaeasyExcel实现导入多sheet的Excel》这篇文章主要为大家详细介绍了如何使用JavaeasyExcel实现导入多sheet的Excel,文中的示例代码讲解详细,感兴趣的小伙伴可... 目录1.官网2.Excel样式3.代码1.官网easyExcel官网2.Excel样式3.代码

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

ModelMapper基本使用和常见场景示例详解

《ModelMapper基本使用和常见场景示例详解》ModelMapper是Java对象映射库,支持自动映射、自定义规则、集合转换及高级配置(如匹配策略、转换器),可集成SpringBoot,减少样板... 目录1. 添加依赖2. 基本用法示例:简单对象映射3. 自定义映射规则4. 集合映射5. 高级配置匹

Spring 框架之Springfox使用详解

《Spring框架之Springfox使用详解》Springfox是Spring框架的API文档工具,集成Swagger规范,自动生成文档并支持多语言/版本,模块化设计便于扩展,但存在版本兼容性、性... 目录核心功能工作原理模块化设计使用示例注意事项优缺点优点缺点总结适用场景建议总结Springfox 是