mysql和pg等数据库之间的数据迁移实战分享

2024-09-02 18:04

本文主要是介绍mysql和pg等数据库之间的数据迁移实战分享,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

mysql和pg等数据库之间的数据迁移是常见的问题:比如一开始使用Oracle,后来想使用mysql,而且需要把Oracle数据库的数据迁移到mysql里面;后期有想使用pg数据库,同时需要把Mysql数据库的数据迁移到pgl里面,等等诸如此类数据迁移,都是一个重要问题。基于此,我们今天分享mysql数据迁移到pg数据库的案例。方案如下:

一、客户端迁移

如果数据量比较小,并且win电脑端可以连上数据库,此种情况下可以使用客户端迁移数据,比如使用Navicat 15及以上版本。现在开始演示:

1、工具栏中选择数据传输

2、选择数据源和目标

点击下一步进入 

3、选择表结构

自定义选择或者选择全部数据,再点击下一步,就可以开始传输数据了,如果有错误,有日志实时打印。 

4、创建自增序列

msql数据库迁移到pg之后,字段类型都改成相应的字段了,比如:

常见数据类型的映射:

  • TINYINT -> SMALLINT
  • INT -> INTEGER
  • BIGINT -> BIGINT
  • VARCHAR -> VARCHAR
  • TEXT -> TEXT
  • DATETIME -> TIMESTAMP
  • DECIMAL -> NUMERIC

只有主键自增这一块,需要单独处理一下:即每张表的主键添加自增序列

参考文章

二、pgLoader 工具迁移

pgloader 使用文档

1、安装 pgLoader

首先,确保你的系统上安装了 pgLoader。你可以使用包管理器安装,也可以从源代码编译安装。

Ubuntu/Debian 环境
sudo apt-get install pgloader或者 CentOS/RHEL 环境sudo yum install pgloader

2、从源代码编译安装

如果你的发行版没有直接提供 pgLoader 包,你可以从源代码安装:

git clone https://github.com/dimitri/pgloader.git
cd pgloader
make build
sudo make install

下载地址

3、Docker 镜像安装

docker pull dimitri/pgloader
运行
docker run --rm dimitri/pgloader:latest pgloader --version

3、命令查看 pgLoader 是否安装成功:

pgloader --version

4、准备 MySQL 和 PostgreSQL 数据库

确保你的 MySQL 数据库和 PostgreSQL 数据库已经准备好,并且你有相应的访问权限。

  • MySQL: 确保你知道 MySQL 数据库的连接信息(用户名、密码、数据库名、主机名、端口)。
  • PostgreSQL: 确保目标 PostgreSQL 数据库已经创建好,并且你有相应的访问权限。

5、使用 pgLoader 迁移数据

pgloader mysql://mysql_user:mysql_password@mysql_host/mysql_dbname postgresql://pg_user:pg_password@pg_host/pg_dbname

参数注释:

  • mysql_user: MySQL 用户名
  • mysql_password: MySQL 密码
  • mysql_host: MySQL 服务器地址(例如 localhost 或 IP 地址)
  • mysql_dbname: 要迁移的 MySQL 数据库名
  • pg_user: PostgreSQL 用户名
  • pg_password: PostgreSQL 密码
  • pg_host: PostgreSQL 服务器地址(例如 localhost 或 IP 地址)
  • pg_dbname: 目标 PostgreSQL 数据库名

三、手动导入

1、使用 mysqldump 导出 SQL 脚本

mysqldump -u [username] -p[password] --compatible=postgresql --no-create-info [database_name] > mysql_data.sql

此命令将生成一个 mysql_data.sql 文件,其中包含 MySQL 表的数据,且格式与 PostgreSQL 兼容。 

2、创建 PostgreSQL 表

根据 MySQL 表的结构,在 PostgreSQL 中创建相应的表。需要注意的是,MySQL 和 PostgreSQL 在数据类型方面有一些差异。以下是一些常见数据类型的映射:

  • TINYINT -> SMALLINT
  • INT -> INTEGER
  • BIGINT -> BIGINT
  • VARCHAR -> VARCHAR
  • TEXT -> TEXT
  • DATETIME -> TIMESTAMP
  • DECIMAL -> NUMERIC

例如,假设 MySQL 中有以下表:

CREATE TABLE employees (id INT PRIMARY KEY,name VARCHAR(255),salary DECIMAL(10, 2),hired_date DATETIME
);

则在 PostgreSQL 中创建相应的表:

CREATE TABLE employees (id SERIAL PRIMARY KEY,name VARCHAR(255),salary NUMERIC(10, 2),hired_date TIMESTAMP
);

3、导入数据到 PostgreSQL

psql -U [username] -d [database_name] -f mysql_data.sql

最后,检查数据是否正确迁移到 PostgreSQL,确保表结构、数据类型和数据内容都无误。 

到此,不同数据库之间的数据迁移暂时分享完成,后面我们会持续更新更新的迁移方案,敬请期待!

这篇关于mysql和pg等数据库之间的数据迁移实战分享的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1130670

相关文章

SQL server数据库如何下载和安装

《SQLserver数据库如何下载和安装》本文指导如何下载安装SQLServer2022评估版及SSMS工具,涵盖安装配置、连接字符串设置、C#连接数据库方法和安全注意事项,如混合验证、参数化查... 目录第一步:打开官网下载对应文件第二步:程序安装配置第三部:安装工具SQL Server Manageme

C#连接SQL server数据库命令的基本步骤

《C#连接SQLserver数据库命令的基本步骤》文章讲解了连接SQLServer数据库的步骤,包括引入命名空间、构建连接字符串、使用SqlConnection和SqlCommand执行SQL操作,... 目录建议配合使用:如何下载和安装SQL server数据库-CSDN博客1. 引入必要的命名空间2.

全面掌握 SQL 中的 DATEDIFF函数及用法最佳实践

《全面掌握SQL中的DATEDIFF函数及用法最佳实践》本文解析DATEDIFF在不同数据库中的差异,强调其边界计算原理,探讨应用场景及陷阱,推荐根据需求选择TIMESTAMPDIFF或inte... 目录1. 核心概念:DATEDIFF 究竟在计算什么?2. 主流数据库中的 DATEDIFF 实现2.1

MySQL 多列 IN 查询之语法、性能与实战技巧(最新整理)

《MySQL多列IN查询之语法、性能与实战技巧(最新整理)》本文详解MySQL多列IN查询,对比传统OR写法,强调其简洁高效,适合批量匹配复合键,通过联合索引、分批次优化提升性能,兼容多种数据库... 目录一、基础语法:多列 IN 的两种写法1. 直接值列表2. 子查询二、对比传统 OR 的写法三、性能分析

MySQL中的LENGTH()函数用法详解与实例分析

《MySQL中的LENGTH()函数用法详解与实例分析》MySQLLENGTH()函数用于计算字符串的字节长度,区别于CHAR_LENGTH()的字符长度,适用于多字节字符集(如UTF-8)的数据验证... 目录1. LENGTH()函数的基本语法2. LENGTH()函数的返回值2.1 示例1:计算字符串

浅谈mysql的not exists走不走索引

《浅谈mysql的notexists走不走索引》在MySQL中,​NOTEXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引,下面就来介绍一下mysql的notexists走不走索... 在mysql中,​NOT EXISTS子句是否使用索引取决于子查询中关联字段是否建立了合适的索引。以下

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

Javaee多线程之进程和线程之间的区别和联系(最新整理)

《Javaee多线程之进程和线程之间的区别和联系(最新整理)》进程是资源分配单位,线程是调度执行单位,共享资源更高效,创建线程五种方式:继承Thread、Runnable接口、匿名类、lambda,r... 目录进程和线程进程线程进程和线程的区别创建线程的五种写法继承Thread,重写run实现Runnab

PowerShell中15个提升运维效率关键命令实战指南

《PowerShell中15个提升运维效率关键命令实战指南》作为网络安全专业人员的必备技能,PowerShell在系统管理、日志分析、威胁检测和自动化响应方面展现出强大能力,下面我们就来看看15个提升... 目录一、PowerShell在网络安全中的战略价值二、网络安全关键场景命令实战1. 系统安全基线核查

Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式

《Java通过驱动包(jar包)连接MySQL数据库的步骤总结及验证方式》本文详细介绍如何使用Java通过JDBC连接MySQL数据库,包括下载驱动、配置Eclipse环境、检测数据库连接等关键步骤,... 目录一、下载驱动包二、放jar包三、检测数据库连接JavaJava 如何使用 JDBC 连接 mys