[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复

本文主要是介绍[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

作者简介
李传成: 瀚高软件内核研发工程师,主要研究方向为数据库的备份和恢复,对wal日志的原理和应用有较深的理解。自研了wal日志解析工具walminer、pg块恢复工具pg_lightool。

背景
开源软件pg_lightool,实现了基于wal日志的块恢复。详情参见博客:https://my.oschina.net/lcc1990/blog/1931485。由于wal日志中FPW的不确定性,它不能作为一个数据库恢复的解决方案。目前对pg_lightool的代码做了升级,它可以基于一个basebackup和basebackup之后的wal日志完成某个数据表的恢复或者某些page的恢复。项目开源地址:https://gitee.com/movead/pg_lightool。

工具的安装方法在之前的博客里有详细说明,不再赘述。本文主要说明一下pg_lightool新功能的使用方法。新功能的主要应用场景:有基础备份的数据量级比较大的数据库,在发生表或者块数据损坏时,用于损坏数据的快速恢复。

一、实验数据准备
1.初始化数据库后设置归档目录

badebe3172a36a32afbe829c9c9a3a8d.png

2.创建表插入测试数据

730b00c714be1aa6603a838ba9d14955.png

3.如下闭库后删除刚才产生的wal日志。用于保证数据是从basebackup获取的。

b4f9c13459f2d685400393a257738203.png

4.启动数据库做基础备份

fed7808436408dc06fc2565ad109cde2.png

5.测试数据修改(涂掉的地方是log输出有点串行,忽略即可)

fb8fd1cfccee3a3bcd248c7adcb18b62.png

二、基于basebackup和wal日志的单表完全恢复
1. 关闭数据库,模拟表破坏

5407005c9b5ce5a3fe3cd4a2add823ae.png

2. 闭库,执行恢复命令后查看数据

94a940727bd6f6155c784ade9408fa70.png

说明:

使用-b 参数为-1即为全表恢复。

使用-r参数指定basebackup的路径。

命令执行成功后,在数据文件所在的目录生成wtrbk_*_*目录保存旧的数据

8bdce5db95f97e01f689680b393aa33a.png

7ec2c75c537c9d5e17d25da5f0ea67a6.png

说明:表完全恢复的数据正确。

三、基于basebackup和wal日志的单表不完全恢复
在修改测试数据的时候,有一个delete语句,假设这个delete语句是误操作。我们想把数据恢复到这个delete语句之前,应该怎么办?如下是使用pg_lightool工具的不完全恢复演示过程。

1.使用pg_waldump到wal日志中查看这个delete语句的之前成功的一个事务提交,如下结果可以看出delete语句的xid是581,前一个提交的事务是580

b55032bd549963d8042eeed7c70afef7.pngba304637f7b9fab7c1b2dbca0b376ed8.png

2.闭库执行恢复,并查看结果

adb0d716cb622c9dd967686b548a6292.png

说明:

使用了-x参数指定停止wal日志redo的xid,还可以替换为使用-e参数指定时间。

假设delete为误操作,此时误操作数据已恢复,不完全恢复出的数据正确。

四、基于basebackup和wal日志的单block完全恢复
1.闭库删除t2的数据,并执行恢复命令

2817999e061ecc2d0d8ea07505bdbf4a.png

说明:-b参数指定要恢复的page为0,1,2

2.查看数据

bba46836d070429445fafdcb0c44f850.png

说明:表完全恢复的数据正确。

五、基于basebackup和wal日志的单block不完全恢复
1.闭库删除t2的数据,并执行恢复命令

4e0737996e256f7f6ff793499be9a653.png

2.查看数据

20159db6f37a64584c9c1e3e9da77704.png

说明:表不完全恢复的数据正确。

六、后记
1.此恢复操作没有计入wal日志,因此执行恢复后,需要立即备份。

2.目前代码只适用pg10以及之前的版本。

3.如有bug请issue或联系我(lchch1990@sina.cn)

PostgreSQL中文社区欢迎广大技术人员投稿

投稿邮箱:press@postgres.cn
 

这篇关于[转]pg插入执行成功但是没有数据_pg_lightool基于basebackup的单表恢复和块恢复的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/972518

相关文章

Git中恢复已删除分支的几种方法

《Git中恢复已删除分支的几种方法》:本文主要介绍在Git中恢复已删除分支的几种方法,包括查找提交记录、恢复分支、推送恢复的分支等步骤,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录1. 恢复本地删除的分支场景方法2. 恢复远程删除的分支场景方法3. 恢复未推送的本地删除分支场景方法4. 恢复

Python将大量遥感数据的值缩放指定倍数的方法(推荐)

《Python将大量遥感数据的值缩放指定倍数的方法(推荐)》本文介绍基于Python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处理,并将所得处理后数据保存为新的遥感影像... 本文介绍基于python中的gdal模块,批量读取大量多波段遥感影像文件,分别对各波段数据加以数值处

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志(Binlog)获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat

Linux使用dd命令来复制和转换数据的操作方法

《Linux使用dd命令来复制和转换数据的操作方法》Linux中的dd命令是一个功能强大的数据复制和转换实用程序,它以较低级别运行,通常用于创建可启动的USB驱动器、克隆磁盘和生成随机数据等任务,本文... 目录简介功能和能力语法常用选项示例用法基础用法创建可启动www.chinasem.cn的 USB 驱动

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种:使用wm_concat() + distinct去重聚合第二种:使用listagg,

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da

Python实现数据清洗的18种方法

《Python实现数据清洗的18种方法》本文主要介绍了Python实现数据清洗的18种方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1. 去除字符串两边空格2. 转换数据类型3. 大小写转换4. 移除列表中的重复元素5. 快速统

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅:为什么Python是Excel数据处理的最佳拍档

在Pandas中进行数据重命名的方法示例

《在Pandas中进行数据重命名的方法示例》Pandas作为Python中最流行的数据处理库,提供了强大的数据操作功能,其中数据重命名是常见且基础的操作之一,本文将通过简洁明了的讲解和丰富的代码示例,... 目录一、引言二、Pandas rename方法简介三、列名重命名3.1 使用字典进行列名重命名3.编