【openGauss5.0.0】数据库恢复XLOG分析

2024-03-25 23:36
文章标签 分析 恢复 数据库 opengauss5.0 xlog

本文主要是介绍【openGauss5.0.0】数据库恢复XLOG分析，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

数据库恢复XLOG分析

    • 一、实验环境
    • 二、相关知识点
    • 三、实验过程

一、实验环境

  1. Virtualbox：一台虚拟机
  2. 操作系统：openEuler20.03 LTS
  3. 数据库版本：5.0.0 企业版

二、相关知识点

关闭模式有两种：

  1. 快速（fast）：快速关闭数据库，断开客户端的连接，让当前未提交事务回滚，然后正常关闭数据库。
  2. 立即（immediate）：立即关闭数据库，立即停止数据库进程，直接退出；下次启动时会进行数据库恢复。

三、实验过程

  1. 启动数据库系统

  2. 通过gsql登录postgres数据库

  3. 创建测试表t3

    openGauss=# CREATE TABLE t3 (id INT, name VARCHAR(50));

  4. 开启显示事务并执行insert语句，但未提交事务

    openGauss=# begin;
BEGIN
openGauss=# insert into t3 values(1, 'test');
INSERT 0 1
openGauss=#

  5. 打开新的SSH会话窗口以fast模式关闭数据库

    gs_om -t stop -m fast

  6. 查看数据库运行日志变化情况

    2024-03-25 20:54:14.625 66017163.1 [unknown] 140545200476096 [unknown] 0 dn_6001 00000  0 [BACKEND] LOG:  received fast shutdown request
2024-03-25 20:54:14.643 66017164.6124 [unknown] 140541970036480 AutoVacLauncher 0 dn_6001 00000  0 [BACKEND] LOG:  autovacuum launcher shutting down
2024-03-25 20:54:14.647 66017164.5080 postgres 140541944805120 JobScheduler 0 dn_6001 00000  0 [BACKEND] LOG:  job scheduler is shutting down
2024-03-25 20:54:14.657 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  shutting down
2024-03-25 20:54:14.746 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  will do full checkpoint, need flush 0 pages.
2024-03-25 20:54:14.746 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [SLRU] LOG:  remove old segments(<0) under pg_csnlog
2024-03-25 20:54:15.017 66017164.6132 [unknown] 140542053943040 dn_6001 0 dn_6001 00000  0 [INCRE_CKPT] LOG:  pagewriter thread shut down, id is 2
2024-03-25 20:54:15.020 66017164.6125 [unknown] 140542087505664 dn_6001 0 dn_6001 00000  0 [INCRE_CKPT] LOG:  pagewriter thread shut down, id is 0
2024-03-25 20:54:15.023 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [UNDO] LOG:  [CheckPointUndoSystemMeta:355]undo metadata checkPointRedo = 38073248, oldestXmin = 19961, recycleXmin = 19961, globalFrozenXid = 0, globalRecycleXid = 13845.
2024-03-25 20:54:15.026 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  keep all the xlog segments, because current segno = 2, less than wal_keep_segments = 16
2024-03-25 20:54:15.026 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 01000  0 [BACKEND] WARNING:  replicationSlotMinLSN is InvalidXLogRecPtr!!!
2024-03-25 20:54:15.026 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 01000  0 [BACKEND] WARNING:  replicationSlotMaxLSN is InvalidXLogRecPtr!!!
2024-03-25 20:54:15.027 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  CreateCheckPoint PrintCkpXctlControlFile: [checkPoint] oldCkpLoc:0/244D808, oldRedo:0/244D788, newCkpLoc:0/244F3A0, newRedo:0/244F3A0, preCkpLoc:0/244D6E8
2024-03-25 20:54:15.027 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  will update control file (create checkpoint), shutdown:1
2024-03-25 20:54:15.028 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  attempting to remove WAL segments older than log file 000000010000000000000000
2024-03-25 20:54:15.029 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [DBL_WRT] LOG:  Double write exit
2024-03-25 20:54:15.029 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [DBL_WRT] LOG:  Double write exit
2024-03-25 20:54:15.029 66017164.6127 [unknown] 140541538858752 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  database system is shut down
2024-03-25 20:54:15.30  [postmaster][reaper][140545200476096] LOG: checkpoint thread exit and nowait for sharestorage
2024-03-25 20:54:15.118 66017163.1 [unknown] 140545200476096 [unknown] 0 dn_6001 00000  0 [BACKEND] LOG:  FiniNuma allocIndex: 0.
2024-03-25 20:54:15.118 66017163.1 [unknown] 140545200476096 [unknown] 0 dn_6001 00000  0 [BACKEND] LOG:  Gaussdb exit(0)

  7. 重启数据库，查看t3表数据及当前xlog插入点及LSN

    [omm@standalone ~]$ gs_om -t start
[omm@standalone ~]$ gsql -d postgres -p 26000 -r
openGauss=# select * from t3;id | name
----+------
(0 rows)
openGauss=# select pg_current_xlog_insert_location();pg_current_xlog_insert_location
---------------------------------0/244F8C0
(1 row)
openGauss=# select pg_xlogfile_name('0/244F8C0');pg_xlogfile_name
--------------------------000000010000000000000002
(1 row)openGauss=# select pg_xlogfile_name_offset('0/244F8C0');pg_xlogfile_name_offset
------------------------------------(000000010000000000000002,4520128)
(1 row)

    查看表数据，发现未提交的事务被回滚，insert语句插入的数据没有出现在表中。

  8. 重复步骤2重新登录数据库，在不开启显示事务下执行insert语句

    openGauss=# insert into t3 values(1, 'test');
INSERT 0 1

  9. 查看当前xlog插入点及LSN所在WAL的位置

    openGauss=# select pg_current_xlog_insert_location();pg_current_xlog_insert_location
---------------------------------0/244FE20
(1 row)
openGauss=# select pg_xlogfile_name('0/244FE20');pg_xlogfile_name
--------------------------000000010000000000000002
(1 row)openGauss=# select pg_xlogfile_name_offset('0/244FE20');pg_xlogfile_name_offset
------------------------------------(000000010000000000000002,4521504)
(1 row)

    xlog当前插入点：0/244FE20,当前插入的xlog segment为：000000010000000000000002，LSN为：4521504

  10. 打开新的SSH会话窗口以immediate模式关闭数据库

    gs_om -t stop -m immediate

  11. 重复步骤6查看新的运行日志变化情况
    找到最新的一条日志文件，查看最后11数据，内容如下：

    2024-03-25 21:06:49.293 660174cd.6125 [unknown] 140493807679232 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  keep all the xlog segments, because current segno = 2, less than wal_keep_segments = 16
2024-03-25 21:06:49.294 660174cd.6125 [unknown] 140493807679232 dn_6001 0 dn_6001 01000  0 [BACKEND] WARNING:  replicationSlotMinLSN is InvalidXLogRecPtr!!!
2024-03-25 21:06:49.294 660174cd.6125 [unknown] 140493807679232 dn_6001 0 dn_6001 01000  0 [BACKEND] WARNING:  replicationSlotMaxLSN is InvalidXLogRecPtr!!!
2024-03-25 21:06:49.294 660174cd.6125 [unknown] 140493807679232 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  CreateCheckPoint PrintCkpXctlControlFile: [checkPoint] oldCkpLoc:0/244FCA0, oldRedo:0/244FC20, newCkpLoc:0/244FEA0, newRedo:0/244FE20, preCkpLoc:0/244FB80
2024-03-25 21:06:49.294 660174cd.6125 [unknown] 140493807679232 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  will update control file (create checkpoint), shutdown:0
2024-03-25 21:06:49.296 660174cd.6125 [unknown] 140493807679232 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  attempting to remove WAL segments older than log file 000000010000000000000000
2024-03-25 21:07:07.667 660176fb.5060 postgres 140493504444160 Clean Statement thread 0 dn_6001 00000  0 [BACKEND] LOG:  clean statement thread start
2024-03-25 21:07:43.608 660174cd.1 [unknown] 140497468059584 [unknown] 0 dn_6001 00000  0 [BACKEND] LOG:  received immediate shutdown request
2024-03-25 21:07:43.608 660174cd.10000 [unknown] 140494557538048 dn_6001 0 dn_6001 00000  0 [BACKEND] LOG:  [Alarm Module]alarm checker shutting down...
2024-03-25 21:07:43.612 660174cd.1 [unknown] 140497468059584 [unknown] 0 dn_6001 00000  0 [BACKEND] LOG:  FiniNuma allocIndex: 0.
2024-03-25 21:07:43.612 660174cd.1 [unknown] 140497468059584 [unknown] 0 dn_6001 00000  0 [BACKEND] LOG:  Gaussdb exit(0)

    注意，其中有一行日志为：

    [BACKEND] LOG: CreateCheckPoint PrintCkpXctlControlFile: [checkPoint] oldCkpLoc:0/244FCA0, oldRedo:0/244FC20, newCkpLoc:0/244FEA0, newRedo:0/244FE20, preCkpLoc:0/244FB80
    表明了重做日志点的位置：0/244FE20，这个值和第9步骤看到的是一样的。

  12. 再重启数据库，查看t3表数据及运行日志变化情况

    openGauss=# select * from t3;id | name
----+------1 | test
(1 row)

    t3表已有数据。再看最新的运行日志：

    [BACKEND] LOG:  database system was not properly shut down; automatic recovery in progress
[BACKEND] LOG:  StartupXLOG PrintCkpXctlControlFile: [checkPoint] oldCkpLoc:0/244FEA0, oldRedo:0/244FE20, newCkpLoc:0/244FEA0, newRedo:0/244FE20, preCkpLoc:0/244FCA0
……[BACKEND] LOG:  redo starts at 0/244FE20[BACKEND] LOG:  redo done at 0/244FEA0, end at 0/244FF40[REDO] LOG:  [PR]: Recoverying elapsed: 102217 us, redoTotalBytes:288,EndRecPtr:38076224, redoStartPtr:38075936,speed:0 MB/s, totalTime:102217[BACKEND] LOG:  CreateCheckPoint PrintCkpXctlControlFile: [checkPoint] oldCkpLoc:0/244FEA0, oldRedo:0/244FE20, newCkpLoc:0/244FFC0, newRedo:0/244FF40, preCkpLoc:0/244FEA0

    其中redo starts at 0/244FE20 说明重启后，数据库需要重做日志，将数据进行恢复。

这篇关于【openGauss5.0.0】数据库恢复XLOG分析的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/846616。

相关文章

Git中恢复已删除分支的几种方法

Git中恢复已删除分支的几种方法

《Git中恢复已删除分支的几种方法》：本文主要介绍在Git中恢复已删除分支的几种方法,包括查找提交记录、恢复分支、推送恢复的分支等步骤,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录1. 恢复本地删除的分支场景方法2. 恢复远程删除的分支场景方法3. 恢复未推送的本地删除分支场景方法4. 恢复
阅读更多...
数据库oracle用户密码过期查询及解决方案

数据库oracle用户密码过期查询及解决方案

《数据库oracle用户密码过期查询及解决方案》：本文主要介绍如何处理ORACLE数据库用户密码过期和修改密码期限的问题,包括创建用户、赋予权限、修改密码、解锁用户和设置密码期限,文中通过代码介绍... 目录前言一、创建用户、赋予权限、修改密码、解锁用户和设置期限二、查询用户密码期限和过期后的修改1.查询用
阅读更多...
mysql数据库分区的使用

mysql数据库分区的使用

《mysql数据库分区的使用》MySQL分区技术通过将大表分割成多个较小片段,提高查询性能、管理效率和数据存储效率,本文就来介绍一下mysql数据库分区的使用,感兴趣的可以了解一下... 目录【一】分区的基本概念【1】物理存储与逻辑分割【2】查询性能提升【3】数据管理与维护【4】扩展性与并行处理【二】分区的
阅读更多...
Python MySQL如何通过Binlog获取变更记录恢复数据

Python MySQL如何通过Binlog获取变更记录恢复数据

《PythonMySQL如何通过Binlog获取变更记录恢复数据》本文介绍了如何使用Python和pymysqlreplication库通过MySQL的二进制日志（Binlog）获取数据库的变更记录... 目录python mysql通过Binlog获取变更记录恢复数据1.安装pymysqlreplicat
阅读更多...
IDEA如何切换数据库版本mysql5或mysql8

IDEA如何切换数据库版本mysql5或mysql8

《IDEA如何切换数据库版本mysql5或mysql8》本文介绍了如何将IntelliJIDEA从MySQL5切换到MySQL8的详细步骤,包括下载MySQL8、安装、配置、停止旧服务、启动新服务以及... 目录问题描述解决方案第一步第二步第三步第四步第五步总结问题描述最近想开发一个新应用，想使用mysq
阅读更多...
Oracle数据库使用 listagg去重删除重复数据的方法汇总

Oracle数据库使用 listagg去重删除重复数据的方法汇总

《Oracle数据库使用listagg去重删除重复数据的方法汇总》文章介绍了在Oracle数据库中使用LISTAGG和XMLAGG函数进行字符串聚合并去重的方法,包括去重聚合、使用XML解析和CLO... 目录案例表第一种：使用wm_concat() + distinct去重聚合第二种：使用listagg，
阅读更多...
Redis主从/哨兵机制原理分析

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制
阅读更多...
Redis主从复制的原理分析

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维
阅读更多...
Java读取InfluxDB数据库的方法详解

Java读取InfluxDB数据库的方法详解

《Java读取InfluxDB数据库的方法详解》本文介绍基于Java语言,读取InfluxDB数据库的方法,包括读取InfluxDB的所有数据库,以及指定数据库中的measurement、field、... 首先，创建一个Java项目，用于撰写代码。接下来，配置所需要的依赖；这里我们就选择可用于与Infl
阅读更多...
Redis连接失败：客户端IP不在白名单中的问题分析与解决方案

Redis连接失败：客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败：客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2