ceph RBD的导出导入和数据恢复

2024-01-21 18:40
文章标签 导出 导入 数据恢复 ceph rbd

本文主要是介绍ceph RBD的导出导入和数据恢复，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

背景

K8S的pod使用pvc挂载ceph RBD块（不映射到目录）

ceph RBD数据恢复思路：

方法一：快照做文件备份，导入导出
1、为RBD image创建快照：rbd snap create
2、将快照导出成文件备份
（1）全量导出：rbd export
（2）增量导出：rbd export-diff
3、将备份文件导入为新的RBD image
（1）全量导入：rbd import（与 “全量导出” 相对应）
（2）增量导入：rbd import-diff（与 “增量导出” 相对应）
4、利用new RBD image替换old RBD image，实现数据的恢复
方法二：用rbd rollback方式恢复
（1）为RBD image创建快照：rbd snap create
（2）使用rbd rollback将快照恢复
执行完rbd rollback后，检查pod中的目录，数据并没有恢复。
猜想可能需要重新挂载image，于是将pv删除，再重建，但是pv重建报错数据丢失，无法重建。
疑问：rbd rollback应该怎么使用呢？

方法二 并未走通，本文介绍方法一的操作步骤

1、 创建快照

1、查看pod使用的哪个RBD image：pod → pvc → pv → RBD image

Source.VolumeAttributes.pool 是pool的名字
Source.VolumeAttributes.imageName是image的名字

bglab@node4:~/csz/rook/cluster/examples/kubernetes$ kubectl describe pv pvc-f761d767-a658-40a6-b841-b6f43256f904
Name:            pvc-f761d767-a658-40a6-b841-b6f43256f904
Labels:          <none>
Annotations:     pv.kubernetes.io/provisioned-by: rook-ceph.rbd.csi.ceph.com
Finalizers:      [kubernetes.io/pv-protection]
StorageClass:    rook-ceph-block
Status:          Bound
Claim:           default/busybox-pvc
Reclaim Policy:  Delete
Access Modes:    RWO
VolumeMode:      Filesystem
Capacity:        2Gi
Node Affinity:   <none>
Message:
Source:Type:              CSI (a Container Storage Interface (CSI) volume source)Driver:            rook-ceph.rbd.csi.ceph.comVolumeHandle:      0001-0009-rook-ceph-0000000000000002-387b2608-61f7-11eb-b9c5-0e28ddb26a3cReadOnly:          falseVolumeAttributes:      clusterID=rook-cephimageFeatures=layeringimageFormat=2imageName=csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3cjournalPool=replicapoolpool=replicapoolradosNamespace=storage.kubernetes.io/csiProvisionerIdentity=1611017763643-8081-rook-ceph.rbd.csi.ceph.com
Events:                <none>
2、 创建快照V1

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件csz_ceph.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'test' >> csz_ceph.txt

结果如下：
![]https://g-rGbog.csdnWg.cn/2027710129094201572.3)(d)]

（2）创建快照v1

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap create replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap ls replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c
SNAPID  NAME  SIZE   PROTECTED  TIMESTAMP4  v1    2 GiB             Fri Jan 29 01:13:33 2021
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd showmapped
id  pool         namespace  image                                         snap  device
0   replicapool             csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c  -     /dev/rbd0
3、 创建快照V2

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件aaa.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'pretty girl' >> aaa.txt

结果如下：
在这里插入图片描述
（2）创建快照v2

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap create replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v2
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap ls replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c
SNAPID  NAME  SIZE   PROTECTED  TIMESTAMP4  v1    2 GiB             Fri Jan 29 01:13:33 20215  v2    2 GiB             Fri Jan 29 01:21:32 2021
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
4、创建快照V3

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件aaa.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'handsome boy' >> boy

结果如下：
在这里插入图片描述
（2）创建快照v3

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap create replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v3
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap ls replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c
SNAPID  NAME  SIZE   PROTECTED  TIMESTAMP4  v1    2 GiB             Fri Jan 29 01:13:33 20215  v2    2 GiB             Fri Jan 29 01:21:32 20216  v3    2 GiB             Fri Jan 29 01:22:31 2021

2、 将RBD image的快照导出成文件

2.1增量导出：rbd export-diff

#这个命令是导出了从开始创建image到快照v1那个时间点的差异数据，导出成本地文件csz-busybox-v1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export-diff replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v1 csz-busybox-v1
Exporting image: 100% complete...done.
#这个命令是导出了从快照v1那个时间点到快照v3那个时间点的差异数据，导出成本地文件csz-busybox-v1-v3
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export-diff replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c@v3 --from-snap v1 csz-busybox-v1-v3
Exporting image: 100% complete...done.
#导出了从image创建到当前的时间点的差异数据，导出成本地文件csz-busybox-now（相当于 全量导出）
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export-diff replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c csz-busybox-now
Exporting image: 100% complete...done.
从image创建到当前的时间点的差异数据。

2.2 全量导出：rbd export

（1）进入pod，在pod挂载对应RBD image的目录中，新增文件aaa.txt

kubectl -n default exec -it deploy/csz-busybox-deployment sh
echo 'handsome boy1' >> boy1

结果如下：
在这里插入图片描述
（2）全量导出

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd export replicapool/csi-vol-e31e16b6-6069-11eb-b9c5-0e28ddb26a3c csz-busybox-full
Exporting image: 100% complete...done.

3、 快照导出的文件导入为新的RBD image

快照的恢复过程使用的是刚刚上面提到的备份到本地的那些文件.
现在假如想恢复到v3那个快照的时间点，那么可以用两个方法
方法1：直接基于v3的时间点的快照做恢复
方法2：直接基于v1的时间点的数据，和后面的增量的v1-v3数据(要按顺序导入)

3.1增量导入：rbd import-diff

#方法1：直接基于v3的时间点的快照做恢复
#首先随便创建一个image,名称大小都不限制，因为后面恢复的时候会覆盖掉大小的信息
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd create replicapool/resume-v1 --size 1    
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-v3 replicapool/resume-v1                                          Importing image diff: 100% complete...done.
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
#方法2： 基于v1+ v1_v3数据恢复
#首先随便创建一个image,名称大小都不限制，因为后面恢复的时候会覆盖掉大小的信息
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd create replicapool/resume-v3 --size 1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-v1 replicapool/resume-v3
Importing image diff: 100% complete...done.
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-v1-v3 replicapool/resume-v3

​ 实际项目当中就是，定期做快照，然后导出某个时间点快照的数据，然后导出增量的快照的数据，就可以了

3.2全量导入：rbd import

注：不用提前创建目标image，否则rbd import会报错

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd create replicapool/resume-full --size 1
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import-diff csz-busybox-full replicapool/resume-full
rbd: invalid or unexpected diff banner
rbd: import-diff failed: (22) Invalid argument
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import csz-busybox-full replicapool/resume-full
rbd: image creation failed
Importing image: 0% complete...failed.
rbd: import failed: 2021-01-29T02:11:56.790+0000 7fdfdcb4b500 -1 librbd: rbd image resume-full already exists
(17) File exists
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd import csz-busybox-full replicapool/resume-full1
Importing image: 100% complete...done.
[root@rook-ceph-tools-6f5694c655-hzpj5 /]#

在这里插入图片描述
四、如何利用这个
实际项目当中就是，定期做快照，然后导出某个时间点快照的数据，然后导出增量的快照的数据，就可以了，例如：
今天对所有的rbd的image做一个基础快照，然后导出这个快照的数据，然后从今天开始，每天晚上做一个快照，然后导出快照时间点之间的数据，这样每天导出来的就是一个增量的数据了，在做恢复的时候，就从第一个快照导入，然后按顺序导入增量的快照即可，也可以定期做一个快照，导出完整的快照数据，以防中间的增量快照漏了，然后就是要注意可以定期清理快照，如果是做备份的模式，在导入了快照数据后，也可以清理一些本地的数据，本地数据做异地机房复制的时候也可以做一下数据的压缩，来减少数据量的传输

客户端验证：将RBD image恢复到pod

思路：将新的image name重命名rename成原来的image name

删除旧的image
# Step1：停掉pod对image的使用
修改pod的yaml文件，将spec: replicas: 副本数改为0
# Step2：清空旧image的snapshots
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd snap purge replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
Removing all snapshots: 100% complete...done.
# Step3：删除旧的image
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rm replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
Removing image: 100% complete...done.
将new image name重命名为old image name
[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rename replicapool/test-v3 replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
启动pod
修改pod的yaml文件，将spec: replicas: 副本数由0改回原值

FAQ:

rbd 删除image时，报错“rbd: image has snapshots - these must be deleted with ‘rbd snap purge’ before the image can be removed”

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rm replicapool/csi-vol-387b2608-61f7-11eb-b9c5-0e28ddb26a3c
Removing image: 0% complete...failed.
rbd: image has snapshots - these must be deleted with 'rbd snap purge' before the image can be removed.

解决方法：执行’rbd snap purge’删掉image相关snapshots

rbd 删除image时，报错“rbd: error: image still has watchers”

[root@rook-ceph-tools-6f5694c655-hzpj5 /]# rbd rm replicapool/csi-vol-6ee1b63a-6060-11eb-b9c5-0e28ddb26a3c
2021-01-29T06:22:09.698+0000 7fe4677fe700 -1 librbd::image::PreRemoveRequest: 0x55a645137470 check_image_watchers: image has watchers - not removing
Removing image: 0% complete...failed.
rbd: error: image still has watchers
This means the image is still open or the client using it crashed. Try again after closing/unmapping it or waiting 30s for the crashed client to timeout.

解决方法：删除使用image的pod（修改pod的yaml文件，将spec: replicas: 副本数改为0）

这篇关于ceph RBD的导出导入和数据恢复的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/630485。

相关文章

详解Vue如何使用xlsx库导出Excel文件

详解Vue如何使用xlsx库导出Excel文件

《详解Vue如何使用xlsx库导出Excel文件》第三方库xlsx提供了强大的功能来处理Excel文件,它可以简化导出Excel文件这个过程,本文将为大家详细介绍一下它的具体使用,需要的小伙伴可以了解... 目录1. 安装依赖2. 创建vue组件3. 解释代码在Vue.js项目中导出Excel文件，使用第三
阅读更多...
Python实现将实体类列表数据导出到Excel文件

Python实现将实体类列表数据导出到Excel文件

《Python实现将实体类列表数据导出到Excel文件》在数据处理和报告生成中,将实体类的列表数据导出到Excel文件是一项常见任务,Python提供了多种库来实现这一目标,下面就来跟随小编一起学习一... 目录一、环境准备二、定义实体类三、创建实体类列表四、将实体类列表转换为DataFrame五、导出Da
阅读更多...
Python数据处理之导入导出Excel数据方式

Python数据处理之导入导出Excel数据方式

《Python数据处理之导入导出Excel数据方式》Python是Excel数据处理的绝佳工具,通过Pandas和Openpyxl等库可以实现数据的导入、导出和自动化处理,从基础的数据读取和清洗到复杂... 目录python导入导出Excel数据开启数据之旅：为什么Python是Excel数据处理的最佳拍档
阅读更多...
Oracle Expdp按条件导出指定表数据的方法实例

Oracle Expdp按条件导出指定表数据的方法实例

《OracleExpdp按条件导出指定表数据的方法实例》：本文主要介绍Oracle的expdp数据泵方式导出特定机构和时间范围的数据,并通过parfile文件进行条件限制和配置,文中通过代码介绍... 目录1.场景描述 2.方案分析3.实验验证 3.1 parfile文件3.2 expdp命令导出4.总结
阅读更多...
java poi实现Excel多级表头导出方式(多级表头,复杂表头)

java poi实现Excel多级表头导出方式(多级表头,复杂表头)

《javapoi实现Excel多级表头导出方式(多级表头,复杂表头)》文章介绍了使用javapoi库实现Excel多级表头导出的方法,通过主代码、合并单元格、设置表头单元格宽度、填充数据、web下载... 目录Java poi实现Excel多级表头导出(多级表头,复杂表头)上代码1.主代码2.合并单元格3.
阅读更多...
Python模块导入的几种方法实现

Python模块导入的几种方法实现

《Python模块导入的几种方法实现》本文主要介绍了Python模块导入的几种方法实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学... 目录一、什么是模块？二、模块导入的基本方法1. 使用import整个模块2.使用from ... i
阅读更多...
python: 多模块(.py)中全局变量的导入

python: 多模块(.py)中全局变量的导入

文章目录 global关键字可变类型和不可变类型数据的内存地址单模块(单个py文件)的全局变量示例总结 多模块(多个py文件)的全局变量from x import x导入全局变量示例 import x导入全局变量示例 总结 global关键字 global 的作用范围是模块(.py)级别： 当你在一个模块（文件）中使用 global 声明变量时，这个变量只在该模块的全局命名空
阅读更多...
MySQL使用mysqldump导出数据

MySQL使用mysqldump导出数据

mysql mysqldump只导出表结构或只导出数据的实现方法 备份数据库： #mysqldump　数据库名　>数据库备份名 #mysqldump　-A　-u用户名　-p密码　数据库名>数据库备份名 #mysqldump　-d　-A　--add-drop-table　-uroot　-p　>xxx.sql 1.导出结构不导出数据 mysqldump　--opt　-d　数据库名　-u
阅读更多...
一步一步将PlantUML类图导出为自定义格式的XMI文件

一步一步将PlantUML类图导出为自定义格式的XMI文件

一步一步将PlantUML类图导出为自定义格式的XMI文件 说明： 首次发表日期：2024-09-08PlantUML官网： https://plantuml.com/zh/PlantUML命令行文档： https://plantuml.com/zh/command-line#6a26f548831e6a8cPlantUML XMI文档: https://plantuml.com/zh/xmi
阅读更多...
如何导入sun.misc.BASE64Encoder和sum.misc.BASE64Decoder

如何导入sun.misc.BASE64Encoder和sum.misc.BASE64Decoder

右击项目名--->Build Path--->Configure Build Path...--->java Build Path--->Access rules:1 rule defined,added to all librar...   --->Edit --->Add...
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2