HBase 例行灾备方案：快照备份与还原演练

2023-12-28 11:36
文章标签 备份 方案 快照 还原 演练 hbase 灾备 例行

本文主要是介绍HBase 例行灾备方案：快照备份与还原演练，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

《大数据平台架构与原型实现：数据中台建设实战》博主历时三年精心创作的《大数据平台架构与原型实现：数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行，点击《重磅推荐：建大数据平台太难了！给我发个工程原型吧！》了解图书详情，京东购书链接：https://item.jd.com/12677623.html，扫描左侧二维码进入京东手机购书页面。

该方案是为某用户定制的 HBase 灾备方案，方案本身具有很好的适用性，可以复用于常规 HBase 灾备场景。用户对 HBase 的灾备工作非常重视，每周会对 HBase 进行一次全量备份，将快照上传至 S3 保存，同时，在消息队列和其他数据库中保存着两周以内的增量数据，当 HBase 宕机时，会先还原快照将数据库恢复至一周内某一时刻的全量状态，然后再从其他系统读取一周内的增量数据进行补录，直至数据追平。本文将重点讨论 HBase 基于快照的例行备份和灾后恢复操作，并给出详细的解释和操作脚本。更多快照导入导出操作的详细介绍可参考本文姊妹篇:《HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案》

1. 方案架构


由于 HBase 的快照导入、导出是一个基于 Yarn 的 Map-Reduce 作业，而生产集群是一个专职的 HBase 集群，不宜为 Yarn 分配过多资源，所以，直接使用 HBase 的生产集群执行快照导入、导出作业并不是一个明智的选择，推荐的做法是：为快照导入和导出创建专用集群，这样做的好处是：
  • HBase 的生产集群将不再需要为 Yarn 分配资源，可以将资源集中投放给 HBase；
  • 用于快照导入、导出的专用集群可以将全部资源分配给 Yarn，同时在配置上针对 Map-Reduce 进行定向性能调优，以最快速度完成快照导入、导出工作；
  • 在超大数据集下，无论是快照导出、导入还是还原，都需要对 HBase 做多项特定配置，包含超时和文件清理周期的调整，这些都不是正常生产集群上应有的配置，该方案可以规避修改配置并重启集群的问题；
  • 导入、导出执行完毕后，可随即释放集群，无额外支出

以下是快照备份场景的架构示意图：

请添加图片描述

在这一场景下，我们通过专用的快照导出集群从生产集群中导出快照（读取的是生产集群的 HDFS），然后将数据写入到 S3 并保存至少1周时间，从效果上等同于生产集群将自己的快照直接上传至 S3，但却不需要为此特别修改配置。

以下是灾后还原场景的架构示意图：

请添加图片描述

在这一场景下，我们通过专用的快照导入集群读取 S3 中的快照文件，然后将数据写入到还原集群中（写入的是还原集群的 HDFS），从效果上等同于还原集群直接从 S3 上下载快照并还原，但却不需要为此特别修改配置。

2. 环境说明


本次模拟演练使用的环境是：HBase 1.4.9 （EMR版本：5.23.0），全场景涉及4个 HBase 集群，分别是：

  • 生产集群：m5.4xlarge （16 vCore，64 GB），3 个 Master Node + 20 个 Core Node
  • 快照导出专用集群：r5.2xlarge （8 vCore，64 GB），1 个 Master Node + 32 个 Core Node
  • 快照导入专用集群：r5.2xlarge （8 vCore，64 GB），1 个 Master Node + 32 个 Core Node
  • 恢复集群：m5.4xlarge （16 vCore，64 GB），3 个 Master Node + 20 个 Core Node

以下是4个集群的详细信息：

信息项生产集群快照导出专用集群快照导入专用集群恢复集群
HBase 版本1.4.91.4.91.4.91.4.9
EMR 版本5.23.05.23.05.23.05.23.0
实例机型m5.4xlarger5.2xlarger5.2xlargem5.4xlarge
主节点3113
Core节点20<= 323220
存储介质HDFSHDFSHDFSHDFS

3. 前置条件


进行实操演练前，需要您的环境中已经创建了：

  1. 一个生产集群
  2. 一张演练用的测试表

如果只是进行演练，您可以根据自身账号情况灵活配置 HBase 生产集群的规模，不必拘泥于上述建议配置；创建测试用表可以参考 《AWS EMR HBase 超大表迁移、备份、还原、同步演练手册：全量快照 + 实时同步（Snapshot + Replication）不停机迁移方案 》一文的第 5.5 - 5.7 节。

进行正式演练前，需要提醒注意以下事项：

  • 本演练的多数命令都需执行较长时间，因此，命令都使用了 nohup ... & 形式转为了后台运行，以防 Linux 终端 Session 超时导致命令意外终止；

  • 本演练的操作必须按顺序执行，不可在前一个命令转为后台运行后，立即执行下一条命令；

  • 演练过程中需要在各个集群和 AWS Console 上来回切换，为了提醒操作者，本文特意使用 [ 执行环境 ] :: ... 形式的标题强调本节操作的执行环境

4. 全局变量


为了让脚本更具可移植性，我们将所有环境相关的信息抽离出来，以变量形式统一声明和维护（请注意替换脚本中出现的 ` 
export TABLE_NAME="<your-table-name>"
export SNAPSHOT_NAME="${TABLE_NAME}-$(date +'%Y%m%d')"
export SNAPSHOTS_REPO="s3://<your-snapshot-repo-bucket>"
export SNAPSHOT_S3_LOCATION="${SNAPSHOTS_REPO}/${SNAPSHOT_NAME}/"
export WORKER_NODES=32
export SNAPSHOT_EXPORT_MAPPERS=2040
export INUSE_CLUSTER_NAMENODES="<your-in-use-cluster-namenode>"
export SNAPSHOT_EXPORT_CLUSTER_NAMENODES="<your-snapshot-export-cluster-namenode>"
export SNAPSHOT_IMPORT_CLUSTER_NAMENODES="<your-snapshot-import-cluster-namenode>"
export RESTORED_CLUSTER_NAMENODES="<your-restored-cluster-namenode-namenode>"

5. 备份快照 ( 例行灾备作业 )


快照备份工作每周执行一次，快照文件会导出到 S3 上存储。本演练文档会给出详细的步骤说明和操作脚本，在实际运维中，该部分操作应提升为脚本或工作流由调度引擎每周触发执行。

5.1. [ 生产集群 ] :: 创建快照


由于生产环境的 HBase 集群不能停机，所以我们在创建快照时，不可以 disable table，而是直接创建快照：

# create snapshot
sudo -u hbase hbase snapshot create -n $SNAPSHOT_NAME -t $TABLE_NAME
# sleep for a while, snapshot may be NOT available immediately.
sleep 120
# check if snapshot is available
sudo -u hbase hbase snapshot info -list-snapshots

通过这种方式创建出来的快照叫：Online Snapshot，如果事先 disable table，则创建出来的就叫 Offline Snapshot。

5.2. [ AWS 控制台 ] :: 创建快照导出专用集群


对于快照导入、导出集群的机型和配置，我们做了多轮测试，最终选定了 r5.2xlarge，因为导入导出作业是一个内存和网络IO密集型作业，网络IO的上限已由生产集群的机型和节点数量决定了，所以，我们从内存上找到了一些优化空间，最终选定了 r5.2xlarge 机型，并将 60 GB 内存分配给 Yarn，单一 worker 节点切分 16 个 Container，Map 任务数量是 Container 的 4 倍，这样的配置在多种配置组合中，性能最佳。以下是具体配置 (请注意替换配置文件中的 <your-aws-access-key-id> 和 <your-aws-secret-access-key>)：

[{"Classification": "hdfs-site","Properties": {"dfs.replication": "1"}},{"Classification": "emrfs-site","Properties": {"fs.s3.maxRetries": "50","fs.s3.maxConnections": "500000"}},{"Classification": "core-site","Properties": {"fs.s3n.multipart.uploads.split.size": "1073741824","fs.s3.awsAccessKeyId": "<your-aws-access-key-id>","fs.s3.awsSecretAccessKey": "<your-aws-secret-access-key>"}},{"Classification": "yarn-site","Properties": {"yarn.nodemanager.resource.memory-mb": "61440","yarn.scheduler.maximum-allocation-mb": "61440","yarn.scheduler.minimum-allocation-mb": "1","yarn.nodemanager.vmem-pmem-ratio": "10"}},{"Classification": "mapred-site","Properties": {"mapred.job.jvm.num.tasks": "-1","mapreduce.map.memory.mb": "3840","mapreduce.map.java.opts": "-Xmx3072m","mapreduce.map.cpu.vcores": "2","mapreduce.reduce.memory.mb": "7680","mapreduce.reduce.java.opts": "-Xmx6144m","mapreduce.reduce.cpu.vcores": "4","yarn.app.mapreduce.am.resource.mb": "7680","yarn.app.mapreduce.am.resource.cpu-vcores": "4"}}
]

不同于生产集群，导入导出集群并不存储数据，所以无需增加磁盘存储，使用默认配置即可。此外，集群创建完毕后，须用 Primary Node 的 Private DNS 或 IP 为全局变量 INUSE_CLUSTER_NAMENODES赋值，并在 Master 节点上执行一次第 4 节的全局变量声明脚本。

5.3. [ 快照导出专用集群 ] :: 导出快照


在快照导出专用集群的主节点上，执行如下命令：

nohup sudo -u hbase hbase snapshot export \-snapshot $SNAPSHOT_NAME \-copy-from "hdfs://${INUSE_CLUSTER_NAMENODES}:8020/user/hbase/" \-copy-to ${SNAPSHOT_S3_LOCATION} \-mappers $SNAPSHOT_EXPORT_MAPPERS \-bandwidth $((2**31-1)) &> export-$SNAPSHOT_NAME.out &
tail -f /var/log/hbase/hbase.log

注意：

  • -mappers 参数的设定值 $SNAPSHOT_EXPORT_MAPPERS 是根据集群配置优化过的，如果不了解该配置项的细节，请勿随意修改，否则会影响性能
  • -bandwidth 参数用于限制带宽，默认值是 100，单位是 MBps，此处设定为 $((2**31-1)) ，是 Java 中的 Integer.MAX_VALUE，目的是不进行带宽限制，由于快照导出会对生成集群造成一定的压力，特别是会占用相当份额的网络带宽，所以是否需要限速可视实际情况进行调整，具体可参考第 7 节的详细说明。

5.4. [ 生产集群 ] :: 删除快照


快照导出后，须及时删除快照 ！因为创建快照后，快照引用的 HFile 将不再被自动清理，随着时间推移，在经历了几轮 Compaction 后，HBase 的 archive 文件夹通常会有大幅增长，HDFS 会有被写满的危险。执行以下命令可删除快照：

sudo -u hbase hbase shell <<< "delete_snapshot '$SNAPSHOT_NAME'"

5.5. [ AWS 控制台 ] :: 终止快照导出专用集群


导出完成后，即可在控制台上终止快照导出专用集群。

6. 还原快照 ( 灾后恢复作业 )


快照还原仅发生在系统宕机后的恢复阶段，非例行作业，可以按本文档手动操作完成。

6.1. [ AWS 控制台 ] :: 创建恢复集群


恢复集群就是重建后的生产集群，其配置应完全参照原生产集群，但是，**要特别注意 hbase-site.xml 中的`hbase.master.cleaner.interval` ，这是还原集群的一个必配项（初始创建的生产集群通常不会配置该项），这个配置项的值应大于从启动恢复集群到完成全部快照导入和还原操作的总时间！**

此外，集群创建完毕后，须用 Primary Node 的 Private DNS 或 IP 为全局变量 RESTORED_CLUSTER_NAMENODES 赋值，并在 Master 节点上执行一次第 4 节的全局变量声明脚本。

6.2. [ AWS 控制台 ] :: 创建快照导入专用集群


快照还原专用集群的配置和操作与 5.2. 节：“创建快照导出专用集群” 完全一致，请参考此节。

6.3. [ 快照导入专用集群 ] :: 导入快照


在快照导入专用集群的主节点上，执行如下命令： 
nohup sudo -u hbase hbase snapshot export \-snapshot $SNAPSHOT_NAME \-copy-from ${SNAPSHOT_S3_LOCATION} \-copy-to "hdfs://${INUSE_CLUSTER_NAMENODES}:8020/user/hbase/" \-mappers $SNAPSHOT_EXPORT_MAPPERS \-bandwidth $((2**31-1)) &> import-$SNAPSHOT_NAME.out &
tail -f /var/log/hbase/hbase.log

注意：

  • 这里是一个导入操作，但依旧使用的是 export 命令，导入和导出是一个相对概念，HBase 中没有 snapshot import 命令

  • -mappers 参数的设定值 $SNAPSHOT_EXPORT_MAPPERS 是根据集群配置优化过的，如果不了解该配置项的细节，请勿随意修改，否则会影响性能

  • -bandwidth 参数用于限制带宽，默认值是 100，单位是 MBps，此处设定为 $((2**31-1)) ，是 Java 中的 Integer.MAX_VALUE，目的是不进行带宽限制，还原阶段恢复集群尚未上线，可以全力接收导入的数据，因为无需限速。

6.4. [ 还原集群 ] :: 还原快照


快照导入完毕后，登录还原集群，检查快照是否已就绪：

sudo -u hbase hbase snapshot info -list-snapshots

确认快照已存在就可以执行快照还原了：

cat << EOF | nohup sudo -u hbase hbase shell &> restore-$SNAPSHOT_NAME.out &
restore_snapshot '$SNAPSHOT_NAME'
enable '$TABLE_NAME'
EOF
tail -f restore-$SNAPSHOT_NAME.out

6.5. [ 还原集群 ] :: 删除快照


快照还原后，同样应及时删除还原集群上的快照，原因与 4.4 节的解释一样。

sudo -u hbase hbase shell <<< "delete_snapshot '$SNAPSHOT_NAME'"

6.6. [ AWS 控制台 ] :: 终止快照导入专用集群


导入完成后，即可在控制台上终止快照导入专用集群。

7. 注意事项

7.1. 快照备份的带宽控制


在执行快照导出作业时，HBase 的生产集需要承担输出 HDFS 数据的任务，会占用较大份额的上行网络带宽，下图是执行 9 个批次（每个批次导出 10TB 数据）的导出作业时，源端集群（即本文档所指的生产集群）一个 Core 节点的负载情况。右下角的网络 IO 指标需要特别注意，因为 m5.4xlarge 的基准带宽是 4750Mbps，即：每秒最多可上传 593.75 MB 数据, 从上图可知：导出作业的上行带宽峰值已经逼近 600 MB。虽然导出作业会选择业务低估期执行，但如果认定此时占用的带宽已经影响到了线上生产，则需要缩减导出集群的规模或进行限速处理，但要注意的是：这就意味着导出时间会变长，相应地又会影响到 hbase.master.cleaner.interval 参数的设置。这是一个需要权衡的问题，应该根据生产环境的实际状况进行调整。

m5_4xlarge_20_nodes_1x1_source_node

7.2. 快照还原的带宽控制


在快照导入阶段，由于还原集群尚未接入生产，无其他负载，从尽量缩短故障恢复时间的角度出发，应以在最短时间内以最大吞吐率完成快照还原操作，所以，快照导入集群不应也不需要限速，推荐使用 32 节点的 r5.2xlarge 集群以最短时间完成导入作业。

这篇关于HBase 例行灾备方案：快照备份与还原演练的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/545811。

相关文章

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

无人叉车3d激光slam多房间建图定位异常处理方案-墙体画线地图切分方案

墙体画线地图切分方案 针对问题：墙体两侧特征混淆误匹配，导致建图和定位偏差，表现为过门跳变、外月台走歪等 ·解决思路：预期的根治方案IGICP需要较长时间完成上线，先使用切分地图的工程化方案，即墙体两侧切分为不同地图，在某一侧只使用该侧地图进行定位 方案思路 切分原理：切分地图基于关键帧位置，而非点云。 理论基础：光照是直线的，一帧点云必定只能照射到墙的一侧，无法同时照到两侧实践考虑：关
阅读更多...
高效+灵活，万博智云全球发布AWS无代理跨云容灾方案！

高效+灵活，万博智云全球发布AWS无代理跨云容灾方案！

摘要 近日，万博智云推出了基于AWS的无代理跨云容灾解决方案，并与拉丁美洲，中东，亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础，将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合，为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日，万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频，介绍了
阅读更多...
Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候，不知道如何选的好，本文针对常用的方案，做个大概的说明： 1. 使用VLC for Android VLC Media Player（VLC多媒体播放器），最初命名为VideoLAN客户端，是VideoLAN品牌产品，是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式，并支持DVD影音光盘，VCD影
阅读更多...
JavaFX应用更新检测功能（在线自动更新方案）

JavaFX应用更新检测功能（在线自动更新方案）

JavaFX开发的桌面应用属于C端，一般来说需要版本检测和自动更新功能，这里记录一下一种版本检测和自动更新的方法。 1. 整体方案 JavaFX.应用版本检测、自动更新主要涉及一下步骤： 读取本地应用版本拉取远程版本并比较两个版本如果需要升级，那么拉取更新历史弹出升级控制窗口用户选择升级时，拉取升级包解压，重启应用用户选择忽略时，本地版本标志为忽略版本用户选择取消时，隐藏升级控制窗口 2.
阅读更多...
如何选择SDR无线图传方案

如何选择SDR无线图传方案

在开源软件定义无线电（SDR）领域，有几个项目提供了无线图传的解决方案。以下是一些开源SDR无线图传方案： 1. **OpenHD**：这是一个远程高清数字图像传输的开源解决方案，它使用SDR技术来实现高清视频的无线传输。OpenHD项目提供了一个完整的工具链，包括发射器和接收器的硬件设计以及相应的软件。 2. **USRP（Universal Software Radio Periphera
阅读更多...
maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令 在日常的工作中由于各种原因，会出现这样一种情况，某些项目并没有打包至mvnrepository。如果采用原始直接打包放到lib目录的方式进行处理，便对项目的管理带来一些不必要的麻烦。例如版本升级后需要重新打包并，替换原有jar包等等一些额外的工作量和麻烦。为了避免这些不必要的麻烦，通常我们
阅读更多...
MyBatis 切换不同的类型数据库方案

MyBatis 切换不同的类型数据库方案

下属案例例当前结合SpringBoot 配置进行讲解。 背景： 实现一个工程里面在部署阶段支持切换不同类型数据库支持。 方案一 数据源配置 关键代码(是什么数据库，该怎么配就怎么配） spring:datasource:name: test# 使用druid数据源type: com.alibaba.druid.pool.DruidDataSource# @需要修改 数据库连接及驱动u
阅读更多...
一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

一种改进的red5集群方案的应用、基于Red5服务器集群负载均衡调度算法研究

转自： 一种改进的red5集群方案的应用： http://wenku.baidu.com/link?url=jYQ1wNwHVBqJ-5XCYq0PRligp6Y5q6BYXyISUsF56My8DP8dc9CZ4pZvpPz1abxJn8fojMrL0IyfmMHStpvkotqC1RWlRMGnzVL1X4IPOa_  基于Red5服务器集群负载均衡调度算法研究 http://ww
阅读更多...
为备份驱动器制定备份计划：维护数据的3大方法

为备份驱动器制定备份计划：维护数据的3大方法

时间:2014-02-26 14:49 来源:网管之家 字体:[大 中 小] 　　您可能已经对您的电脑进行了备份，但其实这样还是远远不够的，其并非如您所认为的那样安全。您企业备份驱动器上的文件可能与您的主系统上的文件一样，容易受到灾难的影响。根据最近流行的恶意软件CryptoLocker的感染途径显示，连接到PC的外置驱动器——辅助硬盘驱动器，例如，用于备份的外部USB硬盘驱动器，可以像
阅读更多...
家庭和学生用户笔记本电脑配置方案

家庭和学生用户笔记本电脑配置方案

2.6.1  家庭和学生用户笔记本电脑配置方案 　　2.6.1  家庭和学生用户笔记本电脑配置方案 　　普通家庭用户、学生用户主要用于上网、娱乐、学习等，这类用户要求笔记本电脑的各方面 功能比较均衡。在选购此类笔记本电脑时，主要考虑外观设计方面要比较时尚，而且性能上也要 够强，一些大型复杂的软件以及目前的主流游戏都要能够流畅地运行才行。 　　对于CPU方面，可以考虑目前主流的第二
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2