使用clickhouse-backup备份和恢复数据

2024-04-13 10:28
文章标签 数据 使用 恢复 clickhouse 备份 backup

本文主要是介绍使用clickhouse-backup备份和恢复数据，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

作者：俊达

介绍

clickhouse-backup是altinity提供的一个clickhouse数据库备份和恢复的工具，开源项目地址：https://github.com/Altinity/clickhouse-backup

功能上能满足日常数据库备份恢复的需求：

  • 支持单表/全库备份
  • 支持备份上传到S3/FTP等存储
  • 支持单表/全库恢复

本文对备份工具的使用做一些介绍。

clickhouse-backup工具介绍

clickhouse-backup命令行

可以使用clickhouse-backup命令行工具进行备份和恢复操作。使用clickhoues-backup有几个前提条件

  • 需要能访问clickhoues的数据目录（如/var/lib/clickhoues, 在docker或k8s环境中，需要将数据卷挂载到同样的路径）
  • 需要有clickhouse账号，能访问clickhouse服务，执行一些sql
  • 可以使用参数文件进行配置，默认在/etc/clickhouse-backup/config.yml

命令行参数：

clickhouse-backup
NAME:clickhouse-backup - Tool for easy backup of ClickHouse with cloud supportUSAGE:clickhouse-backup <command> [-t, --tables=<db>.<table>] <backup_name>VERSION:1.3.2DESCRIPTION:Run as 'root' or 'clickhouse' userCOMMANDS:tables          Print list of tablescreate          Create new backupcreate_remote   Create and uploadupload          Upload backup to remote storagelist            Print list of backupsdownload        Download backup from remote storagerestore         Create schema and restore data from backuprestore_remote  Download and restoredelete          Delete specific backupdefault-config  Print default configprint-config    Print current configclean           Remove data in 'shadow' folder from all `path` folders available from `system.disks`server          Run API serverhelp, h         Shows a list of commands or help for one commandGLOBAL OPTIONS:--config FILE, -c FILE  Config FILE name. (default: "/etc/clickhouse-backup/config.yml") [$CLICKHOUSE_BACKUP_CONFIG]--help, -h              show help--version, -v           print the version

命令行参数比较直观，

  • print-config: 打印当前配置
  • default-config: 打印默认配置
  • create: 创建备份
  • create_remote: 创建备份，并上传到指定存储
  • restore：创建表结构，恢复数据
  • restore_remote: 下载备份文件，恢复数据
  • list：列出备份集
  • download：下载备份集
  • delete：删除备份集
  • server：启动服务。外部可以使用api方式发起备份、恢复任务。适合在容器化环境中使用。

clickhouse-backup 工作机制(k8s)

可以通过命令行的方式使用clickhouse-backup。

如果clickhouse server运行在k8s中，可以开启clickhouse-backup server模式，将clickhouse-backup和clickhouse-server运行在同一个pod中，便于访问数据目录。

整体架构如下图：
在这里插入图片描述

上图中的文件操作，除上传下载外，都是使用了硬连接（hard link）的方式，效率很高，也不会占用大量额外的磁盘空间。

clickhouse-backup也支持增量备份。增量备份通过对比2次全量备份产生的part文件来实现。只在将文件上传到remote存储时进行(create_remote, upload)，才会进行增量文件对比，恢复一个增量备份时，会以递归的方式下载对应的基础备份。

备份流程

数据备份的步骤大致如下：

1、获取需要备份的表的列表、表的相关元数据（如show create table)。
2、对每一个需要备份的表，使用alter table freeze命令创建表的一个快照
3、将步骤2创建的快照文件，move到backup目录。由于在同一个文件系统，move通常很快。
4、如果需要上传，处理文件上传。

数据恢复流程

数据恢复的步骤和备份的步骤相反

1、创建表结构（使用备份过程中生成的建表语句）
2、如果需要，下载备份文件
3、将文件move到clickhouse 相关表的detatched目录
4、执行alter table attach part命令，将数据恢复到表中。

clickhouse-backup api

clickhouse-backup server开启api服务。可以通过调用api来发起备份/恢复。

# clickhouse-backup server
2022/05/06 16:12:50.845160  info Starting API server on localhost:7171
2022/05/06 16:12:50.869711  info Update last backup size metrics start (onlyLocal=false)
2022/05/06 16:12:50.906673  info SELECT value FROM `system`.`build_options` where name='VERSION_INTEGER'
2022/05/06 16:12:50.921257  info SELECT * FROM system.disks;
2022/05/06 16:12:50.934209  info Update last backup size metrics finish duration=64ms

root@node1:~# curl localhost:7171
Documentation: https://github.com/AlexAkulov/clickhouse-backup#api-configuration
/
/
/backup/tables
/backup/tables/all
/backup/list
/backup/list/{where}
/backup/create
/backup/clean
/backup/upload/{name}
/backup/download/{name}
/backup/restore/{name}
/backup/delete/{where}/{name}
/backup/status
/backup/actions
/backup/actions

Intergration tables
配置文件中开启create_integration_tables，会在system库中创建backup_actions、backup_list表

## /etc/clickhouse-backup/config.ymlapi:listen: localhost:7171enable_metrics: trueenable_pprof: falseusername: ""password: ""secure: falsecertificate_file: ""private_key_file: ""create_integration_tables: trueallow_parallel: false

backup_actions

CREATE TABLE system.backup_actions
(`command` String,`start` DateTime,`finish` DateTime,`status` String,`error` String
)
ENGINE = URL('http://127.0.0.1:7171/backup/actions', 'JSONEachRow')
SETTINGS input_format_skip_unknown_fields = 1

backup_list

CREATE TABLE system.backup_list
(`name` String,`created` DateTime,`size` Int64,`location` String,`required` String,`desc` String
)
ENGINE = URL('http://127.0.0.1:7171/backup/list', 'JSONEachRow')
SETTINGS input_format_skip_unknown_fields = 1

这是2个URL存储引擎的表。
往backup_actions表写入数据，就会调用clickhouse-backup server对应的借口，发起备份任务。
查询backup_list表，可以获取到备份列表。

更多技术信息请查看云掣官网https://yunche.pro/?t=yrgw

这篇关于使用clickhouse-backup备份和恢复数据的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/899882。

相关文章

C语言中联合体union的使用

C语言中联合体union的使用

本文编辑整理自： http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=179471 一、前言 “联合体”(union）与“结构体”(struct)有一些相似之处。但两者有本质上的不同。在结构体中,各成员有各自的内存空间, 一个结构变量的总长度是各成员长度之和。而在“联合”中,各成员共享一段内存空间, 一个联合变量
阅读更多...
Tolua使用笔记（上）

Tolua使用笔记（上）

目录   1.准备工作 2.运行例子 01.HelloWorld：在C#中，创建和销毁Lua虚拟机 和 简单调用。 02.ScriptsFromFile：在C#中，对一个lua文件的执行调用 03.CallLuaFunction：在C#中，对lua函数的操作 04.AccessingLuaVariables：在C#中，对lua变量的操作 05.LuaCoroutine：在Lua中，
阅读更多...
Vim使用基础篇

Vim使用基础篇

本文内容大部分来自 vimtutor，自带的教程的总结。在终端输入vimtutor 即可进入教程。 先总结一下，然后再分别介绍正常模式，插入模式，和可视模式三种模式下的命令。 目录 看完以后的汇总 1.正常模式（Normal模式） 1.移动光标 2.删除 3.【:】输入符 4.撤销 5.替换 6.重复命令【. ; ,】 7.复制粘贴 8.缩进 2.插入模式 INSERT
阅读更多...
电脑不小心删除的文件怎么恢复？4个必备恢复方法！

电脑不小心删除的文件怎么恢复？4个必备恢复方法！

“刚刚在对电脑里的某些垃圾文件进行清理时，我一不小心误删了比较重要的数据。这些误删的数据还有机会恢复吗？希望大家帮帮我，非常感谢！” 在这个数字化飞速发展的时代，电脑早已成为我们日常生活和工作中不可或缺的一部分。然而，就像生活中的小插曲一样，有时我们可能会在不经意间犯下一些小错误，比如不小心删除了重要的文件。 当那份文件消失在眼前，仿佛被时间吞噬，我们不禁会心生焦虑。但别担心，就像每个问题
阅读更多...
Lipowerline5.0 雷达电力应用软件下载使用

Lipowerline5.0 雷达电力应用软件下载使用

1.配网数据处理分析 针对配网线路点云数据，优化了分类算法，支持杆塔、导线、交跨线、建筑物、地面点和其他线路的自动分类；一键生成危险点报告和交跨报告；还能生成点云数据采集航线和自主巡检航线。 获取软件安装包联系邮箱:2895356150@qq.com，资源源于网络，本介绍用于学习使用，如有侵权请您联系删除！ 2.新增快速版，简洁易上手 支持快速版和专业版切换使用，快速版界面简洁，保留主
阅读更多...
如何免费的去使用connectedpapers？

如何免费的去使用connectedpapers？

免费使用connectedpapers 1. 打开谷歌浏览器2. 按住ctrl+shift+N,进入无痕模式3. 不需要登录（也就是访客模式）4. 两次用完，关闭无痕模式（继续重复步骤 2 - 4） 1. 打开谷歌浏览器 2. 按住ctrl+shift+N,进入无痕模式 输入网址：https://www.connectedpapers.com/ 3. 不需要登录（也就是
阅读更多...
笔记本电脑屏幕模糊？6招恢复屏幕清晰！

笔记本电脑屏幕模糊？6招恢复屏幕清晰！

在数字化时代的浪潮中，笔记本电脑已成为我们生活、学习和工作中不可或缺的一部分。然而，当那曾经清晰明亮的屏幕逐渐变得模糊不清时，无疑给我们的使用体验蒙上了一层阴影。屏幕模糊不仅影响视觉舒适度，更可能对我们的工作效率和眼睛健康构成威胁。 遇到笔记本电脑屏幕模糊的情况时我们应该如何解决？本文将与大家分享6个简单易懂的解决方法。 方法一：调整Windows分辨率 电脑屏幕模糊显示不清晰怎
阅读更多...
【服务器运维】MySQL数据存储至数据盘

【服务器运维】MySQL数据存储至数据盘

查看磁盘及分区 [root@MySQL tmp]# fdisk -lDisk /dev/sda: 21.5 GB, 21474836480 bytes255 heads, 63 sectors/track, 2610 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesSector size (logical/physical)
阅读更多...
Toolbar+DrawerLayout使用详情结合网络各大神

Toolbar+DrawerLayout使用详情结合网络各大神

最近也想搞下toolbar+drawerlayout的使用。结合网络上各大神的杰作，我把大部分的内容效果都完成了遍。现在记录下各个功能效果的实现以及一些细节注意点。 这图弹出两个菜单内容都是仿QQ界面的选项。左边一个是drawerlayout的弹窗。右边是toolbar的popup弹窗。 开始实现步骤详情： 1.创建toolbar布局跟drawerlayout布局 <?xml vers
阅读更多...
SQL Server中，查询数据库中有多少个表，以及数据库其余类型数据统计查询

SQL Server中，查询数据库中有多少个表，以及数据库其余类型数据统计查询

sqlserver查询数据库中有多少个表 sql server 数表:select count(1) from sysobjects where xtype='U'数视图:select count(1) from sysobjects where xtype='V'数存储过程select count(1) from sysobjects where xtype='P' SE
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2