rsync搭建全网备份

2024-08-31 06:12
文章标签 全网 搭建 备份 rsync

本文主要是介绍rsync搭建全网备份，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

rsync搭建全网备份

    • 1. 总体概述
      • 1.1 目标
      • 1.2 简易指导图
      • 1.3 涉及工具或命令
      • 1.4 环境
    • 2. 实施
      • 2.1 配置备份服务器
      • 2.2 备份文件准备
      • 2.3 整合命令
      • 2.4 扩展功能

在这里插入图片描述

1. 总体概述

1.1 目标

本次搭建目标：

  1. 每天定时把服务器数据备份到备份服务器
  2. 备份完成后进行校验
  3. 把过期数据删除（普通服务器数据保留7天，备份服务器数据保留1年）
  4. 完成后邮件通知

1.2 简易指导图

在这里插入图片描述

1.3 涉及工具或命令

  1. rsysnc：备份工具，守护进程模式
  2. cron：定时任务
  3. md5sum：MD5校验工具
  4. mailx：邮件
  5. tar、find、date等等

1.4 环境

服务器ip系统版本说明
backup-svr-01192.168.202.128CentOS Linux release 7.9.2009 (Core)备份服务器
data-svr-01192.168.202.128CentOS Linux release 7.9.2009 (Core)数据服务器

2. 实施

在每个步骤中，会把具体的需求细化分解

2.1 配置备份服务器

  1. 创建备份目录
[root@backup-svr-01 ~]# chown rsync.rsync /backup/
[root@backup-svr-01 ~]# ll /backup/ -d
drwxr-xr-x 2 rsync rsync 6 Aug 29 16:39 /backup/
  1. 创建rsync进程使用的用户
[root@backup-svr-01 ~]# useradd -s /sbin/nologin -M rsync
[root@backup-svr-01 ~]# id rsync
uid=1003(rsync) gid=1004(rsync) groups=1004(rsync)

客户端连到备份服务器用rsync用户访问权限访问数据，这个用户只提供访问权限，所以不需要登录shell

  1. 创建客户端访问备份服务器的账户
[root@backup-svr-01 ~]# echo "rsync_bak_01:rsync" > /etc/rsync.passwd
[root@backup-svr-01 ~]# cat /etc/rsync.passwd
rsync_bak_01:rsync
[root@backup-svr-01 ~]# chmod 400 /etc/rsync.passwd
[root@backup-svr-01 ~]# ll /etc/rsync.passwd
-r-------- 1 root root 19 Aug 29 16:51 /etc/rsync.passwd
  1. 编译rsync的配置文件

没有安装rsync可以通过yum install -y rsync安装

[root@backup-svr-01 ~]# cat /etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon modeuid = rsync
gid = rsync
use chroot = no
max connections = 4
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
# exclude = lost+found/
# transfer logging = yes
timeout = 900
# ignore nonreadable = yes
# dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
fake super = yes
[backup]
path = /backup/						#备份到服务器的目录
ignore errors
read only = false
list = false
hosts allow = 192.168.202.0/24		#允许的IP范围
hosts deny = 0.0.0.0/32				#其他IP都禁止
auth users = rsync_bak_01
secrets file = /etc/rsync.passwd

配置完成后重启rsyncd服务

[root@backup-svr-01 ~]# systemctl restart rsyncd
  1. 测试rsync

首先在客户端配置密码文件

[root@data-svr-01 ~]# cat /etc/rsync.passwd
rsync

传输测试

[root@data-svr-01 ~]# rsync -avz /etc/hosts rsync_bak_01@192.168.202.128::backup --password-file=/etc/rsync.passwd
sending incremental file list
hostssent 187 bytes  received 43 bytes  153.33 bytes/sec
total size is 254  speedup is 1.10[root@backup-svr-01 ~]# ll /backup/
total 4
-rw-r--r-- 1 rsync rsync 254 May  9  2023 hosts

2.2 备份文件准备

这里我们在普通服务器（客户端），把一些常用文件，重要数据等内容进行备份，视具体情况而定

本次示例中以/etc目录为例

  1. 创建备份数据存放目录
[root@data-svr-01 ~]# mkdir /data

这里我们把备份数据存放在/data/ip目录中

mkdir -p /data/`ip a s ens33|sed -rn '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`

取IP可以有多种方式，例如：

[root@data-svr-01 ~]# hostname -I|awk '{print $1}'
192.168.202.129
[root@data-svr-01 ~]# ip a s ens33|awk 'BEGIN{FS="inet |/24"} NR==3{print $2}'
192.168.202.129
  1. 打包数据，并以时间进行区分

打包数据

[root@data-svr-01 ~]# tar zcf /data/`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`/etc.`date +%F`.tar.gz /etc/
tar: Removing leading `/' from member names

查看

[root@data-svr-01 ~]# tree /data/
/data/
└── 192.168.202.129└── etc.2024-08-29.tar.gz1 directory, 1 file

后面我们会把这些命令整理到脚本中，目前只是测试

2.3 整合命令

我们把前面用到的命令整合到脚本中，并进行测试

  1. 编写脚本
[root@data-svr-01 scripts]# cat etc_bak2svr.sh
#!/bin/bash
#author yurq#set -e. /etc/profileip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128if [ ! -d /data/$ip ];thenmkdir -p /data/$ip
fitar zcf /data/$ip/etc.$time.tar.gz /etc/if [ $? -ne 0 ];thenecho "tar etc failed"
fils /data/$ip/etc.$time.tar.gzif [ $? -ne 0 ];thenecho "etc.$time.tar.gz lost found."
firsync -avz /data/$ip/etc.$time.tar.gz rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwdif [ $? -ne 0 ];thenecho "rsync failed"
fi
  1. 测试脚本
    客户端
[root@data-svr-01 scripts]# rm -rf /data/*
[root@data-svr-01 scripts]# sh etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
etc.2024-08-29.tar.gzsent 10,207,860 bytes  received 43 bytes  4,083,161.20 bytes/sec
total size is 10,411,198  speedup is 1.02

服务器

[root@backup-svr-01 ~]# ll /backup/
total 10168
-rw-r--r-- 1 rsync rsync 10411198 Aug 29 19:42 etc.2024-08-29.tar.gz

这并不是我们想要的，rsync我们在使用的时候，应该把ip构建的目录也带上一起传过去

  1. 修改脚本
rsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwd

把这行给了就可以了，注意ip后不要加/

  1. 清理环境，重新上传
[root@data-svr-01 scripts]# sh etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
192.168.202.129/
192.168.202.129/etc.2024-08-29.tar.gzsent 10,207,905 bytes  received 47 bytes  6,805,301.33 bytes/sec
total size is 10,411,198  speedup is 1.02

[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129└── etc.2024-08-29.tar.gz1 directory, 1 file
  1. 校验文件
    写到这笔者想起来还应该带上MD5校验文件，修改脚本
[root@data-svr-01 data]# cat /scripts/etc_bak2svr.sh
#!/bin/bash
#author yurq#set -e. /etc/profileip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128if [ ! -d /data/$ip ];thenmkdir -p /data/$ip
fitar zcf /data/$ip/etc.$time.tar.gz /etc/if [ $? -ne 0 ];thenecho "tar etc failed"
fils /data/$ip/etc.$time.tar.gzif [ $? -ne 0 ];thenecho "etc.$time.tar.gz lost found."
firsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwdif [ $? -ne 0 ];thenecho "rsync failed"
ficd /data/
md5sum $ip/etc.$time.tar.gz > $ip/etc.md5if [ $? -ne 0 ];thenecho "make md5 failed"
fi

验证

[root@data-svr-01 data]# sh /scripts/etc_bak2svr.sh
tar: Removing leading `/' from member names
/data/192.168.202.129/etc.2024-08-29.tar.gz
sending incremental file list
192.168.202.129/
192.168.202.129/etc.2024-08-29.tar.gz
192.168.202.129/etc.md5sent 3,513 bytes  received 19,446 bytes  4,174.36 bytes/sec
total size is 10,411,270  speedup is 453.47
[root@data-svr-01 data]# cat 192.168.202.129/etc.md5
f9a218d7b059fa412fdecef06d27f469  192.168.202.129/etc.2024-08-29.tar.gz

[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129├── etc.2024-08-29.tar.gz└── etc.md51 directory, 2 files
  1. 下面编辑定时任务，每天晚上2点备份
    首先，编辑一个任务每分钟的任务进行测试，毕竟不能等到晚上2点再验证
[root@data-svr-01 data]# cat /var/spool/cron/root
* * * * * sh /scripts/etc_bak2svr.sh &>/dev/null

[root@data-svr-01 data]# tail -f /var/log/cron
...
Aug 30 03:26:01 data-svr-01 CROND[65599]: (root) CMD (sh /scripts/etc_bak2svr.sh &>/dev/null)
...
[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129├── etc.2024-08-29.tar.gz├── etc.2024-08-30.tar.gz└── etc.md51 directory, 3 files

任务正常完成了，不过发现一个问题，md5文件把之前的冲掉了，所以需要修改脚本

md5sum $ip/etc.$time.tar.gz > $ip/etc.$time.md5

制作md5的时候加上日期

  1. 清除环境，再次验证。另外发现，md5在上传之后增加的，实际是不对的，调整执行顺序。
[root@data-svr-01 scripts]# cat etc_bak2svr.sh
#!/bin/bash
#author yurq#set -e. /etc/profileip=`ip a s ens33|sed -rn  '3 s#^[^[:digit:]]+(.*)/.*#\1#gp'`
time=`date +%F`
svr=192.168.202.128if [ ! -d /data/$ip ];thenmkdir -p /data/$ip
fitar zcf /data/$ip/etc.$time.tar.gz /etc/if [ $? -ne 0 ];thenecho "tar etc failed"
fils /data/$ip/etc.$time.tar.gzif [ $? -ne 0 ];thenecho "etc.$time.tar.gz lost found."
ficd /data/
md5sum $ip/etc.$time.tar.gz > $ip/etc.$time.md5if [ $? -ne 0 ];thenecho "make md5 failed"
firsync -avz /data/$ip rsync_bak_01@$svr::backup --password-file=/etc/rsync.passwdif [ $? -ne 0 ];thenecho "rsync failed"
fi
[root@backup-svr-01 ~]# tree /backup/
/backup/
└── 192.168.202.129├── etc.2024-08-30.md5└── etc.2024-08-30.tar.gz1 directory, 2 files

2.4 扩展功能

  1. 添加清除过期备份，客户端备份保留7天
[root@data-svr-01 scripts]# mkdir /tmp/etc_backup
[root@data-svr-01 scripts]# ll /home/
total 0
[root@data-svr-01 scripts]# mkdir /home/yurq
[root@data-svr-01 scripts]# cp -r /etc/* /home/yurq/
[root@data-svr-01 scripts]# find /etc/ -type f -mtime +7|xargs -I file mv file /tmp/etc_backup/
[root@data-svr-01 scripts]# ll /tmp/etc_backup/
total 22300
-rwxr-xr-x. 1 0   0    8702 Jul 28  2020 00_header
-rw-r--r--. 1 0   0     232 May  9  2023 00-keyboard.conf
-rwxr-xr-x. 1 0   0     175 May 22  2020 00-netreport
-rwxr-xr-x. 1 0   0    1043 Mar 21  2019 00_tuned
-rwxr-xr-x. 1 0   0     232 Jul 28  2020 01_users
-rwxr-xr-x. 1 0   0     392 Aug  8  2019 0anacron
...

创建目录，并拷贝/etc/内容进行测试，完成后把查找目录改为备份数据目录

find /data/ -type f -mtime +7|xargs -I file mv file /tmp/etc_backup/

把命令添加到脚本中

  1. 添加邮件通知
echo "test" |mailx -s "test" xxx@163.com

这里最好申请企业邮箱，发送太多条邮件到个人邮箱，可能被邮箱系统拦截

这篇关于rsync搭建全网备份的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/1123111。

相关文章

使用Python实现快速搭建本地HTTP服务器

使用Python实现快速搭建本地HTTP服务器

《使用Python实现快速搭建本地HTTP服务器》：本文主要介绍如何使用Python快速搭建本地HTTP服务器,轻松实现一键HTTP文件共享,同时结合二维码技术,让访问更简单,感兴趣的小伙伴可以了... 目录1. 概述2. 快速搭建 HTTP 文件共享服务2.1 核心思路2.2 代码实现2.3 代码解读3.
阅读更多...
MySQL双主搭建+keepalived高可用的实现

MySQL双主搭建+keepalived高可用的实现

《MySQL双主搭建+keepalived高可用的实现》本文主要介绍了MySQL双主搭建+keepalived高可用的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,... 目录一、测试环境准备二、主从搭建1.创建复制用户2.创建复制关系3.开启复制，确认复制是否成功4.同
阅读更多...
使用Python实现网络设备配置备份与恢复

使用Python实现网络设备配置备份与恢复

《使用Python实现网络设备配置备份与恢复》网络设备配置备份与恢复在网络安全管理中起着至关重要的作用,本文为大家介绍了如何通过Python实现网络设备配置备份与恢复,需要的可以参考下... 目录一、网络设备配置备份与恢复的概念与重要性二、网络设备配置备份与恢复的分类三、python网络设备配置备份与恢复实
阅读更多...
使用DeepSeek搭建个人知识库(在笔记本电脑上)

使用DeepSeek搭建个人知识库(在笔记本电脑上)

《使用DeepSeek搭建个人知识库(在笔记本电脑上)》本文介绍了如何在笔记本电脑上使用DeepSeek和开源工具搭建个人知识库,通过安装DeepSeek和RAGFlow,并使用CherryStudi... 目录部署环境软件清单安装DeepSeek安装Cherry Studio安装RAGFlow设置知识库总
阅读更多...
Linux搭建Mysql主从同步的教程

Linux搭建Mysql主从同步的教程

《Linux搭建Mysql主从同步的教程》：本文主要介绍Linux搭建Mysql主从同步的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux搭建mysql主从同步1.启动mysql服务2.修改Mysql主库配置文件/etc/my.cnf3.重启主库my
阅读更多...
国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)

《国内环境搭建私有知识问答库踩坑记录(ollama+deepseek+ragflow)》本文给大家利用deepseek模型搭建私有知识问答库的详细步骤和遇到的问题及解决办法,感兴趣的朋友一起看看吧... 目录1. 第1步大家在安装完ollama后，需要到系统环境变量中添加两个变量2. 第3步 “在cmd中
阅读更多...
mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespace id不一致处理

《mysql8.0无备份通过idb文件恢复数据的方法、idb文件修复和tablespaceid不一致处理》文章描述了公司服务器断电后数据库故障的过程,作者通过查看错误日志、重新初始化数据目录、恢复备... 周末突然接到一位一年多没联系的妹妹打来电话，“刘哥，快来救救我”，我脑海瞬间冒出妙瓦底，电信火苲马扁.
阅读更多...
Java对象和JSON字符串之间的转换方法(全网最清晰)

Java对象和JSON字符串之间的转换方法(全网最清晰)

《Java对象和JSON字符串之间的转换方法(全网最清晰)》：本文主要介绍如何在Java中使用Jackson库将对象转换为JSON字符串,并提供了一个简单的工具类示例,该工具类支持基本的转换功能,... 目录前言1. 引入 Jackson 依赖2. 创建 jsON 工具类3. 使用示例转换 Java 对象为
阅读更多...
本地搭建DeepSeek-R1、WebUI的完整过程及访问

本地搭建DeepSeek-R1、WebUI的完整过程及访问

《本地搭建DeepSeek-R1、WebUI的完整过程及访问》：本文主要介绍本地搭建DeepSeek-R1、WebUI的完整过程及访问的相关资料,DeepSeek-R1是一个开源的人工智能平台,主... 目录背景       搭建准备基础概念搭建过程访问对话测试总结背景       最近几年，人工智能技术
阅读更多...
Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

《Rsnapshot怎么用?基于Rsync的强大Linux备份工具使用指南》Rsnapshot不仅可以备份本地文件，还能通过SSH备份远程文件，接下来详细介绍如何安装、配置和使用Rsnaps... Rsnapshot 是一款开源的文件系统快照工具。它结合了 Rsync 和 SSH 的能力，可以帮助你在 li
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2