数据备份-linux之间同步目录和文件

2024-08-31 14:12
文章标签 linux 同步 之间 目录 数据备份

本文主要是介绍数据备份-linux之间同步目录和文件，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 需求
  • 设计思路
  • 定时打包相关资源
  • rsync同步
    • 介绍
    • 安装
    • 创建rsync用户目录
    • 服务器配置
    • 密码配置
      • 启动服务
      • 验证客户端
    • 测试
  • inotify-tools 工具
    • 安装
  • 完整脚本

需求

在软件开发与运维的过程中，数据远程同步不仅是保障业务连续性的关键步骤，也是灾难恢复计划不可或缺的一部分。
这一过程涉及将关键数据，包括文件、数据库、目录结构、定时打包的资源等，从生产环境安全、高效地传输至远程备份服务器。这样做的目的在于，一旦主系统遭遇硬件故障、自然灾害、人为错误或网络攻击等不可预见事件导致数据丢失或损坏时，能够迅速且准确地从备份中恢复数据，以最小化业务中断时间和损失。

设计思路

使用crontab、rsync 和 inotify-tools 完成

  • rsync

rsync
是一个用于文件和目录同步的强大工具，它能高效地同步两个目录的内容，并且可以跨网络进行操作。它支持增量数据传输，这意味着只传输文件变化的部分，从而节省了大量的带宽和时间。
rsync 将文件分割成固定大小的块，并计算每个块的校验和。
在同步过程中，rsync 检查源文件和目标文件中对应块的校验和是否相同。
如果校验和匹配，则认为该块没有变化，不需要传输；如果不匹配，则传输该块

  • inotify-tools

inotify-tools 提供了一个名为 inotifywait 的工具，它可以监视文件系统事件，并在检测到事件时触发动作。

  • crontab

crontab
是一个用于设置定时任务的工具，可以让您在指定的时间自动执行命令或脚本。这对于自动化任务非常有用，比如定期备份、清理日志文件、同步文件等。

定时打包相关资源

此功能比较简单 使用crontab执行脚本

0 0 * * * /opt/timer/xxx_backup_targz.sh

脚本格式如下 根据需求替换 输入输出目录

#!/bin/bash  # 定义备份资料的名称，包含当前日期  
DATE=$(date +%Y%m%d)  
BACKUP_FILE="/opt/test-bk/osslog-${DATE}.tgz"  
SOURCE_DIR="/data/test/use205"  # 使用tar命令打包并压缩目录  
tar czvf "$BACKUP_FILE" "$SOURCE_DIR"  # 可以在这里添加更多的命令，比如日志记录等  
echo "Backup completed: $BACKUP_FILE" >> /opt/cibnnas/shell/osssql_backup.log

rsync同步

介绍

在 rsync 的网络同步场景中，通常有一个服务器端和一个或多个客户端。以下是它们的工作流程：

  • 客户端发起同步请求：
    客户端通过命令行调用 rsync，并指定源文件和目标文件的位置。如果目标文件位于远程服务器上，客户端会通过网络连接到远程服务器。
  • 服务器端响应：
    服务器端接收到客户端的请求后，开始执行同步操作。服务器端计算源文件的块校验和，并与客户端发送的目标文件的块校验和进行比较。
  • 数据传输：
    对于不匹配的块，客户端只传输这些块给服务端。服务端接收到这些块后，将它们合并到目标文件中。
    结束同步：
    当所有需要同步的块都被传输完毕后，同步过程结束。

注意 rsync 的工作方式更为灵活，它可以双向同步文件，即可以从客户端向服务器传输文件，也可以从服务器向客户端传输文件。如果命令是从客户端到服务器，那么客户端会发送文件差异到服务器；如果是从服务器到客户端，那么服务器会发送文件差异到客户端
配置的时候需要根据具体需求判断

例如： 将192.168.0.1 上的 /opt/test/ 目录 同步到 192.168.0.2

           192.168.0.1=====>192.168.0.2
192.168.0.1 源服务器     有目录 /opt/test/          是rsync客户端
192.168.0.2 目标服务器  有目录 /opt/bak/test/   是服务端 
rsync 
源服务器： 是rsync客户端，不需要配置
目标服务器： 是rsync服务器端，需要配置/etc/rsyncd.conf里的内容

安装

查看 rpm -qa | grep rsyn## 源码安装
下载：wget https://download.samba.org/pub/rsync/rsync-3.1.3.tar.gz
解压：解压tar.gz文件: tar -zxvf filename.tar.gz 解压tar.bz2文件： tar -jxvf filename.tar.bz2
安装：进入解压目录后依次输入三条命令：1：./configure 2：make 3： make insall## 或者 yum
yum install rsync
安装的完整包 客户端 服务器都有rm -rf /var/run/rsyncd.*

创建rsync用户目录

[root@backup ~]# mkdir /backup
[root@backup ~]# useradd -s /sbin/nologin -M rsync
[root@backup ~]# chown -R rsync.rsync /backup
注意 chmnod 777

服务器配置

配置文件路径 /etc/rsyncd.conf （如果不存在，就创建）

####rsync_config-------------------------------------start-------------------
uid = rsync
gid = rsync
use chroot = no
max connections = 50
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
[backup]
path = /backup/
ignore errors
read only = false
list = false
hosts allow = 192.168.0.0/24
#hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
####rsync_config-------------------------------------end---------------------

密码配置

[root@backup ~]# echo "rsync_backup:test123456" > /etc/rsync.password
[root@backup ~]# cat /etc/rsync.password
rsync_backup:test123456
[root@backup ~]# chmod 600 /etc/rsync.password

启动服务

rsync --daemon
ps -ef|grep rsyncss -lntup |grep rsync

可以配置为服务 /etc/systemd/system/rsyncd.service

[Unit]  
Description=rsync daemon  
After=network.target  [Service]  
Type=forking  
ExecStart=/usr/bin/rsync --daemon --no-detach --config=/etc/rsyncd.conf  
PIDFile=/var/run/rsyncd.pid  [Install]  
WantedBy=multi-user.target

验证客户端

配置密码 echo "test123456" > /etc/rsync.password
chmod 600 /etc/rsync.password

测试

rsync -azu /opt/cibnnas/test/ rsync_backup@192.168.0.2::backup/ --password-file=/etc/rsync.password会在服务器创建对应 test目录

参数说明：

-a (archive mode)： 归档模式：这个选项使得 rsync 保留文件的属性，包括权限、时间戳、符号链接、设备文件、目录权限等。 这意味着同步后的文件将尽可能保持与源文件相同的属性。
-z (compress)： 压缩：启用数据压缩。在数据传输之前对其进行压缩，可以减少网络带宽的使用。 这对于跨网络的同步尤其有用，特别是当网络带宽有限时。
-u (update)： 更新：仅当源文件比目标文件新或者目标文件不存在时才进行同步。 这意味着 rsync 不会覆盖已经存在于目标位置并且是最新的文件。

inotify-tools 工具

流程 
目标服务器：先启动rsync后台服务： /usr/bin/rsync --daemon
来源服务器： 执行 inotify_bak.sh & 
在来源服务器目录中新建目录和文件，inotify_bak.sh脚本会检测到，然后同步到目标服务器的相关目录下 
可以查看日志文件： /opt/soft/log/rsync.log 命令如下：观察实时同步的情况。

安装

sudo yum install epel-release
yum install inotify-tools -yinotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e close_write,delete,create,attrib ./test/-m： 即“--monitor”   表示始终保持事件监听状态。-r： 即“--recursive” 表示递归查询目录-q： 即“--quiet”     表示打印出监控事件-o： 即“--outfile”   输出事情到一个文件而不是标准输出-s:  即“--syslog”    输入错误信息到系统日志-format： 指定输出格式；常用的格式符如：%w：表示发生事件的目录 %f：表示发生事件的文件 %e：表示发生的事件 %T：使用由-timefmt定义的时间格式

注意 该工具为文件实时监控工具，需要linux操作系统内核支持，内核支持需要至少版本为2.6.13

在源服务器上需要安装，目标服务器上不需要安装inotify，发现文件变化，同步到目标服务器。

完整脚本

inotify_bak.sh &

#!/bin/bash  # 设置源目录和目标目录（对于 rsync 来说，这实际上是远程服务器的模块名）  
src_dir="/opt/cibnnas/test"  
dest_server="rsync_backup@113.105.131.182::backup"  /usr/bin/inotifywait -mrq --format '%w%f' -e create,delete,close_write "$src_dir" | while read file; do  
# 打印出发生变化的文件或目录  
echo "Detected change in $file"  # 使用 rsync 同步变化的文件或目录到远程服务器  
# 注意：由于我们监听的是目录，所以 $file 可能是文件也可能是目录  
# rsync 的 -a 选项已经包含了递归，所以我们不需要 -r  
# 如果 $file 是目录，rsync 会处理它；如果是文件，它也会只同步该文件  
/usr/bin/rsync -azu --files-from=- - --contimeout=60 --password-file=/etc/rsync.password "$file" "$dest_server" 
# 记录日志  
echo "$(date): $file was rsync'ed" >>/opt/cibnnas/shell/log/rsync.log  
done

这篇关于数据备份-linux之间同步目录和文件的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1124130。

相关文章

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署
阅读更多...
Linux流媒体服务器部署流程

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装（添加RTMP和openssl模块
阅读更多...
linux下多个硬盘划分到同一挂载点问题

linux下多个硬盘划分到同一挂载点问题

《linux下多个硬盘划分到同一挂载点问题》在Linux系统中,将多个硬盘划分到同一挂载点需要通过逻辑卷管理（LVM）来实现,首先,需要将物理存储设备（如硬盘分区）创建为物理卷,然后,将这些物理卷组成... 目录linux下多个硬盘划分到同一挂载点需要明确的几个概念硬盘插上默认的是非lvm总结Linux下多
阅读更多...
java父子线程之间实现共享传递数据

java父子线程之间实现共享传递数据

《java父子线程之间实现共享传递数据》本文介绍了Java中父子线程间共享传递数据的几种方法,包括ThreadLocal变量、并发集合和内存队列或消息队列,并提醒注意并发安全问题... 目录通过 ThreadLocal 变量共享数据通过并发集合共享数据通过内存队列或消息队列共享数据注意并发安全问题总结在 J
阅读更多...
linux进程D状态的解决思路分享

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态（D状态）,这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.
阅读更多...
Java文件与Base64之间的转化方式

Java文件与Base64之间的转化方式

《Java文件与Base64之间的转化方式》这篇文章介绍了如何使用Java将文件（如图片、视频）转换为Base64编码,以及如何将Base64编码转换回文件,通过提供具体的工具类实现,作者希望帮助读者... 目录Java文件与Base64之间的转化1、文件转Base64工具类2、Base64转文件工具类3、
阅读更多...
Linux环境变量&&进程地址空间详解

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程
阅读更多...
Linux之进程状态&&进程优先级详解

Linux之进程状态&&进程优先级详解

《Linux之进程状态&&进程优先级详解》文章介绍了操作系统中进程的状态,包括运行状态、阻塞状态和挂起状态,并详细解释了Linux下进程的具体状态及其管理,此外,文章还讨论了进程的优先级、查看和修改进... 目录一、操作系统的进程状态1.1运行状态1.2阻塞状态1.3挂起二、linux下具体的状态三、进程的
阅读更多...
Linux编译器--gcc/g++使用方式

Linux编译器--gcc/g++使用方式

《Linux编译器--gcc/g++使用方式》文章主要介绍了C/C++程序的编译过程,包括预编译、编译、汇编和链接四个阶段,并详细解释了每个阶段的作用和具体操作,同时,还介绍了调试和发布版本的概念... 目录一、预编译指令1.1预处理功能1.2指令1.3问题扩展二、编译（生成汇编）三、汇编（生成二进制机器语
阅读更多...
Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

《Rsnapshot怎么用?基于Rsync的强大Linux备份工具使用指南》Rsnapshot不仅可以备份本地文件，还能通过SSH备份远程文件，接下来详细介绍如何安装、配置和使用Rsnaps... Rsnapshot 是一款开源的文件系统快照工具。它结合了 Rsync 和 SSH 的能力，可以帮助你在 li
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2