rsync+inotify组合实现及时远程同步

2024-04-08 17:44
文章标签 实现 组合 远程 同步 rsync 及时 inotify

本文主要是介绍rsync+inotify组合实现及时远程同步，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

Rsync（Remote Sync）简介：

Rsync 主要特点：

Rsync 常用命令选项：

Inotify 简介：

Inotify 的主要功能：

结合 Rsync 和 Inotify 实现实时同步：

操作步骤：

配置备份服务器rsync

配置应用服务器inotify

注意事项：

Rsync（Remote Sync）简介：

  • rsync 是一个用于文件同步和备份的命令行工具，可以在本地和远程系统之间高效地同步文件和目录。
  • 它能够快速地复制和同步大量数据，只传输那些发生变化的部分，节省了带宽和时间。
  • 支持完整备份、差量备份和增量备份等多种备份方式，可以根据需求选择不同的备份策略。
Rsync 主要特点：
  • 增量传输：仅传输变化的部分，节省带宽和时间。
  • 文件权限保留：可以保留文件权限、时间戳等元数据。
  • 删除文件同步：支持在目标目录中删除源目录不存在的文件。
  • 压缩传输：支持传输时压缩数据，减少传输量。
  • 远程同步：可以在本地和远程系统之间同步文件。
Rsync 常用命令选项：
  • -a：归档模式，保留所有文件属性，相当于 -rlptgoD。
  • -v：详细输出，显示每个文件传输的详细信息。
  • -z：传输时压缩数据，减少传输量。
  • --delete：删除目标目录中不存在于源目录中的文件。
  • --exclude：排除指定文件或目录。
  • --progress：显示传输进度。
  • --backup：在覆盖目标文件时备份已存在的文件。

Inotify 简介：

  • inotify 是 Linux 内核提供的机制，用于监视文件系统事件。
  • 可以监视文件或目录的各种事件，如文件创建、删除、修改、移动等。
  • 可以通过命令行工具 inotifywait 使用这个机制，实现对文件系统的实时监控。
Inotify 的主要功能：
  • 实时监控：可以实时监听文件系统的变化，并触发相应的动作。
  • 文件系统事件：监控文件和目录的各种事件，如创建、删除、修改等。
  • 可编程性：可以通过脚本或程序使用 inotify 进行文件系统监控和处理。

结合 Rsync 和 Inotify 实现实时同步：

  1. 使用 inotifywait 监听源目录的变化。
  2. 当源目录发生变化时，触发 rsync 命令进行同步。
  3. rsync 将变化的文件或目录同步到目标位置。

这样，当文件系统的变化发生时，就可以立即将变化同步到目标位置，实现了文件的实时备份和同步。常见应用场景包括实时数据备份、网站文件同步等。

操作步骤：

应用服务器ip为192.168.1.33，备份服务器ip为192.168.1.22。需要将应用服务器的/var/www/html/ 实时同步给备份服务器的/var/www/html/

配置备份服务器rsync
vim /etc/rsyncd.confuid = root
gid = root
use chroot = yes
address = 192.168.1.22
port 873
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
hosts allow = 192.168.1.0/24
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2[web_bak]
path = /var/www/html
comment = Document Root of www.myweb.com
read only = no
auth users = backuper
secrets file = /etc/rsyncd_users.db

  • uid = root：指定守护进程运行时所使用的用户的 UID。在这里是 root，表示守护进程会以 root 用户的身份运行。

  • gid = root：指定守护进程运行时所使用的用户组的 GID。与上面类似，这里也是 root，表示守护进程会以 root 用户组的身份运行。

  • use chroot = yes：表示在运行守护进程前，将其 chroot（切换根目录）到指定的路径。在这里是 yes，表示守护进程会以 /var/www/html/ 作为其根目录。

  • address = 192.168.1.22：指定 rsync 守护进程监听的 IP 地址。

  • port 873：指定 rsync 守护进程监听的端口号。默认 rsync 服务的端口号是 873。

  • log file = /var/log/rsyncd.log：指定 rsync 守护进程的日志文件路径。

  • pid file = /var/run/rsyncd.pid：指定 rsync 守护进程的 PID 文件路径，用于记录守护进程的进程 ID。

  • hosts allow = 192.168.1.0/24：指定允许访问 rsync 守护进程的主机或 IP 地址范围。在这里是允许 192.168.1.0/24 网段的主机访问。

  • dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2：指定不压缩的文件类型，这些文件类型不会被 rsync 守护进程压缩传输。

  • [web_bak]：定义一个模块，客户端在访问 rsync 时可以使用这个名称。

    • path = /var/www/html：指定这个模块的路径，客户端可以访问的目录路径。在这里是 /var/www/html，表示客户端可以访问和同步的是这个目录。

    • comment = Document Root of www.myweb.com：对这个模块的描述注释。

    • read only = no：表示这个模块是可写的，客户端可以向这个模块写入文件。

    • auth users = backuper：指定允许访问这个模块的授权用户，这里是 backuper。

    • secrets file = /etc/rsyncd_users.db：指定包含授权用户密码的文件路径。

rsync --daemon
chmod 777 /var/www/html/

rsync --daemon 是用于启动 rsync 守护进程的命令。通过这个命令，可以在服务器上启动 rsync 守护进程，使得其他客户端可以通过 rsync 协议访问服务器上的共享目录。

配置应用服务器inotify

先调整inotify内核参数

vim /etc/sysctl.conffs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576sysctl -p

示例中的设置如下：

  • 这三个参数分别控制着 Linux 系统中 inotify 子系统的行为。下面对每个参数进行解释：

  • fs.inotify.max_queued_events：

    • 这个参数定义了每个 inotify 实例中允许排队的事件数量的最大限制。
    • 默认值通常是 16384。
    • 适当增加这个值可以确保即使在高负载时系统也不会丢失任何事件。

  • fs.inotify.max_user_instances：

    • 这个参数定义了单个用户可以创建的 inotify 实例的最大数量。
    • 默认值通常是 128。
    • 如果系统需要大量的 inotify 实例，比如同时监视大量文件或目录，可能需要增加这个值。

  • fs.inotify.max_user_watches：

    • 这个参数定义了单个用户在所有 inotify 实例中能够监视的文件或目录的最大数量。
    • 默认值通常是 8192。
    • 如果应用程序需要监视大量文件或目录，可能需要增加这个值。
  • fs.inotify.max_queued_events = 16384：允许每个 inotify 实例中排队的事件数量的最大限制为 16384。
  • fs.inotify.max_user_instances = 1024：单个用户可以创建的 inotify 实例的最大数量为 1024。
  • fs.inotify.max_user_watches = 1048576：单个用户在所有 inotify 实例中能够监视的文件或目录的最大数量为 1048576。

安装 inotify-tools

tar zxvf inotify-tools-3.14.tar.gz -C /opt/
cd /opt/inotify-tools-3.14
./configure
make -j4 && make install

编写脚本触发同步

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.1.22::web_bak/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
doif [ $(pgrep rsync | wc -l) -le 0 ] ; then$RSYNC_CMDfi
done

使用 inotifywait 监听 /var/www/html/ 目录的文件变化，一旦有变化就触发 rsync 命令同步到备份服务器上。

  1. INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"：

    • 定义了一个变量 INOTIFY_CMD，存储了使用 inotifywait 监听 /var/www/html/ 目录的命令。
    • -mrq 选项分别表示递归监听、静默模式、以原始格式输出。
    • -e modify,create,attrib,move,delete 选项指定了需要监听的事件类型，包括文件修改、创建、属性变化、移动和删除。

  2. RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.1.22::web_bak/"：

    • 定义了一个变量 RSYNC_CMD，存储了用于同步的 rsync 命令。
    • -azH 选项分别表示压缩传输、保持文件权限、保持硬链接。
    • --delete 选项表示删除目标端（备份服务器）上不存在于源端（本地服务器）的文件。
    • --password-file=/etc/server.pass 指定了密码文件的路径，这样 rsync 就可以使用其中的密码进行认证。
    • /var/www/html/ 是本地源目录。
    • backuper@192.168.1.22::web_bak/ 是备份服务器上的目标模块名。

  3. $INOTIFY_CMD | while read DIRECTORY EVENT FILE：

    • 使用 read DIRECTORY EVENT FILE 将 inotifywait 的输出分别赋值给 DIRECTORY、EVENT 和 FILE，提高了灵活性和可读性。
    • 在每次文件变化时都会输出当前的目录、事件和文件名，方便调试和监控。
    • 如果只需要简单地监听文件变化并进行同步也可以使用"$INOTIFY_CMD | while read AA" 这样简化了 read 命令的使用，只需要一个变量 AA 就可以处理 inotifywait 的输出。

  4. if [ $(pgrep rsync | wc -l) -le 0 ] ; then：

    • 检查当前是否已经有 rsync 进程在运行，如果没有则执行同步操作。
    • pgrep rsync | wc -l 是用来统计 rsync 进程的数量。
    • -le 0 表示小于等于 0，即当前没有 rsync 进程在运行时执行后续操作。

  5. $RSYNC_CMD：

    • 执行前面定义的 RSYNC_CMD 命令，即执行 rsync 同步操作到备份服务器。

通过这个脚本，当 /var/www/html/ 目录下的文件发生变化时（修改、创建、属性变化、移动、删除），就会触发 rsync 命令将这些变化同步到备份服务器的 web_bak 模块中。

注意事项：

  • 确保 inotify-tools 包已经安装，以便使用 inotifywait 命令。
  • 确保 /etc/server.pass 文件存在且包含正确的密码。
chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local	
echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass
cd /opt
./inotify.sh

运行脚本后应用服务器的/var/www/html/ 将实时同步给备份服务器

这篇关于rsync+inotify组合实现及时远程同步的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/886184。

相关文章

基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
hdu4869（逆元+求组合数）

hdu4869（逆元+求组合数）

//输入n，m，n表示翻牌的次数，m表示牌的数目，求经过n次操作后共有几种状态#include<iostream>#include<algorithm>#include<cstring>#include<stack>#include<queue>#include<set>#include<map>#include<stdio.h>#include<stdlib.h>#includ
阅读更多...
【C++】_list常用方法解析及模拟实现

【C++】_list常用方法解析及模拟实现

相信自己的力量，只要对自己始终保持信心，尽自己最大努力去完成任何事，就算事情最终结果是失败了，努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一：什么是list？ •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二：list常用接口 •🌰1.默认成员函数 🔥构造函数（⭐） 🔥析构函数 •🌰2.list对象
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
让树莓派智能语音助手实现定时提醒功能

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现，因为rasa本身是带有remindschedule模块的。不过经过一番折腾后，忽然发现，chatbot上实现的定时，语音助手不一定会有响应。因为，我目前语音助手的代码设置了长时间无应答会结束对话，这样一来，chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢？ 我最后选择的方法是用threading.Time
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy：PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注，收藏不迷路💖 Kubernetes的PodSecurityPolicy（PSP）是一个关键的安全特性，它在Pod创建之前实施安全策略，确保P
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2