rsync实时同步(上行同步)

2024-04-09 06:20
文章标签 实时 同步 rsync 上行

本文主要是介绍rsync实时同步(上行同步)，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

一、实现实时同步

1. 定期同步的不足

2. 实时同步的优点

3. Linux内核的inotify机制

4. 发起端配置rsync+inotify

4.1 修改rsync源服务器配置文件

4.2 调整inotify内核参数

4.3 安装inotify-tools

4.4 在另一个终端编写触发式同步脚本

4.5 验证

二、使用rsync实现快速删除大量文件

1. 模拟垃圾文件

2. 建立空文件夹

3. 使用rsync进行替换删除

一、实现实时同步

1. 定期同步的不足

  • 执行备份的时间固定，延迟明显、实时性差
  • 当同步源长期不变化时，密集的定期任务是不必要的

2. 实时同步的优点

  • 一旦同步源出现变化，立即启动备份
  • 只要同步源无变化，则不执行备份

3. Linux内核的inotify机制

从版本2.6.13开始提供 可以监控文件系统的变动情况，并作出通知响应

辅助软件：inotify-tools https://img2020.cnblogs.com/blog/2387990/202109/2387990-20210923001203004-668255826.png

4. 发起端配置rsync+inotify

使用inotiify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。 将inotify机制与rsync工具向结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。 因为inotify通知机制由Linux内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

4.1 修改rsync源服务器配置文件

[root@rsync ~]# vim /etc/rsyncd.conf ##修改read only为no,关闭只读，上行同步需要可以写
read only = no[root@rsync ~]# kill $(cat /var/run/rsyncd.pid)
[root@rsync ~]# rm -rf /var/run/rsyncd.pid
[root@rsync ~]# rsync --daemon
[root@rsync ~]# netstat -natp | grep rsync
tcp        0      0 192.168.122.10:873      0.0.0.0:*               LISTEN      1694/rsync   [root@rsync ~]# chmod 777 /var/www/html

4.2 调整inotify内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：

  • max_queued_events（监控事件队列，默认值为16384）
  • max_user_instances（最多监控实例数，默认值为128）
  • max_user_watches（每个实例最多监控文件数，默认值为8192）

当要监控的目录、文件数较多或者变化较频繁时，建议加大这三个参数的值。

[root@backuper ~]# cat /proc/sys/fs/inotify/max_queued_events 
16384
[root@backuper ~]# cat /proc/sys/fs/inotify/max_user_instances 
128
[root@backuper ~]# cat /proc/sys/fs/inotify/max_user_watches 
8192

可通过/etc/sysctl.conf文件进行配置，设定参数应符合服务器性能以及服务需要。

[root@backuper ~]# vim /etc/sysctl.conf fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576[root@backuper ~]# sysctl -p
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576[root@backuper ~]# cat /proc/sys/fs/inotify/max_queued_events 
16384
[root@backuper ~]# cat /proc/sys/fs/inotify/max_user_instances 
1024
[root@backuper ~]# cat /proc/sys/fs/inotify/max_user_watches 
1048576

4.3 安装inotify-tools

用inotify机制还需要安装inotify-tools，以便提供inotifywait、inotifywatch辅助工具程序，用来监控、汇总改动情况。

inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一旦变动立即输出结果。

inotifywatch：可用来收集文件系统变动情况，并在运行结果后输出汇总的变化情况。

[root@backuper ~]# cd /opt
[root@backuper opt]# rz -E
#传入inotify-tools安装包
rz waiting to receive.
[root@backuper opt]# tar zxvf inotify-tools-3.14.tar.gz -C /opt
[root@backuper opt]# cd inotify-tools-3.14/
[root@backuper inotify-tools-3.14]# ./configure
[root@backuper inotify-tools-3.14]# make -j 2 && make install

 

可以先执行“inotifywait”命令，然后另外再开启一个新终端向/var/www/html目录下添加文件、移动文件，在原来的终端上跟踪屏幕输出结果

原终端监控：

[root@backuper inotify-tools-3.14]# inotifywait -mrq -e modify,create,move,delete /var/www/html
/var/www/html/ CREATE test.php
/var/www/html/ MOVED_FROM test.php
/var/www/html/ MOVED_TO test.txt
/var/www/html/ MODIFY test.txt
/var/www/html/ DELETE test.txt

 

inotifywait常用选项说明
-e用来指定要监控哪些事件
-m表示持续监控
-r表示递归整个目录
-q简化输出信息

4.4 在另一个终端编写触发式同步脚本

[root@backuper html]# vim /opt/inotify.sh#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.122.10::rsync/"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
##while判断是否接收到监控记录
doif [ $(pgrep rsync | wc -l) -le 0 ] ; then$RSYNC_CMDfi
done[root@backuper opt]# chmod +x inotify.sh 
[root@backuper opt]# chmod 777 /var/www/html/
[root@backuper opt]# chmod +x /etc/rc.d/rc.local 
[root@backuper opt]# echo '/opt/inotify.sh' >> /etc/rc.d/rc.local
##加入开机自动执行

上述脚本用来检测本机/var/www/html目录的变动情况，一旦有更新触发rsync同步操作，上传备份至服务器192.168.122.11的rsync共享目录下。

4.5 验证

触发式上行同步的验证过程如下：

（1）在本机运行/opt/inotify_rsync.sh脚本程序

[root@backuper opt]# ./inotify.sh &
[1] 5786

（2）切换到本机的/var/www/html目录，执行增加、删除、修改文件等操作

[root@backuper opt]# cd /var/www/html
[root@backuper html]# ls
[root@backuper html]# touch test.html
[root@backuper html]# echo 'this is inotify_rsync test!' > test.html
[root@backuper html]#

（3）查看远端服务器中的rsync目录下的变化情况

[root@rsync ~]# cd /var/www/html
[root@rsync html]# ls
test.html
[root@rsync html]# cat test.html 
this is inotify_rsync test!

二、使用rsync实现快速删除大量文件

假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么“rm -rf *”可能就不好使了，因为要等待很长一段时间。在这种情况下，我们可以利用rsync的--delete来巧妙处理。rsync实际用的是替换原理。

1. 模拟垃圾文件

[root@rsync html]# touch {1..9999}.txt

2. 建立空文件夹

[root@rsync html]# mkdir /opt/test

3. 使用rsync进行替换删除

[root@rsync html]# rsync --delete-before -a -H -v --progress --stats /opt/test/ /var/www/html/
······
Number of files: 1
Number of files transferred: 0
Total file size: 0 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 19
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 29
Total bytes received: 15sent 29 bytes  received 15 bytes  29.33 bytes/sec
total size is 0  speedup is 0.00
[root@rsync html]# ls
[root@rsync html]#

--delete-before：接受者在传输前进行删除操作

-a：归档模式，表示以递归方式传输文件，并保持所有文件属性

-H：保持硬链接文件

-v：详细输出模式

--progress：在传输室显示传输过程

--stats：给出某些文件的传输状态

这篇关于rsync实时同步(上行同步)的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/887394。

相关文章

详谈redis跟数据库的数据同步问题

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二
阅读更多...
Nacos集群数据同步方式

Nacos集群数据同步方式

《Nacos集群数据同步方式》文章主要介绍了Nacos集群中服务注册信息的同步机制,涉及到负责节点和非负责节点之间的数据同步过程,以及DistroProtocol协议在同步中的应用... 目录引言负责节点（发起同步）DistroProtocolDistroSyncChangeTask获取同步数据getDis
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
服务器集群同步时间手记

服务器集群同步时间手记

1.时间服务器配置（必须root用户） （1）检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 （2）修改ntp配置文件 [r
阅读更多...
C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

C#实战|大乐透选号器[6]：实现实时显示已选择的红蓝球数量

哈喽，你好啊，我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记，这是第6篇； 接下来实现实时显示当前选中红球数量，蓝球数量； 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时，在对应的位置显示实时已选择的红球、蓝球的数量； 02 标签名称 分别设置Label标签名称为：lblRedCount、lblBlueCount
阅读更多...
MySQL主从同步延迟原理及解决方案

MySQL主从同步延迟原理及解决方案

概述 MySQL的主从同步是一个很成熟的架构，优点为： ①在从服务器可以执行查询工作(即我们常说的读功能)，降低主服务器压力; ②在从主服务器进行备份，避免备份期间影响主服务器服务; ③当主服务器出现问题时，可以切换到从服务器。 相信大家对于这些好处已经非常了解了，在项目的部署中也采用这种方案。但是MySQL的主从同步一直有从库延迟的问题，那么为什么会有这种问题。这种问题如何解决呢？ MyS
阅读更多...
使用条件变量实现线程同步：C++实战指南

使用条件变量实现线程同步：C++实战指南

使用条件变量实现线程同步：C++实战指南 在多线程编程中，线程同步是确保程序正确性和稳定性的关键。条件变量（condition variable）是一种强大的同步原语，用于在线程之间进行协调，避免数据竞争和死锁。本文将详细介绍如何在C++中使用条件变量实现线程同步，并提供完整的代码示例和详细的解释。 什么是条件变量？ 条件变量是一种同步机制，允许线程在某个条件满足之前进入等待状态，并在条件满
阅读更多...
mysql创建新表，同步数据

mysql创建新表，同步数据

import os import argparse import glob import cv2 import numpy as np import onnxruntime import tqdm import pymysql import time import json from datetime import datetime os.environ[“CUDA_VISIBLE_DEVICE
阅读更多...
三.海量数据实时分析-FlinkCDC实现Mysql数据同步到Doris

三.海量数据实时分析-FlinkCDC实现Mysql数据同步到Doris

FlinkCDC 同步Mysql到Doris 参考：https://nightlies.apache.org/flink/flink-cdc-docs-release-3.0/zh/docs/get-started/quickstart/mysql-to-doris/ 1.安装Flink 下载 Flink 1.18.0，下载后把压缩包上传到服务器，使用tar -zxvf flink-xxx-
阅读更多...
Linux 使用rsync拷贝文件

Linux 使用rsync拷贝文件

显示进度条 rsync 可以显示进度条，您可以使用 --progress 或 -P 选项来显示每个文件的传输进度和已完成文件的统计信息。 显示进度条的常用选项： --progress 选项 使用 --progress 显示每个文件的传输进度信息：rsync -av --progress /src/ /dest/ -a：归档模式，表示递归拷贝并保持文件权限、时间戳等。-v：详细模式，显示更
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2