Ubuntu快速删除大量小文件方法

2024-08-27 17:18

本文主要是介绍Ubuntu快速删除大量小文件方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

进行以下两步操作即可:

1、第一步:创建空的文件夹: mkdir /tmp/blank

2、第二步:执行以下命令:rsync --delete-before -d /tmp/blank/ /home/stormnode/store/html/new/

也可以使用并行rm命令删除

parallel rm -rf dir/{} ::: `ls -f dir/`

Linux 快速删除大量小文件方法


当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

1.rsync安装,有些系统默认安装有该命令

ubuntu系统:sudo apt-get install rsync

fedora 系统:sudo yum install rsync

其他的可以源码安装,到下面的网站下载http://rsync.samba.org

 2. rsync提供了一些跟删除有关的参数

rsync --help | grep delete

--del an alias for --delete-during

--delete delete extraneous files from destination dirs

--delete-before receiver deletes before transfer,not during

--delete-during receiver deletes during transfer (default)

--delete-delay find deletions during,delete after

--delete-after receiver deletes after transfer,not during

--delete-excluded also delete excluded files from destination dirs

--ignore-errors delete even if there are I/O errors

--max-delete=NUM don't delete more than NUM files

其中--delete-before接收者在传输之前进行删除操作

3. 示例

清空目录或 文件,如下:
1、先建立 一个空目录
mkdir /data/blank
2、用rsync 删除目标目录

rsync --delete-before -d-a -H -v --progress --stats/data/blank/ /var/edatacache/

或者

rsync --delete-before -d /data/blank/ /var/edatacache/

这样/var/edatacache目录就被快速的清空了。

选项说明: 
–delete-before 接收者在传输之前进行删除操作 
–progress 在传输时显示传输过程 
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性 
-H 保持硬连接的文件 
-v 详细输出模式 
–stats 给出某些文件的传输状态

-d transfer directories without recursing

3、也可以用来 删除大 文件
假如我们在/root/下有 一个几十G甚至上百G的 文件data,现在我们要 删除它
一、创建 一个空 文件
touch /root/empty
二、用rsync清空/root/data 文件

rsync--delete-before -d --progess --stats /root/empty /root/data

注意:
当SRC和DEST 文件性质不一致时将会报错
当SRC和DEST性质都为 文件【f】时,意思是清空 文件 内容而不是 删除 文件
当SRC和DEST性质都为目录【d】时,意思是 删除该目录下的所有 文件,使其变为空目录

总结

以上是编程之家为你收集整理的Ubuntu快速删除大量小文件方法全部内容,希望文章能够帮你解决Ubuntu快速删除大量小文件方法所遇到的程序开发问题。

 

这篇关于Ubuntu快速删除大量小文件方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1112286

相关文章

电脑桌面文件删除了怎么找回来?别急,快速恢复攻略在此

在日常使用电脑的过程中,我们经常会遇到这样的情况:一不小心,桌面上的某个重要文件被删除了。这时,大多数人可能会感到惊慌失措,不知所措。 其实,不必过于担心,因为有很多方法可以帮助我们找回被删除的桌面文件。下面,就让我们一起来了解一下这些恢复桌面文件的方法吧。 一、使用撤销操作 如果我们刚刚删除了桌面上的文件,并且还没有进行其他操作,那么可以尝试使用撤销操作来恢复文件。在键盘上同时按下“C

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

浅谈主机加固,六种有效的主机加固方法

在数字化时代,数据的价值不言而喻,但随之而来的安全威胁也日益严峻。从勒索病毒到内部泄露,企业的数据安全面临着前所未有的挑战。为了应对这些挑战,一种全新的主机加固解决方案应运而生。 MCK主机加固解决方案,采用先进的安全容器中间件技术,构建起一套内核级的纵深立体防护体系。这一体系突破了传统安全防护的局限,即使在管理员权限被恶意利用的情况下,也能确保服务器的安全稳定运行。 普适主机加固措施:

webm怎么转换成mp4?这几种方法超多人在用!

webm怎么转换成mp4?WebM作为一种新兴的视频编码格式,近年来逐渐进入大众视野,其背后承载着诸多优势,但同时也伴随着不容忽视的局限性,首要挑战在于其兼容性边界,尽管WebM已广泛适应于众多网站与软件平台,但在特定应用环境或老旧设备上,其兼容难题依旧凸显,为用户体验带来不便,再者,WebM格式的非普适性也体现在编辑流程上,由于它并非行业内的通用标准,编辑过程中可能会遭遇格式不兼容的障碍,导致操

透彻!驯服大型语言模型(LLMs)的五种方法,及具体方法选择思路

引言 随着时间的发展,大型语言模型不再停留在演示阶段而是逐步面向生产系统的应用,随着人们期望的不断增加,目标也发生了巨大的变化。在短短的几个月的时间里,人们对大模型的认识已经从对其zero-shot能力感到惊讶,转变为考虑改进模型质量、提高模型可用性。 「大语言模型(LLMs)其实就是利用高容量的模型架构(例如Transformer)对海量的、多种多样的数据分布进行建模得到,它包含了大量的先验

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

hdu 4565 推倒公式+矩阵快速幂

题意 求下式的值: Sn=⌈ (a+b√)n⌉%m S_n = \lceil\ (a + \sqrt{b}) ^ n \rceil\% m 其中: 0<a,m<215 0< a, m < 2^{15} 0<b,n<231 0 < b, n < 2^{31} (a−1)2<b<a2 (a-1)^2< b < a^2 解析 令: An=(a+b√)n A_n = (a +

v0.dev快速开发

探索v0.dev:次世代开发者之利器 今之技艺日新月异,开发者之工具亦随之进步不辍。v0.dev者,新兴之开发者利器也,迅速引起众多开发者之瞩目。本文将引汝探究v0.dev之基本功能与优势,助汝速速上手,提升开发之效率。 何谓v0.dev? v0.dev者,现代化之开发者工具也,旨在简化并加速软件开发之过程。其集多种功能于一体,助开发者高效编写、测试及部署代码。无论汝为前端开发者、后端开发者

pico2 开发环境搭建-基于ubuntu

pico2 开发环境搭建-基于ubuntu 安装编译工具链下载sdk 和example编译example 安装编译工具链 sudo apt install cmake gcc-arm-none-eabi libnewlib-arm-none-eabi libstdc++-arm-none-eabi-newlib 注意cmake的版本,需要在3.17 以上 下载sdk 和ex

【VUE】跨域问题的概念,以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略,该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同,则需要服务器显式地允许这种跨域请求。一般在springbo