Ubuntu快速删除大量小文件方法

2024-08-27 17:18

本文主要是介绍Ubuntu快速删除大量小文件方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

进行以下两步操作即可:

1、第一步:创建空的文件夹: mkdir /tmp/blank

2、第二步:执行以下命令:rsync --delete-before -d /tmp/blank/ /home/stormnode/store/html/new/

也可以使用并行rm命令删除

parallel rm -rf dir/{} ::: `ls -f dir/`

Linux 快速删除大量小文件方法


当我们在linux系统中要删除数万或者数十万甚至数百万的文件时使用rm -rf *就不太好用,因为要等待很长一段时间。在这种情况之下我们可以使用linux系统命令rsync来巧妙的处理。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

1.rsync安装,有些系统默认安装有该命令

ubuntu系统:sudo apt-get install rsync

fedora 系统:sudo yum install rsync

其他的可以源码安装,到下面的网站下载http://rsync.samba.org

 2. rsync提供了一些跟删除有关的参数

rsync --help | grep delete

--del an alias for --delete-during

--delete delete extraneous files from destination dirs

--delete-before receiver deletes before transfer,not during

--delete-during receiver deletes during transfer (default)

--delete-delay find deletions during,delete after

--delete-after receiver deletes after transfer,not during

--delete-excluded also delete excluded files from destination dirs

--ignore-errors delete even if there are I/O errors

--max-delete=NUM don't delete more than NUM files

其中--delete-before接收者在传输之前进行删除操作

3. 示例

清空目录或 文件,如下:
1、先建立 一个空目录
mkdir /data/blank
2、用rsync 删除目标目录

rsync --delete-before -d-a -H -v --progress --stats/data/blank/ /var/edatacache/

或者

rsync --delete-before -d /data/blank/ /var/edatacache/

这样/var/edatacache目录就被快速的清空了。

选项说明: 
–delete-before 接收者在传输之前进行删除操作 
–progress 在传输时显示传输过程 
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性 
-H 保持硬连接的文件 
-v 详细输出模式 
–stats 给出某些文件的传输状态

-d transfer directories without recursing

3、也可以用来 删除大 文件
假如我们在/root/下有 一个几十G甚至上百G的 文件data,现在我们要 删除它
一、创建 一个空 文件
touch /root/empty
二、用rsync清空/root/data 文件

rsync--delete-before -d --progess --stats /root/empty /root/data

注意:
当SRC和DEST 文件性质不一致时将会报错
当SRC和DEST性质都为 文件【f】时,意思是清空 文件 内容而不是 删除 文件
当SRC和DEST性质都为目录【d】时,意思是 删除该目录下的所有 文件,使其变为空目录

总结

以上是编程之家为你收集整理的Ubuntu快速删除大量小文件方法全部内容,希望文章能够帮你解决Ubuntu快速删除大量小文件方法所遇到的程序开发问题。

 

这篇关于Ubuntu快速删除大量小文件方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1112286

相关文章

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

MyBatis-Plus 中 nested() 与 and() 方法详解(最佳实践场景)

《MyBatis-Plus中nested()与and()方法详解(最佳实践场景)》在MyBatis-Plus的条件构造器中,nested()和and()都是用于构建复杂查询条件的关键方法,但... 目录MyBATis-Plus 中nested()与and()方法详解一、核心区别对比二、方法详解1.and()

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

golang中reflect包的常用方法

《golang中reflect包的常用方法》Go反射reflect包提供类型和值方法,用于获取类型信息、访问字段、调用方法等,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录reflect包方法总结类型 (Type) 方法值 (Value) 方法reflect包方法总结

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

MySQL查询JSON数组字段包含特定字符串的方法

《MySQL查询JSON数组字段包含特定字符串的方法》在MySQL数据库中,当某个字段存储的是JSON数组,需要查询数组中包含特定字符串的记录时传统的LIKE语句无法直接使用,下面小编就为大家介绍两种... 目录问题背景解决方案对比1. 精确匹配方案(推荐)2. 模糊匹配方案参数化查询示例使用场景建议性能优

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》:本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

一文详解Git中分支本地和远程删除的方法

《一文详解Git中分支本地和远程删除的方法》在使用Git进行版本控制的过程中,我们会创建多个分支来进行不同功能的开发,这就容易涉及到如何正确地删除本地分支和远程分支,下面我们就来看看相关的实现方法吧... 目录技术背景实现步骤删除本地分支删除远程www.chinasem.cn分支同步删除信息到其他机器示例步骤