java 定期将指定文件夹下的所有文件打包+删除

2024-05-12 17:32

本文主要是介绍java 定期将指定文件夹下的所有文件打包+删除,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1. 注意事项

(1). 需求

1.目前处理的项目中,有个任务线程会一直在网络上下载文件,所以需要定期将这些文件打包压缩,并且定期将过时太久的压缩文件删除,以防磁盘满。

2.删除压缩文件时,希望是根据文件容量大小,即设置一个阈值,当文件容量大小大于这个阈值,就删除文件,直至文件容量总量小于这个阈值。

3.删除压缩文件时,总是删除最老最旧的文件,以保持存在的总是最近最新的文件。

以上三个需求除了处理像我遇到的下载文件之外,同样可用于处理日志文件。

(2).首先要解决的是执行这样的定时任务。定期执行一个任务,可以使用轻量级定时调度工具cron4j,它的mvn引用如下:

<!-- https://mvnrepository.com/artifact/it.sauronsoftware.cron4j/cron4j -->
<dependency>
	<groupId>it.sauronsoftware.cron4j</groupId><artifactId>cron4j</artifactId><version>2.2.5</version>
</dependency>
(3).将打包和删除操作设置成守护线程在后台运行,当mainthread结束退出后,守护线程也会随之退出。

(4).生成压缩文件时,文件名可加入时间信息以防止命名冲突。如果文件夹下还有子文件夹,需要对该文件夹的每个文件进行判断,如果是文件,则直接加入打包,如果是目录,则需要递归进行处理。本示例中没有对这种情况进行处理,对文件夹进行递归压缩的示例将在下一章“java 将指定文件夹递归的进行zip打包压缩”。

(5). 在删除文件时,一定要注意文件是否被其他进程占用或者是否有该文件上的流没有关闭,这个非常重要,因为我就是因为流没有关闭,导致文件最后无法正常删除。这种时候要避免使用匿名类,因为很可能就会忽略文件上的一些流没有关闭,导致删除文件这个操作失败。我会在后面的代码示例中重点强调出来。

(6).本示例代码只处理指定文件夹下全是文件,没有子文件夹的情况,如果你测试本代码时报了“(拒绝访问。)”的错误,请检查一下目录下面是否有子文件夹。

(7).删除文件时,由于要删除最旧最老的文件,此时就需要对文件按命名日期进行排序,而且是倒序:因为我实现时使用的List,删除最后一个文件的操作的时间复杂度是O(1)。

(8).隔A时间就执行1次打包操作,隔B时间就执行1次删除压缩包操作,压缩文件容量超过C字节就执行删除,这3个值根据需要自行设置成合适的值。

2. 代码示例:

package tmp.MavenTest;import java.io.BufferedInputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.Date;
import java.util.List;
import java.util.logging.Logger;
import java.util.zip.ZipEntry;
import java.util.zip.ZipOutputStream;//定时将指定文件夹下的所有文件压缩
public class ZipFilesUtil {private static Logger log = Logger.getLogger("zipfiles");//将指定文件夹下的所有文件(除压缩文件除外)压缩,该文件夹下没有子文件夹,否则需递归进行处理//压缩文件名为日期名public static void zipFiles(String sourceFilePath){//判断是否有指定文件夹File sourceFile = new File(sourceFilePath);if(!sourceFile.exists()){//tmpFile.mkdirs();log.info("待压缩的文件目录:"+sourceFile+"不存在");return;}String zipName =  generateId();//生产压缩文件名File zipFile = new File(sourceFile+"\\"+zipName+".zip");File[] sourceFiles = sourceFile.listFiles();if(null == sourceFiles || sourceFiles.length<1){log.info("待压缩的文件目录:" + sourceFilePath + "里面不存在文件,无需压缩.");return;}BufferedInputStream bis = null;  ZipOutputStream zos = null; byte[] bufs = new byte[1024*10];FileInputStream fis = null;try {zos = new ZipOutputStream(new FileOutputStream(zipFile));for(int i=0; i<sourceFiles.length; i++){//创建zip实体,并添加进压缩包String tmpFileName = sourceFiles[i].getName();if(tmpFileName.endsWith(".zip"))continue;ZipEntry zipEntry = new ZipEntry(tmpFileName);zos.putNextEntry(zipEntry);	//读取待压缩的文件并写进压缩包里fis = new FileInputStream(sourceFiles[i]);bis = new BufferedInputStream(fis, 1024*10);int read = 0;while((read=bis.read(bufs, 0, 1024*10))!=-1){zos.write(bufs, 0, read);}fis.close();//很重要,否则删除不掉!sourceFiles[i].delete();//将要进行压缩的源文件删除}//end forlog.info("文件打包成功!");} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();} finally{//关闭流try {if(null!=bis)bis.close();if(null!=zos)//zos.closeEntry();zos.close();} catch (IOException e) {// TODO Auto-generated catch blocke.printStackTrace();}	}}//删除指定文件夹下的压缩文件public static void deleteZipFiles(String filePath) throws ParseException{File delFile = new File(filePath);if(!delFile.exists()){//tmpFile.mkdirs();log.info("待删除的文件目录:"+delFile+"不存在");return;}File[] delFiles = delFile.listFiles();if(null == delFiles || delFiles.length<1){log.info(filePath+"下没有要删除的文件.");return;}//收集压缩文件,过滤掉非压缩的文件以及文件夹List<File> delFilesTarget = new ArrayList<File>();for(int i=0; i<delFiles.length; i++){String tmpFileName = delFiles[i].getName();if(tmpFileName.endsWith(".zip"))//是压缩文件delFilesTarget.add(delFiles[i]);}orderByNameDate(delFilesTarget);//按文件名的日期排序(倒序)//计算文件大小总量,然后检查总量是否超过阈值(100KB)。//如果超过,则不断删除最老的文件,直至文件总量不再超过阈值long len = 0;for(int i=0; i<delFilesTarget.size(); i++){len += delFilesTarget.get(i).length();//返回字节数}int threshold = 100000;//100KB,阈值int lastIndex = delFilesTarget.size()-1;while(len>threshold){File delF = delFilesTarget.remove(lastIndex);len -= delF.length();lastIndex -= 1;if(!delF.delete()){log.info("文件"+delF.getName()+"删除失败!");}else{log.info("文件"+delF.getName()+"删除成功!");}}}//以日期生成文件名public static String generateId(){SimpleDateFormat df = new SimpleDateFormat("yyyy-MM-dd_HH-mm-ss");//设置日期格式String dateStr = df.format(new Date());//new Date()为获取当前系统时间return dateStr;}//按文件名的日期排序(倒序)public static void orderByNameDate(List<File> files){final SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd_HH-mm-ss");Collections.sort(files, new Comparator<File>() {public int compare(File f1, File f2) {// TODO Auto-generated method stubtry {Date f1Date = sdf.parse(f1.getName());Date f2Date = sdf.parse(f2.getName());//return f1Date.compareTo(f2Date);//正序return f2Date.compareTo(f1Date);//逆序} catch (ParseException e) {// TODO Auto-generated catch blocke.printStackTrace();}return 0;}});}}

package tmp.MavenTest;import java.text.ParseException;
import it.sauronsoftware.cron4j.Scheduler;public class Test 
{private static Scheduler zipScheduler = null;private static Scheduler delScheduler = null;public static void main( String[] args ){System.out.println( "Main thread start..." );String filePath = "D:\\Eclipse_XJ\\work_space\\WebProbe\\downloadfiles";startZipAndDelFilesJop(filePath);//启动定期打包任务和定期删除任务    	try{Thread.sleep(60*60*1000);//调度持续1小时,即mainthread 会在这里阻塞(睡眠)1小时} catch(InterruptedException e){e.printStackTrace();}//zipScheduler.stop();//如果不设置成守护进程,就需要手动停止//delScheduler.stop();System.out.println( "Main thread end..." );//此时守护进程也会随之退出}//启动定期打包任务和定期删除任务public static void startZipAndDelFilesJop(final String filePath){zipScheduler = new Scheduler();//每2分钟执行1次打包jobzipScheduler.schedule("*/2 * * * *", new Runnable() {//前面五个*号按顺序分别代表:分钟、小时、日、月、星期public void run() {// TODO Auto-generated method stubSystem.out.println( "每2分钟执行1次打包job" );ZipFilesUtil.zipFiles(filePath);}});zipScheduler.setDaemon(true);//设置为守护进程zipScheduler.start();delScheduler = new Scheduler();//每3分钟执行1次删除jobdelScheduler.schedule("*/3 * * * *", new Runnable() {//前面五个*号按顺序分别代表:分钟、小时、日、月、星期public void run() {// TODO Auto-generated method stubSystem.out.println( "每3分钟执行1次删除job" );try {ZipFilesUtil.deleteZipFiles(filePath);} catch (ParseException e) {// TODO Auto-generated catch blocke.printStackTrace();}}});delScheduler.setDaemon(true);//设置为守护进程delScheduler.start();}
}



这篇关于java 定期将指定文件夹下的所有文件打包+删除的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/983276

相关文章

在Ubuntu上部署SpringBoot应用的操作步骤

《在Ubuntu上部署SpringBoot应用的操作步骤》随着云计算和容器化技术的普及,Linux服务器已成为部署Web应用程序的主流平台之一,Java作为一种跨平台的编程语言,具有广泛的应用场景,本... 目录一、部署准备二、安装 Java 环境1. 安装 JDK2. 验证 Java 安装三、安装 mys

Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单

《Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单》:本文主要介绍Springboot的ThreadPoolTaskScheduler线... 目录ThreadPoolTaskScheduler线程池实现15分钟不操作自动取消订单概要1,创建订单后

JAVA中整型数组、字符串数组、整型数和字符串 的创建与转换的方法

《JAVA中整型数组、字符串数组、整型数和字符串的创建与转换的方法》本文介绍了Java中字符串、字符数组和整型数组的创建方法,以及它们之间的转换方法,还详细讲解了字符串中的一些常用方法,如index... 目录一、字符串、字符数组和整型数组的创建1、字符串的创建方法1.1 通过引用字符数组来创建字符串1.2

SpringCloud集成AlloyDB的示例代码

《SpringCloud集成AlloyDB的示例代码》AlloyDB是GoogleCloud提供的一种高度可扩展、强性能的关系型数据库服务,它兼容PostgreSQL,并提供了更快的查询性能... 目录1.AlloyDBjavascript是什么?AlloyDB 的工作原理2.搭建测试环境3.代码工程1.

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python

SpringBoot操作spark处理hdfs文件的操作方法

《SpringBoot操作spark处理hdfs文件的操作方法》本文介绍了如何使用SpringBoot操作Spark处理HDFS文件,包括导入依赖、配置Spark信息、编写Controller和Ser... 目录SpringBoot操作spark处理hdfs文件1、导入依赖2、配置spark信息3、cont

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面,确认是否启动成功

Java中的密码加密方式

《Java中的密码加密方式》文章介绍了Java中使用MD5算法对密码进行加密的方法,以及如何通过加盐和多重加密来提高密码的安全性,MD5是一种不可逆的哈希算法,适合用于存储密码,因为其输出的摘要长度固... 目录Java的密码加密方式密码加密一般的应用方式是总结Java的密码加密方式密码加密【这里采用的

Java中ArrayList的8种浅拷贝方式示例代码

《Java中ArrayList的8种浅拷贝方式示例代码》:本文主要介绍Java中ArrayList的8种浅拷贝方式的相关资料,讲解了Java中ArrayList的浅拷贝概念,并详细分享了八种实现浅... 目录引言什么是浅拷贝?ArrayList 浅拷贝的重要性方法一:使用构造函数方法二:使用 addAll(

解决mybatis-plus-boot-starter与mybatis-spring-boot-starter的错误问题

《解决mybatis-plus-boot-starter与mybatis-spring-boot-starter的错误问题》本文主要讲述了在使用MyBatis和MyBatis-Plus时遇到的绑定异常... 目录myBATis-plus-boot-starpythonter与mybatis-spring-b