使用gitee自动备份文件

2024-03-18 07:04
文章标签 使用 自动 gitee 备份文件

本文主要是介绍使用gitee自动备份文件，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

需求

舍友磁盘前两天gg了，里面的论文没有本地备份，最后费劲巴拉的在坚果云上找到了很早前的版本。我说可以上传到github，建一个私人仓库就行了，安全性应该有保证，毕竟不是啥学术大亨，不会有人偷你论文。但是他嫌每次写完还得手动操作，能不能写一个自动检测修改的软件，然后修改后就自动上传到github上。

第一反应是，需要word提供的接口，使用观察者模式，从而检测修改，然后通过github的API，开发一个上传文件的软件。但是通过word开发实在是太难了。

然后今天想了想，完全不需要，直接写个定时任务，10分钟检查下是否有文件进行修改就行了。本来就不要求较高的实时性，所以根本用不到观察者模式。

这样的话就有两种选择了，第一通过Java调用git然后进行文件的提交和上传，第二就是自己开发一个类似于git的工具，针对文件的创建，修改和删除进行对应的github仓库修改。

今天的话，是想着使用第二种方式的，确实有点难，用了一下午时间，才完成了文件的上传功能。

使用第二种方式，需要分析：

  • git add .和git commit实现的功能
  • git pull和push实现的功能

使用第一种方式，就简单许多

  • 监听时间
  • 使用jgit进行上传文件

简单设计

  • 监听类 Listenner ：负责监听目录/文件等的变化。
  • 上传类 UpLoader : 负责将文件上传到github或者gitee或者其他云盘上
    • GiteeUpLoader
    • GithubUpLoader
    • GitUploader
  • 主类 Main
  • utils类
  • 常量（使用接口），异常，还有配置文件，工具文件等

差不多类似于这样吧，忽略chapter1，这个是之前的项目。

image-20240317212206535

事件监听

Gitee文件上传类

package autoSendFiles.uploaders;import autoSendFiles.constants.UploadConstants;
import autoSendFiles.exception.NullPropertiesException;import java.io.*;import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.*;import autoSendFiles.interfaces.Uploader;
import okhttp3.*;
import org.apache.commons.lang3.StringUtils;/*** @author: Zekun Fu* @date: 2024/3/17 12:12* @Description: 通过调用git的方式，将文件上传到Gited中*/
public class GiteeUploader implements Uploader {private String accessToken;private String username;private String repository;private String branch;public GiteeUploader() throws NullPropertiesException {// 读取参数，如果没有配置，抛出异常try (InputStream input = new FileInputStream(UploadConstants.APP_PROPERTIES_PATH)) {Properties properties = new Properties();// 加载 properties 文件properties.load(input);// 获取属性值this.accessToken = properties.getProperty("gitee.accessToken");this.username = properties.getProperty("gitee.username");this.repository = properties.getProperty("gitee.repository");this.branch = properties.getProperty("gitee.branch");if (StringUtils.isAnyEmpty(accessToken, username, repository, branch))throw new NullPropertiesException("未配置Gitee属性，请先配置!");} catch (IOException e) {System.out.println("系统异常！请联系管理员");e.printStackTrace();}}public List<File> upload(List<File> files) {return uploadHelper(files);}private List<File> uploadHelper(List<File>files) {List<File>failUploadFiles = new ArrayList<>();for (File file : files) {// 如果没有上传成功，需要放入到传输失败列表中try {if (!upload(file))failUploadFiles.add(file);} catch (IOException e) {failUploadFiles.addAll(files);e.printStackTrace();}}return failUploadFiles;}private boolean upload(File file) throws IOException {// 生成路径，提交信息，以及提交文件的base64编码String savePath = getSavePath(file);String message = generatorSendMessage();String content = this.fileBase64(file);// 创建 http 客户端String apiUrl = String.format(UploadConstants.UPLOAT_URL, this.username, this.repository, savePath);OkHttpClient client = new OkHttpClient();// 创建请求体RequestBody requestBody = new MultipartBody.Builder().setType(MultipartBody.FORM).addFormDataPart(UploadConstants.ACCESS_TOKEN, this.accessToken).addFormDataPart(UploadConstants.CONTENT, content).addFormDataPart(UploadConstants.MESSAGE, message).addFormDataPart(UploadConstants.BRANCH, this.branch).build();// 创建 http 请求Request request = new Request.Builder().url(apiUrl).post(requestBody).build();// 接收响应Response response = client.newCall(request).execute();// 上传if (response.isSuccessful()) {System.out.println("文件上传成功！");return true;} else {System.out.println("文件上传失败：" + response.code() + " " + response.message());return false;}}private String generatorSendMessage() {LocalDateTime currentDateTime = LocalDateTime.now();DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy/MM/dd HH:mm");String formattedDateTime = currentDateTime.format(formatter);String msg = formattedDateTime + "提交";return msg;}private String fileBase64(File file) throws IOException {return Base64.getEncoder().encodeToString(fileToByteArray(file));}private byte[] fileToByteArray(File file) throws IOException {byte[] data = new byte[(int) file.length()];try (FileInputStream fis = new FileInputStream(file)) {fis.read(data);}return data;}/*** @return 生成路径, 如果为空，说明生成错了，没有.git文件夹* */private String getSavePath(File file) {StringBuffer savePath = new StringBuffer();return UploadConstants.DIR_SPLIT + findGitDirectory(file, savePath);}/*** @return 递归获取路径，直到碰到.git为止* */private String findGitDirectory(File directory, StringBuffer savePath) {StringBuffer curPath = new StringBuffer(directory.getName());if (!StringUtils.isEmpty(savePath)) curPath.append(UploadConstants.DIR_SPLIT).append(savePath);File gitDirectory = new File(directory, UploadConstants.ROOT_DIR);if (gitDirectory.exists() && gitDirectory.isDirectory()) {return savePath.toString();} else {File parentDirectory = directory.getParentFile();if (parentDirectory != null) {return findGitDirectory(parentDirectory, curPath);} else {return null;}}}public static void testGenerateSendMesage(GiteeUploader uploader) {System.out.println("提交msg为:" + uploader.generatorSendMessage());}public static void testGetPath(GiteeUploader uploader, File file) {// 1. 如果不包含.git文件// 2. Linux的和windows的分隔符不一样// 3. 其他特殊情况String filePath = uploader.getSavePath(file);if (!StringUtils.isEmpty(filePath)) {System.out.println("当前的保存路径为:" + filePath);}else System.out.println("测试失败，无法获取当前文件的路径");}public static GiteeUploader testCreateUploader() throws IOException, NullPropertiesException{GiteeUploader uploader = new GiteeUploader();return uploader;}public static void testBase64(GiteeUploader uploader, File file) throws IOException {String content = uploader.fileBase64(file);if (StringUtils.isEmpty(content)) {System.out.println("base64编码后的内容为空!");return ;}System.out.println("base64编码后的内容为:" + content);}public static void testUpLoad() throws IOException, NullPropertiesException {String FilePath = "D:\\learning\\论文\\毕业论文\\毕业论文备份\\test.txt";GiteeUploader uploader = new GiteeUploader();File file = new File(FilePath);uploader.upload(new File(FilePath));}public static void test() throws NullPropertiesException, IOException {System.out.println("测试开始...");String FilePath = "D:\\learning\\论文\\毕业论文\\毕业论文备份\\test.txt";GiteeUploader uploader = testCreateUploader();testGenerateSendMesage(uploader);File file = new File(FilePath);testGetPath(uploader, file);testBase64(uploader, file);testUpLoad();System.out.println("测试完成...");}public static void main(String[] args) throws NullPropertiesException, IOException{test();}
}

定时监听

项目架构

image-20240317234653713

运行效果

image-20240317234741826

运行结果：固定时间进行扫描提交

image-20240317235255019

时间监听器

package autoSendFiles.Listener;import autoSendFiles.constants.ApplicationConstants;
import autoSendFiles.constants.PropertyConstants;
import autoSendFiles.interfaces.Listenner;
import autoSendFiles.interfaces.Uploader;
import autoSendFiles.utils.AppPropertiesUtils;/*** @author: Zekun Fu* @date: 2024/3/17 23:02* @Description:*/
public class TimeListenner implements Listenner, Runnable{private Thread thread;private Uploader uploader;private int listenTime;public TimeListenner(Uploader uploader) {this.uploader = uploader;this.listenTime = Integer.parseInt(AppPropertiesUtils.getProperty(PropertyConstants.LISTEN_TIME));}@Overridepublic void run() {System.out.println("线程监听开始...");while (true) {if (this.thread.isInterrupted()) {// 实际结束线程的地方break;}try {// 上传修改的文件System.out.println("同步中...");this.uploader.uploadAllChanges();System.out.println("同步完成...");// 睡眠Thread.sleep(ApplicationConstants.TO_SECONDS * this.listenTime);} catch (InterruptedException e) {// 这里处理善后工作// 重新进行标记,从而可以结束线程this.thread.interrupt();}}}@Overridepublic void listen() {// 开启线程进行监听System.out.println("开启新线程，启动监听...");this.thread = new Thread(this);thread.start();}public void stop() {this.thread.interrupt();}
}

主线程

package autoSendFiles;import autoSendFiles.Listener.TimeListenner;
import autoSendFiles.constants.ApplicationConstants;
import autoSendFiles.constants.PropertyConstants;
import autoSendFiles.exception.NullPropertiesException;
import autoSendFiles.interfaces.Uploader;
import autoSendFiles.uploaders.GitUploader;
import autoSendFiles.utils.AppPropertiesUtils;import javax.imageio.IIOException;
import java.io.File;
import java.util.ArrayList;
import java.util.List;/*** @author: Zekun Fu* @date: 2024/3/17 12:12* @Description:*/
public class Main {public static void main(String[] args) throws NullPropertiesException, IIOException {Uploader uploader = new GitUploader();TimeListenner listenner = new TimeListenner(uploader);listenner.listen();try {int times = Integer.parseInt(AppPropertiesUtils.getProperty(PropertyConstants.RUN_TIME));Thread.sleep(times * ApplicationConstants.TEN_MINUTES);} catch (InterruptedException e) {e.printStackTrace();}// 100min后结束listenner.stop();}
}

Git上传器

package autoSendFiles.uploaders;import autoSendFiles.constants.ApplicationConstants;
import autoSendFiles.constants.PropertyConstants;
import autoSendFiles.constants.UploadConstants;
import autoSendFiles.exception.NullPropertiesException;
import autoSendFiles.interfaces.Uploader;
import autoSendFiles.utils.AppPropertiesUtils;
import autoSendFiles.utils.DateUtils;
import org.apache.commons.lang3.StringUtils;
import org.eclipse.jgit.api.AddCommand;
import org.eclipse.jgit.api.CommitCommand;
import org.eclipse.jgit.api.Git;
import org.eclipse.jgit.api.PushCommand;
import org.eclipse.jgit.transport.CredentialsProvider;
import org.eclipse.jgit.transport.RefSpec;
import org.eclipse.jgit.transport.UsernamePasswordCredentialsProvider;
import org.eclipse.jgit.util.IO;import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;/*** @author: Zekun Fu* @date: 2024/3/17 22:20* @Description: 静态常量设计的不行! gitee和github的不分了。* 重新开启一个文件叫做参数常量文件就行了。*/
public class GitUploader implements Uploader {private String workDir;private String remoteName;private String branch;private String password;private String username;public GitUploader() throws NullPropertiesException {workDir = AppPropertiesUtils.getProperty(PropertyConstants.WORK_DIR);remoteName = AppPropertiesUtils.getProperty(PropertyConstants.GITEE_REMOTE_NAME);branch = AppPropertiesUtils.getProperty(PropertyConstants.GITEE_BRANCH);password = AppPropertiesUtils.getProperty(PropertyConstants.GITEE_PASSWORD);username =AppPropertiesUtils.getProperty(PropertyConstants.GITEE_USERNAME);if (StringUtils.isAnyEmpty(workDir, remoteName, branch, password)) {throw new NullPropertiesException("没有配置工作文件夹,检查配置文件!");}}@Overridepublic List<File> upload(List<File> files) {List<File>failList = this.uploadHelper(files);this.commit();this.push();return failList;}@Overridepublic void uploadAllChanges() {this.pushAllChanges();}/*** 完成所有修改文件的同步* */private void pushAllChanges() {this.addAll();this.commit();this.push();}public boolean add(String filePath) {try (Git git = Git.open(new File(this.workDir))) {AddCommand addCommand = git.add();addCommand.addFilepattern(filePath);addCommand.call();System.out.println(filePath + " 添加完成。");return true;} catch (Exception e) {e.printStackTrace();return false;}}public void addAll() {try (Git git = Git.open(new File(this.workDir))) {AddCommand addCommand = git.add();addCommand.addFilepattern(".");addCommand.call();System.out.println("Git add . 操作完成。");} catch (Exception e) {e.printStackTrace();}}public void commit() {try (Git git = Git.open(new File(this.workDir))) {CommitCommand commitCommand = git.commit();commitCommand.setMessage(this.getCommitMessage());commitCommand.call();System.out.println("Git commit 操作完成。");} catch (Exception e) {e.printStackTrace();}}public void commit(String msg) {try (Git git = Git.open(new File(this.workDir))) {CommitCommand commitCommand = git.commit();commitCommand.setMessage(msg);commitCommand.call();System.out.println("Git commit 操作完成。");} catch (Exception e) {e.printStackTrace();}}public void push() {try (Git git = Git.open(new File(this.workDir))) {PushCommand pushCommand = git.push();pushCommand.setRemote(remoteName);pushCommand.setRefSpecs(new RefSpec(this.branch));// 用户密码验证CredentialsProvider credentialsProvider = new UsernamePasswordCredentialsProvider(this.username, this.password);pushCommand.setCredentialsProvider(credentialsProvider);pushCommand.call();System.out.println("Git push 操作完成。");} catch (Exception e) {e.printStackTrace();}}private List<File>uploadHelper(List<File> files) {List<File>failedFile = new ArrayList<>();for (File f : files) {if (!this.add(f.getName()))failedFile.add(f);}return failedFile;}private String getCommitMessage() {return DateUtils.getCurTime(ApplicationConstants.MIN_PATTERN) + "提交";}public static void testGitUploader() throws IOException, NullPropertiesException {Uploader uploader = new GitUploader();List<File> fileList = new ArrayList<>();String[] filePathList = {"D:\\projects\\java\\projects\\autoCommit\\test3.txt", "D:\\projects\\java\\projects\\autoCommit\\test4.txt"};for (String filePath : filePathList) {fileList.add(new File(filePath));}List<File>failedFiles = uploader.upload(fileList);if (failedFiles.size() != 0) {System.out.println("上传失败的文件有:");for (File file : failedFiles) {System.out.println(file.getName());}}}public static void main(String[] args) throws NullPropertiesException , IOException{
//        new GitUploader().push();GitUploader uploader = new GitUploader();uploader.add("test3.txt");}
}

工具文件

package autoSendFiles.utils;import autoSendFiles.constants.UploadConstants;
import autoSendFiles.exception.NullPropertiesException;
import org.apache.commons.lang3.StringUtils;import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;/*** @author: Zekun Fu* @date: 2024/3/17 21:50* @Description:*/
public class AppPropertiesUtils {private static Properties properties = new Properties();static {// 读取参数，如果没有配置，抛出异常try (InputStream input = new FileInputStream(UploadConstants.APP_PROPERTIES_PATH)) {// 加载 properties 文件properties.load(input);} catch (IOException e) {System.out.println("系统异常！请联系管理员");e.printStackTrace();}}public static String getProperty(String key) {return properties.getProperty(key);}
}
package autoSendFiles.utils;import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;/*** @author: Zekun Fu* @date: 2024/3/17 21:43* @Description:*/
public class DateUtils {public static String getCurTime(String pattern) {LocalDateTime currentDateTime = LocalDateTime.now();DateTimeFormatter formatter = DateTimeFormatter.ofPattern(pattern);return currentDateTime.format(formatter);}
}

配置文件

# gitee配置
gitee.accessToken=你的口令
gitee.branch=本地分支
gitee.username=用户名
gitee.password=密码
gitee.repository=仓库
gitee.remoteName=远程分成# 监听的git路径
work.dir=D:/projects/java/projects/autoCommit# 监听的时间间隔10min
listen.time=10# 程序运行时间100min
run.time=100

常量文件

package autoSendFiles.constants;/*** @author: Zekun Fu* @date: 2024/3/17 21:45* @Description:*/
public interface ApplicationConstants {String MIN_PATTERN = "yyyy/MM/dd HH:mm";int TEN_MINUTES = 1000 * 60 * 10;int TWENTY_MINUTES = 1000 * 60 * 20;int TO_SECONDS = 1000;int TO_MIMUTES = 1000 * 60;
}
package autoSendFiles.constants;/*** @author: Zekun Fu* @date: 2024/3/17 22:39* @Description: 配置Key的常量*/
public interface PropertyConstants {String GITEE_BRANCH = "gitee.branch";String GITEE_REMOTE_NAME="gitee.remoteName";String WORK_DIR = "work.dir";String GITEE_PASSWORD = "gitee.password";String GITEE_USERNAME = "gitee.username";String LISTEN_TIME = "listen.time";String RUN_TIME = "run.time";
}
package autoSendFiles.constants;/*** @author: Zekun Fu* @date: 2024/3/17 20:01* @Description:*/
public interface UploadConstants {String UPLOAT_URL = "https://gitee.com/api/v5/repos/%s/%s/contents/%s";String ACCESS_TOKEN = "access_token";String CONTENT = "content";String MESSAGE = "message";String BRANCH = "branch";String ROOT_DIR = ".git";String DIR_SPLIT = "/";String APP_PROPERTIES_PATH = "src/main/resources/application.properties";
}

异常类

package autoSendFiles.exception;/*** @author: Zekun Fu* @date: 2024/3/17 18:18* @Description:*/
public class NullPropertiesException extends Exception{public NullPropertiesException(String msg) {super(msg);}
}

maven依赖

  <dependencies><!-- Apache HttpClient Core --><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><!-- Apache HttpClient Mime --><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpmime</artifactId><version>4.5.13</version></dependency><dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.12.0</version></dependency><dependency><groupId>com.squareup.okhttp3</groupId><artifactId>okhttp</artifactId><version>4.9.3</version></dependency><dependency><groupId>org.eclipse.jgit</groupId><artifactId>org.eclipse.jgit</artifactId><version>5.13.0.202109080827-r</version></dependency></dependencies>

总结

  • 没有实现事件监听器，可以通过listenner进行扩展
  • 文件上传器，接口设计的不好，应该单一职责，这里两个职责了。一个是上传文件，一个是上传所有变化的文件
  • 没有实现图像化结面

下一步

  • 实现git pull的功能，进行文件的覆盖
  • 实现事件监听功能

这篇关于使用gitee自动备份文件的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/821537。

相关文章

如何使用celery进行异步处理和定时任务(django)

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery
阅读更多...
使用Python绘制蛇年春节祝福艺术图

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》：本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3
阅读更多...
Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单

Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单

《Springboot的ThreadPoolTaskScheduler线程池轻松搞定15分钟不操作自动取消订单》：本文主要介绍Springboot的ThreadPoolTaskScheduler线... 目录ThreadPoolTaskScheduler线程池实现15分钟不操作自动取消订单概要1，创建订单后
阅读更多...
Jsoncpp的安装与使用方式

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数
阅读更多...
python使用watchdog实现文件资源监控

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用，其生态环境也
阅读更多...
Python中构建终端应用界面利器Blessed模块的使用

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置：简单、快速、无障碍二、基本功能：从彩色文本到动态交互1. 显示基本内容2. 创建链
阅读更多...
springboot整合 xxl-job及使用步骤

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面，确认是否启动成功
阅读更多...
使用Nginx来共享文件的详细教程

使用Nginx来共享文件的详细教程

《使用Nginx来共享文件的详细教程》有时我们想共享电脑上的某些文件,一个比较方便的做法是,开一个HTTP服务,指向文件所在的目录,这次我们用nginx来实现这个需求,本文将通过代码示例一步步教你使用... 在本教程中，我们将向您展示如何使用开源 Web 服务器 Nginx 设置文件共享服务器步骤 0 —
阅读更多...
Java中switch-case结构的使用方法举例详解

Java中switch-case结构的使用方法举例详解

《Java中switch-case结构的使用方法举例详解》：本文主要介绍Java中switch-case结构使用的相关资料,switch-case结构是Java中处理多个分支条件的一种有效方式,它... 目录前言一、switch-case结构的基本语法二、使用示例三、注意事项四、总结前言对于Java初学者
阅读更多...
Golang使用minio替代文件系统的实战教程

Golang使用minio替代文件系统的实战教程

《Golang使用minio替代文件系统的实战教程》本文讨论项目开发中直接文件系统的限制或不足,接着介绍Minio对象存储的优势,同时给出Golang的实际示例代码,包括初始化客户端、读取minio对... 目录文件系统 vs Minio文件系统不足：对象存储：miniogolang连接Minio配置Min
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2