jenkins远程部署使用shell脚本进行备份与find和grep匹配的区别

本文主要是介绍jenkins远程部署使用shell脚本进行备份与find和grep匹配的区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

需求

公司想jenkins在远程部署项目的同时,还要进行项目备份,
之前只备份最近一次构建的数据,也就是只保留到一份,
现在公司希望能保留按时间进行倒序,保留三份备份包。

思路

1、使用rm -rf 文件名把我们要保留的三份备份包排除掉。
2、要排除查询到的文件,可以使用grep -v命令。排除多少个可以使用head -n 3

rm -rf `ls | grep "ggservice-dataservice-.*" | grep -v `find . -name "ggservice-dataservice-*" | xargs ls -t | head -n 3|xargs|sed "s/.\///g"|xargs|sed "s/ /\\\\\\|/g"``

这么一条命令太长了。我们使用变量的方式:

# 打包的文件名
fileName="ggservice-dataservice"backup=`find . -name "${fileName}-*" | xargs ls -t | head -n 3|xargs|sed "s/.\///g"|xargs|sed "s/ /\\\\\\|/g"`
echo "保留最近三个备份包:" \"$backup\"
echo "删除的备份包:"`ls | grep "${fileName}-.*" | grep -v $backup`
#删除ggservice的备份包
rm -rf `ls | grep "${fileName}-.*" | grep -v $backup`

1、我们先查询出需要保留的三个备份包。

backup=`find . -name "${fileName}-*" | xargs ls -t | head -n 3|xargs|sed "s/.\///g"|xargs|sed "s/ /\\\\\\|/g"`

①首先find命令去模糊查询文件名为ggservice-dataservice-*

find和grep匹配的区别

注意: find命令中*号表示是通配符,而不是正则表达式。 grep 中的则是正则表达式。
Linux通配符与正则表达式
http://blog.csdn.net/nybornhawk/article/details/43730667
详细区别,自己百度吧!

以我自己例子;查询结果为:

./ggservice-dataservice-20161210
./ggservice-dataservice-20161211
./ggservice-dataservice-20161209
./ggservice-dataservice-20161202
./ggservice-dataservice-20161212

看到这个我们肯定希望把它们拼成如下形式:

ggservice-dataservice-20161212\|ggservice-dataservice-20161211\|ggservice-dataservice-20161202

为什么要拼成这种实现呢?

我们要知道grep -v同时排除多个文件的方法是这样的!

grep -v 'aaaa\|bbbb'

也就是说当有多个文件时,需要 |,进行分割,但是在Linux|是管道的意思,
所以需要使用反斜杠进行转义;所以是\|

xargs ls -t 是进行按日期排序(倒序)。
head -n 3 取前三个。
xargs|sed "s/.\///g"把查询文件结果中 ./ 去除掉。
sed是 正则 替换 格式:s/填写需要替换字符/填写需要替换成什么字符/g
s/被替换字符1/替换字符/g
xargs|sed "s/ /\\\\\|/g" 把查询文件结果中的空格替换成|

这里说明下⑤,在命令行中写成三个反斜杠即xargs|sed "s/ /\\\|/g",但是写到shell里,或是赋值给一个变量时,会把反斜杠弄没了:

ggservice-dataservice-20161212|ggservice-dataservice-20161211|ggservice-dataservice-20161202

后来经过我不断尝试,连续五个反斜杠就可以啦!即便是赋值给变量也是可以的。

最后backup变量得到的就是:

ggservice-dataservice-20161212\|ggservice-dataservice-20161211\|ggservice-dataservice-20161202

有了这个后,我们就可以开始删除了。

#删除ggservice的备份包
rm -rf `ls | grep "^${fileName}-.*" | grep -v $backup`

rm -rf 文件名,由于文件名是通过命令来查询出来的。所以需要使用`符号包裹起来,
也就是键盘数字1左边的那个键。
grep “^${fileName}-.这里面的.是正则表达式,匹配查询到相应格式的文件。
这里添加
^这个符号表示的是以指定字符开头进行匹配。
grep -v $backup`这里是排除掉我需要备份的文件。即不删除它们,其余匹配查询到的文件都进行删除。
至此,我的需求已经达到要求了。

下面是我自己写的完整脚本:

#!/bin/bash
export PATH=~/gogoal_platform/ggopenapi:~/play-1.2.7:$PATH
echo "构建后的路径pwd:"`pwd`
whoami
cd /home/developer/gogoal_platform/ggopenapi/
cur=$(pwd)
currday=`date +%Y%m%d`
# 打包的文件名
fileName="api"#创建最新的备份包
gogalwebfile=${cur}/${fileName}-$currday
if [ ! -d $gogalwebfile ]; then
echo "不存在":$gogalwebfile
cp -r ${fileName} ${fileName}-$currday
fibackup=`ls -lt | find . -name "${fileName}-*" | sort -r | head -n 3|xargs|sed "s/.\///g"|xargs|sed "s/ /\\\\\\|/g"`
echo "保留最近三个备份包:" \"$backup\"
echo "删除的备份包:"`ls | grep "^${fileName}-.*" | grep -v $backup`
# 删除备份包
rm -rf `ls | grep "^${fileName}-.*" | grep -v $backup | xargs | sed "s/ / /g"`# 将分批打包的jar拷贝到ggservice项目中
cp -r package/* /home/developer/gogoal_platform/ggopenapi/api/ggservice/
rm -rf packagecd /home/developer/gogoal_platform/ggopenapi/api/ggservice/cp /dev/null nohup.out
nohup ./ggservice.sh

更新

注:
2017-2-15修改
1、

backup=`ls -lt | find . -name "${fileName}-*" | sort -r | head -n 3|xargs|sed "s/.\///g"|xargs|sed "s/ /\\\\\\|/g"`

添加了sort -r,因为在使用ls -lt排序后,再使用find命令,会导致之前排好的顺序变成无须,所以再使用sort命令在排序一次,sort默认是升序,所以我们要进行添加参数-r,进行取反。

2、由于我打包的是.class文件,命令如下:

#!/bin/bash
export PATH=~/play-1.2.7:$PATH
#获得当前目录
cur=$(pwd)
echo "pwd:"${cur}
rm -rf ggservice-dataservice.jar
output_path=${cur}/classes
package=${cur}/package
echo $output_path
if [ ! -d $output_path ]; thenmkdir $output_path
fiif [ ! -d $package ]; thenmkdir $package
fi## 获取依赖库和需要编译的java文件
export libs=`find ./dataservice/lib -name "*.jar" |xargs|sed "s/ /:/g"`
export javafiles=`find ./dataservice/ -name "*.java" |xargs|sed "s/ / /g"`
export javautils=`find ./utils/app/ -name "*.java" |xargs|sed "s/ / /g"`
export play_lib=/opt/play-1.2.7/framework/play-1.2.7.jar
export play_lib_common=`find /opt/play-1.2.7/framework/lib/ -name "*.jar" |xargs|sed "s/ /:/g"`
#echo ${javafiles}
#echo "公共---------"
#echo ${javautils}# 清除
rm -rf package/*
# 清除编译后的class文件
rm -rf ${output_path}/*##编译
javac -d ${cur}/classes -cp ${libs}:$play_lib:$play_lib_common -encoding utf-8 ${javafiles} ${javautils}
##打包
cd /home/jenkins/workspace/ggservice/dataservice/app/ggservice/v1/
dir=$(ls -l |awk '/^d/ {print $NF}')
cd $output_path
for i in $dir
doecho "ggservice-"${i}".jar打包情况":jar -cvf ${package}/ggservice-${i}.jar */v1/$i/*
done

每次打jar包的时候,最好先清除class文件,今天就这个原因导致浪费很多时间。

# 清除编译后的class文件
rm -rf ${output_path}/*

2017-6-22修改

今天偶然发现执行上面的脚本居然把不想删除的文件给删除啦!

这里写图片描述

结果呢?其把ggopenapi-mongo3这个文件也删除啦!

这里写图片描述

看了看我的脚本:

echo "删除的备份包:"`ls | grep "${fileName}-.*" | grep -v $backup`

由于grep是正则匹配,所以只要包含指定的字符就匹配成功,所以呢,我们需要加上^

echo "删除的备份包:"`ls | grep "^${fileName}-.*" | grep -v $backup`

这篇关于jenkins远程部署使用shell脚本进行备份与find和grep匹配的区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1112217

相关文章

闲置电脑也能活出第二春?鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言,在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况,这使得“存储焦虑”不再是个别现象,而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得,我们似乎正处在互联网信息飞速增长的阶段,对于存储的需求也将会不断扩大。对于苹果用户而言,这一问题愈发严峻,毕竟512GB和1TB版本的iPhone可不是人人都消费得起的,因此成熟的外置存储方案开

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别: 采用超过 40 万小时数据训练,支持超过 50 种语言,识别效果上优于 Whisper 模型。富文本识别:具备优秀的情感识别,能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力,支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]