备忘几个有用的shell脚本

2024-05-15 03:58

本文主要是介绍备忘几个有用的shell脚本,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

(1)在shell下,操作hadoop目录,批量命名或删除,最终的命令sed的正则贪婪替换,看下面的脚本:

Java代码 复制代码  收藏代码
  1. # 遍历 hadoop 目录下的文件名   
  2.   
  3. for line in `hadoop fs -ls /user/d1 | gawk '{ print $8 }' `   
  4. do  
  5.   
  6. #echo $line;      
  7.   
  8. #将2级目录下的文件,移动到上一级   
  9. #hadoop fs -mv $line"/tmp_search_keywords_cate_stat/*"  $line ;   
  10. #删除2级目录   
  11. #hadoop fs   -rm -r  $line"/tmp_search_keywords_cate_stat"  
  12.   
  13. for line2 in `hadoop fs -ls $line  | gawk '{ print $8 }'   `   
  14.   
  15. do  
  16.   
  17. echo $line2 ;   
  18.   
  19. #将/tmp/a/b 使用sed变成/tmp/a_b 注意下面的正则式子   
  20.   
  21. newname=`echo $line2 | sed -e 's/\(.*\)\//\1_/' ` ;   
  22.   
  23.   
  24. #echo $newname;   
  25.   
  26. hadoop fs -mv $line2   $newname   
  27. done   
  28. done  
# 遍历 hadoop 目录下的文件名for line in `hadoop fs -ls /user/d1 | gawk '{ print $8 }' `
do#echo $line;   #将2级目录下的文件,移动到上一级
#hadoop fs -mv $line"/tmp_search_keywords_cate_stat/*"  $line ;
#删除2级目录
#hadoop fs   -rm -r  $line"/tmp_search_keywords_cate_stat"for line2 in `hadoop fs -ls $line  | gawk '{ print $8 }'   `doecho $line2 ;#将/tmp/a/b 使用sed变成/tmp/a_b 注意下面的正则式子newname=`echo $line2 | sed -e 's/\(.*\)\//\1_/' ` ;#echo $newname;hadoop fs -mv $line2   $newname
done
done



(2)记录当前启动的进程id,并以后台方式挂起运行,脚本例子如下:

Java代码 复制代码  收藏代码
  1. [search@fse4 solr]$ cat start.sh    
  2.   
  3. #下面的代码,将当前启动的上次启动的进程id记录下来   
  4. #方便关闭时,kill掉   
  5.   
  6. #$$记录当前的进程id,$!记录上次启动的进程id   
  7. #nohup 是后台挂起线程方式运行,并将日志文件输出到nohup.out里面,进行监控    
  8. nohup java -jar start.jar  &> nohup.out &  echo $! >pid&   
  9.   
  10. #echo $$ > pid   
  11. [search@fse4 solr]$   
[search@fse4 solr]$ cat start.sh #下面的代码,将当前启动的上次启动的进程id记录下来
#方便关闭时,kill掉#$$记录当前的进程id,$!记录上次启动的进程id
#nohup 是后台挂起线程方式运行,并将日志文件输出到nohup.out里面,进行监控 
nohup java -jar start.jar  &> nohup.out &  echo $! >pid&#echo $$ > pid
[search@fse4 solr]$ 



(3)linux下,将字符串日期,格式化为时间戳:

Java代码 复制代码  收藏代码
  1. [search@fsedump01sand tempshell]$ date -d '2015-12-01' +%s   
  2. 1448899200  
  3.    

                                    

这篇关于备忘几个有用的shell脚本的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/990739

相关文章

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Java实现远程执行Shell指令

《Java实现远程执行Shell指令》文章介绍使用JSch在SpringBoot项目中实现远程Shell操作,涵盖环境配置、依赖引入及工具类编写,详解分号和双与号执行多指令的区别... 目录软硬件环境说明编写执行Shell指令的工具类总结jsch(Java Secure Channel)是SSH2的一个纯J

Java调用Python脚本实现HelloWorld的示例详解

《Java调用Python脚本实现HelloWorld的示例详解》作为程序员,我们经常会遇到需要在Java项目中调用Python脚本的场景,下面我们来看看如何从基础到进阶,一步步实现Java与Pyth... 目录一、环境准备二、基础调用:使用 Runtime.exec()2.1 实现步骤2.2 代码解析三、

Python脚本轻松实现检测麦克风功能

《Python脚本轻松实现检测麦克风功能》在进行音频处理或开发需要使用麦克风的应用程序时,确保麦克风功能正常是非常重要的,本文将介绍一个简单的Python脚本,能够帮助我们检测本地麦克风的功能,需要的... 目录轻松检测麦克风功能脚本介绍一、python环境准备二、代码解析三、使用方法四、知识扩展轻松检测麦

基于Python Playwright进行前端性能测试的脚本实现

《基于PythonPlaywright进行前端性能测试的脚本实现》在当今Web应用开发中,性能优化是提升用户体验的关键因素之一,本文将介绍如何使用Playwright构建一个自动化性能测试工具,希望... 目录引言工具概述整体架构核心实现解析1. 浏览器初始化2. 性能数据收集3. 资源分析4. 关键性能指

shell脚本批量导出redis key-value方式

《shell脚本批量导出rediskey-value方式》为避免keys全量扫描导致Redis卡顿,可先通过dump.rdb备份文件在本地恢复,再使用scan命令渐进导出key-value,通过CN... 目录1 背景2 详细步骤2.1 本地docker启动Redis2.2 shell批量导出脚本3 附录总

Oracle数据库定时备份脚本方式(Linux)

《Oracle数据库定时备份脚本方式(Linux)》文章介绍Oracle数据库自动备份方案,包含主机备份传输与备机解压导入流程,强调需提前全量删除原库数据避免报错,并需配置无密传输、定时任务及验证脚本... 目录说明主机脚本备机上自动导库脚本整个自动备份oracle数据库的过程(建议全程用root用户)总结

linux下shell脚本启动jar包实现过程

《linux下shell脚本启动jar包实现过程》确保APP_NAME和LOG_FILE位于目录内,首次启动前需手动创建log文件夹,否则报错,此为个人经验,供参考,欢迎支持脚本之家... 目录linux下shell脚本启动jar包样例1样例2总结linux下shell脚本启动jar包样例1#!/bin

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译(设置GOOS为linux生成无后缀二进制文件),上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统