解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题

本文主要是介绍解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题一、解决awk中无法使用shell变量问题

 

项目背景

需要通过提取 去重后的操作日志里面 第一列账号 + 设定日期 来作为数据字段  导入到ORACLE库

逻辑是在通过管道对 提取数据的同时,把设定日期作为 新的一列 加入到新的文本文件里,问题就出现在这个时间变量这里,

本来先给时间变量赋值,然后把变量放在命令行里是没问题的,可是在awk 里就出现了问题, 反复测试依然是相同的结果,本来应该是取的时间值,却变成了数据文件里的某个字段值,所以$calc_day_bak 这个参数出现了问题,反复查阅,最后问题定位在

变量在awk中无法使用的问题需要对 "$"+变量名的形式 做字符转义,下文做详细说明:

一:"'$var'"

这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:

var="test" 
awk 'BEGIN{print "'$var'"}'

这种写法其实际是双括号变为单括号的常量,传递给了awk.

如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:

var="this is a test" 
awk 'BEGIN{print "'"$var"'"}' 
二:'"$var"'

这种写法与上一种类似.如果变量含空格,则变为'""$var""'较为可靠. 
三.把括起awk程序的''变为"",使用"$var"

如: 
$var="this is a test" 
awk 'BEGIN{print "$var"}" 
这是因为在""里$是特殊字符,而在''里$是普通字符. 
四:export 变量,使用ENVIRON["var"]形式,

如: 
$var="this is a test";export $var 
awk 'BEGIN{print ENVIRON["var"]}' 
五:当然也可以使用-v选项

如: 
$var="this is a test" 
awk -v nvar="$var" '{print nvar}'

这样便把系统变量定义成了awk变量.

 

问题二、脚本使用命令行对用户进行切换的问题

项目背景

(1)项目需要每天定时从HADOOP集群中下载 每日更新的数据文件,需要使用 hadoop fs -get命令,用户是hadoop;

(2)把下载下来的数据源文件中指定的字段提取出来,然后把数据批量导入到ORACLE中,需要使用oracle自带的sqlldr 工具,用户是oracle

(3)由于数据源文件是hadoop用户下载的,需要使用root或者hadoop用户进行删除处理

在写脚本的时候就遇到需要处理用户切换的问题,不然会有命令 或者环境不支持的问题产生报错,经过多种方式取证尝试,发现用户切换问题是SHELL语法中比较大的一个诟病,没有直接简单合适的方式来处理,最后只好把一个脚本拆分成几个,然后在不同的用户角色下对数据进行处理,通过crontab来对处理时间进行控制,也算是达到了目的。

 

 

 

 

 

 

 

 

 

 

 

这篇关于解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099923

相关文章

SQL Server配置管理器无法打开的四种解决方法

《SQLServer配置管理器无法打开的四种解决方法》本文总结了SQLServer配置管理器无法打开的四种解决方法,文中通过图文示例介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的... 目录方法一:桌面图标进入方法二:运行窗口进入检查版本号对照表php方法三:查找文件路径方法四:检查 S

Spring IoC 容器的使用详解(最新整理)

《SpringIoC容器的使用详解(最新整理)》文章介绍了Spring框架中的应用分层思想与IoC容器原理,通过分层解耦业务逻辑、数据访问等模块,IoC容器利用@Component注解管理Bean... 目录1. 应用分层2. IoC 的介绍3. IoC 容器的使用3.1. bean 的存储3.2. 方法注

Python内置函数之classmethod函数使用详解

《Python内置函数之classmethod函数使用详解》:本文主要介绍Python内置函数之classmethod函数使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录1. 类方法定义与基本语法2. 类方法 vs 实例方法 vs 静态方法3. 核心特性与用法(1编程客

IDEA中新建/切换Git分支的实现步骤

《IDEA中新建/切换Git分支的实现步骤》本文主要介绍了IDEA中新建/切换Git分支的实现步骤,通过菜单创建新分支并选择是否切换,创建后在Git详情或右键Checkout中切换分支,感兴趣的可以了... 前提:项目已被Git托管1、点击上方栏Git->NewBrancjsh...2、输入新的分支的

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

Redis出现中文乱码的问题及解决

《Redis出现中文乱码的问题及解决》:本文主要介绍Redis出现中文乱码的问题及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 问题的产生2China编程. 问题的解决redihttp://www.chinasem.cns数据进制问题的解决中文乱码问题解决总结