解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题

本文主要是介绍解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题一、解决awk中无法使用shell变量问题

 

项目背景

需要通过提取 去重后的操作日志里面 第一列账号 + 设定日期 来作为数据字段  导入到ORACLE库

逻辑是在通过管道对 提取数据的同时,把设定日期作为 新的一列 加入到新的文本文件里,问题就出现在这个时间变量这里,

本来先给时间变量赋值,然后把变量放在命令行里是没问题的,可是在awk 里就出现了问题, 反复测试依然是相同的结果,本来应该是取的时间值,却变成了数据文件里的某个字段值,所以$calc_day_bak 这个参数出现了问题,反复查阅,最后问题定位在

变量在awk中无法使用的问题需要对 "$"+变量名的形式 做字符转义,下文做详细说明:

一:"'$var'"

这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:

var="test" 
awk 'BEGIN{print "'$var'"}'

这种写法其实际是双括号变为单括号的常量,传递给了awk.

如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:

var="this is a test" 
awk 'BEGIN{print "'"$var"'"}' 
二:'"$var"'

这种写法与上一种类似.如果变量含空格,则变为'""$var""'较为可靠. 
三.把括起awk程序的''变为"",使用"$var"

如: 
$var="this is a test" 
awk 'BEGIN{print "$var"}" 
这是因为在""里$是特殊字符,而在''里$是普通字符. 
四:export 变量,使用ENVIRON["var"]形式,

如: 
$var="this is a test";export $var 
awk 'BEGIN{print ENVIRON["var"]}' 
五:当然也可以使用-v选项

如: 
$var="this is a test" 
awk -v nvar="$var" '{print nvar}'

这样便把系统变量定义成了awk变量.

 

问题二、脚本使用命令行对用户进行切换的问题

项目背景

(1)项目需要每天定时从HADOOP集群中下载 每日更新的数据文件,需要使用 hadoop fs -get命令,用户是hadoop;

(2)把下载下来的数据源文件中指定的字段提取出来,然后把数据批量导入到ORACLE中,需要使用oracle自带的sqlldr 工具,用户是oracle

(3)由于数据源文件是hadoop用户下载的,需要使用root或者hadoop用户进行删除处理

在写脚本的时候就遇到需要处理用户切换的问题,不然会有命令 或者环境不支持的问题产生报错,经过多种方式取证尝试,发现用户切换问题是SHELL语法中比较大的一个诟病,没有直接简单合适的方式来处理,最后只好把一个脚本拆分成几个,然后在不同的用户角色下对数据进行处理,通过crontab来对处理时间进行控制,也算是达到了目的。

 

 

 

 

 

 

 

 

 

 

 

这篇关于解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099923

相关文章

python中的flask_sqlalchemy的使用及示例详解

《python中的flask_sqlalchemy的使用及示例详解》文章主要介绍了在使用SQLAlchemy创建模型实例时,通过元类动态创建实例的方式,并说明了如何在实例化时执行__init__方法,... 目录@orm.reconstructorSQLAlchemy的回滚关联其他模型数据库基本操作将数据添

Spring配置扩展之JavaConfig的使用小结

《Spring配置扩展之JavaConfig的使用小结》JavaConfig是Spring框架中基于纯Java代码的配置方式,用于替代传统的XML配置,通过注解(如@Bean)定义Spring容器的组... 目录JavaConfig 的概念什么是JavaConfig?为什么使用 JavaConfig?Jav

Springboot3统一返回类设计全过程(从问题到实现)

《Springboot3统一返回类设计全过程(从问题到实现)》文章介绍了如何在SpringBoot3中设计一个统一返回类,以实现前后端接口返回格式的一致性,该类包含状态码、描述信息、业务数据和时间戳,... 目录Spring Boot 3 统一返回类设计:从问题到实现一、核心需求:统一返回类要解决什么问题?

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位

Springboot3 ResponseEntity 完全使用案例

《Springboot3ResponseEntity完全使用案例》ResponseEntity是SpringBoot中控制HTTP响应的核心工具——它能让你精准定义响应状态码、响应头、响应体,相比... 目录Spring Boot 3 ResponseEntity 完全使用教程前置准备1. 项目基础依赖(M

Java使用Spire.Barcode for Java实现条形码生成与识别

《Java使用Spire.BarcodeforJava实现条形码生成与识别》在现代商业和技术领域,条形码无处不在,本教程将引导您深入了解如何在您的Java项目中利用Spire.Barcodefor... 目录1. Spire.Barcode for Java 简介与环境配置2. 使用 Spire.Barco

解决idea启动项目报错java: OutOfMemoryError: insufficient memory

《解决idea启动项目报错java:OutOfMemoryError:insufficientmemory》:本文主要介绍解决idea启动项目报错java:OutOfMemoryError... 目录原因:解决:总结 原因:在Java中遇到OutOfMemoryError: insufficient me

maven异常Invalid bound statement(not found)的问题解决

《maven异常Invalidboundstatement(notfound)的问题解决》本文详细介绍了Maven项目中常见的Invalidboundstatement异常及其解决方案,文中通过... 目录Maven异常:Invalid bound statement (not found) 详解问题描述可

Android使用java实现网络连通性检查详解

《Android使用java实现网络连通性检查详解》这篇文章主要为大家详细介绍了Android使用java实现网络连通性检查的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录NetCheck.Java(可直接拷贝)使用示例(Activity/Fragment 内)权限要求

idea粘贴空格时显示NBSP的问题及解决方案

《idea粘贴空格时显示NBSP的问题及解决方案》在IDEA中粘贴代码时出现大量空格占位符NBSP,可以通过取消勾选AdvancedSettings中的相应选项来解决... 目录1、背景介绍2、解决办法3、处理完成总结1、背景介绍python在idehttp://www.chinasem.cna粘贴代码,出