解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题

本文主要是介绍解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题一、解决awk中无法使用shell变量问题

 

项目背景

需要通过提取 去重后的操作日志里面 第一列账号 + 设定日期 来作为数据字段  导入到ORACLE库

逻辑是在通过管道对 提取数据的同时,把设定日期作为 新的一列 加入到新的文本文件里,问题就出现在这个时间变量这里,

本来先给时间变量赋值,然后把变量放在命令行里是没问题的,可是在awk 里就出现了问题, 反复测试依然是相同的结果,本来应该是取的时间值,却变成了数据文件里的某个字段值,所以$calc_day_bak 这个参数出现了问题,反复查阅,最后问题定位在

变量在awk中无法使用的问题需要对 "$"+变量名的形式 做字符转义,下文做详细说明:

一:"'$var'"

这种写法大家无需改变用'括起awk程序的习惯,是老外常用的写法.如:

var="test" 
awk 'BEGIN{print "'$var'"}'

这种写法其实际是双括号变为单括号的常量,传递给了awk.

如果var中含空格,为了shell不把空格作为分格符,便应该如下使用:

var="this is a test" 
awk 'BEGIN{print "'"$var"'"}' 
二:'"$var"'

这种写法与上一种类似.如果变量含空格,则变为'""$var""'较为可靠. 
三.把括起awk程序的''变为"",使用"$var"

如: 
$var="this is a test" 
awk 'BEGIN{print "$var"}" 
这是因为在""里$是特殊字符,而在''里$是普通字符. 
四:export 变量,使用ENVIRON["var"]形式,

如: 
$var="this is a test";export $var 
awk 'BEGIN{print ENVIRON["var"]}' 
五:当然也可以使用-v选项

如: 
$var="this is a test" 
awk -v nvar="$var" '{print nvar}'

这样便把系统变量定义成了awk变量.

 

问题二、脚本使用命令行对用户进行切换的问题

项目背景

(1)项目需要每天定时从HADOOP集群中下载 每日更新的数据文件,需要使用 hadoop fs -get命令,用户是hadoop;

(2)把下载下来的数据源文件中指定的字段提取出来,然后把数据批量导入到ORACLE中,需要使用oracle自带的sqlldr 工具,用户是oracle

(3)由于数据源文件是hadoop用户下载的,需要使用root或者hadoop用户进行删除处理

在写脚本的时候就遇到需要处理用户切换的问题,不然会有命令 或者环境不支持的问题产生报错,经过多种方式取证尝试,发现用户切换问题是SHELL语法中比较大的一个诟病,没有直接简单合适的方式来处理,最后只好把一个脚本拆分成几个,然后在不同的用户角色下对数据进行处理,通过crontab来对处理时间进行控制,也算是达到了目的。

 

 

 

 

 

 

 

 

 

 

 

这篇关于解决awk中无法使用shell变量问题及脚本使用命令行对用户进行切换的问题的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099923

相关文章

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

详谈redis跟数据库的数据同步问题

《详谈redis跟数据库的数据同步问题》文章讨论了在Redis和数据库数据一致性问题上的解决方案,主要比较了先更新Redis缓存再更新数据库和先更新数据库再更新Redis缓存两种方案,文章指出,删除R... 目录一、Redis 数据库数据一致性的解决方案1.1、更新Redis缓存、删除Redis缓存的区别二

oracle数据库索引失效的问题及解决

《oracle数据库索引失效的问题及解决》本文总结了在Oracle数据库中索引失效的一些常见场景,包括使用isnull、isnotnull、!=、、、函数处理、like前置%查询以及范围索引和等值索引... 目录oracle数据库索引失效问题场景环境索引失效情况及验证结论一结论二结论三结论四结论五总结ora

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

element-ui下拉输入框+resetFields无法回显的问题解决

《element-ui下拉输入框+resetFields无法回显的问题解决》本文主要介绍了在使用ElementUI的下拉输入框时,点击重置按钮后输入框无法回显数据的问题,具有一定的参考价值,感兴趣的... 目录描述原因问题重现解决方案方法一方法二总结描述第一次进入页面,不做任何操作,点击重置按钮,再进行下

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面,确认是否启动成功

使用Nginx来共享文件的详细教程

《使用Nginx来共享文件的详细教程》有时我们想共享电脑上的某些文件,一个比较方便的做法是,开一个HTTP服务,指向文件所在的目录,这次我们用nginx来实现这个需求,本文将通过代码示例一步步教你使用... 在本教程中,我们将向您展示如何使用开源 Web 服务器 Nginx 设置文件共享服务器步骤 0 —