Shell开发脚本 通过SFTP 定时 上传文件

2024-08-23 16:32

本文主要是介绍Shell开发脚本 通过SFTP 定时 上传文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【背景】

与三方公司对接,有数据传输需求,数据传到对方的服务器,对方提供的传输方式是SFTP

【思路】

数据来自于ORACLE,项目先提供在服务器上使用sqluldr2来操作【数据导出】工作,之前的博客有提到大批量数据【导入】工具sqluldr,注意不要弄混了,然后把数据存到指定的文件下,接着通过crontab 任务定时调用传输工具脚本就行了,之前未接触过SFTP,这次遇到一些坑,网上查了许多文章没有我需要的,简单记录一下:

1.FTP传输示例

先放之前FTP上传下载文件的做法,连接到指定IP和端口 把用户名和密码写在后面 进入指定的路径,完成操作即可,提醒一下,确保执行脚本的电脑有FTP

ftp -ivn <<EOFopen 172.X.X.X 21user ftp_user ftp_passWordbinarylcd /opt/yj/ChannelDataFolder/  mput *.txtquit
EOF

2.SFTP传输示例

spawn sftp -oPort=端口 sftp_name@sftp_ip
expect  {"password:" { send "sftp_password\r" }
}expect "sftp> "
send "cd sftp_path\r"
expect "sftp> "
send "put data.txt\r"
expect "sftp> "
send "bye"

个人觉得SFTP与FTP在 SHELL脚本最大的区别就在于,ftp可以一步到位,sftp多了一个交互的过程,实现就需要考虑如何跟sftp服务器完成交互,最开始做的时候看着一些代码段直接拿来用,后面这也不行那也不行,原来自己没有安装expect 这个工具,一切操作要在这个工具支持下完成,tcl和expect都要安装。

下载安装示例

下载地址如下:
https://download.csdn.net/download/u012972294/84232811下载两个包,分别解压  注:假设两个包存放地址为,/usr/local/src1。先安装tcl进入tcl解压目录,然后进入unix目录#./configure#make#make install2.后安装expect  注:如果目录和上述不一致,需要更换到你解压的目录,千万注意路径问题!进入expect解压目录#./configure --with-tclinclude=/usr/local/src/tcl8.4.19/generic/ --with-tclconfig=/usr/local/lib/#make#make install完成,测试#expectexpect1.1> expect1.1>

【可能遇到的问题点】

0. 没有编译环境!!!!

我在新的服务器环境遇到了!!   这个就自行百度了, 

1.expect安装完成且测试通过,但是运行报错提示:expect spawn not found

网上很多方法,我试过都不行,我的处理方式执行的时候这么写:

expect -f ./XXX.sh

2.执行脚本的时候各种提示,无法识别定义的变量、shell命令等,具体原因暂时没有弄明白,只好折中处理,把变量直接写到sftp命令里面,把传输工具和数据提取分为两个部分,互不干涉。

3.sqluldr2 导出数据时,会遇到数据不换行  分隔符不起作用的情况,这里做个简单总结

field:指定字段分隔符,默认为逗号(单词不要打错了!!!)


record:指定记录分隔符,默认回车换行,windows为换行,具体请查看ASCII,0x0d:回车,0x0a:换行 TAB键=0x09,|=0x7c,&=0x26,双引号=0x22,单引号=0x27

我是这么写的

/opt/oracle/db01/app/oracle/product/11.2.0/bin/sqluldr2 user/password@172.xx.xx.1xx/orcl  sql=/dev/yj/GetDbData/5gGou/query.sql  field="," record=0x0d0x0a batch=yes rows=200000  file=/dev/yj/GetDbData/5gGou/5ggou_data.txt head=yes charset=utf8

4.客观的说,这次用定时任务+sftp 传输脚本 把我坑惨了,服务器对expect支持相当有限,各种奇葩问题,网上少之又少,遇到not found的问题,你就用全路径 遇到定时任务无法调用 sftp传输脚本,你就用一个shell脚本 调用一下传输脚本,我被下面这个问题烦透了的,send:spawn id exp1 not open

耽误了我相当长的时间,最后也只有根据报错一步一步的来,最后我把\r 改为\n 居然就搞定了,手动执行没问题的啊,怎么定时任务就执行不了,太难了,祝各位遇到类似问题的盆友好运吧

这篇关于Shell开发脚本 通过SFTP 定时 上传文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099907

相关文章

Go语言开发实现查询IP信息的MCP服务器

《Go语言开发实现查询IP信息的MCP服务器》随着MCP的快速普及和广泛应用,MCP服务器也层出不穷,本文将详细介绍如何在Go语言中使用go-mcp库来开发一个查询IP信息的MCP... 目录前言mcp-ip-geo 服务器目录结构说明查询 IP 信息功能实现工具实现工具管理查询单个 IP 信息工具的实现服

Spring Boot 集成 Quartz并使用Cron 表达式实现定时任务

《SpringBoot集成Quartz并使用Cron表达式实现定时任务》本篇文章介绍了如何在SpringBoot中集成Quartz进行定时任务调度,并通过Cron表达式控制任务... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启动 Sprin

springboot上传zip包并解压至服务器nginx目录方式

《springboot上传zip包并解压至服务器nginx目录方式》:本文主要介绍springboot上传zip包并解压至服务器nginx目录方式,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录springboot上传zip包并解压至服务器nginx目录1.首先需要引入zip相关jar包2.然

Java使用ANTLR4对Lua脚本语法校验详解

《Java使用ANTLR4对Lua脚本语法校验详解》ANTLR是一个强大的解析器生成器,用于读取、处理、执行或翻译结构化文本或二进制文件,下面就跟随小编一起看看Java如何使用ANTLR4对Lua脚本... 目录什么是ANTLR?第一个例子ANTLR4 的工作流程Lua脚本语法校验准备一个Lua Gramm

python logging模块详解及其日志定时清理方式

《pythonlogging模块详解及其日志定时清理方式》:本文主要介绍pythonlogging模块详解及其日志定时清理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录python logging模块及日志定时清理1.创建logger对象2.logging.basicCo

shell编程之函数与数组的使用详解

《shell编程之函数与数组的使用详解》:本文主要介绍shell编程之函数与数组的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录shell函数函数的用法俩个数求和系统资源监控并报警函数函数变量的作用范围函数的参数递归函数shell数组获取数组的长度读取某下的

使用Python开发一个带EPUB转换功能的Markdown编辑器

《使用Python开发一个带EPUB转换功能的Markdown编辑器》Markdown因其简单易用和强大的格式支持,成为了写作者、开发者及内容创作者的首选格式,本文将通过Python开发一个Markd... 目录应用概览代码结构与核心组件1. 初始化与布局 (__init__)2. 工具栏 (setup_t

SpringShell命令行之交互式Shell应用开发方式

《SpringShell命令行之交互式Shell应用开发方式》本文将深入探讨SpringShell的核心特性、实现方式及应用场景,帮助开发者掌握这一强大工具,具有很好的参考价值,希望对大家有所帮助,如... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定

使用Node.js制作图片上传服务的详细教程

《使用Node.js制作图片上传服务的详细教程》在现代Web应用开发中,图片上传是一项常见且重要的功能,借助Node.js强大的生态系统,我们可以轻松搭建高效的图片上传服务,本文将深入探讨如何使用No... 目录准备工作搭建 Express 服务器配置 multer 进行图片上传处理图片上传请求完整代码示例

Spring Shell 命令行实现交互式Shell应用开发

《SpringShell命令行实现交互式Shell应用开发》本文主要介绍了SpringShell命令行实现交互式Shell应用开发,能够帮助开发者快速构建功能丰富的命令行应用程序,具有一定的参考价... 目录引言一、Spring Shell概述二、创建命令类三、命令参数处理四、命令分组与帮助系统五、自定义S