Shell开发脚本 通过SFTP 定时 上传文件

2024-08-23 16:32

本文主要是介绍Shell开发脚本 通过SFTP 定时 上传文件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【背景】

与三方公司对接,有数据传输需求,数据传到对方的服务器,对方提供的传输方式是SFTP

【思路】

数据来自于ORACLE,项目先提供在服务器上使用sqluldr2来操作【数据导出】工作,之前的博客有提到大批量数据【导入】工具sqluldr,注意不要弄混了,然后把数据存到指定的文件下,接着通过crontab 任务定时调用传输工具脚本就行了,之前未接触过SFTP,这次遇到一些坑,网上查了许多文章没有我需要的,简单记录一下:

1.FTP传输示例

先放之前FTP上传下载文件的做法,连接到指定IP和端口 把用户名和密码写在后面 进入指定的路径,完成操作即可,提醒一下,确保执行脚本的电脑有FTP

ftp -ivn <<EOFopen 172.X.X.X 21user ftp_user ftp_passWordbinarylcd /opt/yj/ChannelDataFolder/  mput *.txtquit
EOF

2.SFTP传输示例

spawn sftp -oPort=端口 sftp_name@sftp_ip
expect  {"password:" { send "sftp_password\r" }
}expect "sftp> "
send "cd sftp_path\r"
expect "sftp> "
send "put data.txt\r"
expect "sftp> "
send "bye"

个人觉得SFTP与FTP在 SHELL脚本最大的区别就在于,ftp可以一步到位,sftp多了一个交互的过程,实现就需要考虑如何跟sftp服务器完成交互,最开始做的时候看着一些代码段直接拿来用,后面这也不行那也不行,原来自己没有安装expect 这个工具,一切操作要在这个工具支持下完成,tcl和expect都要安装。

下载安装示例

下载地址如下:
https://download.csdn.net/download/u012972294/84232811下载两个包,分别解压  注:假设两个包存放地址为,/usr/local/src1。先安装tcl进入tcl解压目录,然后进入unix目录#./configure#make#make install2.后安装expect  注:如果目录和上述不一致,需要更换到你解压的目录,千万注意路径问题!进入expect解压目录#./configure --with-tclinclude=/usr/local/src/tcl8.4.19/generic/ --with-tclconfig=/usr/local/lib/#make#make install完成,测试#expectexpect1.1> expect1.1>

【可能遇到的问题点】

0. 没有编译环境!!!!

我在新的服务器环境遇到了!!   这个就自行百度了, 

1.expect安装完成且测试通过,但是运行报错提示:expect spawn not found

网上很多方法,我试过都不行,我的处理方式执行的时候这么写:

expect -f ./XXX.sh

2.执行脚本的时候各种提示,无法识别定义的变量、shell命令等,具体原因暂时没有弄明白,只好折中处理,把变量直接写到sftp命令里面,把传输工具和数据提取分为两个部分,互不干涉。

3.sqluldr2 导出数据时,会遇到数据不换行  分隔符不起作用的情况,这里做个简单总结

field:指定字段分隔符,默认为逗号(单词不要打错了!!!)


record:指定记录分隔符,默认回车换行,windows为换行,具体请查看ASCII,0x0d:回车,0x0a:换行 TAB键=0x09,|=0x7c,&=0x26,双引号=0x22,单引号=0x27

我是这么写的

/opt/oracle/db01/app/oracle/product/11.2.0/bin/sqluldr2 user/password@172.xx.xx.1xx/orcl  sql=/dev/yj/GetDbData/5gGou/query.sql  field="," record=0x0d0x0a batch=yes rows=200000  file=/dev/yj/GetDbData/5gGou/5ggou_data.txt head=yes charset=utf8

4.客观的说,这次用定时任务+sftp 传输脚本 把我坑惨了,服务器对expect支持相当有限,各种奇葩问题,网上少之又少,遇到not found的问题,你就用全路径 遇到定时任务无法调用 sftp传输脚本,你就用一个shell脚本 调用一下传输脚本,我被下面这个问题烦透了的,send:spawn id exp1 not open

耽误了我相当长的时间,最后也只有根据报错一步一步的来,最后我把\r 改为\n 居然就搞定了,手动执行没问题的啊,怎么定时任务就执行不了,太难了,祝各位遇到类似问题的盆友好运吧

这篇关于Shell开发脚本 通过SFTP 定时 上传文件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1099907

相关文章

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

Python基于wxPython和FFmpeg开发一个视频标签工具

《Python基于wxPython和FFmpeg开发一个视频标签工具》在当今数字媒体时代,视频内容的管理和标记变得越来越重要,无论是研究人员需要对实验视频进行时间点标记,还是个人用户希望对家庭视频进行... 目录引言1. 应用概述2. 技术栈分析2.1 核心库和模块2.2 wxpython作为GUI选择的优

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

利用Python开发Markdown表格结构转换为Excel工具

《利用Python开发Markdown表格结构转换为Excel工具》在数据管理和文档编写过程中,我们经常使用Markdown来记录表格数据,但它没有Excel使用方便,所以本文将使用Python编写一... 目录1.完整代码2. 项目概述3. 代码解析3.1 依赖库3.2 GUI 设计3.3 解析 Mark

利用Go语言开发文件操作工具轻松处理所有文件

《利用Go语言开发文件操作工具轻松处理所有文件》在后端开发中,文件操作是一个非常常见但又容易出错的场景,本文小编要向大家介绍一个强大的Go语言文件操作工具库,它能帮你轻松处理各种文件操作场景... 目录为什么需要这个工具?核心功能详解1. 文件/目录存javascript在性检查2. 批量创建目录3. 文件

Spring Boot 集成 Quartz 使用Cron 表达式实现定时任务

《SpringBoot集成Quartz使用Cron表达式实现定时任务》本文介绍了如何在SpringBoot项目中集成Quartz并使用Cron表达式进行任务调度,通过添加Quartz依赖、创... 目录前言1. 添加 Quartz 依赖2. 创建 Quartz 任务3. 配置 Quartz 任务调度4. 启

Spring Boot中定时任务Cron表达式的终极指南最佳实践记录

《SpringBoot中定时任务Cron表达式的终极指南最佳实践记录》本文详细介绍了SpringBoot中定时任务的实现方法,特别是Cron表达式的使用技巧和高级用法,从基础语法到复杂场景,从快速启... 目录一、Cron表达式基础1.1 Cron表达式结构1.2 核心语法规则二、Spring Boot中定

基于Python开发批量提取Excel图片的小工具

《基于Python开发批量提取Excel图片的小工具》这篇文章主要为大家详细介绍了如何使用Python中的openpyxl库开发一个小工具,可以实现批量提取Excel图片,有需要的小伙伴可以参考一下... 目前有一个需求,就是批量读取当前目录下所有文件夹里的Excel文件,去获取出Excel文件中的图片,并

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现

使用mvn deploy命令上传jar包的实现

《使用mvndeploy命令上传jar包的实现》本文介绍了使用mvndeploy:deploy-file命令将本地仓库中的JAR包重新发布到Maven私服,文中通过示例代码介绍的非常详细,对大家的学... 目录一、背景二、环境三、配置nexus上传账号四、执行deploy命令上传包1. 首先需要把本地仓中要