ETL工具(kettle)使用系列(四)-kettle调用webservice数据插入数据库-真实案例脱密处理

本文主要是介绍ETL工具(kettle)使用系列(四)-kettle调用webservice数据插入数据库-真实案例脱密处理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

脱密数据脚本地址https://download.csdn.net/download/qq122716072/12769112
真实数据: 请联系


工作中遇到要和第三方公司对接数据的需求,而第三方用的接口是非常古老的webservice接口.客户要求用我们做一个webservice程序来处理,思考后选择用kettle + java版的webservice程序处理
思路:可以分为3步

  1. 获取到webservice返回来的xml字符串
  2. 格式化xml字符串,使得成为kettle可以处理的xml字符串
  3. kettle调用xml组件,把相关数据插入到数据库

作为客户端主动调用webservice服务

  1. 获取到webservice返回来的xml字符串
    从webservice获取xml字符串
  2. 格式化xml字符串,使得成为kettle可以处理的xml字符串
    格式化xml字符串
  3. kettle调用xml组件,把相关数据插入到数据库
    DB操作

作为webservice服务端被动接收推来的数据

因为kettle不能作为webservice服务端,于是借助一个java版的webservice程序,接收推过来的数据,保存到数据库,这个比较简单,在此省略

  1. 获取到webservice返回来的xml字符串
    获取到的数据保存到数据库表,如下图
    webservice推的数据
    code:接口编码
    status:本条消息的有效状态
    response_message:消息内容
  2. 格式化xml字符串,使得成为kettle可以处理的xml字符串格式化xml字符串
  3. kettle调用xml组件,把相关数据插入到数据库
    DB操作

这篇关于ETL工具(kettle)使用系列(四)-kettle调用webservice数据插入数据库-真实案例脱密处理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/748554

相关文章

Ubuntu中远程连接Mysql数据库的详细图文教程

《Ubuntu中远程连接Mysql数据库的详细图文教程》Ubuntu是一个以桌面应用为主的Linux发行版操作系统,这篇文章主要为大家详细介绍了Ubuntu中远程连接Mysql数据库的详细图文教程,有... 目录1、版本2、检查有没有mysql2.1 查询是否安装了Mysql包2.2 查看Mysql版本2.

Oracle数据库常见字段类型大全以及超详细解析

《Oracle数据库常见字段类型大全以及超详细解析》在Oracle数据库中查询特定表的字段个数通常需要使用SQL语句来完成,:本文主要介绍Oracle数据库常见字段类型大全以及超详细解析,文中通过... 目录前言一、字符类型(Character)1、CHAR:定长字符数据类型2、VARCHAR2:变长字符数

C++变换迭代器使用方法小结

《C++变换迭代器使用方法小结》本文主要介绍了C++变换迭代器使用方法小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录1、源码2、代码解析代码解析:transform_iterator1. transform_iterat

Win11安装PostgreSQL数据库的两种方式详细步骤

《Win11安装PostgreSQL数据库的两种方式详细步骤》PostgreSQL是备受业界青睐的关系型数据库,尤其是在地理空间和移动领域,:本文主要介绍Win11安装PostgreSQL数据库的... 目录一、exe文件安装 (推荐)下载安装包1. 选择操作系统2. 跳转到EDB(PostgreSQL 的

C++中std::distance使用方法示例

《C++中std::distance使用方法示例》std::distance是C++标准库中的一个函数,用于计算两个迭代器之间的距离,本文主要介绍了C++中std::distance使用方法示例,具... 目录语法使用方式解释示例输出:其他说明:总结std::distance&n编程bsp;是 C++ 标准

Python获取中国节假日数据记录入JSON文件

《Python获取中国节假日数据记录入JSON文件》项目系统内置的日历应用为了提升用户体验,特别设置了在调休日期显示“休”的UI图标功能,那么问题是这些调休数据从哪里来呢?我尝试一种更为智能的方法:P... 目录节假日数据获取存入jsON文件节假日数据读取封装完整代码项目系统内置的日历应用为了提升用户体验,

vue使用docxtemplater导出word

《vue使用docxtemplater导出word》docxtemplater是一种邮件合并工具,以编程方式使用并处理条件、循环,并且可以扩展以插入任何内容,下面我们来看看如何使用docxtempl... 目录docxtemplatervue使用docxtemplater导出word安装常用语法 封装导出方

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将

SpringBoot实现数据库读写分离的3种方法小结

《SpringBoot实现数据库读写分离的3种方法小结》为了提高系统的读写性能和可用性,读写分离是一种经典的数据库架构模式,在SpringBoot应用中,有多种方式可以实现数据库读写分离,本文将介绍三... 目录一、数据库读写分离概述二、方案一:基于AbstractRoutingDataSource实现动态

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整