Kettle 学习笔记 — 资源库

2024-05-28 23:08
文章标签 学习 笔记 kettle 资源库

本文主要是介绍Kettle 学习笔记 — 资源库,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

版权声明:本文为博主原创文章,于2021年4月17日首发于CSDN,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/u011046671/article/details/115756193

一、简介

资源库,顾名思义,是存放转换和作业脚本的地方,可以统一对脚本进行管理。当然,我们也可以不使用资源库,将脚本保存在本地硬盘的任意位置,但是在后期管理和运行中会有一些麻烦。另外,创建资源库过程中需要调用操作系统的浏览器内核,在 Windows 平台要求 IE 的版本在IE11及以上,在 Linux 平台要求 Firefox 的版本为最新版。

二、分类

常见的资源库有两种。为 文件资源库 数据库资源库文件资源库 是以 ktr kjb 文件的形式(本质上是 xml 文件,可以使用文本工具打开查看编辑 )保存在本地计算机的硬盘的目录中。数据库资源库 是将脚本存放在数据库中,kettle 可以在常见的数据库中创建资源库。

三、特点

  • 文件资源库 将脚本保存在本地创建的目录中,打开资源库可以管理所有的脚本。可以解决在作业中引用其它脚本带来的路径问题,避免因不同平台(如Windows 和 Linux )中的路径分隔符不同,造成运行失败。因为脚本文件为文本文件,通过与其他版本管理工具(如 SVN 和 GIT )配合,可以管理不同版本的脚本。但是因为脚本保存在本地计算机中,只能在本地运行,不能远程调用。
  • 数据库资源库 将脚本保存数据库中,kettle 通过 JDBC 连接资源库,数据库可以是本地计算机,也可以是远程计算机。可以统一管理脚本。利用数据库备份工具可以对脚本进行备份,保证脚本的安全。数据库连接信息保存在数据库中,当信息变更的时候,在资源库【连接】标签中修改后,所有脚本使用的该数据库连接信息自动更新。
  • 综上所述,我建议在有数据库的条件下,优先选择数据库资源库,在没有数据库的的情况下,选择文件资源库。或者在开发环境选择文件资源库,在生产环境选择数据库资源库。

四、创建资源库

  • 创建 文件资源库 步骤:

1、使用快捷键 【Windows + R】打开 运行对话框,输入:spoon 按回车,稍等片刻后,就会打开 spoon ,然后点击右上角的【connect】按钮。

2、然后点击 【Other Repositories 】,然后点击右下角 【Get Started 】。

3、点击选择 【 File Repository】 后,点击右下角 【Get Started 】。 

4、填写资源库信息:[ Display Name ]为 [ 显示名称 ],不能设置中文字符,此处设置为:master-file-repo,[ Location ] 为 [ 位置 ],需要在本地创建一个目录,作为存储路径,点击 【Browse】进行选择。 [ Show hidden folders ] 为 [ 显示隐藏文件夹 ] 。 [ Description ] 为 [ 资源库描述 ],默认即可。[ Launch connection on startup ] 为 [ 启动时自动连接 ] 。建议勾选上。然后点击右下角的 【Finsh】。

5、文件资源库创建完成,点击按钮【Connect Now 】可以立即连接。

  • 创建 数据资源库 步骤:

1、kettle 支持在常见的数据库中创建资源库,建议创建单独的数据库或用户进行管理,不要与其他数据混合。以免造成冲突。如:MySQL建议创建单独的数据库,Oracle 建议创建单独的用户,此处以 Oracle 数据库为例,创建用户的 SQL 代码为:

--清理用户及数据
drop user db_kettle cascade; 
-- 创建用户
create user db_kettle
identified by db_kettle
default tablespace users
quota unlimited on users
temporary tablespace temp;
-- 授予权限
grant connect to db_kettle;
grant resource to db_kettle;

2、使用快捷键 【Windows + R】打开 运行对话框,输入:spoon 按回车,稍等片刻后,就会打开 spoon ,然后点击右上角的【connect】按钮。

3、然后点击 【Other Repositories 】,然后点击右下角 【Get Started 】。

4、点击选择 【 Database Repository】 后,点击右下角 【Get Started 】。 

5、填写资源库信息:[ Display Name ]为 [ 显示名称 ],不能设置中文字符,此处设置为:master-db-repo。[Database connection ] 为数据库连接,点击【None】选择一个数据库连接。如果没有数据库连接,可以点击 【 Create New Connection 】创建一个数据连接。连接名称:不能设置为中文字符,此处填写:kettle-repodb;连接类型:默认为:Oracle;可以根据需要选择其他数据库类型,主机名称:填写IPv4地址;数据库名称:填写数据库的SID,大小写均可;端口号:默认为1521 ,如果修改成其他端口号请在此处修改;用户名:填写数据库的用户名,此处填写:db_kettle ;密码:填写数据库的密码,此处填写:db_kettle  ;填写完成后,点击【测试】按钮进行测试,是否可以成功连接,弹出“ 正确连接到数据库”,说明可以成功连接。点击【确定】返回。然后点击 【Back】 返回资源库信息页面。 [ Description ] 为 [ 资源库描述 ],默认即可。[ Launch connection on startup ] 为 [ 启动时自动连接 ] 。建议勾选上。然后点击右下角的 【Finsh】。

6、数据库资源库创建完成,点击按钮【Connect Now 】可以立即连接。弹出登陆框,username 默认为:admin ;password 默认为:admin

其他说明:文件资源库和数据库资源库在创建和连接过程中会在相关的目录或数据库中写入系统数据,如果目标目录或者目标数据库已经存在相关数据,则不会删除相关的数据,因此不用担心原有数据丢失。

五、管理资源库

创建资源库并连接后,在 spoon 中可以依次点击 【工具】-【资源库】-【探索资源库】或者使用快捷键 【Ctrl + E 】打开资源库。

在【浏览】标签中,点击右键可以进行 创建目录 / 打开 / 删除 / 重命名,建议转换和作业分类存放。创建两个目录:转换作业

在【连接】标签中,可以看到所有的数据库连接,可以点击右上角的相关功能按钮进行修改增加删除

在【安全】标签中,可以看到所有的资源库用户,可以点击右上角的相关功能按钮进行修改增加删除。

连接上资源库之后可以进行创建脚本,编辑完成后点击【文件】-【保存】按钮,就可以将脚本保存在资源库中。

如果想打开资源库之外的脚本,可以点击【文件】-【从URL打开文件】。然后点击【文件】-【另存为】将脚本保存在资源库中。

如果想将资源库内的脚本保存在本地计算机中,可以点击【文件】-【另存为VFS】,选择相应的路径,输入相应的名称后,点击【OK】。

六、备份资源库

文件资源库:可以直接备份保存脚本的文件夹。

数据库资源库:可以使用数据库备份工具进行备份,也可以与主数据使用脚本统一备份。

版权声明:本文为博主原创文章,于2021年4月17日首发于CSDN,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/u011046671/article/details/115756193

这篇关于Kettle 学习笔记 — 资源库的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1011951

相关文章

java如何调用kettle设置变量和参数

《java如何调用kettle设置变量和参数》文章简要介绍了如何在Java中调用Kettle,并重点讨论了变量和参数的区别,以及在Java代码中如何正确设置和使用这些变量,避免覆盖Kettle中已设置... 目录Java调用kettle设置变量和参数java代码中变量会覆盖kettle里面设置的变量总结ja

HarmonyOS学习(七)——UI(五)常用布局总结

自适应布局 1.1、线性布局(LinearLayout) 通过线性容器Row和Column实现线性布局。Column容器内的子组件按照垂直方向排列,Row组件中的子组件按照水平方向排列。 属性说明space通过space参数设置主轴上子组件的间距,达到各子组件在排列上的等间距效果alignItems设置子组件在交叉轴上的对齐方式,且在各类尺寸屏幕上表现一致,其中交叉轴为垂直时,取值为Vert

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

学习hash总结

2014/1/29/   最近刚开始学hash,名字很陌生,但是hash的思想却很熟悉,以前早就做过此类的题,但是不知道这就是hash思想而已,说白了hash就是一个映射,往往灵活利用数组的下标来实现算法,hash的作用:1、判重;2、统计次数;

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合,内部除了存储元素外,还会存储一个score,存储在zset中的元素会按照score的大小升序排列,不同元素的score可以重复,score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程(Gaussian Process,简称GP)是一种概率模型,用于描述一组随机变量的联合概率分布,其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数(或核函数) 1.3 核函数1.4 高斯过程回归(Gauss

【学习笔记】 陈强-机器学习-Python-Ch15 人工神经网络(1)sklearn

系列文章目录 监督学习:参数方法 【学习笔记】 陈强-机器学习-Python-Ch4 线性回归 【学习笔记】 陈强-机器学习-Python-Ch5 逻辑回归 【课后题练习】 陈强-机器学习-Python-Ch5 逻辑回归(SAheart.csv) 【学习笔记】 陈强-机器学习-Python-Ch6 多项逻辑回归 【学习笔记 及 课后题练习】 陈强-机器学习-Python-Ch7 判别分析 【学

系统架构师考试学习笔记第三篇——架构设计高级知识(20)通信系统架构设计理论与实践

本章知识考点:         第20课时主要学习通信系统架构设计的理论和工作中的实践。根据新版考试大纲,本课时知识点会涉及案例分析题(25分),而在历年考试中,案例题对该部分内容的考查并不多,虽在综合知识选择题目中经常考查,但分值也不高。本课时内容侧重于对知识点的记忆和理解,按照以往的出题规律,通信系统架构设计基础知识点多来源于教材内的基础网络设备、网络架构和教材外最新时事热点技术。本课时知识

线性代数|机器学习-P36在图中找聚类

文章目录 1. 常见图结构2. 谱聚类 感觉后面几节课的内容跨越太大,需要补充太多的知识点,教授讲得内容跨越较大,一般一节课的内容是书本上的一章节内容,所以看视频比较吃力,需要先预习课本内容后才能够很好的理解教授讲解的知识点。 1. 常见图结构 假设我们有如下图结构: Adjacency Matrix:行和列表示的是节点的位置,A[i,j]表示的第 i 个节点和第 j 个