Kettle:千亿数据仓库基础练习[不学白不学]！！！保证你收益匪浅

2023-12-25 16:10
文章标签 基础 练习 kettle 数据仓库 保证 收益 不学 千亿 不学白

本文主要是介绍Kettle:千亿数据仓库基础练习[不学白不学]！！！保证你收益匪浅，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

可视化ETL工具Kettle

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

Kettle介绍

对于企业或行业应用来说，经常会遇到各种数据的处理，转换，迁移，掌握一种etl工具的使用，必不可少，这里要学习的ETL工具是——Kettle，现在已经更名为PDI。

  • Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装
  • Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出
  • Kettle允许管理来自不同数据库的数据，提供一个图形化的用户环境来描述想做什么，无需关心怎么做
    大数据岗位需求 ：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

Kettle安装、配置

环境要求：
安装、配置好JDK

  1. 下载Kettle
    https://pan.baidu.com/s/1mDeCUEqBceUkZOT62ehmFw 提取码：apro
  2. 解压Kettle
  3. 双击spoon.bat 启动spoon在这里插入图片描述

Kettle入门案例

测试数据下载:链接：https://pan.baidu.com/s/137fbj9I26wa1pps66uVRLQ
提取码：b1rw
需求：

  • 把数据从CSV文件（ketttle测试数据\用户数据源\user.csv）抽取到Excel文件

数据源：

idnameagegenderprovincecityregionphonebirthdayhobby注册时间
392456197008193000张三200北京市昌平区回龙观185894076921970-08-19美食;篮球;足球2018-08-06 09:44:43
267456198006210000李四251河南省郑州市郑东新区186811096721980-06-21音乐;阅读;旅游2017-04-07 09:14:13
892456199007203000王五241湖北省武汉市汉阳区187980091021990-07-20写代码;读代码;算法2016-06-08 07:34:23
492456198712198000赵六262陕西省西安市莲湖区181891891951987-12-19购物;旅游2016-01-09 19:15:53
392456197008193000张三200北京市昌平区回龙观185894076921970-08-19美食;篮球;足球2018-08-06 09:44:43
392456197008193000张三200北京市昌平区回龙观185894076921970-08-19美食;篮球;足球2018-08-06 09:44:43

实现步骤：

  1. 在Kettle中新建转换

  2. 拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件

  3. 配置CSV输入组件、Excel输出组件

具体实现：

  1. 新建转换

  2. 拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
    在这里插入图片描述

  3. 配置CSV输入组件

  • 选择要进行导入的CSV数据源
  • 点击 「获取字段」，读取CSV中的列
  • 点击 「预览」，浏览CSV中的数据
    在这里插入图片描述
    在这里插入图片描述
  1. 配置Excel组件
  • 指定输出Excel文件的位置
    在这里插入图片描述
  1. 点击 三角形 箭头执行
    在这里插入图片描述

Kettle数据流结构图

在这里插入图片描述

Kettle输入/输出组件

输入组件

JSON数据文件输入

需求：

  • 将 kettle测试数据\用户数据源\user.json 数据文件，通过Kettle，抽取到Excel中
    在这里插入图片描述
    操作步骤：
  • 新建转换
  • 拽入 JSON input组件、Microsoft Excel输出组件、并连接两个组件
    在这里插入图片描述
  • 配置 JSON input 组件
    ① 指定JSON文件数据源
    在这里插入图片描述
    ② 选择 JSON 字段
    在这里插入图片描述
  • 配置 Excel 输出 组件
    ① 指定Excel文件输出位置
    在这里插入图片描述
  • 启动执行

表输入

需求：

  • 将MySQL数据库中的 user 表中的数据抽取到Excel文件中

环境准备：
一 : Kettle整合MySQL数据库

  1. 下载MySQL驱动(链接：https://pan.baidu.com/s/1sW7ggYCw4twVHZVawf97Cw
    提取码：ijgv)
  2. 重启 Kettle

二: 实现步骤

  • 拉动 输入/表输入 、输出/Excel输出 组件、连接两个组件

在这里插入图片描述

  • 配置表输入
    右键表输入—>编辑步骤在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 配置Excel输出组件
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 点击执行
    在这里插入图片描述
  • 结果
    在这里插入图片描述

生成记录

数据仓库中绝大多数的数据都是业务系统生成的动态数据，但是其中一部分维度数据不是动态的，比如：日期维度。静态维度数据就可以提前生成。

需求：

  • 往 Excel 文件中插入1000条记录：id为1，name为itheima，age为18

操作步骤：

  • 拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件

  • 配置生成记录组件

  • 配置Excel输出
    具体实现：

  1. 拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件
    在这里插入图片描述

  2. 配置生成记录组件
    在这里插入图片描述

输出组件

文本文件输出

需求：

  • 从mysql数据库的test库的t_user表 抽取数据到文本文件中

步骤：

1、拖入 一个 输入/表输入、一个 输出/文本文件输出、并连接两个组件
在这里插入图片描述
2、指定 从哪个表中获取数据

3、指定表中的数据输出到哪个文件

表输出

  • Json输出就是把数据写入指定的表
    需求：
  • 从 kettle测试数据\用户数据源\user.json中读取id, name, age字段的数据，
  • 装载到mysql数据库的 t_user_1 表中
    操作步骤：

  1. 拖动 输入/JSON Input组件 ，输出/表输出，连接两个组件

  2. JSON输入配置

  3. 表输出配置

具体操作：
1、拖动 输入/JSON Input组件 ，输出/表输出，连接两个组件

在这里插入图片描述
2、JSON输入配置
在这里插入图片描述
3、表输出配置

在这里插入图片描述

插入更新

  • 插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对

  • 如果不同就进行更新

  • 如果记录不存在，则会插入数据
    需求：
    从kettle测试数据\user_new.json 中读数据，并插入或更新到mysql数据库的 t_user_1 表中
    操作步骤：

  • 拖入一个 输入/JSON输入组件，一个 输出/插入更新组件、连接两个组件

  • 配置 JSON输入组件

  • 配置 插入更新 组件

  • 启动执行
    具体实现：

  1. 拖入一个 输入/JSON输入组件，一个 输出/插入更新组件、连接两个组件
    在这里插入图片描述
  2. 配置 JSON输入组件

在这里插入图片描述
3. 配置 插入更新 组件
在这里插入图片描述
4. 启动执行

删除

需求：

  • 从mysql数据库 t_user_1 表中删除指定id为 492456198712198000 的数据

操作步骤：

  1. 拖入一个 输入/自定义常量数据、输出/删除 组件

  2. 连接两个组件
    在这里插入图片描述

  3. 配置自定义常量数据组件
    在这里插入图片描述

  4. 配置删除组件

在这里插入图片描述

这篇关于Kettle:千亿数据仓库基础练习[不学白不学]！！！保证你收益匪浅的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/536108。

相关文章

MySQL中my.ini文件的基础配置和优化配置方式

MySQL中my.ini文件的基础配置和优化配置方式

《MySQL中my.ini文件的基础配置和优化配置方式》文章讨论了数据库异步同步的优化思路,包括三个主要方面：幂等性、时序和延迟,作者还分享了MySQL配置文件的优化经验,并鼓励读者提供支持... 目录mysql my.ini文件的配置和优化配置优化思路MySQL配置文件优化总结MySQL my.ini文件
阅读更多...
java如何调用kettle设置变量和参数

java如何调用kettle设置变量和参数

《java如何调用kettle设置变量和参数》文章简要介绍了如何在Java中调用Kettle,并重点讨论了变量和参数的区别,以及在Java代码中如何正确设置和使用这些变量,避免覆盖Kettle中已设置... 目录Java调用kettle设置变量和参数java代码中变量会覆盖kettle里面设置的变量总结ja
阅读更多...
零基础学习Redis(10) -- zset类型命令使用

零基础学习Redis(10) -- zset类型命令使用

zset是有序集合，内部除了存储元素外，还会存储一个score，存储在zset中的元素会按照score的大小升序排列，不同元素的score可以重复，score相同的元素会按照元素的字典序排列。 1. zset常用命令 1.1 zadd  zadd key [NX | XX] [GT | LT]   [CH] [INCR] score member [score member ...]
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...
RabbitMQ练习（AMQP 0-9-1 Overview）

RabbitMQ练习（AMQP 0-9-1 Overview）

1、What is AMQP 0-9-1 AMQP 0-9-1（高级消息队列协议）是一种网络协议，它允许遵从该协议的客户端（Publisher或者Consumer）应用程序与遵从该协议的消息中间件代理（Broker，如RabbitMQ）进行通信。 AMQP 0-9-1模型的核心概念包括消息发布者（producers/publisher）、消息（messages）、交换机（exchanges）、
阅读更多...
AI基础 L9 Local Search II 局部搜索

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态，生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案，则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时，算法停止。 — Choose k successors randomly, biased towards good ones — Close
阅读更多...
音视频入门基础：WAV专题（10）——FFmpeg源码中计算WAV音频文件每个packet的pts、dts的实现

音视频入门基础：WAV专题（10）——FFmpeg源码中计算WAV音频文件每个packet的pts、dts的实现

一、引言 从文章《音视频入门基础：WAV专题（6）——通过FFprobe显示WAV音频文件每个数据包的信息》中我们可以知道，通过FFprobe命令可以打印WAV音频文件每个packet（也称为数据包或多媒体包）的信息，这些信息包含该packet的pts、dts： 打印出来的“pts”实际是AVPacket结构体中的成员变量pts，是以AVStream->time_base为单位的显
阅读更多...
C 语言基础之数组

C 语言基础之数组

文章目录 什么是数组数组变量的声明多维数组 什么是数组 数组，顾名思义，就是一组数。 假如班上有 30 个同学，让你编程统计每个人的分数，求最高分、最低分、平均分等。如果不知道数组，你只能这样写代码： int ZhangSan_score = 95;int LiSi_score = 90;......int LiuDong_score = 100;int Zhou
阅读更多...
【Rust练习】12.枚举

【Rust练习】12.枚举

练习题来自：https://practice-zh.course.rs/compound-types/enum.html 1 // 修复错误enum Number {Zero,One,Two,}enum Number1 {Zero = 0,One,Two,}// C语言风格的枚举定义enum Number2 {Zero = 0.0,One = 1.0,Two = 2.0,}fn m
阅读更多...
MySql 事务练习

MySql 事务练习

事务（transaction） -- 事务 transaction-- 事务是一组操作的集合，是一个不可分割的工作单位，事务会将所有的操作作为一个整体一起向系统提交或撤销请求-- 事务的操作要么同时成功，要么同时失败-- MySql的事务默认是自动提交的，当执行一个DML语句，MySql会立即自动隐式提交事务-- 常见案例：银行转账-- 逻辑：A给B转账1000：1.查询
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2