ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件

2023-11-21 14:10

本文主要是介绍ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

ETL的三大组件

一般来说,ETL分为3大核心组件:

  • 输入 - E - extract
  • 转换 - T - transform
  • 输出 - L - load

输入

输入即ETL工作的源头。

转换

转换一般为ETL的核心,也就是我们从输入读取数据后,经过怎么样的操作,让数据变成我们想要的样子后,在输出。

输出

输出好理解,就是数据处理完毕后,写入到哪里。

根据项目架构图:

在这里插入图片描述

我们输入源部分已经准备完成。

现在来尝试构建ETL工具-Glue

Glue 的 执行原理

我们知道,ETL的过程分为:

  • 抽取(Input)
  • 转换
  • 加载(Output)

Glue也是基于这三种过程设计了3种实现,来帮助完成ETL工作

其中,抽取(Input)和加载(Output)被设计为全程都有元数据管理。

如下图:

在这里插入图片描述

我们可以看到,Glue有一个元数据目录的组件,这个组件记录一系列元数据。

输入、输出

我们可以将:

  • 输入
  • 输出

两者的数据结构定义在元数据目录里面,并指明其存储路径。

这里有点像HIVE的外部表的概念。

数据和元数据(Schema)是分离的。

Scheam是在另外的地方(元数据目录)里面单独定义的,并且Schema指向数据具体的路径。

那么,当我们执行ETL任务的抽取和加载(Input、Output)的时候,实际上就是对:

  • 元数据目录里的Schema执行查询(Input),然后根据元数据的定义,从数据文件中(S3、RDS)中抽取数据
  • 元数据目录里的Schema执行插入、更新(Output),根据元数据的定义,这些操作被真实的作用于了数据之上(S3、RDS)

转换

那么,针对输入和输出,Glue设计了一套元数据理论来统一管理,那针对转换呢?

Glue 在转换这一块提供了Python、Scala两种编程语言的支持。

并且,Glue可以实现:

  • 自动构建代码,基于图形化操作完成输入到输出的数据流转(仅做字段映射、改格式等,无复杂转换任务)

  • 自动构建的代码支持修改,可以任意添加转换任务在代码内。

  • 支持Spark任务,自动构建的代码可以自动完成Spark相关环境的封装

  • [重点]自动构建Spark集群,为ETL JOB提供算力

    Glue可以为我们自动构建Spark集群,然后将ETL JOB提交到Spark集群中运行,运行结束后,自动删除Spark集群。

    全程无需人工干预,我们甚至无法感知这一操作。

这篇关于ETL工具——AWS Glue、Glue的执行原理、ETL的三大组件的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/402819

相关文章

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

从原理到实战深入理解Java 断言assert

《从原理到实战深入理解Java断言assert》本文深入解析Java断言机制,涵盖语法、工作原理、启用方式及与异常的区别,推荐用于开发阶段的条件检查与状态验证,并强调生产环境应使用参数验证工具类替代... 目录深入理解 Java 断言(assert):从原理到实战引言:为什么需要断言?一、断言基础1.1 语

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景

sqlite3 命令行工具使用指南

《sqlite3命令行工具使用指南》本文系统介绍sqlite3CLI的启动、数据库操作、元数据查询、数据导入导出及输出格式化命令,涵盖文件管理、备份恢复、性能统计等实用功能,并说明命令分类、SQL语... 目录一、启动与退出二、数据库与文件操作三、元数据查询四、数据操作与导入导出五、查询输出格式化六、实用功

Golang如何对cron进行二次封装实现指定时间执行定时任务

《Golang如何对cron进行二次封装实现指定时间执行定时任务》:本文主要介绍Golang如何对cron进行二次封装实现指定时间执行定时任务问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录背景cron库下载代码示例【1】结构体定义【2】定时任务开启【3】使用示例【4】控制台输出总结背景

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实