Delta lake with Java--读《Delta Lake Up and Running》总结

2024-05-05 21:52
文章标签 java 总结 running lake delta

本文主要是介绍Delta lake with Java--读《Delta Lake Up and Running》总结,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

利用5.1假期读完《Delta Lake Up and Running》,这本书非常适合入门,但不够深入,要想将Delta lake用于实际项目,还是需要从spark开始重新学习。学完一本书总结一下这本书的内容。

第一章 概念介绍,其中第21页的Medallio Architecture架构(金,银,铜)是数据湖架构基础,基本上数据湖的书籍都会提及。

第二章 Delta lake入门,需要掌握如何创建sparksession,如何用sparksession实现数据读写,其实使用的就是spark dataframe api,只是格式要设定为delta,深入一点可以看一下这章后面关于delta lake文件的说明。

第三章 Delta lake最基本操作,包括建库,建表,描述表结构,插入数据,查询数据,可以通过3种方式实现,分别是spark sql+sql语句,spark dataframe api,deltatable api,个人觉得用sql语句比较简单。

第四章 Delta lake最基本的数据操作,包括删除,更新,merges,个人理解只能通过sql语句和deltatable api来实现,其中merges比较复杂。

第五章 性能调优,调优的方法有:分区,压缩文件,zorder by, liquid clustering。其中分区觉得比较有效,liquid clustering还是实验阶段,压缩文件,zorder by需要定时触发而且每次触发都会耗时,实际应用应该写一个后台任务在没有任何操作的时候来自动触发。

第六章 时间旅行,主要是利用Delta lake能保存数据版本这一特点来实现。另外Delta lake 不会清除历史版本,需要定时运行VACUUM命令来清理。最后捕捉行记录的变化。以上操作均可以通过sql语句实现。

第七章 表结构变化处理,主要是两类处理,一类是固定结构,遇到不一致的就报错。另外一个类就是结构可以根据数据变化,要实现结构自动变化主要在数据写入的时候,设置option("mergeSchema",true)。

第八章 如何使用流实现数据同步,书中只实现了插入数据同步,没有实现更新数据同步,但官网文档上有说明,目前删除数据好像是无法通过流实现同步。

第九章 Delta lake数据分享,这章比较简单,介绍了一些直接读取delta lake文件的方法,还不如官方文档详细。

第十章 给出了一个完整的数据湖架构,后面如果真的能用于生产可以参考。

读完了整本书,有两个感觉:

1、还是要深入学习一下spark,为了后面能兼容AI,还是从pyspark入手,后面计划学习一下pyspark,然后再看看pyspark如何与pytorch等深度学习架构融合。

2、学习技术只是入门,具体还要以项目来验证,因为只有通过项目才能挖掘出一下书本没有说的情况,所以还是要结合实际,希望后面能把Delta lake用于实际项目,我始终相信机会总是留给有准备的人。

最后把最近几天写的代码公开,欢迎高手指教,谢谢。
kengan1013/Detla-lake-with-java

这篇关于Delta lake with Java--读《Delta Lake Up and Running》总结的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/962770

相关文章

Java中的String.valueOf()和toString()方法区别小结

《Java中的String.valueOf()和toString()方法区别小结》字符串操作是开发者日常编程任务中不可或缺的一部分,转换为字符串是一种常见需求,其中最常见的就是String.value... 目录String.valueOf()方法方法定义方法实现使用示例使用场景toString()方法方法

Java中List的contains()方法的使用小结

《Java中List的contains()方法的使用小结》List的contains()方法用于检查列表中是否包含指定的元素,借助equals()方法进行判断,下面就来介绍Java中List的c... 目录详细展开1. 方法签名2. 工作原理3. 使用示例4. 注意事项总结结论:List 的 contain

Java实现文件图片的预览和下载功能

《Java实现文件图片的预览和下载功能》这篇文章主要为大家详细介绍了如何使用Java实现文件图片的预览和下载功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... Java实现文件(图片)的预览和下载 @ApiOperation("访问文件") @GetMapping("

Spring Boot + MyBatis Plus 高效开发实战从入门到进阶优化(推荐)

《SpringBoot+MyBatisPlus高效开发实战从入门到进阶优化(推荐)》本文将详细介绍SpringBoot+MyBatisPlus的完整开发流程,并深入剖析分页查询、批量操作、动... 目录Spring Boot + MyBATis Plus 高效开发实战:从入门到进阶优化1. MyBatis

SpringCloud动态配置注解@RefreshScope与@Component的深度解析

《SpringCloud动态配置注解@RefreshScope与@Component的深度解析》在现代微服务架构中,动态配置管理是一个关键需求,本文将为大家介绍SpringCloud中相关的注解@Re... 目录引言1. @RefreshScope 的作用与原理1.1 什么是 @RefreshScope1.

Java并发编程必备之Synchronized关键字深入解析

《Java并发编程必备之Synchronized关键字深入解析》本文我们深入探索了Java中的Synchronized关键字,包括其互斥性和可重入性的特性,文章详细介绍了Synchronized的三种... 目录一、前言二、Synchronized关键字2.1 Synchronized的特性1. 互斥2.

Spring Boot 配置文件之类型、加载顺序与最佳实践记录

《SpringBoot配置文件之类型、加载顺序与最佳实践记录》SpringBoot的配置文件是灵活且强大的工具,通过合理的配置管理,可以让应用开发和部署更加高效,无论是简单的属性配置,还是复杂... 目录Spring Boot 配置文件详解一、Spring Boot 配置文件类型1.1 applicatio

Java中StopWatch的使用示例详解

《Java中StopWatch的使用示例详解》stopWatch是org.springframework.util包下的一个工具类,使用它可直观的输出代码执行耗时,以及执行时间百分比,这篇文章主要介绍... 目录stopWatch 是org.springframework.util 包下的一个工具类,使用它

Java进行文件格式校验的方案详解

《Java进行文件格式校验的方案详解》这篇文章主要为大家详细介绍了Java中进行文件格式校验的相关方案,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、背景异常现象原因排查用户的无心之过二、解决方案Magandroidic Number判断主流检测库对比Tika的使用区分zip

Java实现时间与字符串互相转换详解

《Java实现时间与字符串互相转换详解》这篇文章主要为大家详细介绍了Java中实现时间与字符串互相转换的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、日期格式化为字符串(一)使用预定义格式(二)自定义格式二、字符串解析为日期(一)解析ISO格式字符串(二)解析自定义