首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
mor专题
Hudi Flink MOR 学习总结
前言 之前很少用MOR表,现在来学习总结一下。首先总结一下 compaction 遇到的问题。 版本 Flink 1.15.4Hudi 0.13.0 表类型 COW 和 MOR COW:COW COPY_ON_WRITE 写时复制,写性能相比于MOR表差一点,因为每次写数据都会合并文件,但是能及时读取到最新的表数据。数据文件只有 parquetMOR:MERGE_ON_READ 读时
阅读更多...
【Hudi】Copy-on-Write(COW)和Merge-on-Read(MOR)
https://cloud.tencent.com/developer/article/1827930 https://www.sev7e0.site/%E7%94%B1hudi%E4%BA%86%E8%A7%A3-copy-on-write-cow-%E5%92%8C-merge-on-read-mor 数据湖—hudi核心概念 COW “写入时复制”表中的文件切片仅包含基本/列文件,每
阅读更多...
大数据术语系列(1)——COW和MOR,我如何使用chatgpt通俗易懂地理解了hudi这两种表类型
从传统数据库到大数据的转变,首当其冲的是各种术语的理解。 所以我与chatgpt发生了一系列对话,以便于我能快速理解这些术语。 我先把汇总的结果放在前边,后边会一步步地来说明我是如何获取这些信息的。前边我也发过一些关于chatgpt提示词相关的文章,能更好地帮助我们与chatgpt进行沟通。 提示词工程技术 Copy on Write (COW)和Merge on Read (MOR)两种
阅读更多...