理解 Hologres 和 MaxCompute 的关系

2024-05-24 23:20

本文主要是介绍理解 Hologres 和 MaxCompute 的关系,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

理解了 Hologres 和 MaxCompute 的关系,就理解了数据仓库(DW)和数据服务(Serving)之间的关系,也有助于理解实时数仓和离线数仓之间的关系。
在这里插入图片描述
图片来源:阿里云官方帮助文档

可以看到,MaxCompute 和 Hologres 是一种互补的关系:

  • MaxCompute 负责做超重的 ETL 操作,大数据进、大数据出的场景。
  • Hologres 基于MaxCompute 的结果做在线服务,大数据进,小数据出的场景。例如在线聚合查询、点查、简单的在线 join 等。MaxCompute 的结果数据,既可以是直接导出给 Hologres,也可以是以外表的形式直接提供给 Hologres 读取。

为什么要引入 MaxCompute 和 Hologres 两套系统配合来做 OLAP 呢?能否一套数据库就搞定所有?比如用 OceanBase。

回答这个问题之前,我们再看 MaxCompute 和 Hologres 的一个区别:存储成本。

  • MaxCompute 基于 Pangu 存储(Pangu 1.0 用的是 HDD磁盘,2.0 用的是ESSD)
  • Hologres 标准存储即全SSD热存储,是Hologres的默认存储,满足低延时、高性能访问数据需求,对于大多数使用场景而言,标准存储是最有效且最具成本效益的选择,简称为热存。低频访问存储即全HDD冷存,满足低频访问数据的低成本存储需求,适用于对延迟不敏感或不常访问的超大型数据集,简称为冷存。

可以看到,MaxCompute 可以拥有更低的存储成本,适合海量数据存储。

再看 MaxCompute 和 Hologres 的另一个区别:计算资源利用方式

  • MaxCompute 的资源是池化的,理论上,既可以动用无限的资源来计算一个任务,以降低这个任务的延迟,也可以把多余资源分给更多的任务并发使用。
  • Hologres 的资源是固定分配的,无论有无计算任务,这些资源都无法发挥出额外的效用,忙时排队,闲时浪费。

可以看到,MaxCompute 可以拥有更低的计算成本,适合海量数据计算。

低存储成本,低计算成本,这正好满足海量数据的数仓的成本需求。

那么,Hologres 的优势是什么呢?实时性。它可以让小规模的计算延迟更小,这正是 Serving 的性能需求。

所以,二者组合起来使用,充分发挥各自优势,能给用户创造最大化的价值。

再回到 OceanBase 的问题上来:

  • 对于 OceanBase 4.3,OceanBase MPP 架构适合做 Serving 和小规模数据量的数仓,但并不适合处理 PB 级别以上的数据,没有成本优势。
  • 对于 OceanBase 4.4,OceanBase 支持使用共享存储(S3/OSS)来存储数据,同时支持高性能的数据缓存,此时,存储成本会大幅度降低,能够存储 PB 级以上的数据了。但是,这个版本里,计算资源的扩展还会受到限制,计算成本依然没有优势。
  • 对于 OceanBase 5.0,OceanBase 支持彻底的存算分离,存储和计算都支持独立地扩展,此时计算资源也具备池化的能力,计算成本可以降低。此时,OceanBase 开始具备挑战 MaxCompute + Hologres 的能力。

这篇关于理解 Hologres 和 MaxCompute 的关系的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/999827

相关文章

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

【C++高阶】C++类型转换全攻略:深入理解并高效应用

📝个人主页🌹:Eternity._ ⏩收录专栏⏪:C++ “ 登神长阶 ” 🤡往期回顾🤡:C++ 智能指针 🌹🌹期待您的关注 🌹🌹 ❀C++的类型转换 📒1. C语言中的类型转换📚2. C++强制类型转换⛰️static_cast🌞reinterpret_cast⭐const_cast🍁dynamic_cast 📜3. C++强制类型转换的原因📝

POJ1269 判断2条直线的位置关系

题目大意:给两个点能够确定一条直线,题目给出两条直线(由4个点确定),要求判断出这两条直线的关系:平行,同线,相交。如果相交还要求出交点坐标。 解题思路: 先判断两条直线p1p2, q1q2是否共线, 如果不是,再判断 直线 是否平行, 如果还不是, 则两直线相交。  判断共线:  p1p2q1 共线 且 p1p2q2 共线 ,共线用叉乘为 0  来判断,  判断 平行:  p1p

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

深入理解RxJava:响应式编程的现代方式

在当今的软件开发世界中,异步编程和事件驱动的架构变得越来越重要。RxJava,作为响应式编程(Reactive Programming)的一个流行库,为Java和Android开发者提供了一种强大的方式来处理异步任务和事件流。本文将深入探讨RxJava的核心概念、优势以及如何在实际项目中应用它。 文章目录 💯 什么是RxJava?💯 响应式编程的优势💯 RxJava的核心概念

如何通俗理解注意力机制?

1、注意力机制(Attention Mechanism)是机器学习和深度学习中一种模拟人类注意力的方法,用于提高模型在处理大量信息时的效率和效果。通俗地理解,它就像是在一堆信息中找到最重要的部分,把注意力集中在这些关键点上,从而更好地完成任务。以下是几个简单的比喻来帮助理解注意力机制: 2、寻找重点:想象一下,你在阅读一篇文章的时候,有些段落特别重要,你会特别注意这些段落,反复阅读,而对其他部分

深入理解数据库的 4NF:多值依赖与消除数据异常

在数据库设计中, "范式" 是一个常常被提到的重要概念。许多初学者在学习数据库设计时,经常听到第一范式(1NF)、第二范式(2NF)、第三范式(3NF)以及 BCNF(Boyce-Codd范式)。这些范式都旨在通过消除数据冗余和异常来优化数据库结构。然而,当我们谈到 4NF(第四范式)时,事情变得更加复杂。本文将带你深入了解 多值依赖 和 4NF,帮助你在数据库设计中消除更高级别的异常。 什么是

分布式系统的个人理解小结

分布式系统:分的微小服务,以小而独立的业务为单位,形成子系统。 然后分布式系统中需要有统一的调用,形成大的聚合服务。 同时,微服务群,需要有交流(通讯,注册中心,同步,异步),有管理(监控,调度)。 对外服务,需要有控制的对外开发,安全网关。

Java IO 操作——个人理解

之前一直Java的IO操作一知半解。今天看到一个便文章觉得很有道理( 原文章),记录一下。 首先,理解Java的IO操作到底操作的什么内容,过程又是怎么样子。          数据来源的操作: 来源有文件,网络数据。使用File类和Sockets等。这里操作的是数据本身,1,0结构。    File file = new File("path");   字