理解 Hologres 和 MaxCompute 的关系

2024-05-24 23:20

本文主要是介绍理解 Hologres 和 MaxCompute 的关系,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

理解了 Hologres 和 MaxCompute 的关系,就理解了数据仓库(DW)和数据服务(Serving)之间的关系,也有助于理解实时数仓和离线数仓之间的关系。
在这里插入图片描述
图片来源:阿里云官方帮助文档

可以看到,MaxCompute 和 Hologres 是一种互补的关系:

  • MaxCompute 负责做超重的 ETL 操作,大数据进、大数据出的场景。
  • Hologres 基于MaxCompute 的结果做在线服务,大数据进,小数据出的场景。例如在线聚合查询、点查、简单的在线 join 等。MaxCompute 的结果数据,既可以是直接导出给 Hologres,也可以是以外表的形式直接提供给 Hologres 读取。

为什么要引入 MaxCompute 和 Hologres 两套系统配合来做 OLAP 呢?能否一套数据库就搞定所有?比如用 OceanBase。

回答这个问题之前,我们再看 MaxCompute 和 Hologres 的一个区别:存储成本。

  • MaxCompute 基于 Pangu 存储(Pangu 1.0 用的是 HDD磁盘,2.0 用的是ESSD)
  • Hologres 标准存储即全SSD热存储,是Hologres的默认存储,满足低延时、高性能访问数据需求,对于大多数使用场景而言,标准存储是最有效且最具成本效益的选择,简称为热存。低频访问存储即全HDD冷存,满足低频访问数据的低成本存储需求,适用于对延迟不敏感或不常访问的超大型数据集,简称为冷存。

可以看到,MaxCompute 可以拥有更低的存储成本,适合海量数据存储。

再看 MaxCompute 和 Hologres 的另一个区别:计算资源利用方式

  • MaxCompute 的资源是池化的,理论上,既可以动用无限的资源来计算一个任务,以降低这个任务的延迟,也可以把多余资源分给更多的任务并发使用。
  • Hologres 的资源是固定分配的,无论有无计算任务,这些资源都无法发挥出额外的效用,忙时排队,闲时浪费。

可以看到,MaxCompute 可以拥有更低的计算成本,适合海量数据计算。

低存储成本,低计算成本,这正好满足海量数据的数仓的成本需求。

那么,Hologres 的优势是什么呢?实时性。它可以让小规模的计算延迟更小,这正是 Serving 的性能需求。

所以,二者组合起来使用,充分发挥各自优势,能给用户创造最大化的价值。

再回到 OceanBase 的问题上来:

  • 对于 OceanBase 4.3,OceanBase MPP 架构适合做 Serving 和小规模数据量的数仓,但并不适合处理 PB 级别以上的数据,没有成本优势。
  • 对于 OceanBase 4.4,OceanBase 支持使用共享存储(S3/OSS)来存储数据,同时支持高性能的数据缓存,此时,存储成本会大幅度降低,能够存储 PB 级以上的数据了。但是,这个版本里,计算资源的扩展还会受到限制,计算成本依然没有优势。
  • 对于 OceanBase 5.0,OceanBase 支持彻底的存算分离,存储和计算都支持独立地扩展,此时计算资源也具备池化的能力,计算成本可以降低。此时,OceanBase 开始具备挑战 MaxCompute + Hologres 的能力。

这篇关于理解 Hologres 和 MaxCompute 的关系的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/999827

相关文章

Java中自旋锁与CAS机制的深层关系与区别

《Java中自旋锁与CAS机制的深层关系与区别》CAS算法即比较并替换,是一种实现并发编程时常用到的算法,Java并发包中的很多类都使用了CAS算法,:本文主要介绍Java中自旋锁与CAS机制深层... 目录1. 引言2. 比较并交换 (Compare-and-Swap, CAS) 核心原理2.1 CAS

GO语言zap日志库理解和使用方法示例

《GO语言zap日志库理解和使用方法示例》Zap是一个高性能、结构化日志库,专为Go语言设计,它由Uber开源,并且在Go社区中非常受欢迎,:本文主要介绍GO语言zap日志库理解和使用方法的相关资... 目录1. zap日志库介绍2.安装zap库3.配置日志记录器3.1 Logger3.2 Sugared

深入理解Redis线程模型的原理及使用

《深入理解Redis线程模型的原理及使用》Redis的线程模型整体还是多线程的,只是后台执行指令的核心线程是单线程的,整个线程模型可以理解为还是以单线程为主,基于这种单线程为主的线程模型,不同客户端的... 目录1 Redis是单线程www.chinasem.cn还是多线程2 Redis如何保证指令原子性2.

深入理解MySQL流模式

《深入理解MySQL流模式》MySQL的Binlog流模式是一种实时读取二进制日志的技术,允许下游系统几乎无延迟地获取数据库变更事件,适用于需要极低延迟复制的场景,感兴趣的可以了解一下... 目录核心概念一句话总结1. 背景知识:什么是 Binlog?2. 传统方式 vs. 流模式传统文件方式 (非流式)流

深入理解Go之==的使用

《深入理解Go之==的使用》本文主要介绍了深入理解Go之==的使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录概述类型基本类型复合类型引用类型接口类型使用type定义的类型不可比较性谈谈map总结概述相信==判等操作,大

深入理解Mysql OnlineDDL的算法

《深入理解MysqlOnlineDDL的算法》本文主要介绍了讲解MysqlOnlineDDL的算法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小... 目录一、Online DDL 是什么?二、Online DDL 的三种主要算法2.1COPY(复制法)

Java 中的 equals 和 hashCode 方法关系与正确重写实践案例

《Java中的equals和hashCode方法关系与正确重写实践案例》在Java中,equals和hashCode方法是Object类的核心方法,广泛用于对象比较和哈希集合(如HashMa... 目录一、背景与需求分析1.1 equals 和 hashCode 的背景1.2 需求分析1.3 技术挑战1.4

Springboot项目构建时各种依赖详细介绍与依赖关系说明详解

《Springboot项目构建时各种依赖详细介绍与依赖关系说明详解》SpringBoot通过spring-boot-dependencies统一依赖版本管理,spring-boot-starter-w... 目录一、spring-boot-dependencies1.简介2. 内容概览3.核心内容结构4.

深入理解go中interface机制

《深入理解go中interface机制》本文主要介绍了深入理解go中interface机制,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录前言interface使用类型判断总结前言go的interface是一组method的集合,不

Java中数组与栈和堆之间的关系说明

《Java中数组与栈和堆之间的关系说明》文章讲解了Java数组的初始化方式、内存存储机制、引用传递特性及遍历、排序、拷贝技巧,强调引用数据类型方法调用时形参可能修改实参,但需注意引用指向单一对象的特性... 目录Java中数组与栈和堆的关系遍历数组接下来是一些编程小技巧总结Java中数组与栈和堆的关系关于