阿里分析型数据库AnalyticDB入门

2024-02-17 03:32

本文主要是介绍阿里分析型数据库AnalyticDB入门,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

前言

内容基本摘至官方文档,链接如下:
https://help.aliyun.com/product/92664.html

一、定义

从官方文档了解到其的定义为:

阿里云分析型数据库AnalyticDB(简称ADB),是云端托管的PB级高并发实时数据仓库,是专注于服务OLAP领域的数据仓库。在数据存储模型上,采用关系模型进行数据存储,可以使用SQL进行自由灵活的计算分析,无需预先建模。利用云端的无缝伸缩能力,AnalyticDB在处理百亿条甚至更多量级的数据时真正实现毫秒级计算。

AnalyticDB支持通过SQL来构建关系型数据仓库。具有管理简单、节点数量伸缩方便、灵活升降实例规格等特点,而且支持丰富的可视化工具以及ETL软件,极大的降低了企业建设数据化的门槛。

二、产品优势

  • 新一代超大规模的MPP+DAG融合引擎
  • 采用行列混存技术、自动索引、智能优化器,在瞬间即可对千亿级别的数据进行即时的多维度分析透视,快速发现数据价值
  • 可以快速扩容至数千节点的超大规模

灵活

  • 极度灵活的存储和计算分离架构,可以随时调整节点数量和动态升降配实例规格
  • 同时支持在大存储SATA节点和高性能的SSD节点灵活切换

易用

  • 作为云端托管的PB级SQL数据仓库,全面兼容MySQL协议和SQL:2003
  • 通过标准的SQL和常用的BI工具、以及ETL工具平台即可轻松使用AnalyticDB

超大规模

  • 全分布式结构,无任何单点设计,使得数据库实例支持ECU节点动态线性扩容至数千节点
  • 通过横向扩容来大幅度提升查询SQL响应速度、以及增加SQL处理并发

高并发写入

  • 通过横向扩容节点提升写入能力
  • 实时写入数据后,约1秒左右即可查询分析。单个表最大支持2PB数据,十万亿记录
三、应用场景

经典实时数仓场景
您可以通过数据传输DTS将关系型数据库的业务表实时镜像一份到AnalyticDB,通过Quick BI(简称QBI)拖拽式轻松生成报表,或者通过DataV快速定制您的企业实时数据大屏
在这里插入图片描述

实时计算清洗回流场景
通过将流计算清洗结果数据回流至AnalyticDB来代替传统的MySQL等单机数据库,作为报表库来查询使用。由于关系型数据库分布式的查询性能优势,不需要分库分表就能解决PB级别的查询性能问题。
在这里插入图片描述
  
ETL清洗回流场景
大数据离线计算平台 MaxCompute、SparkSQL、Hadoop、E-MapReduce等平台产品在清洗完数据后,由于报表查询条件依然很复杂,运营报表需要钻取,导致单机数据库无法支撑性能,此时需要一个像AnalyticDB这样非常强大的报表查询引擎完成数据查询工作。常见的回流数据工具有数据集成 和业内开源产品Datax。
在这里插入图片描述

四、名词解释

数据库
数据库是AnalyticDB最高层的对象,按数据库进行资源的分配和管理。每个数据库独享一个服务进程,实现用户间资源的隔离。AnalyticDB中数据库的概念又称之为实例,通常说的一个AnalyticDB数据库就是一个实例,一个实例由若干个ECU节点组成

ECU
弹性计算单元(Elastic compute units 简写ECU)是AnalyticDB用来衡量实例计算能力的元单位。一个数据库由若干个同一类型的ECU节点组成,例如数据库A,可能由4个C8组成,或者6个S2N组成,每个ECU节点配备有固定的磁盘和内存资源。

表组
表组是一系列可发生关联的数据表的集合,AnalyticDB为了管理相关联的数据表,引入了表组的概念。表组类似于传统数据库schema的概念,AnalyticDB表组分为两类:

维度表组(系统自带)

自带维度概念的表(例如省份表、银行表等),可以放到维度表组下。

普通表组

一般会把需要关联的普通表放在相同普通表组中,建议这个表组中的所有普通表的一级分区数一致,join性能会有很大提升。


在表组之下是表的概念,AnalyticDB提供两种类型的表:

维度表

带有维度概念的表(例如银行表),又称为复制表。默认每个ECU节点放置一份全量的维度表数据,所以维度表可以和任何普通表进行关联。由于维度表会消耗更多的存储资源,所以维度表的数据量大小有限制,一般要求维度表单表不超过5000万行

普通表

普通表就是分区表,为充分利用分布式系统的查询能力而设计的一种表。普通表默认是指一级分区表,如果有增量数据导入需求,可以创建二级分区表。

分区
普通表才有分区的概念,AnalyticDB支持两级分区策略:一级分区采用hash算法,单表数据量在60亿以内,我们推荐您使用一级分区,通常一级分区已足够。二级分区采用list算法,二级分区部分见最佳实践章节。

主键
AnalyticDB的的表必须包含主键字段,通过主键进行记录的唯一性判断。主键由业务id、一级分区键组成,有些情况业务id与一级分区相同。对于记录量特别大的表,从存储空间和insert性能考虑,一定要减少主键的字段数。

示例

以一个电商公司购买了一个AnalyticDB Trade为例,帮助您理解上述概念。

1.客户在阿里云购买1个名为Trade的AnalyticDB(也称之为1个ADS实例),如图所示,Trade由4个C4节点构成。

在这里插入图片描述

2.C4是一种ECU规格,我们还提供C8,S2N,S8N三种不同规格的ECU。

3.数据库Trade下面可以规划多个表组(类似Schema概念),不同表组用于存放不同的业务表。

4.Trade数据库创建完毕后,系统会默认创建一个维度表组,所有维度相关的表,可以放到维度表组下。普通表按照上述第3点的规则来管理。

这篇关于阿里分析型数据库AnalyticDB入门的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/716554

相关文章

Python调用Orator ORM进行数据库操作

《Python调用OratorORM进行数据库操作》OratorORM是一个功能丰富且灵活的PythonORM库,旨在简化数据库操作,它支持多种数据库并提供了简洁且直观的API,下面我们就... 目录Orator ORM 主要特点安装使用示例总结Orator ORM 是一个功能丰富且灵活的 python O

Springboot中分析SQL性能的两种方式详解

《Springboot中分析SQL性能的两种方式详解》文章介绍了SQL性能分析的两种方式:MyBatis-Plus性能分析插件和p6spy框架,MyBatis-Plus插件配置简单,适用于开发和测试环... 目录SQL性能分析的两种方式:功能介绍实现方式:实现步骤:SQL性能分析的两种方式:功能介绍记录

使用 sql-research-assistant进行 SQL 数据库研究的实战指南(代码实现演示)

《使用sql-research-assistant进行SQL数据库研究的实战指南(代码实现演示)》本文介绍了sql-research-assistant工具,该工具基于LangChain框架,集... 目录技术背景介绍核心原理解析代码实现演示安装和配置项目集成LangSmith 配置(可选)启动服务应用场景

最长公共子序列问题的深度分析与Java实现方式

《最长公共子序列问题的深度分析与Java实现方式》本文详细介绍了最长公共子序列(LCS)问题,包括其概念、暴力解法、动态规划解法,并提供了Java代码实现,暴力解法虽然简单,但在大数据处理中效率较低,... 目录最长公共子序列问题概述问题理解与示例分析暴力解法思路与示例代码动态规划解法DP 表的构建与意义动

使用Navicat工具比对两个数据库所有表结构的差异案例详解

《使用Navicat工具比对两个数据库所有表结构的差异案例详解》:本文主要介绍如何使用Navicat工具对比两个数据库test_old和test_new,并生成相应的DDLSQL语句,以便将te... 目录概要案例一、如图两个数据库test_old和test_new进行比较:二、开始比较总结概要公司存在多

MySQL数据库函数之JSON_EXTRACT示例代码

《MySQL数据库函数之JSON_EXTRACT示例代码》:本文主要介绍MySQL数据库函数之JSON_EXTRACT的相关资料,JSON_EXTRACT()函数用于从JSON文档中提取值,支持对... 目录前言基本语法路径表达式示例示例 1: 提取简单值示例 2: 提取嵌套值示例 3: 提取数组中的值注意

查询SQL Server数据库服务器IP地址的多种有效方法

《查询SQLServer数据库服务器IP地址的多种有效方法》作为数据库管理员或开发人员,了解如何查询SQLServer数据库服务器的IP地址是一项重要技能,本文将介绍几种简单而有效的方法,帮助你轻松... 目录使用T-SQL查询方法1:使用系统函数方法2:使用系统视图使用SQL Server Configu

SQL Server数据库迁移到MySQL的完整指南

《SQLServer数据库迁移到MySQL的完整指南》在企业应用开发中,数据库迁移是一个常见的需求,随着业务的发展,企业可能会从SQLServer转向MySQL,原因可能是成本、性能、跨平台兼容性等... 目录一、迁移前的准备工作1.1 确定迁移范围1.2 评估兼容性1.3 备份数据二、迁移工具的选择2.1

C#使用DeepSeek API实现自然语言处理,文本分类和情感分析

《C#使用DeepSeekAPI实现自然语言处理,文本分类和情感分析》在C#中使用DeepSeekAPI可以实现多种功能,例如自然语言处理、文本分类、情感分析等,本文主要为大家介绍了具体实现步骤,... 目录准备工作文本生成文本分类问答系统代码生成翻译功能文本摘要文本校对图像描述生成总结在C#中使用Deep

Python中连接不同数据库的方法总结

《Python中连接不同数据库的方法总结》在数据驱动的现代应用开发中,Python凭借其丰富的库和强大的生态系统,成为连接各种数据库的理想编程语言,下面我们就来看看如何使用Python实现连接常用的几... 目录一、连接mysql数据库二、连接PostgreSQL数据库三、连接SQLite数据库四、连接Mo