002、架构_概览

2024-08-25 01:36
文章标签 架构 概览 002

本文主要是介绍002、架构_概览,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GoldenDB 主要由管理节点、计算节点、数据节点、全局事务节点等模块组成,各个节点无需共享任何资源,均为独立自治的通用计算机节点,之间通过高速互联的 网络通讯,从而完成对应用数据请求的快速处理和响应。

在这里插入图片描述

  • 管理节点在数据库中主要负责数据库中各个组件的管理、给客户提供智能化运维管理平 台,不涉及业务的访问流程,一般采用主备方式部署。
  • 计算节点是数据库的计算模块,从驱动层接收用户的 SQL 操作,进行逻辑优化和物理优 化,生成满足分布式事务一致性的分布式查询计划。计算机节点在执行分布式查询计划 时,通过持续地访问数据节点,从而完成用户的最终操作请求。用户可以根据应用对可靠 性、可用性、性能等因素的不同要求,对计算节点进行合理的规划和划分。
  • 数据节点是应用数据的最终存储模块。所有的数据节点组成一个或多个数据库集群,数据 库集群由一个或多个安全组组成,集群中每个表中的数据按照某种策略进行横向分片后存 放到对应的安全组中,分片策略包括复制策略、哈希策略、范围策略、列表策略、多级分 片。
  • 全局事务管理节点在分布式数据库中维护全局事务的全生命周期,提供申请、释放、查询 全局事务的能力,保证了分布式数据的一致性。

管理节点

  • 管理节点:是对系统计算节点集群、数据节点集群管理的节点,它承载了分布式数据库系统的 所有的运维操作,包括集群高可用高可靠的管理、系统的备份恢复、系统元数据管理等操作。
    在这里插入图片描述

管理节点内部由多个模块构成,主要包括以下模块:

  1. 统一运维管理 Insight 模块:Insight 是 GoldenDB 分布式数据库产品的统一操作维护入 口,用户可以在 Insight 上进行用户和权限管理、元数据管理、计算节点管理、数据节点管理、 DDL 执行、节点扩容、备份恢复、系统安装、统计及告警管理等。
  2. 元数据管理器 MetaDataServer 模块:元数据指数据的元信息,如库、表、视图、触发器、 存储过程、函数等数据模型的定义,元数据管理器存放系统的全量元数据,是整个分布式数据库集 群的元数据中心。为了提高启动和运行效率,除了元数据管理器存有元数据定义外,计算节点和数 据节点也会存放元数据定义,但计算机节点和数据节点只存放本节点所涉应用的元数据定义,即当 计算节点中的元数据和管理节点的元数据不一致时,会同步管理节点的元数据到本地。此外,元数 据管理器还保存了整个集群的拓扑信息,因此是更广义的元数据管理。
  3. 计算节点管理 ProxyManager 模块:负责管理计算节点集群。管理工作一般分为两类。一 类为组件管理,包括计算节点的创建、启用、禁用和删除,另一类为应用管理,包括定义计算节点 和应用的对应关系、计算节点异常后的数据恢复调度。
  4. 数据节点管理 ClusterManager 模块:数据节点集群管理也分为两类。一类为组件管理,包 括数据节点、安全组、数据节点集群的创建、变更和删除;另一类为任务管理,包括数据节点异 常、恢复后的调度管理、数据节点备份恢复的调度、数据重分布等功能的任务调度管理

计算节点
在这里插入图片描述

计算节点(CN: Computer Node):负责用于接收应用发送过来的业务语句,对业务语句做语法 解析,对数据做分布式的优化,包括语句的改写,并行分发等等,最终生成分布式的执行计划,按 照执行计划将语句下发到数据节点集群中,计算节点还进行分布式事务的并发控制。

计算节点内部由多个模块构成,主要包括以下模块:

  1. 前端通讯和 SQL 协议处理层模块:负责前端的长链接管理,端口管理,SQL 协议处理
  2. SQL 解析模块:负责对 SQL 语句进行语法检查,SQL 解析生成语法树
  3. SQL 优化模块:负责 SQL 查询优化
  4. SQL 执行模块:负责 SQL 的执行操作
  5. SQL 路由模块:负责数据模块选择,负载均衡及路由管理
  6. 后端通讯和 SQL 协议处理层模块:负责 SQL 协议封装、后端长链接管理,负载均衡
  7. 元数据缓存模块:负责存储元数据信息并持久化
  8. 配置模块:负责存储配置信息和处理

数据节点
数据节点(DN: DataNode):用于存储业务数据,及执行分布式子事务的节点。通常一个集群包 含多个数据节点,每个数据节点都是独立自治的数据库系统,一个业务的数据只会落到一个数据集 群中。业务的数据会被水平的切分后分布在若干个数据节点上,为了保证数据的可用性,每个数据分片均部署多个数据备份节点,假如一个业务的数据分成了 2 份,如果 1 号分片坏了,1 号分片的 备份系统就会替代原分片。因此,数据分片节点和它的备份数据节点构成一个安全组。

在这里插入图片描述

数据节点内部由多个模块构成,主要包括以下模块:

  1. 连接器模块:负责身份认证和权限鉴定,用户登录 GoldenDB 数据库时,进行身份、密 码、权限检测。
  2. 分析器模块:SQL 语句会在分析其中进行词法和语法解析,提取 SQL 关键字,检测确认 SQL 语法是否正确,正确的语法分析语句的功能作用创建正确的数据结构。
  3. 优化器模块:优化器分析 SQL 的最优执行方案,评估 SQL 的执行代价,将代价最小执行最 优的方案做为执行方案去执行,例如如何选择索引,多表如何关联等
  4. 执行器模块:执行优化器确认的最优方案,将数据从数据文件中返回给客户端。
  5. 数据文件模块:数据文件是存储表空间数据的位置,数据文件依据表的组织结构存储保存 表数据。

全局事务节点
在这里插入图片描述

全局事务节点(GTM: Global Transaction Manager):负责协调 CN 一起进行分布式事务的并发 控制,维护当前所有正在执行的分布式事务列表,维护全局事务的全生命周期,提供全局事务的申 请、释放、查询能力,也提供全局序列的创建、修改、申请。

全局事务节点内部由多个模块构成,主要包括以下模块:

  1. 公共消息处理模块:负责维护和计算节点间的心跳、向管理节点上报状态信息、处理元数 据等功能
  2. 全局事务消息处理模块:负责处理来自计算节点或管理节点的全局事务、序列等业务请 求,并在相应的模块处理完成后向请求节点发送响应,此外还负责对变化的全局事务信息进行主备 机同步以及维护水位信息
  3. GTID 处理模块:负责 GTID 的申请、查询、释放请求在 GTM 内部的逻辑处理
  4. SEQUENCE 处理模块:负责 SEQUENCE 的创建、修改、申请请求在 GTM 内部的逻辑处理
  5. CTID 处理模块:负责事务标识的申请、查询、释放请求在 GTM 内部的逻辑处理
  6. 告警模块:负责处理 GTM 运行过程中产生的告警信息的持久化和上报
  7. 监控模块:负责监控其他模块的运行状态并周期性打印统计信息
  8. 持久化模块组:持久化模块组中包含多个子模块,如 GTID 持久化模块、SEQUENCE 持久 化模块、SEQUENCE 上传模块等,主要负责 GTID、SEQUENCE 等信息的持久化和备份恢复功能

这篇关于002、架构_概览的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1104184

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

系统架构设计师: 信息安全技术

简简单单 Online zuozuo: 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo 简简单单 Online zuozuo :本心、输入输出、结果 简简单单 Online zuozuo : 文章目录 系统架构设计师: 信息安全技术前言信息安全的基本要素:信息安全的范围:安全措施的目标:访问控制技术要素:访问控制包括:等保

JavaSE-易错题集-002

1. 下面有关java基本类型的默认值和取值范围,说法错误的是? A 字节型的类型默认值是0,取值范围是-2^7—2^7-1 B boolean类型默认值是false,取值范围是true\false C 字符型类型默认是0,取值范围是-2^15 —2^15-1 D long类型默认是0,取值范围是-2^63—2^63-1 答案:C 题解:注意字符型(char) char 占16位,

利用命令模式构建高效的手游后端架构

在现代手游开发中,后端架构的设计对于支持高并发、快速迭代和复杂游戏逻辑至关重要。命令模式作为一种行为设计模式,可以有效地解耦请求的发起者与接收者,提升系统的可维护性和扩展性。本文将深入探讨如何利用命令模式构建一个强大且灵活的手游后端架构。 1. 命令模式的概念与优势 命令模式通过将请求封装为对象,使得请求的发起者和接收者之间的耦合度降低。这种模式的主要优势包括: 解耦请求发起者与处理者

创业者该如何设计公司的股权架构

本文来自七八点联合IT橘子和车库咖啡的一系列关于设计公司股权结构的讲座。 主讲人何德文: 在公司发展的不同阶段,创业者都会面临公司股权架构设计问题: 1.合伙人合伙创业第一天,就会面临股权架构设计问题(合伙人股权设计); 2.公司早期要引入天使资金,会面临股权架构设计问题(天使融资); 3.公司有三五十号人,要激励中层管理与重要技术人员和公司长期走下去,会面临股权架构设计问题(员工股权激

【系统架构设计师】黑板架构详解

黑板架构(Blackboard Architecture)是一种软件架构模式,它模仿了多个专家系统协作解决问题的场景。在这种架构中,“黑板”作为一个中央知识库,存储了问题的当前状态以及所有的解决方案和部分解决方案。黑板架构特别适合于解决那些没有确定算法、需要多个知识源(或称为“专家”)共同作用才能解决的复杂问题。 一、黑板架构的组成 黑板架构主要由以下几个部分组成: 黑板(Blackboa

Java后端微服务架构下的API限流策略:Guava RateLimiter

Java后端微服务架构下的API限流策略:Guava RateLimiter 大家好,我是微赚淘客返利系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿! 在微服务架构中,API限流是保护服务不受过度使用和拒绝服务攻击的重要手段。Guava RateLimiter是Google开源的Java库中的一个组件,提供了简单易用的限流功能。 API限流概述 API限流通过控制请求的速率来防止

Arch - 演进中的架构

文章目录 Pre原始分布式时代1. 背景与起源2. 分布式系统的初步探索3. 分布式计算环境(DCE)4. 技术挑战与困境5. 原始分布式时代的失败与教训6. 未来展望 单体时代优势缺陷单体架构与微服务架构的关系总结 SOA时代1. SOA架构及其背景1. 烟囱式架构(Information Silo Architecture)2. [微内核架构](https://www.oreilly.c

新一代车载(E/E)架构下的中央计算载体---HPC软件架构简介

老规矩,分享一段喜欢的文字,避免自己成为高知识低文化的工程师: 屏蔽力是信息过载时代一个人的特殊竞争力,任何消耗你的人和事,多看一眼都是你的不对。非必要不费力证明自己,无利益不试图说服别人,是精神上的节能减排。 无人问津也好,技不如人也罢,你都要试着安静下来,去做自己该做的事.而不是让内心的烦躁、焦虑、毁掉你本就不多的热情和定力。 时间不知不觉中,快要来到夏末秋初。一年又过去了一大半,成