DAOS 分布式异步对象存储|分层和服务

2023-10-11 19:20

本文主要是介绍DAOS 分布式异步对象存储|分层和服务,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

架构

        如下图所示,DAOS 堆栈被构造为客户端/服务器架构上的存储服务集合。

        DAOS 服务的例子有 Pool、Container、Object 和 Rebuild。

DAOS Internal Services & Libraries

        DAOS 服务分布在控制和数据平面上,并通过 dRPC 进行内部通信。大多数服务都有客户端和服务器组件,可以通过 gRPC 或 CART 进行同步。跨服务通信是直接通过 API 调用来完成的,这些函数可以被跨服务的客户端或服务器组件调用。

        虽然每个 DAOS 服务都被设计成自治和隔离的,但有些服务的耦合比其他服务更紧密。这通常是 Rebuild 服务的情况,它需要与 Pool、Container 和 Object 服务密切交互,以便在 DAOS 服务器发生故障后恢复数据冗余。

        基于服务的架构提供了灵活性和可扩展性,它与一组基础架构库相结合,这些库提供了可供所有 DAOS 服务访问的丰富软件生态系统(例如,通信、持久存储访问、具有依赖关系图的异步任务执行、加速器支持等)。

源代码结构

        每个基础架构库和服务都在 src/ 下被分配一个专用目录。

        服务的客户端和服务器组件存储在不同的文件中。作为客户端组件的函数的前缀是 dc_(代表 DAOS Client),而服务器端函数的前缀是 ds_(代表 DAOS Server)。客户端和服务器组件之间使用的协议和 RPC 格式通常在名为 rpc.h 的头文件中定义。

        在控制平面上下文中执行的所有 Go 代码都位于 src/control 目录下。管理和安全服务分布在控制平台 (Go) 和数据平台 © 上,通过 dRPC 进行内部通信。

        向最终用户(即 I/O 中间件或应用程序开发人员)公开的官方 DAOS API 的头文件位于 src/include 目录下,并使用 daos_ 前缀。

        每个基础架构库导出一个 API,该 API 头文件位于 src/include/daos 目录下,可以由任何服务使用。给定服务导出的客户端 API(带有 dc_ 前缀)也存储在 src/include/daos 目录下,而服务器端接口(带有 ds_ 前缀)则存储在 src/include/daos_srv 目录下。

基础架构库

        GURT (A common library of Gurt Useful Routines and Types) 和 Common (libdaos_common) 库为 DAOS 服务提供日志记录、调试和公共数据结构(如 hash table、btree 等)。

        本地 NVM 存储由 Versioning Object Store (VOS) 和 Blob I/O (BIO) 库管理。VOS 在 SCM 中实现持久索引,而 BIO 负责根据分配策略将应用程序的数据存储在 NVMe SSD 或 SCM 中。Versioned Block Allocator (VEA) 层集成到 VOS 中,负责管理 NVMe SSD 上的块分配。

        DAOS 对象分布在多个 Target 上,以实现性能(分片)和恢复能力(复制或纠删码)。Placement 库实现不同的算法(例如,基于环的放置、跳转一致性散列…),从 Target 列表和对象标识符生成对象的布局。

        复制服务 (Replicated service framework, RSVC) 库提供了一些支持容错的公共代码。

        Pool、Container 和 Management 服务与 Replicated database (RDB) 库结合使用,RDB 库在 Raft 上实现复制的键值存储。

        有关这些基础架构库的更多信息,请参阅:

  • Common Library
  • Versioning Object Store (VOS)
  • Blob I/O (BIO)
  • Versioned Block Allocator (VEA)
  • Algorithmic object placement
  • Replicated database (RDB)
  • Replicated service framework (RSVC)

DAOS 服务

        下图显示了 DAOS 服务的内部分层以及与上面提到的不同库的交互:

DAOS Internal Layering

        垂直框表示 DAOS 服务,而水平框表示基础架构库。

        对于每个服务的内部结构的进一步阅读:

  • Pool service
  • Container service
  • Key-array object service
  • Self-healing (aka rebuild)
  • Security

相关信息

GitHub: https://github.com/storagezhang

Emai: debugzhang@163.com

DAOS: https://github.com/daos-stack/daos

本文翻译自 https://github.com/daos-stack/daos/blob/master/src/README.md

这篇关于DAOS 分布式异步对象存储|分层和服务的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/190285

相关文章

JSON字符串转成java的Map对象详细步骤

《JSON字符串转成java的Map对象详细步骤》:本文主要介绍如何将JSON字符串转换为Java对象的步骤,包括定义Element类、使用Jackson库解析JSON和添加依赖,文中通过代码介绍... 目录步骤 1: 定义 Element 类步骤 2: 使用 Jackson 库解析 jsON步骤 3: 添

Java中使用Java Mail实现邮件服务功能示例

《Java中使用JavaMail实现邮件服务功能示例》:本文主要介绍Java中使用JavaMail实现邮件服务功能的相关资料,文章还提供了一个发送邮件的示例代码,包括创建参数类、邮件类和执行结... 目录前言一、历史背景二编程、pom依赖三、API说明(一)Session (会话)(二)Message编程客

C++中使用vector存储并遍历数据的基本步骤

《C++中使用vector存储并遍历数据的基本步骤》C++标准模板库(STL)提供了多种容器类型,包括顺序容器、关联容器、无序关联容器和容器适配器,每种容器都有其特定的用途和特性,:本文主要介绍C... 目录(1)容器及简要描述‌php顺序容器‌‌关联容器‌‌无序关联容器‌(基于哈希表):‌容器适配器‌:(

使用MongoDB进行数据存储的操作流程

《使用MongoDB进行数据存储的操作流程》在现代应用开发中,数据存储是一个至关重要的部分,随着数据量的增大和复杂性的增加,传统的关系型数据库有时难以应对高并发和大数据量的处理需求,MongoDB作为... 目录什么是MongoDB?MongoDB的优势使用MongoDB进行数据存储1. 安装MongoDB

windos server2022的配置故障转移服务的图文教程

《windosserver2022的配置故障转移服务的图文教程》本文主要介绍了windosserver2022的配置故障转移服务的图文教程,以确保服务和应用程序的连续性和可用性,文中通过图文介绍的非... 目录准备环境:步骤故障转移群集是 Windows Server 2022 中提供的一种功能,用于在多个

Spring常见错误之Web嵌套对象校验失效解决办法

《Spring常见错误之Web嵌套对象校验失效解决办法》:本文主要介绍Spring常见错误之Web嵌套对象校验失效解决的相关资料,通过在Phone对象上添加@Valid注解,问题得以解决,需要的朋... 目录问题复现案例解析问题修正总结  问题复现当开发一个学籍管理系统时,我们会提供了一个 API 接口去

解决systemctl reload nginx重启Nginx服务报错:Job for nginx.service invalid问题

《解决systemctlreloadnginx重启Nginx服务报错:Jobfornginx.serviceinvalid问题》文章描述了通过`systemctlstatusnginx.se... 目录systemctl reload nginx重启Nginx服务报错:Job for nginx.javas

Java如何通过反射机制获取数据类对象的属性及方法

《Java如何通过反射机制获取数据类对象的属性及方法》文章介绍了如何使用Java反射机制获取类对象的所有属性及其对应的get、set方法,以及如何通过反射机制实现类对象的实例化,感兴趣的朋友跟随小编一... 目录一、通过反射机制获取类对象的所有属性以及相应的get、set方法1.遍历类对象的所有属性2.获取

java如何分布式锁实现和选型

《java如何分布式锁实现和选型》文章介绍了分布式锁的重要性以及在分布式系统中常见的问题和需求,它详细阐述了如何使用分布式锁来确保数据的一致性和系统的高可用性,文章还提供了基于数据库、Redis和Zo... 目录引言:分布式锁的重要性与分布式系统中的常见问题和需求分布式锁的重要性分布式系统中常见的问题和需求

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery