DAOS 分布式异步对象存储｜分层和服务

架构

        如下图所示，DAOS 堆栈被构造为客户端/服务器架构上的存储服务集合。

        DAOS 服务的例子有 Pool、Container、Object 和 Rebuild。

        DAOS 服务分布在控制和数据平面上，并通过 dRPC 进行内部通信。大多数服务都有客户端和服务器组件，可以通过 gRPC 或 CART 进行同步。跨服务通信是直接通过 API 调用来完成的，这些函数可以被跨服务的客户端或服务器组件调用。

        虽然每个 DAOS 服务都被设计成自治和隔离的，但有些服务的耦合比其他服务更紧密。这通常是 Rebuild 服务的情况，它需要与 Pool、Container 和 Object 服务密切交互，以便在 DAOS 服务器发生故障后恢复数据冗余。

        基于服务的架构提供了灵活性和可扩展性，它与一组基础架构库相结合，这些库提供了可供所有 DAOS 服务访问的丰富软件生态系统（例如，通信、持久存储访问、具有依赖关系图的异步任务执行、加速器支持等）。

源代码结构

        每个基础架构库和服务都在 src/ 下被分配一个专用目录。

        服务的客户端和服务器组件存储在不同的文件中。作为客户端组件的函数的前缀是 dc_（代表 DAOS Client），而服务器端函数的前缀是 ds_（代表 DAOS Server）。客户端和服务器组件之间使用的协议和 RPC 格式通常在名为 rpc.h 的头文件中定义。

        在控制平面上下文中执行的所有 Go 代码都位于 src/control 目录下。管理和安全服务分布在控制平台 (Go) 和数据平台 © 上，通过 dRPC 进行内部通信。

        向最终用户（即 I/O 中间件或应用程序开发人员）公开的官方 DAOS API 的头文件位于 src/include 目录下，并使用 daos_ 前缀。

        每个基础架构库导出一个 API，该 API 头文件位于 src/include/daos 目录下，可以由任何服务使用。给定服务导出的客户端 API（带有 dc_ 前缀）也存储在 src/include/daos 目录下，而服务器端接口（带有 ds_ 前缀）则存储在 src/include/daos_srv 目录下。

基础架构库

        GURT (A common library of Gurt Useful Routines and Types) 和 Common (libdaos_common) 库为 DAOS 服务提供日志记录、调试和公共数据结构（如 hash table、btree 等）。

        本地 NVM 存储由 Versioning Object Store (VOS) 和 Blob I/O (BIO) 库管理。VOS 在 SCM 中实现持久索引，而 BIO 负责根据分配策略将应用程序的数据存储在 NVMe SSD 或 SCM 中。Versioned Block Allocator (VEA) 层集成到 VOS 中，负责管理 NVMe SSD 上的块分配。

        DAOS 对象分布在多个 Target 上，以实现性能（分片）和恢复能力（复制或纠删码）。Placement 库实现不同的算法（例如，基于环的放置、跳转一致性散列…），从 Target 列表和对象标识符生成对象的布局。

        复制服务 (Replicated service framework, RSVC) 库提供了一些支持容错的公共代码。

        Pool、Container 和 Management 服务与 Replicated database (RDB) 库结合使用，RDB 库在 Raft 上实现复制的键值存储。

        有关这些基础架构库的更多信息，请参阅：

• Common Library
• Versioning Object Store (VOS)
• Blob I/O (BIO)
• Versioned Block Allocator (VEA)
• Algorithmic object placement
• Replicated database (RDB)
• Replicated service framework (RSVC)

DAOS 服务

        下图显示了 DAOS 服务的内部分层以及与上面提到的不同库的交互：

        垂直框表示 DAOS 服务，而水平框表示基础架构库。

        对于每个服务的内部结构的进一步阅读：

• Pool service
• Container service
• Key-array object service
• Self-healing (aka rebuild)
• Security

相关信息

GitHub: https://github.com/storagezhang

Emai: debugzhang@163.com

DAOS: https://github.com/daos-stack/daos

本文翻译自 https://github.com/daos-stack/daos/blob/master/src/README.md