CXL 存储设备标签存储区（LSA）

2023-12-01 19:10
文章标签 存储 标签 存储设备 lsa cxl

本文主要是介绍CXL 存储设备标签存储区（LSA），希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！


🔥点击查看精选 CXL 系列文章🔥
🔥点击进入【芯片设计验证】社区，查看更多精彩内容🔥

📢 声明：

  • 🥭 作者主页：【MangoPapa的CSDN主页】。
  • ⚠️ 本文首发于CSDN，转载或引用请注明出处【https://mangopapa.blog.csdn.net/article/details/132553168】。
  • ⚠️ 本文目的为 个人学习记录 及 知识分享。因个人能力受限，存在协议解读不正确的可能。若您参考本文进行产品设计或进行其他事项并造成了不良后果，本人不承担相关法律责任。
  • ⚠️ 若本文所采用图片或相关引用侵犯了您的合法权益，请联系我进行删除。
  • 😄 欢迎大家指出文章错误，欢迎同行与我交流 ~
  • 📧 邮箱：mangopapa@yeah.net
  • 💬 直达博主：loveic_lovelife 。（搜索或点击扫码）

文章目录

  • 1. LSA 概念
  • 2. LSA 构成
    • 2.1 Label Index Block
      • 2.1.1 Block 有效性
      • 2.1.2 Block 更新
    • 2.2 Label Slot
      • 2.2.1 Region (Interleave Set) Labels
      • 2.2.2 Namespace Labels
      • 2.2.3 Vendor-specific Labels
      • 2.2.4 Label Slot 更新
  • 3. LSA 访问
  • 4. 参考

1. LSA 概念

  Label Storage Area (LSA)是 CXL 内存设备中的一块标签存储区域，用以存放内存交织集（Interleave Set）、命名空间（Namespace）相关标签信息或其他供应商指定（Vendor-Specific）的信息，以防系统重启后数据丢失或软件出错。

  对于一些内存设备，其 Interleave 和 Namespace 配置信息是跟设备绑定在一起的，即便设备被挪用，其配置也应保持不变。LSA 的用法似于 RAID（Redundant Array of Independent Disks，独立磁盘冗余阵列，简称磁盘阵列）的写配置信息，通过把配置信息写入磁盘阵列中每块磁盘的 Reserved 区域，确保配置变动的时候相关配置信息仍保持不变。

  CXL Memory 支持 DRAM（Dynamic Random Access Memory，动态随机存取存储器）等易失性存储设备，也支持 PMem（Persistent Memory）持久内存。

  • 对于 DRAM 易失性存储设备，由于内存设备的增删，每次系统重启（Re-Boot）后的 CXL 内存交织策略都有可能不同。考虑到易失性存储设备在掉电后不保留原数据，Re-Boot 后的内存交织方案变动并不会影响主机软件。
  • 对于 PMem 非易失性存储设备，掉电后相关数据继续保留在原位置，若 Re-Boot 后内存交织方案改变，原数据地址发生变化，主机软件就无法正确找到原数据，从而导致主机软件运行出错或访问到了错误的数据。

因此，在 CXL 存储设备中，DRAM 等易失性存储可以实现也可以不实现 LSA，PMem 持久内存必须实现 LSA。


2. LSA 构成

  LSA 结构布局如下图所示，其中包含两个 N*256B 的 Label Index Block 及若干个 256B 的 Label Slot。

在这里插入图片描述

CXL 允许的 LSA 最低配置为：

  • 2 个 256B 的 Label Index Block ，其一当前在用，其一用于更新；
  • 2 个 Label Slot ，Region Label 及 Namespace Label 各一；
  • 1 个 Free Slot ，用于更新 Label Slot。要更新某个 Slot 的时候不是直接更新相关 Slot，而是更新到 Free Slot 中，这样在更新生效前不影响原来 Slot 数据的使用。

  这样一来，最低配置时候的 LSA Size 为 2*256B+2*256B+1*256B=1280B。CXL 协议建议每个设备通过实现足够大的 LSA 以提供更多的配置灵活性。足够大是指：

  • 每个 Device 分配两个 Region Label；
  • 对于可用的持久内存容量，每 8GB 空间分配一个 Namespace Label。

2.1 Label Index Block

  Label Index Block 是 LSA 的 Header，用以指示以下信息：

  • Sig，Label Index Block 的签名，内容为"NAMESPACE_INDEX\0"
  • Flags，尚未定义，为 0
  • LabelSize，用以指示单个 Label 的大小，1->256B，2->512B，当前仅支持 256B
  • Seq，序列号，仅低 2b 有效，01->10->11 三个值依次循环使用
  • MyOff，当前 Index Block 在 LSA 内的偏移
  • MySize，当前 Index Block 的大小，单位为 256B
  • OtherOff，另一 Index Block 在 LSA 内的偏移
  • LabelOff，当前 LSA 内第一个 Label 的偏移
  • NSlot，当前 LSA 内的 Label Slot 总数
  • Major/Minor，当前布局的主/副版本号
  • CheckSum，Label Index Block 内所有字段的 Fletcher64 校验和
  • Free，每一 bit 对应一个 Label Slot，指示相关 Label Slot 为空闲还是在使用中

2.1.1 Block 有效性

  对于一个 Label Index Block，只有其 Sig、MyOff、OtherOff 及 CheckSum 均正确时当前 Label Index Block 才有效。

  Label Index Block 的 Seq 只能为 01/10/11 之一且两个 Label Index Block 的 Seq 不能相同。若 Seq=0，软件应忽略当前 Label Index Block。

在这里插入图片描述

  若同时存在多个 Block 有效，则采用 Seq 较新（01->10->11 循环中相邻两者靠右的一个）的 Block。比如 01/10 中选择 10，10/11 中选择 11，11/01 中选择 01，另一个较旧的 Block 弃而不用。若不存在有效 Block，则当前 LSA 还未初始化。

2.1.2 Block 更新

  CXL 采用原子更新的方法来更新 LSA 中的 Block。若需更新 Label Index Block 的内容，并非直接写到当前在用的 Block，而是更新另一个闲置状态的 Block 中，并把其 Seq 更新为下一个更新的 Seq 号。在 CheckSum 校验通过之后，更新之后的 Block 正式生效。

2.2 Label Slot

  CXL LSA 的 Label Slot 支持三种标签：Region Label、Namespace Label 及 Vendor-specific Label，其中 Region Label 及 Namespace 通过 UUID（Universally Unique Identifier，通用唯一标识）进行识别（遵循 IETF RFC 4122 规范）。

  每一个 Slot 在 Label Index Block 中都有 1b 来指示其闲忙状态。对于 256B Label Index，最多支持 1472 个（1472=(ffh-48h+1h)*8）Label Slot；对越 2*256B Label Index，最多支持 3520 个（1472+256*8）Label Slot。

2.2.1 Region (Interleave Set) Labels

  Region Label 用以描述 PMem 的 Interleave Set，又称 Interleave Set Label。该 Label 内含有以下信息：

  • Type，用以指示当前的 Label 类型，目前采用 UUID= 529d7c61-da07-47c4-a93f-ecdf2c06f444 来指示
  • UUID，当前 Region 的 UUID，不同设备上的同一 Region 采用同一 UUID
  • Flags，目前 0x00000008 指示 UPDATING，用以多设备 Slot 之间的协同更新
  • NLabel，基于当前 Interleave Set 的 Device 数目，等同于 Interleave Way
  • Position，当前 Device 在 Interleave Set 中的位置，从 0 开始累加
  • DPA，该 Region 在当前 Device 中的设备物理地址（Device Physical Address）
  • RawSize，Interleave Set 的 Size
  • HPA，Interleave Set 对于的主机物理地址（Host Physical Address）
  • Slot，当前 Slot 在 LSA 中的 Index 索引号
  • IG，Interleave Granularity，交织粒度
  • Alignment，期望的对齐边界，支持 256MB 和 512MB，也支持非对齐
  • Checksum，校验和

2.2.2 Namespace Labels

  类似于 Interleave 配置，持久内存也可以分为多个 Namespace，每个 Namespace 定义了持久内存的 Volume 卷。

  CXL LSA 中的 Namespace Label 用以描述持久分区，以内存卷的形式展示给软件，类似于 NVMe 的 Namespace 或 SCSI 的 LUN（Logic Unit Number）。该 Label 含有以下信息：

  • Type，用以指示当前的 Label 类型，目前采用 UUID= 68bb2c0a-5a77-4937-9f85-3caf41a0f93c 来指示
  • UUID，同一 Namespace 的不同 Label 应采用同一 UUID
  • Name，Namespace 的名称
  • Flags，目前 0x00000008 指示 UPDATING，用以多设备 Slot 之间的协同更新
  • NRange，若 Device 提供的存储容量在地址上不连续，该字段用以指示不连续地址范围的数量，每一段联系的地址采用一个 Label 进行描述
  • Position，当前 Range 在所有 Range 内的位置，从 0 开始累加
  • DPA，该 Region 在当前 Device 中的设备物理地址（Device Physical Address）
  • RawSize，当前 Range 的 Size
  • Slot，当前 Slot 在 LSA 中的 Index 索引号
  • Alignment，期望的对齐边界，支持 256MB 和 512MB，也支持非对齐
  • RegionUUID，包含当前 Namespace 的 Region 的 UUID
  • AddressAbstractionUUID，地址抽象 UUID，由软件指示该 UUID 的用法
  • LBASize，当前 Namespace 逻辑块（Logic Block）的 Size
  • Checksum，校验和

2.2.3 Vendor-specific Labels

  Vendor 自定义的标签。

2.2.4 Label Slot 更新

  跟 Label Index Block 更新策略相同，Label Slot 更新时并非直接更新到对应 Slot，而是将新的配置先行写到 Free Slot 中，更新完毕择机启用。Label Index Block 中的 Free 字段指示当前 Label Slot 的忙闲状态，任意时刻下至少应保证 1 个 Label Slot 处于 Free 空闲状态。

  某些情况下，需要对多个 CXL Device 内的相关 Slot 进行同步更新。例如，当新定义 Region 或 Namespace Label 时，需要对所有 CXL Device 内的相关 Label 进行更新。为了应对该情况，每一类 Label 中均定义有 UPDATING 字段，用以指示多个 Device 正在更新，当前 Label 内信息暂不可用。软件遵循以下多设备之间的 UPDATING Flow：

  • 软件将所有需要更新 Label 的 CXL Device 的 LSA Label UPDATING 字段置一；
  • 软件更新所有设备的 Label 相关字段；
  • UPDATING 字段清零，表示更新可用。

  基于以上 Flow，只有全部相关设备相关 Label 更新成功相关配置才可用；若更新过程中发现存在 Device 相关 Label 更新失败，则其他已更新 Label 的 Device，相关 Label 配置回滚，更新不可用。


3. LSA 访问

  CXL 内存设备不负责解读 LSA 相关内容，其只提供存储区域及响应 LSA 访问相关的 Mailbox 命令，由 Pre-boot Firmware 或 OS 等软件来配置 Interleave Set 和 Namespace。

  软件基于 Mailbox 发送 Memory Device 命令集相关命令来访问 LSA 区域：

  • Identify Memory Device Mailbox 命令获取 LSA 的 Size；
  • Get LSA 命令读 LSA 相关字段，命令格式为 4B Offset + 4B Length；
  • Set LSA 命令写 LSA 相关字段，命令格式为 4B Offset + 4B Rsvd + nB Data。

  注意，Set LSA Mailbox 不需要原子操作，就简单更新相关范围就行。LSA 的原子性及一致性通过 Checksum 及 Free Slot 更新来实现。

  注：Identify Memory Device 是一种 Device Command，用以访问 CXL Memory 设备被的基本信息，比如 FW 版本、可用容量、是否易失、LSA 大小、是否支持 Poison 处理、是否具备 QoS Telemetry 能力、是否支持动态容量等等。


4. 参考

  1. CXL Base Spec, r3.0
  2. SSD 之 Namespace - 知乎 (zhihu.com)
  3. NVME-Namespace - 可口可乐嗨 - 博客园 (cnblogs.com)
  4. NVMe SSD 中 namespace 的介绍和创建 | 陈浩的个人博客 (cighao.com)
  5. RAID 磁盘阵列是什么（一看就懂） - 知乎 (zhihu.com)
  6. RAID 磁盘阵列的原理与搭建 - 知乎 (zhihu.com)
  7. Fast Computation of Fletcher Checksums (intel.com)
  8. 弗莱彻的校验和| 码农家园 (codenong.com)
  9. 英特尔® 傲腾™ 持久内存 (intel.cn)
  10. 关于持久内存你了解多少？- 知乎 (zhihu.com)
  11. 持久内存（1）：Persistent Memory 介绍 - 简书 (jianshu.com)
  12. 操作系统概念中，分区和卷的区别是什么？- 知乎 (zhihu.com)
  13. 持久卷| Kubernetes
  14. IETF RFC 4122 的 UUID_fothin 的博客-CSDN 博客
  15. UUID 那些事儿 - 知乎 (zhihu.com)
  16. deepin 23 Preview 揭秘：原子更新 – 深度科技社区

— END —

🔥 精选往期 CXL 协议系列文章，请查看【 CXL 专栏】🔥

⬆️ 返回顶部 ⬆️

这篇关于CXL 存储设备标签存储区（LSA）的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/442364。

相关文章

异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
EMLOG程序单页友链和标签增加美化

EMLOG程序单页友链和标签增加美化

单页友联效果图： 标签页面效果图： 源码介绍 EMLOG单页友情链接和TAG标签，友链单页文件代码main{width: 58%;是设置宽度 自己把设置成与您的网站宽度一样，如果自适应就填写100%，TAG文件不用修改 安装方法：把Links.php和tag.php上传到网站根目录即可，访问 域名/Links.php、域名/tag.php 所有模板适用，代码就不粘贴出来，已经打
阅读更多...
速了解MySQL 数据库不同存储引擎

速了解MySQL 数据库不同存储引擎

快速了解MySQL 数据库不同存储引擎 MySQL 提供了多种存储引擎，每种存储引擎都有其特定的特性和适用场景。了解这些存储引擎的特性，有助于在设计数据库时做出合理的选择。以下是 MySQL 中几种常用存储引擎的详细介绍。 1. InnoDB 特点： 事务支持：InnoDB 是一个支持 ACID（原子性、一致性、隔离性、持久性）事务的存储引擎。行级锁：使用行级锁来提高并发性，减少锁竞争
阅读更多...
ORACLE语法-包(package)、存储过程(procedure)、游标(cursor)以及java对Result结果集的处理

ORACLE语法-包(package)、存储过程(procedure)、游标(cursor)以及java对Result结果集的处理

陈科肇 示例： 包规范 CREATE OR REPLACE PACKAGE PACK_WMS_YX IS-- Author : CKZ-- Created : 2015/8/28 9:52:29-- Purpose : 同步数据-- Public type declarations，游标 退休订单TYPE retCursor IS REF CURSOR;-- RETURN vi_co_co
阅读更多...
OpenStack离线Train版安装系列—11.5实例使用-Cinder存储服务组件

OpenStack离线Train版安装系列—11.5实例使用-Cinder存储服务组件

本系列文章包含从OpenStack离线源制作到完成OpenStack安装的全部过程。 在本系列教程中使用的OpenStack的安装版本为第20个版本Train（简称T版本），2020年5月13日，OpenStack社区发布了第21个版本Ussuri（简称U版本）。 OpenStack部署系列文章 OpenStack Victoria版 安装部署系列教程 OpenStack Ussuri版
阅读更多...
多云架构下大模型训练的存储稳定性探索

多云架构下大模型训练的存储稳定性探索

一、多云架构与大模型训练的融合 （一）多云架构的优势与挑战 多云架构为大模型训练带来了诸多优势。首先，资源灵活性显著提高，不同的云平台可以提供不同类型的计算资源和存储服务，满足大模型训练在不同阶段的需求。例如，某些云平台可能在 GPU 计算资源上具有优势，而另一些则在存储成本或性能上表现出色，企业可以根据实际情况进行选择和组合。其次，扩展性得以增强，当大模型的规模不断扩大时，单一云平
阅读更多...
MySQL技术内幕_innodb存储引擎

MySQL技术内幕_innodb存储引擎

MySQL技术内幕_innodb存储引擎 INNODB innodb中如果表没有主键 表是否由 非空唯一键，有则该字段为主键没有，则自动创建一个6字节大小的指针 innodb存储引擎的所有数据都存储在表空间中，表空间由段，区，页(块)组成。 如果启用了 innodb_file_per_table, 则每张表内的数据可以单独放在一个表空间中即使启用了上面参数，共享表空间也会因为 系统事务信息
阅读更多...
Spring下自定义xml标签

Spring下自定义xml标签

dubbo自定义了很多xml标签，例如<dubbo:application>，那么这些自定义标签是怎么与spring结合起来的呢？我们先看一个简单的例子。 一 编写模型类 1 package com.hulk.testdubbo.model;2 3 public class Hero {4 private String name;5 private int
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2