Lustre架构介绍的阅读笔记-HSM

2024-04-09 07:36

本文主要是介绍Lustre架构介绍的阅读笔记-HSM,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

本文是在阅读Introduction to Lustre* Architecture的Lustre HSM System Architecture时的笔记。

Hierarchical Storage Management (HSM) is a collection of technologies and processes designed to provide a cost-effective storage platform that balances performance, capacity and long term retention (archival).

HMSHierarchical Storage Management,数据的分级存储管理。

存储系统管理数据时,需要依据数据的特点即生命周期、访问热度、访问时延、吞吐量等,综合考虑系统性能、容量、保留策略,充分利用不同的存储设备的特点,自动迁移数据。

现有计算的存储设备,比如:

  • CPU内的寄存器,访问时延低、存储容量低、成本高。
  • CPU内的缓存,访问时延低、存储容量低、成本高。
  • 计算机的主存,相比于比CPU内缓存,访问时延高,存储容量大,成本低。
  • 存储盘
    • SSD,即固态盘,相比于计算机的主存,访问时延接近,存储容量大,成本低一点。
    • HDD,即机械硬盘,相比于SSD,访问时延高,存储容量大,成本低。
    • CD/DVD,即光盘,相比于HDD,访问时延高,存储容量大,成本低,但只能写一次,反复多读次,一般只用于冷数据归档。
    • 磁带库,相比于HDD,访问时延高,存储容量大,成本低,一般只用于冷数据归档。

设计存储系统时,可以依据业务场景以及预算,配置集群的规模,以及数据迁移的策略,充分利用预算,达成业务目标。

数据的分级策略的实现思路,使用不同的存储设备来存储不同访问热度的数据,平衡成本、性能、容量等几方面诉求,实现存储效率最大化。
数据的热度,划分为热、温、冷、冰,对应不同的存储层级。
依据常识,新创建的文件,一般认为是热数据;对于已存在的文件,新写入的数据,也认为是热数据。
受限于热数据存储的容量,在一段时间后,对于访问频率下降的数据,需要依据一定的策略,依次迁移至温存储、冷存储。
对于归档、备份的数据,在可预见的一段时间内,访问频率很低或者没有访问,此时可以迁移至冰存储中。
存储的单位成本,由高至低,依次为热、温、冷、冰。
存储的访问时延,由高至低,依次为热、温、冷、冰。
存储的容量,由小至大,依次为热、温、冷、冰。
分级的迁移操作,可行的实现方案:

  • 人工判断,手工操作。由业务管理员人工判定文件的热度,手动将满足要求的文件迁移至不同的存储层级。
  • 人工判断,自动执行。由业务管理员人工判定文件的热度,给出迁移的判断条件,由存储系统自行执行迁移操作。依据POSIX规范,可用的判断条件,比如:
    • 文件的时间,即crtime/ctime/mtime/atime。
    • 文件的归属用户/用户组。
    • 文件的目录。
    • 文件名,前缀、后缀或者模糊匹配。
    • 指定的文件清单。
  • 存储系统判定,存储系统执行。由存储系统记录各文件的访问操作,依据一定规则计算文件的热度,按照一定周期,自动将文件迁移至不同的存储层级。

分级的迁移操作,可以实现为一次操作,以及周期性操作。对于周期性操作,考虑到任务执行的成本,需要实现对文件系统的增量扫描,降低对存储系统的影响。
迁移操作运行过程中的注意事项:

  • 不能影响存储业务I/O操作的正常运行。
  • 运行时自动调整占用的资源,即当存储系统承载的业务请求压力大时,需要自动降低工作负载或者直接暂停,待业务压力下降时再恢复运行。
  • 记录必要的日志,方便开发团队、运维团队分析、处理业务故障。
  • 文件或者文件的数据在不同的存储层级之间迁移时,需要保证数据的一致性。

对于已分级的数据,当客户应用访问时,应当如何处理?可行的策略如下:

  • 当文件的热度上升时,可以依据一定的策略,反向依次从冰、冷、温、热,迁移数据。
  • 当文件的热度暂时不满足反向迁移的要求,可以考虑在上一层或者热的存储层级中,临时缓存文件,提升文件的访问效率。

这篇关于Lustre架构介绍的阅读笔记-HSM的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/887553

相关文章

Java异常架构Exception(异常)详解

《Java异常架构Exception(异常)详解》:本文主要介绍Java异常架构Exception(异常),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. Exception 类的概述Exception的分类2. 受检异常(Checked Exception)

MySQL中慢SQL优化的不同方式介绍

《MySQL中慢SQL优化的不同方式介绍》慢SQL的优化,主要从两个方面考虑,SQL语句本身的优化,以及数据库设计的优化,下面小编就来给大家介绍一下有哪些方式可以优化慢SQL吧... 目录避免不必要的列分页优化索引优化JOIN 的优化排序优化UNION 优化慢 SQL 的优化,主要从两个方面考虑,SQL 语

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程

Python实现html转png的完美方案介绍

《Python实现html转png的完美方案介绍》这篇文章主要为大家详细介绍了如何使用Python实现html转png功能,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 1.增强稳定性与错误处理建议使用三层异常捕获结构:try: with sync_playwright(

Java使用多线程处理未知任务数的方案介绍

《Java使用多线程处理未知任务数的方案介绍》这篇文章主要为大家详细介绍了Java如何使用多线程实现处理未知任务数,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 知道任务个数,你可以定义好线程数规则,生成线程数去跑代码说明:1.虚拟线程池:使用 Executors.newVir

JAVA SE包装类和泛型详细介绍及说明方法

《JAVASE包装类和泛型详细介绍及说明方法》:本文主要介绍JAVASE包装类和泛型的相关资料,包括基本数据类型与包装类的对应关系,以及装箱和拆箱的概念,并重点讲解了自动装箱和自动拆箱的机制,文... 目录1. 包装类1.1 基本数据类型和对应的包装类1.2 装箱和拆箱1.3 自动装箱和自动拆箱2. 泛型2

MySQL 缓存机制与架构解析(最新推荐)

《MySQL缓存机制与架构解析(最新推荐)》本文详细介绍了MySQL的缓存机制和整体架构,包括一级缓存(InnoDBBufferPool)和二级缓存(QueryCache),文章还探讨了SQL... 目录一、mysql缓存机制概述二、MySQL整体架构三、SQL查询执行全流程四、MySQL 8.0为何移除查

微服务架构之使用RabbitMQ进行异步处理方式

《微服务架构之使用RabbitMQ进行异步处理方式》本文介绍了RabbitMQ的基本概念、异步调用处理逻辑、RabbitMQ的基本使用方法以及在SpringBoot项目中使用RabbitMQ解决高并发... 目录一.什么是RabbitMQ?二.异步调用处理逻辑:三.RabbitMQ的基本使用1.安装2.架构

四种Flutter子页面向父组件传递数据的方法介绍

《四种Flutter子页面向父组件传递数据的方法介绍》在Flutter中,如果父组件需要调用子组件的方法,可以通过常用的四种方式实现,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录方法 1:使用 GlobalKey 和 State 调用子组件方法方法 2:通过回调函数(Callb

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中,很多工作都需要与数据打交