SMR硬盘 Linux 环境下ext4的优化

2024-02-04 10:38
文章标签 linux 优化 环境 硬盘 ext4 smr

本文主要是介绍SMR硬盘 Linux 环境下ext4的优化,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

研究了几天SMR,总结一下。

  1. SMR是特殊的硬盘,一般不应该用于频繁多写的状态,家里用作仓库是不错的。你可以把SMR硬盘看作有几个快速小磁带机组成的硬盘设备。里面每一个strip就代表一个小磁带机,这个strip只能顺序读写。所以,SMR硬盘和传统意义上的硬盘内部存储原理不太一致,不是原始意义上的随机读写设备。
  2. SMR硬盘分区和碎片这里都不提倡,因为SMR内部会腾挪数据,可能会把你没有用过空白分区用来腾挪数据。有丢失数据的风险。SMR硬盘没必要碎片整理,因为你实际上无法知道内部的实际的保存情况,尤其DM SMR的情况下。
  3. SMR硬盘最好的方式是Host Managed SMR (HM-SMR),但需要特殊设计或者优化的文件系统,比如华为的存储设备 (为什么市场少见支持SMR硬盘的企业存储?请听我说 )。
  4. SMR 对 Linux EXT4的优化,可以参见权威论文:
    Evolving Ext4 for Shingled Disks Evolving Ext4 for Shingled Disks | USENIX
  5. DM-SMR 的EXT4 优化 lwn.net Evolving ext4 for SMR drives
  6. lazy-ext4补丁:https://github.com/tytso/ext4-patch-queue/blob/master/add-ext4-journal-lazy-mount-option
     
  7. 截至目前(2019-12),木有看到所谓SMR-lazy模式的EXT4补丁。
  8. 目前的SMR -ext4 优化,要开启TRIM,然后设置strip striped-width 。具体查找优化链接。先这么顶一阵。具体还是等适合HM-SMR的文件系统出来再说。

2020-09-28补充,

SMR硬盘还是需要特别的文件系统,Linux下比较好的是 F2FS。如果保存NAS,可以用SMR + F2FS 保存。

SMR F2FS介绍 时至今日(2019下半年),SMR硬盘的体验有所改善了吗? - 知乎  备注2 和 评论1

F2FS介绍 F2FS技术拆解_内核工匠的博客-CSDN博客_f2fs

2022-07-20 补充:

其实对于DM-SMR硬盘,可以模拟视为一台RAID,我们针对RAID优化,而不是针对RAID的硬盘优化。所以DM-SMR的文件系统优化等同于 RAID优化。对于ext4就是如下链接:

ext4 with SSD, stripes and strides.

stride = Page size / Filesystem block
stripe-width = Erase Block / Filesystem block

Calculating filesystem stride_size and stripe_width for best performance under RAID

stripe/stripe-width

也就是说,stride-width,等于缓冲区大小。

这篇关于SMR硬盘 Linux 环境下ext4的优化的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/677202

相关文章

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态(D状态),这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.

Deepseek使用指南与提问优化策略方式

《Deepseek使用指南与提问优化策略方式》本文介绍了DeepSeek语义搜索引擎的核心功能、集成方法及优化提问策略,通过自然语言处理和机器学习提供精准搜索结果,适用于智能客服、知识库检索等领域... 目录序言1. DeepSeek 概述2. DeepSeek 的集成与使用2.1 DeepSeek API

Tomcat高效部署与性能优化方式

《Tomcat高效部署与性能优化方式》本文介绍了如何高效部署Tomcat并进行性能优化,以确保Web应用的稳定运行和高效响应,高效部署包括环境准备、安装Tomcat、配置Tomcat、部署应用和启动T... 目录Tomcat高效部署与性能优化一、引言二、Tomcat高效部署三、Tomcat性能优化总结Tom

在Mysql环境下对数据进行增删改查的操作方法

《在Mysql环境下对数据进行增删改查的操作方法》本文介绍了在MySQL环境下对数据进行增删改查的基本操作,包括插入数据、修改数据、删除数据、数据查询(基本查询、连接查询、聚合函数查询、子查询)等,并... 目录一、插入数据:二、修改数据:三、删除数据:1、delete from 表名;2、truncate

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程

Linux之进程状态&&进程优先级详解

《Linux之进程状态&&进程优先级详解》文章介绍了操作系统中进程的状态,包括运行状态、阻塞状态和挂起状态,并详细解释了Linux下进程的具体状态及其管理,此外,文章还讨论了进程的优先级、查看和修改进... 目录一、操作系统的进程状态1.1运行状态1.2阻塞状态1.3挂起二、linux下具体的状态三、进程的

Linux编译器--gcc/g++使用方式

《Linux编译器--gcc/g++使用方式》文章主要介绍了C/C++程序的编译过程,包括预编译、编译、汇编和链接四个阶段,并详细解释了每个阶段的作用和具体操作,同时,还介绍了调试和发布版本的概念... 目录一、预编译指令1.1预处理功能1.2指令1.3问题扩展二、编译(生成汇编)三、汇编(生成二进制机器语

Rsnapshot怎么用? 基于Rsync的强大Linux备份工具使用指南

《Rsnapshot怎么用?基于Rsync的强大Linux备份工具使用指南》Rsnapshot不仅可以备份本地文件,还能通过SSH备份远程文件,接下来详细介绍如何安装、配置和使用Rsnaps... Rsnapshot 是一款开源的文件系统快照工具。它结合了 Rsync 和 SSH 的能力,可以帮助你在 li

解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)

《解读Redis秒杀优化方案(阻塞队列+基于Stream流的消息队列)》该文章介绍了使用Redis的阻塞队列和Stream流的消息队列来优化秒杀系统的方案,通过将秒杀流程拆分为两条流水线,使用Redi... 目录Redis秒杀优化方案(阻塞队列+Stream流的消息队列)什么是消息队列?消费者组的工作方式每

Linux部署jar包过程

《Linux部署jar包过程》文章介绍了在Linux系统上部署Java(jar)包时需要注意的几个关键点,包括统一JDK版本、添加打包插件、修改数据库密码以及正确执行jar包的方法... 目录linux部署jar包1.统一jdk版本2.打包插件依赖3.修改密码4.执行jar包总结Linux部署jar包部署