用户层read write io命令到NVMe SSD全流程

2024-04-14 07:12

本文主要是介绍用户层read write io命令到NVMe SSD全流程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

引言

以EXT-4以及read io cmd为例,介绍从User Space -> File System -> NVMe Driver -> PCIe Controller -> NVMe Controller -> SSD Firmware(Flash Translate layer) 的基本流程

明确几个要点

  • inode number(inode号)是单纯一个整形数,一般存放在目录文件的data block里。
  • inode是struct inode对象,里面存放了跟文件相关的所有信息,结构体成员代码段1所示。
  • struct file是在打开文件时VFS分配的,fd(文件描述符)用指示struct file结构体对象,两者均属于进程。而inode不属于进程,一个文件对应一个inode。
代码段1
struct ext4_inode {  
__le16  i_mode;     /* File mode */  
__le16  i_uid;      /* Low 16 bits of Owner Uid */  
__le32  i_size_lo;  /* Size in bytes */  
__le32  i_atime;    /* Access time */  
__le32  i_ctime;    /* Inode Change time */  
__le32  i_mtime;    /* Modification time */  
__le32  i_dtime;    /* Deletion Time */  
__le16  i_gid;      /* Low 16 bits of Group Id */  
__le16  i_links_count;  /* Links count */  
__le32  i_blocks_lo;    /* Blocks count */  
__le32  i_flags;    /* File flags */  
union {  
struct {  
__le32  l_i_version;  
} linux1;  
struct {  
__u32  h_i_translator;  
} hurd1;  
struct {  
__u32  m_i_reserved1;  
} masix1;  
} osd1;             /* OS dependent 1 */  
__le32  i_block[EXT4_N_BLOCKS];/* Pointers to blocks */  
__le32  i_generation;   /* File version (for NFS) */  
__le32  i_file_acl_lo;  /* File ACL */  
__le32  i_size_high;  
__le32  i_obso_faddr;   /* Obsoleted fragment address */  
union {  
struct {  
__le16  l_i_blocks_high; /* were l_i_reserved1 */  
__le16  l_i_file_acl_high;  
__le16  l_i_uid_high;   /* these 2 fields */  
__le16  l_i_gid_high;   /* were reserved2[0] */  
__le16  l_i_checksum_lo;/* crc32c(uuid+inum+inode) LE */  
__le16  l_i_reserved;  
} linux2;  
struct {  
__le16  h_i_reserved1;  /* Obsoleted fragment number/size which are removed in ext4 */  
__u16   h_i_mode_high;  
__u16   h_i_uid_high;  
__u16   h_i_gid_high;  
__u32   h_i_author;  
} hurd2;  
struct {  
__le16  h_i_reserved1;  /* Obsoleted fragment number/size which are removed in ext4 */  
__le16  m_i_file_acl_high;  
__u32   m_i_reserved2[2];  
} masix2;  
} osd2;             /* OS dependent 2 */  
__le16  i_extra_isize;  
__le16  i_checksum_hi;  /* crc32c(uuid+inum+inode) BE */  
__le32  i_ctime_extra;  /* extra Change time      (nsec << 2 | epoch) */  
__le32  i_mtime_extra;  /* extra Modification time(nsec << 2 | epoch) */  
__le32  i_atime_extra;  /* extra Access time      (nsec << 2 | epoch) */  
__le32  i_crtime;       /* File Creation time */  
__le32  i_crtime_extra; /* extra FileCreationtime (nsec << 2 | epoch) */  
__le32  i_version_hi;   /* high 32 bits for 64-bit version */  
__le32  i_projid;   /* Project ID */  
}; 

整体流程

假设要对根目录下的1.txt文件进行读命令

  1. 首先是挂载文件系统。文件系统挂载时,会将一部分metadata存放在内存中,其中包括Super block, Group Block信息以及"/"根目录文件的inode number
  2. 根据"/“根目录文件的inode number以及metadata可以计算出”/"文件的inode,并且通过读取inode里面的i_block找到对应的逻辑块号以及文件的长度
  3. 根据逻辑块号向NVMe SSD发起read请求,得到数据块的真实内容,这里假设该数据块已经缓存在文件系统的page cache里,下文对1.txt进行读命令时再详细分析此过程。
  4. 在data block中根据文件名(1.txt)进行索引,找到1.txt对应的inode number
  5. 根据1.txt的inode number以及metadata可以计算出"1.txt"文件的inode,并且通过读取inode里面的i_block找到对应逻辑块号和长度
  6. 将此命令传到block io layer,并根据block io layer进行调度,最后再给到NVMe驱动层。
  7. 驱动层会根据NVMe控制器的特性,将此read请求进行分割,比如一次只读取64个block,然后同时发起多个read请求
  8. 将请求写入多个SQ队列
  9. 通过PCIe Write TLP向NVMe控制器的每个sq doorbell寄存器写入新增的请求数量,通知SSD来主机端的SQ队列拿请求
  10. SSD拿到请求后解析命令,并将逻辑地址(LBA)通过FTL转化成物理块地址(PPA)
  11. 通过Flash Controller读取对应的CHIP,DIE,Plane,Block中的page。
  12. 将完成状态写入主机端的CQ队列
  13. 通过中断告诉主机端命令已经完成
  14. 主机端通过读取CQ队列获取命令完成状态

这篇关于用户层read write io命令到NVMe SSD全流程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/902402

相关文章

Spring Security中用户名和密码的验证完整流程

《SpringSecurity中用户名和密码的验证完整流程》本文给大家介绍SpringSecurity中用户名和密码的验证完整流程,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定... 首先创建了一个UsernamePasswordAuthenticationTChina编程oken对象,这是S

postgresql数据库基本操作及命令详解

《postgresql数据库基本操作及命令详解》本文介绍了PostgreSQL数据库的基础操作,包括连接、创建、查看数据库,表的增删改查、索引管理、备份恢复及退出命令,适用于数据库管理和开发实践,感兴... 目录1. 连接 PostgreSQL 数据库2. 创建数据库3. 查看当前数据库4. 查看所有数据库

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令,常用的包括shutdown-r、reboot、init6等,不同命令适用于不同场景,本文将详细... 在管理和维护 linux 服务器时,完成系统更新、故障排查或日常维护后,重启系统往往是必不可少的步骤。本文

SpringSecurity显示用户账号已被锁定的原因及解决方案

《SpringSecurity显示用户账号已被锁定的原因及解决方案》SpringSecurity中用户账号被锁定问题源于UserDetails接口方法返回值错误,解决方案是修正isAccountNon... 目录SpringSecurity显示用户账号已被锁定的解决方案1.问题出现前的工作2.问题出现原因各

Android ViewBinding使用流程

《AndroidViewBinding使用流程》AndroidViewBinding是Jetpack组件,替代findViewById,提供类型安全、空安全和编译时检查,代码简洁且性能优化,相比Da... 目录一、核心概念二、ViewBinding优点三、使用流程1. 启用 ViewBinding (模块级

MySQL 用户创建与授权最佳实践

《MySQL用户创建与授权最佳实践》在MySQL中,用户管理和权限控制是数据库安全的重要组成部分,下面详细介绍如何在MySQL中创建用户并授予适当的权限,感兴趣的朋友跟随小编一起看看吧... 目录mysql 用户创建与授权详解一、MySQL用户管理基础1. 用户账户组成2. 查看现有用户二、创建用户1. 基

nginx启动命令和默认配置文件的使用

《nginx启动命令和默认配置文件的使用》:本文主要介绍nginx启动命令和默认配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录常见命令nginx.conf配置文件location匹配规则图片服务器总结常见命令# 默认配置文件启动./nginx

SpringBoot整合Flowable实现工作流的详细流程

《SpringBoot整合Flowable实现工作流的详细流程》Flowable是一个使用Java编写的轻量级业务流程引擎,Flowable流程引擎可用于部署BPMN2.0流程定义,创建这些流程定义的... 目录1、流程引擎介绍2、创建项目3、画流程图4、开发接口4.1 Java 类梳理4.2 查看流程图4

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

java Long 与long之间的转换流程

《javaLong与long之间的转换流程》Long类提供了一些方法,用于在long和其他数据类型(如String)之间进行转换,本文将详细介绍如何在Java中实现Long和long之间的转换,感... 目录概述流程步骤1:将long转换为Long对象步骤2:将Longhttp://www.cppcns.c