OK6410A 开发板 (八) 99 linux-5.11 OK6410A 文件访问实例mmap与read的比较

2024-05-27 15:32

本文主要是介绍OK6410A 开发板 (八) 99 linux-5.11 OK6410A 文件访问实例mmap与read的比较,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

  • mmap 和 write 的实现
他们两个的实现,其实重点都在 linux 中,所以要比较 他们的区别,要注意 以下流程 在 linux 内核中的区别open - addr=mmap(...); - addr[0] - closeopen - read - close
  • 相同点
要将 "磁盘上的文件内容" 搞到 "用户能访问到的内存" 里面,需要关注以下数据及过程,mmap和read都做了这些工作1.硬盘中文件 的 "起始硬盘地址" 和 长度2."内核空间的虚拟内存地址" 和 对应的 "物理内存地址A""映射关系A"3."用户空间的虚拟内存地址" 和 对应的 "物理内存地址B""映射关系B"4.文件内容从 "起始硬盘地址""物理内存地址A",再到"物理内存地址B"的过程
  • 不同点
1.mmap过程的"物理内存地址A""物理内存地址B"是相同的;read过程的不同 // 也就是 mmap 之后的 读 是  一次拷贝,read 是 二次拷贝
2.mmap过程的"物理内存地址A""物理内存地址B" 对应的 page(页高速缓存)vm_fault(其中有VMA) 管理的; read过程的"物理内存地址A"对应的page是 address_space 管理的, "物理内存地址B"  是用户程序的全局变量或局部变量,是 VMA管理的数据段或栈段对应的page,linux_binprm(其中有VMA) 管理的
open-write-close 流程
文件读写基本流程读文件1、进程调用库函数向内核发起读文件请求;2、内核通过检查进程的文件描述符定位到虚拟文件系统的已打开文件列表表项;3、调用该文件可用的系统调用函数read()3read()函数通过文件表项链接到目录项模块,根据传入的文件路径,在目录项模块中检索,找到该文件的inode;4、在inode中,通过文件内容偏移量计算出要读取的页;5、通过inode找到文件对应的address_space;6、在address_space中访问该文件的页缓存树,查找对应的页缓存结点:如果页缓存命中,那么直接返回文件内容;如果页缓存缺失,那么产生一个页缺失异常,创建一个页缓存页,同时通过inode找到文件该页的磁盘地址,读取相应的页填充该缓存页;重新进行第6步查找页缓存;// generic_file_read_iter->generic_file_buffered_read->generic_file_buffered_read_get_pages->find_get_pages_contig 获取 页缓存失败 并不会产生异常,而是直接 从硬盘读数据7、文件内容读取成功。写文件1、进程调用库函数向内核发起读文件请求;2、内核通过检查进程的文件描述符定位到虚拟文件系统的已打开文件列表表项;3、调用该文件可用的系统调用函数read()3read()函数通过文件表项链接到目录项模块,根据传入的文件路径,在目录项模块中检索,找到该文件的inode;4、在inode中,通过文件内容偏移量计算出要读取的页;5、通过inode找到文件对应的address_space;6. 在address_space中查询对应页的页缓存是否存在:如果页缓存命中,直接把文件内容修改更新在页缓存的页中。写文件就结束了。这时候文件修改位于页缓存,并没有写回到磁盘文件中去。如果页缓存缺失,那么产生一个页缺失异常,创建一个页缓存页,同时通过inode找到文件该页的磁盘地址,读取相应的页填充该缓存页。此时缓存页命中,进行第6步。// generic_file_read_iter->generic_file_buffered_read->generic_file_buffered_read_get_pages->find_get_pages_contig 获取 页缓存失败 并不会产生异常,而是直接 从硬盘读数据7 一个页缓存中的页如果被修改,那么会被标记成脏页。脏页需要写回到磁盘中的文件块。有两种方式可以把脏页写回磁盘:手动调用sync()或者fsync()系统调用把脏页写回pdflush进程会定时把脏页写回到磁盘8. 文件写入成功
  • 详细流程
1. open时 通过文件表项链接到目录项模块,根据传入的文件路径,在目录项模块中检索,找到该文件的inode,创建file结构体
2. lseek时,通过文件内容偏移量计算出 页缓存地址  和 对应的 address_space
3. read 时1. (file->f_op->read)->generic_file_read->generic_file_aio_read->do_generic_file_read->do_generic_mapping_read 会在页缓存中查找,如果找不到,进行2,如果找到,直接返回2. (address_space->a_ops->readpage,即ext3_files_read)->mpage_readpage->do_mpage_readpage->mpage_bio_submit->submit_bio->generic_make_request 读取 文件内容到页缓存3. 然后进行1问题 : 缓存内存页 struct page 被放到了哪里? 被放到了 address_space(中的 radix_tree)里address_space 直接挂在了 file结构体下,不用复杂管理page 由 radix_tree 管理fd->file->address_space->radix_tree->pagefile->f_mapping->i_mapping->i_data->i_pages->(radix_tree_node,即xa_node)->slots[0]->page
open-mmap-close 流程

1. open时 通过文件表项链接到目录项模块,根据传入的文件路径,在目录项模块中检索,找到该文件的inode,创建file结构体
2. lseek时,通过文件内容偏移量计算出  要读取的磁盘页地址3. 调用mmap,参数为 fd >=0 flags=MAP_SHARED 陷入内核sys_mmap
4. sys_mmap进入并返回 3.  通过 addr = get_unmapped_area 得到虚拟地址空间4.  通过 file->f_op->mmap (具体是文件系统ext4 的 struct file_operations ext4_file_operations 中的 mmap成员ext4_file_mmap)设置了 vma->vm_ops = &ext4_file_vm_ops
5. 访存(),访存时发生异常(vector_dabt)1. __vectors_start->vector_dabt->__dabt_usr->dabt_helper->v7_early_abort->do_DataAbort->do_page_fault2. do_page_fault->do_shared_fault->__do_fault->(vma->vm_ops->fault,即ext4_file_vm_ops中的 fault成员 :ext4_filemap_fault) //申请物理内存地址,并读磁盘文件内容到物理内存地址ext4_filemap_fault->filemap_fault->page = find_get_page(mapping, offset); 			// 申请物理内存地址fpin = do_async_mmap_readahead(vmf, page); 		// 根据 要读取的磁盘页地址 读文件内容到内存物理内存地址3. do_page_fault->do_shared_fault->__do_fault->finish_fault // 建立映射关系finish_faultalloc_set_pte(vmf, page); 							// 建立映射关系问题 :  struct page 被放到了哪里? 被放到了 vm_fault(的page 成员)里vm_fault  由 VMA 管理page 被直接挂到了 vm_fault 的成员里,不用复杂管理arch/arm/mm/fault.c 中的 __do_page_fault 创建了 vma(创建时vma已经建立好联系了,挂载到了链表和树中) ,并调用了 handle_mm_fault(vma,...)->__handle_mm_fault(vma,...)在 __handle_mm_fault 中 创建了 vmf , 将 vma 封装到 vmf 中,并让 handle_pte_fault->do_fault->do_shared_fault->__do_fault->(vma->vm_ops->fault,即ext4_filemap_fault)->filemap_fault 去填充 vmf 的 page 结构体
read 操作时的关系图
一个进程的task_struct 中的 files 成员中的 fd_array 是 进程内所有 file 结构体的归属地

在这里插入图片描述

mmap 操作时的关系图
一个进程的task_struct 中的 mm 成员 中的 mm_rb(树根)mmap(链表头) 是 进程内所有的VMA的 归属地struct vm_faultstruct vm_area_struct *vma;struct page *page;我们 可以在 https://blog.csdn.net/u011011827/article/details/117371055 中看到可执行二进制文件 是 用 VMA 管理的 // 可以用 strace 来 跟踪一下可执行二进制文件的加载
而 不可执行的文件(包括二进制和文本文件)可以用VMA管理,也可以用 address_space 管理

在这里插入图片描述

地址空间 与 VMA
地址空间分为两种1.进程地址空间代码段的 	page 由 linux_binprm 管理 , linux_binprm 被 VMA 管理文件内容的  page 由 vm_fault 管理 , vm_fault 被 VMA 管理2.文件内容地址空间文件内容的  page 由 radix_tree 管理, radix_tree  被 address_space 管理  两种地址空间介绍"进程地址空间" 管理了page,page 对应1.存在于可执行文件其被加载到内存的 		segment : 代码段 数据段2.不存在于可执行文件其被加载到内存的 	segment : 栈段 很多个堆段 3.mmap段 : mmap 机制中创建的地址空间(4种,其中一种对应 文件内容)page 在哪里代码段的 	page 由 linux_binprm 管理 , linux_binprm 被 VMA 管理文件内容的  page 由 vm_fault 管理 , vm_fault 被 VMA 管理"文件内容地址空间" 管理了page,page对应 1.read的文件内容page 在哪里文件内容的  page 由 radix_tree 管理, radix_tree  被 address_space 管理  VMA的创建1. 可以从用户空间通过 mmap 			创建 , 可以被用户访问2. 可以从内核空间通过 异常处理函数	创建 , 可以被用户访问吗?TODO文件 mmap 后 ,读文件好像 VMA 是 用户进程空间, 也就是说 , 内核直接将 文件内容 弄到 用户虚拟地址 中了是的,mmap 就是这么干的, 一套物理地址对应了 两套(内核和用户的)虚拟地址
文件系统相关的高速缓存
  • dentry高速缓存
  • inode高速缓存
  • 页高速缓存
	1. file->f_mapping->i_mapping->i_data->i_pages->(radix_tree_node,即xa_node)->slots[0]->page2. vm_fault->page
read 函数流程导读 ext4
642 SYSCALL_DEFINE3(read, unsigned int, fd, char __user *, buf, size_t, count)ksys_readvfs_readnew_sync_readcall_read_iterfile->f_op->read_iter/即ext4_file_read_itergeneric_file_read_itergeneric_file_buffered_readgeneric_file_buffered_read_get_pagesfind_get_pages_contig	// 去 page cache 中 查找page_cache_sync_readahead // 读取 磁盘文件到 page cachefind_get_pages_contig // 去 page cache 中 查找copy_page_to_iter	// 拷贝到用户空间

这篇关于OK6410A 开发板 (八) 99 linux-5.11 OK6410A 文件访问实例mmap与read的比较的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1007876

相关文章

SpringBoot+RustFS 实现文件切片极速上传的实例代码

《SpringBoot+RustFS实现文件切片极速上传的实例代码》本文介绍利用SpringBoot和RustFS构建高性能文件切片上传系统,实现大文件秒传、断点续传和分片上传等功能,具有一定的参考... 目录一、为什么选择 RustFS + SpringBoot?二、环境准备与部署2.1 安装 RustF

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同

JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法

《JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法》:本文主要介绍JavaScript中比较两个数组是否有相同元素(交集)的三种常用方法,每种方法结合实例代码给大家介绍的非常... 目录引言:为什么"相等"判断如此重要?方法1:使用some()+includes()(适合小数组)方法2

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk?1.查看linux系统是否有自带的jdk:2.下载jdk压缩包2.解压3.配置环境

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1:下载vsftpd工具2:下载客户端工具3:进入配置文件目录vsftpd.conf配置文件4:

Linux实现查看某一端口是否开放

《Linux实现查看某一端口是否开放》文章介绍了三种检查端口6379是否开放的方法:通过lsof查看进程占用,用netstat区分TCP/UDP监听状态,以及用telnet测试远程连接可达性... 目录1、使用lsof 命令来查看端口是否开放2、使用netstat 命令来查看端口是否开放3、使用telnet

MySQL的配置文件详解及实例代码

《MySQL的配置文件详解及实例代码》MySQL的配置文件是服务器运行的重要组成部分,用于设置服务器操作的各种参数,下面:本文主要介绍MySQL配置文件的相关资料,文中通过代码介绍的非常详细,需要... 目录前言一、配置文件结构1.[mysqld]2.[client]3.[mysql]4.[mysqldum

Linux系统管理与进程任务管理方式

《Linux系统管理与进程任务管理方式》本文系统讲解Linux管理核心技能,涵盖引导流程、服务控制(Systemd与GRUB2)、进程管理(前台/后台运行、工具使用)、计划任务(at/cron)及常用... 目录引言一、linux系统引导过程与服务控制1.1 系统引导的五个关键阶段1.2 GRUB2的进化优