Linux 3.x 内核学习笔记——页面的周转

2024-05-07 11:18

本文主要是介绍Linux 3.x 内核学习笔记——页面的周转,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

页面周转

本文以Linux-3.11.0为例。

内核中所有物理内存都有其对应的page结构,这些page在整个系统的运行中,会处于下图的5个状态中。

Freeze Page:并非所有内存都可以用于分配,有些内存被内核所保留使用,例如:内核映像本身所处的内存空间、一些硬件要求需要保留的地址区间、内核中一些固有的数据结构(如page结构本身)等。系统在初始化阶段将这些内存所对应的地址标识为reserve,在初始化完成时,并不会将这些reserve的地址对应的page结构释放入空闲页面管理区。因此这部分page始终处于Freeze Page状态,它们既不会被分配,也不会被释放。

流程1:在初始化完成时,将没有reservepage结构通过__free_pages函数直接释放到空闲页面管理区中(通过free_all_bootmem触发)。这些页面就可以在系统运行过程中被分配、释放。

Hot Cold:为了便于单个页面的快速分配和释放,内核为每个cpu建立了一个冷热队列(Hot Cold List)。

Free Area:每个区间(Zone)对应一组(通常为11个)Free Area队列,每个队列用于管理大小为2^n的连续物理页面。

流程2:释放单个页面时,直接挂入冷热队列(__free_pages -> free_hot_cold_page)。

流程3:释放多个页面(2^n个页面,且n >= 1 )时,挂入对应的Free Area队列(__free_pages -> __free_pages_ok)。同时如果满足页面合并的条件,还会将页面合并后挂入更高阶的Free Area队列。

流程4:页面挂入冷热队列后,如果发现队列中的页面数量超过一定的阀值,则将部分页面移到相应的Free Area队列中(free_pcppages_bulk)。

流程5:分配单个页面时,直接从冷热队列中获取(buffered_rmqueue)。

流程6:分配单个页面时,如果冷热队列中的页面不足,则从Free Area队列中再获取一些(buffered_rmqueue -> rmqueue_bulk)。

流程7:分配多个页面时,从某个ZoneFree Area队列中寻找满足条件的页面进行分配(buffered_rmqueue ->__rmqueue)。

Common Page:普通页面,这类页面使用周转很简单,就是一个简单的分配(流程10)、使用、释放(流程11)的过程。如vmalloc/kmalloc分配的页面属于这一类型。

Lru List:不同于普通页面,有些页面在使用时进行分配(流程8),而在系统内存紧张时将其内容交换到磁盘上,并将其page释放(流程9)以作它用。当需要再次使用这些内容时,再分配新的页面(流程8)并将内容从磁盘上读入。这样的页面包括:映射用户空间的页面、文件的读写缓冲页面等。上图中的Lru List是一个复合状态,其具体流程如下图。

 

Lru队列的页面周转

Linux内核为每个Zone建立了5Lru队列。用做盘区交换的页面,都挂入Active / Inactive Anon队列中;用于文件读写缓冲区的页面,都挂入Active / Inactive File队列中。这4个队列中的页面都是可被换出的,即可回收的(evictable)。与之相对应,还有一个队列是不可回收的(Unevictable),其内的页面不能换出。

需要注意,一个页面从Inactive Anon转到Unevictable队列后,当其再次变为evictable时,还是只能回到Inactive Anon队列,而不会进入Inactive File队列。File队列中的页面也是如此,上图中的状态变迁示意不要引起误解。

下面以盘区交换页面的周转为例,简要介绍一下Lru队列的页面周转流程。

用户空间的页面由缺页异常首次创建时,在do_anonymous_page 中通过page_add_new_anon_rmap将其挂入Active Anon队列。

Linux内核为每个内存节点(node)创建了一个kswapd进程(在kswapd_init中实现),kswapd周期运行,其首先扫描node下的zoneActive Anon队列(shrink_active_list)。

shrink_active_list中将部分处于Active Anon队列中的页面移出,并将其对应的页面映射pte表项的ACCESS标志置0,然后再将其移到Inactive Anon队列中。

此后通过shrink_inactive_lists扫描Inactive Anon队列,并将其中部分页面移出,并尝试进行解除映射,这是在shrink_page_list中通过try_to_unmap进行的。

页面映射pte表项的ACCESS标志是由cpu硬件进行设置的,当cpu通过MMU访问过一个页面时,就会将其对应的pte表项的ACCESS标志置1。而在try_to_unmap的调用过程中,会检测这个标志,如果这个标志为0,就表明距上次置0以后cpu没有访问过这个页面,那么就说明可以将其解除映射,以备换出;如果这个标志为1,则try_to_unmap返回失败,并将该页面放回到Active Anon队列中。

对于成功解除映射的页面,若其内容为dirty,则通过pageout将其内容写到磁盘。

最后将该页面释放。

当该页面对应的地址再次被cpu访问时,由于页面不在内存,缺页异常处理流程会来到do_swap_page中,将新换入的页面挂入Inactive Anon队列(在swapin_readahead ->  read_swap_cache_async -> lru_cache_add_anon 中实现)。这次该页面虽然挂到了Inactive队列,但是由于cpu刚刚访问过相应页面,因此pte表项的ACCESS标志为1,其实是不会立即被换出的。

另外,Linux提供了系统调用mlockmlockall用于将页面固定于内存中,不让其被换出。

当调用mlock / mlockall时,仅仅是将相应的vma->vm_flags加上一个VM_LOCKED标志(mlock_fixup中实现)。当kswapd在扫描某个页面试图将其换出时,如果发现相应的vma->vm_flagsVM_LOCKED标志,则会将其移入Unevictable队列,不让其换出。

当调用munlockmunlockall时,不仅要将相应的vma->vm_flagsVM_LOCKED标志清除,还要将其移入Inactive队列(munlock_vma_pages_range -> munlock_vma_page)。

 


来源:http://blog.csdn.net/liminyu/article/details/12909217

这篇关于Linux 3.x 内核学习笔记——页面的周转的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/967196

相关文章

linux hostname设置全过程

《linuxhostname设置全过程》:本文主要介绍linuxhostname设置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录查询hostname设置步骤其它相关点hostid/etc/hostsEDChina编程A工具license破解注意事项总结以RHE

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素

在Linux终端中统计非二进制文件行数的实现方法

《在Linux终端中统计非二进制文件行数的实现方法》在Linux系统中,有时需要统计非二进制文件(如CSV、TXT文件)的行数,而不希望手动打开文件进行查看,例如,在处理大型日志文件、数据文件时,了解... 目录在linux终端中统计非二进制文件的行数技术背景实现步骤1. 使用wc命令2. 使用grep命令

Linux如何快速检查服务器的硬件配置和性能指标

《Linux如何快速检查服务器的硬件配置和性能指标》在运维和开发工作中,我们经常需要快速检查Linux服务器的硬件配置和性能指标,本文将以CentOS为例,介绍如何通过命令行快速获取这些关键信息,... 目录引言一、查询CPU核心数编程(几C?)1. 使用 nproc(最简单)2. 使用 lscpu(详细信

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令,常用的包括shutdown-r、reboot、init6等,不同命令适用于不同场景,本文将详细... 在管理和维护 linux 服务器时,完成系统更新、故障排查或日常维护后,重启系统往往是必不可少的步骤。本文

基于Linux的ffmpeg python的关键帧抽取

《基于Linux的ffmpegpython的关键帧抽取》本文主要介绍了基于Linux的ffmpegpython的关键帧抽取,实现以按帧或时间间隔抽取关键帧,文中通过示例代码介绍的非常详细,对大家的学... 目录1.FFmpeg的环境配置1) 创建一个虚拟环境envjavascript2) ffmpeg-py

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

Linux链表操作方式

《Linux链表操作方式》:本文主要介绍Linux链表操作方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、链表基础概念与内核链表优势二、内核链表结构与宏解析三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势六、典型应用场景七、调试技巧与

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和