Linux brk(),mmap()系统调用源码分析3：brk()的内存申请流程

2023-10-14 06:58
文章标签 分析 linux 源码 系统 流程 内存 调用 申请 mmap brk

本文主要是介绍Linux brk(),mmap()系统调用源码分析3：brk()的内存申请流程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Linux brk(),mmap()系统调用源码分析
brk()的内存申请流程


荣涛
2021年4月30日

  • 内核版本：linux-5.10.13
  • 注释版代码：https://github.com/Rtoax/linux-5.10.13

1. 基础部分

在之前文章中已经介绍了基础部分 《Linux内存管理 brk(),mmap()系统调用源码分析1：基础部分》，本文介绍brk的释放部分。

2. brk内存释放

在之前文章中已经介绍了brk内存释放过程《Linux内存管理 brk(),mmap()系统调用源码分析2：brk()的内存释放流程》

3. brk内存申请

本文介绍申请流程。如果新的 brk 位置高于 旧的 brk 位置，首先会查找旧brk所在的vma的下一个vma结构：

	next = find_vma(mm, oldbrk);if (next && newbrk + PAGE_SIZE > vm_start_gap(next))goto out;

如果下一个vma结构存在，并且新的brk+pagesize落在vma上，那么说明现在的brk满足要求，直接返回就行了，如果不是，就迎来了do_brk_flags。

4. do_brk_flags

函数原型为：

static int do_brk_flags(unsigned long addr, unsigned long len, unsigned long flags, struct list_head *uf)

入参分别为：起始地址，长度，标志。

函数是这么调用的do_brk_flags(oldbrk, newbrk-oldbrk, 0, &uf)，该函数基本上是释放流程的逆向操作，这里只就几个核心的函数进行讲解，第一个get_unmapped_area。

4.1. get_unmapped_area

brk系统调用肯定不是文件，所以file=NULL，

get_unmapped_area(NULL, addr, len, 0, MAP_FIXED);

MAP_FIXED：准确解释地址，如果addr和len指定的内存区域与任何现有映射的页面重叠，则现有映射的重叠部分将被丢弃.

首先调用arch_mmap_check，在x86下为0。接下来获取未映射区域，这区分了mmap类型：

	get_area = current->mm->get_unmapped_area;if (file) { /* 如果是文件映射 */if (file->f_op->get_unmapped_area)get_area = file->f_op->get_unmapped_area;} else if (flags & MAP_SHARED) {    /* 如果是共享的映射 *//** mmap_region() will call shmem_zero_setup() to create a file,* so use shmem's get_unmapped_area in case it can be huge.* do_mmap() will clear pgoff, so match alignment.*/pgoff = 0;get_area = shmem_get_unmapped_area; /* 共享 */}

首先从mm结构中获取了get_unmapped_area函数指针，这个指针牛的一批，在arch\x86\kernel\sys_x86_64.c里，通过函数指针调用addr = get_area(file, addr, len, pgoff, flags);。

4.2. arch_get_unmapped_area

该结构是在arch_pick_mmap_layout函数中被赋予get_unmapped_area指针的，如下：

void arch_pick_mmap_layout(struct mm_struct *mm, struct rlimit *rlim_stack)
{if (mmap_is_legacy())mm->get_unmapped_area = arch_get_unmapped_area;elsemm->get_unmapped_area = arch_get_unmapped_area_topdown;...

https://www.kernel.org/doc/gorman/html/understand/understand021.html#func:%20arch_get_unmapped_area

函数不长，但是操作很骚。先看参数：

do_brk_flags(oldbrk, newbrk-oldbrk, 0, &uf)get_unmapped_area(NULL, addr, len, 0, MAP_FIXED);get_area(file, addr, len, pgoff, flags); -> arch_get_unmapped_areaarch_get_unmapped_areafind_start_endget_mmap_basevm_unmapped_areaunmapped_area
  • file=NULL;
  • addr=oldbrk;
  • len=newbrk-oldbrk;
  • pgoff=0;
  • flags=MAP_FIXED;(准确解释地址，如果addr和len指定的内存区域与任何现有映射的页面重叠，则现有映射的重叠部分将被丢弃.)

使用find_start_end获取begin和end：

static void find_start_end(unsigned long addr, unsigned long flags,unsigned long *begin, unsigned long *end)
{if (!in_32bit_syscall() && (flags & MAP_32BIT)) {   /* 32 位 *//* This is usually used needed to map code in smallmodel, so it needs to be in the first 31bit. Limitit to that.  This means we need to move theunmapped base down for this case. This can giveconflicts with the heap, but we assume that glibcmalloc knows how to fall back to mmap. Give it 1GBof playground for now. -AK */*begin = 0x40000000;*end = 0x80000000;if (current->flags & PF_RANDOMIZE) {*begin = randomize_page(*begin, 0x02000000);}return;}*begin	= get_mmap_base(1); /*  */if (in_32bit_syscall())*end = task_size_32bit();else*end = task_size_64bit(addr > DEFAULT_MAP_WINDOW);
}

首先判断如果不是32bit系统调用!in_32bit_syscall()并且设置了标记位(flags & MAP_32BIT)，之类不成立，因为flags值为MAP_FIXED，那么接下来会执行*begin = get_mmap_base(1);。这个函数get_mmap_base直接返回is_legacy ? mm->mmap_legacy_base : mm->mmap_base;也就是mm->mmap_legacy_base，这个值等于几？他是在arch_pick_mmap_base设置的，在文章mmap随机化中有解释，也就是是否将mmap随机化，这是在一个漏洞的解决方法，此处不所解释，感兴趣可以参考一篇论文《Meltdown(熔断漏洞)- Reading Kernel Memory from User Space/KASLR | 原文+中文翻译》。
接着，调用task_size_64bit获取end地址。

然后判断长度：

	if (len > end)return -ENOMEM;

如果已存在，直接返回：

	if (addr) {addr = PAGE_ALIGN(addr);    /* 对齐 */vma = find_vma(mm, addr);   /* 查找对应 vma */if (end - len >= addr &&(!vma || addr + len <= vm_start_gap(vma)))return addr;}

接着是对数据结构vm_unmapped_area_info的填充

struct vm_unmapped_area_info {  /*  */
#define VM_UNMAPPED_AREA_TOPDOWN 1unsigned long flags;unsigned long length;unsigned long low_limit;unsigned long high_limit;unsigned long align_mask;unsigned long align_offset;
};

它是这么填充的：

	info.flags = 0;info.length = len;info.low_limit = begin;info.high_limit = end;info.align_mask = 0;info.align_offset = pgoff << PAGE_SHIFT;if (filp) {info.align_mask = get_align_mask();info.align_offset += get_align_bits();}

接着调用vm_unmapped_area，其调用unmapped_area(flags=0)

4.3. unmapped_area

这里的入参为：

  • file=NULL;
  • addr=oldbrk;
  • len=newbrk-oldbrk;
  • pgoff=0;
  • flags=MAP_FIXED;

他的操作在函数注释中给出：

/** We implement the search by looking for an rbtree node that* immediately follows a suitable gap. That is,* - gap_start = vma->vm_prev->vm_end <= info->high_limit - length;* - gap_end   = vma->vm_start        >= info->low_limit  + length;* - gap_end - gap_start >= length*/

接着get_unmapped_area返回，并进行合法性判断：

	mapped_addr = get_unmapped_area(NULL, addr, len, 0, MAP_FIXED);if (IS_ERR_VALUE(mapped_addr))  /* unlikely */return mapped_addr;

4.4. munmap_vma_range

该函数的注释为

munmap VMAs that overlap a range.
/* Clear old maps, set up prev, rb_link, rb_parent, and uf */

在这，我发现一个问题，find_vma_links函数永远不会返回真值，那么此处的while的作用是什么呢？

static inline int
munmap_vma_range(struct mm_struct *mm, unsigned long start, unsigned long len,struct vm_area_struct **pprev, struct rb_node ***link,struct rb_node **parent, struct list_head *uf)
{/*  */while (find_vma_links(mm, start, start + len, pprev, link, parent))if (do_munmap(mm, start, len, uf))return -ENOMEM;return 0;
}

这里具体关于mm的操作可以参考函数copy_mm、dup_mm、vm_area_dup。

4.5. may_expand_vm

/** Return true if the calling process may expand its vm space by the passed* number of pages*/
bool may_expand_vm(struct mm_struct *mm, vm_flags_t flags, unsigned long npages)
{/* 检查映射的页数有没有超限 */if (mm->total_vm + npages > rlimit(RLIMIT_AS) >> PAGE_SHIFT)return false;/* 数据 mapping 1.在 brk系统调用传入的是0，此代码不执行*/if (is_data_mapping(flags) &&mm->data_vm + npages > rlimit(RLIMIT_DATA) >> PAGE_SHIFT) {/* Workaround for Valgrind */if (rlimit(RLIMIT_DATA) == 0 &&mm->data_vm + npages <= rlimit_max(RLIMIT_DATA) >> PAGE_SHIFT)return true;pr_warn_once("%s (%d): VmData %lu exceed data ulimit %lu. Update limits%s.\n",current->comm, current->pid,(mm->data_vm + npages) << PAGE_SHIFT,rlimit(RLIMIT_DATA),ignore_rlimit_data ? "" : " or use boot option ignore_rlimit_data");if (!ignore_rlimit_data)return false;}return true;
}

接下来检查系统配置，是否映射数量超限：

    /* 检查sysctl */if (mm->map_count > sysctl_max_map_count)return -ENOMEM;

4.6. vma_merge

brk 此处不对其进行讲解，将在mprotect系统调用中讲解。

4.7. vma_link

接下来，分配新的vma结构，并且填充响应的数据，并将vma添加至mm结构的链表和红黑树中：

	/** create a vma struct for an anonymous mapping*/vma = vm_area_alloc(mm);    /* 分配这个结构 */if (!vma) {vm_unacct_memory(len >> PAGE_SHIFT);return -ENOMEM;}vma_set_anonymous(vma);     /* 匿名vma */vma->vm_start = addr;       /* start */vma->vm_end = addr + len;   /* end */vma->vm_pgoff = pgoff;      /* 页内偏移 */vma->vm_flags = flags;      /* 标志 */vma->vm_page_prot = vm_get_page_prot(flags);    /* VMA 的权限 */vma_link(mm, vma, prev, rb_link, rb_parent);    /* 插入 */

其中vm_link函数：

static void vma_link(struct mm_struct *mm, struct vm_area_struct *vma,struct vm_area_struct *prev, struct rb_node **rb_link,struct rb_node *rb_parent)
{struct address_space *mapping = NULL;if (vma->vm_file) { /* 文件映射 */mapping = vma->vm_file->f_mapping;i_mmap_lock_write(mapping);}__vma_link(mm, vma, prev, rb_link, rb_parent);  /* 添加至链表和红黑树 */__vma_link_file(vma);   /* 文件映射的话，更新缓存 */if (mapping)i_mmap_unlock_write(mapping);mm->map_count++;    /* 映射计数++ */validate_mm(mm);    /*  */
}

这里的validate_mm在本文中不做过多讲解，将在后续文章中详细解说。

4.8. perf_event_mmap

brk 此处不对其进行讲解，将在手续文章中进行讲解。

然后，对mm结构字段进行更新：

	mm->total_vm += len >> PAGE_SHIFT;  /* 共映射的页数计数 */mm->data_vm += len >> PAGE_SHIFT;   /* 数据映射计数 */if (flags & VM_LOCKED)mm->locked_vm += (len >> PAGE_SHIFT);   /* 锁定的页面计数 */vma->vm_flags |= VM_SOFTDIRTY;return 0;

至此，do_brk_flags就返回了。接着，更新brk位置：

mm->brk = brk;

4.9. mm_populate

brk 此处不对其进行讲解，将在手续文章中进行讲解。

至此brk系统调用就返回至用户态程序。

5. 相关链接

  • https://www.cs.unc.edu/~porter/courses/cse506/f12/slides/address-spaces.pdf
  • https://stackoverflow.com/questions/14943990/overlapping-pages-with-mmap-map-fixed
  • 《Linux内存管理 brk(),mmap()系统调用源码分析1：基础部分》
  • 《Linux内存管理 brk(),mmap()系统调用源码分析2：brk()的内存释放流程》
  • 内核实现mmap的关键点-get_unmapped_area
  • mmap随机化
  • Meltdown(熔断漏洞)- Reading Kernel Memory from User Space/KASLR | 原文+中文翻译

这篇关于Linux brk(),mmap()系统调用源码分析3：brk()的内存申请流程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/208874。

相关文章

利用Python快速搭建Markdown笔记发布系统

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言：为什么要自建知识博客一、技术选型：极简主义开发栈二、系统架构设计三、核心代码实现（分步解析
阅读更多...
C++ Sort函数使用场景分析

C++ Sort函数使用场景分析

《C++Sort函数使用场景分析》sort函数是algorithm库下的一个函数,sort函数是不稳定的,即大小相同的元素在排序后相对顺序可能发生改变,如果某些场景需要保持相同元素间的相对顺序,可使... 目录C++ Sort函数详解一、sort函数调用的两种方式二、sort函数使用场景三、sort函数排序
阅读更多...
Java调用C++动态库超详细步骤讲解(附源码)

Java调用C++动态库超详细步骤讲解(附源码)

《Java调用C++动态库超详细步骤讲解(附源码)》C语言因其高效和接近硬件的特性,时常会被用在性能要求较高或者需要直接操作硬件的场合,：本文主要介绍Java调用C++动态库的相关资料,文中通过代... 目录一、直接调用C++库第一步：动态库生成（vs2017+qt5.12.10）第二步：Java调用C++
阅读更多...
Linux中的计划任务(crontab)使用方式

Linux中的计划任务(crontab)使用方式

《Linux中的计划任务(crontab)使用方式》：本文主要介绍Linux中的计划任务(crontab)使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、前言1、linux的起源与发展2、什么是计划任务（crontab）二、crontab基础1、cro
阅读更多...
kotlin中const 和val的区别及使用场景分析

kotlin中const 和val的区别及使用场景分析

《kotlin中const和val的区别及使用场景分析》在Kotlin中,const和val都是用来声明常量的,但它们的使用场景和功能有所不同,下面给大家介绍kotlin中const和val的区别,... 目录kotlin中const 和val的区别1. val:2. const:二 代码示例1 Java
阅读更多...
Linux换行符的使用方法详解

Linux换行符的使用方法详解

《Linux换行符的使用方法详解》本文介绍了Linux中常用的换行符LF及其在文件中的表示,展示了如何使用sed命令替换换行符,并列举了与换行符处理相关的Linux命令,通过代码讲解的非常详细,需要的... 目录简介检测文件中的换行符使用 cat -A 查看换行符使用 od -c 检查字符换行符格式转换将
阅读更多...
Go标准库常见错误分析和解决办法

Go标准库常见错误分析和解决办法

《Go标准库常见错误分析和解决办法》Go语言的标准库为开发者提供了丰富且高效的工具,涵盖了从网络编程到文件操作等各个方面,然而,标准库虽好,使用不当却可能适得其反,正所谓工欲善其事,必先利其器,本文将... 目录1. 使用了错误的time.Duration2. time.After导致的内存泄漏3. jsO
阅读更多...
Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整
阅读更多...
Linux系统配置NAT网络模式的详细步骤(附图文)

Linux系统配置NAT网络模式的详细步骤(附图文)

《Linux系统配置NAT网络模式的详细步骤(附图文)》本文详细指导如何在VMware环境下配置NAT网络模式,包括设置主机和虚拟机的IP地址、网关,以及针对Linux和Windows系统的具体步骤,... 目录一、配置NAT网络模式二、设置虚拟机交换机网关2.1 打开虚拟机2.2 管理员授权2.3 设置子
阅读更多...
Linux系统中卸载与安装JDK的详细教程

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2