[linux][内存] 实例观察 linux 内存懒加载 和 写时拷贝

2024-03-12 12:28
文章标签 linux 加载 内存 实例 拷贝 观察 写时

本文主要是介绍[linux][内存] 实例观察 linux 内存懒加载 和 写时拷贝，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 内存懒加载

linux 中写应用程序的时候，使用 malloc() 申请的内存，比如使用  malloc() 申请了 1MB 的内存，系统是立即分配了内存吗 ？

不是立即分配，而是懒加载。linux 中用户态的内存是懒加载的，不是申请之后就立即分配，而是在第一次访问的时候才会分配。

懒加载的优点：

（1）避免内存资源浪费，如果应用申请了内存但是一直没有使用，如果内存是立即分配的话就会导致很多内存资源浪费。懒加载类似于单例设计模式中的懒汉式。

（2）减少初始化开销，提升应用启动速度。在进程启动的时候，不需要立即给所有的虚拟内存分配物理内存，这样可以减少初始化开销。

懒加载缺点：

如果应用访问内存的时候，内存有已经加载的，有没加载的，那么两种情况下访问内存所消耗的时间就是不确定的。懒加载影响程序运行的确定性。

2 /proc/self/pagemap

通过 /proc/self/pagemap 可以将虚拟地址转化为物理地址。这个文件只能进程本身才有权限访问。关于 /proc/self/pagemap 的介绍在如下文件中。

Documentation/admin-guide/mm/pagemap.rst

从介绍中可以看出来，文件中的每一项是一个 8 字节的数据。bit63 用来表示虚拟内存有没有分配物理内存，bit 0-54 用来表示物理内存页号。

 * ``/proc/pid/pagemap``.  This file lets a userspace process find out which

   physical frame each virtual page is mapped to.  It contains one 64-bit

   value for each virtual page, containing the following data (from

   ``fs/proc/task_mmu.c``, above pagemap_read):

    * Bits 0-54  page frame number (PFN) if present

    * Bits 0-4   swap type if swapped

    * Bits 5-54  swap offset if swapped

    * Bit  55    pte is soft-dirty (see

      :ref:`Documentation/admin-guide/mm/soft-dirty.rst <soft_dirty>`)

    * Bit  56    page exclusively mapped (since 4.2)

    * Bits 57-60 zero

    * Bit  61    page is file-page or shared-anon (since 3.5)

    * Bit  62    page swapped

    * Bit  63    page present

如下代码，可以获取虚拟地址对应的物理地址。

#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdint.h>unsigned long GetPhysicalAddrOfVirtual(unsigned long virtual_addr) {int page_size = getpagesize(); // 页大小，一般是 4KBunsigned long virtual_page_index = virtual_addr / page_size; // 虚拟地址页编号unsigned long page_offset = virtual_addr % page_size; // 虚拟地址页内偏移unsigned long virtual_offset = virtual_page_index * sizeof(uint64_t); // 虚拟地址在 pagemap 中对应的表项uint64_t entry = 0;int fd = open("/proc/self/pagemap", O_RDONLY); // 打开文件if (fd < 0) {perror("open /proc/self/pagemap failed: ");return 0;}if (lseek(fd, virtual_offset, SEEK_SET) < 0) { // 定位到虚拟地址对应的页表项perror("seek error: ");return 0;}if (read(fd, &entry, sizeof(uint64_t)) != sizeof(uint64_t)) {perror("read entry error: ");return 0;}if ((((uint64_t)1 << 63) & entry) == 0){ // 使用 bit 63 来判断物理页是否存在printf("page is not present\n");return 0;}uint64_t phy_page_index = (((uint64_t)1 << 55) - 1) & entry; // 获取物理页编号unsigned long physical_addr = (phy_page_index * page_size) + page_offset; // 获取物理地址return physical_addr;
}int main() {char *p = (char *)malloc(4096);p[0] = 1;p[2000] = 1;printf("virtual addr = %p, physical addr = %p\n", p, (void *)GetPhysicalAddrOfVirtual((unsigned long)(void *)p));return 0;
}

3 内存懒加载代码

 如下是示例代码，代码中的变量有两个，一个是申请内存的方式，包括 malloc()，mmap() 匿名映射，mmap() 基于 fd 映射，这 3 中申请内存的方式；一个是内存访问的方式，一个是读，一个是写。

从实验结果可以得出如下两点：

（1）malloc，mmap 匿名映射，mmap fd 映射，这 3 种方式申请的内存都是懒加载方式，因为在访问之前获取物理是否存在，是不存在的。

（2）内存读和写两种操作都会使得给虚拟内存分配物理页，因为内存访问之后获取物理页是否存在，是存在的。

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdint.h>
#include <sys/mman.h>int PhysicalPageExist(unsigned long virtual_addr)
{int page_size = getpagesize();unsigned long virtual_page_index = virtual_addr / page_size;unsigned long page_offset = virtual_addr % page_size;unsigned long virtual_offset = virtual_page_index * sizeof(uint64_t);uint64_t entry = 0;int fd = open("/proc/self/pagemap", O_RDONLY);if (fd < 0) {perror("open /proc/self/pagemap failed: ");return 0;}if (lseek(fd, virtual_offset, SEEK_SET) < 0) {perror("seek error: ");return 0;}if (read(fd, &entry, sizeof(uint64_t)) != sizeof(uint64_t)) {perror("read entry error: ");return 0;}if ((((uint64_t)1 << 63) & entry) == 0){printf("page is not present\n");return 0;}return 1;
}char *MmapFd() {const char *file_name = "mfile";int fd = open(file_name, O_RDWR | O_CREAT);if (fd == -1) { perror("open");return NULL;}ftruncate(fd, 1024 * 1024);void *p = mmap(NULL, 1024 * 4096, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);if (p == MAP_FAILED) {perror("mmap");close(fd);return NULL;;}close(fd);return (char *)p;
}char *MmapAnon() {size_t size = 1024 * 1024;void *p = mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_ANONYMOUS | MAP_SHARED, -1, 0);if (p == MAP_FAILED) {perror("mmap");return NULL;}return (char *)p;
}char *Malloc() {return (char *)malloc(1024 * 1024);
}int main() {// char *p = Malloc();// char *p = MmapAnon();char *p = MmapFd();if (p == NULL) {printf("malloc memory failed");return 0;}for (int i = 0; i < 256; i++) {printf("before write, memory %p loaded %d\n", p + i * 4096, PhysicalPageExist((unsigned long)(void *)(p + i * 4096)));}for (int i = 0; i < 256; i++) {// p[i * 4096] = 100;printf("p[%d * 4096] = %d\n", i, p[i * 4096]);}for (int i = 0; i < 256; i++) {printf("after write, memory %p loaded %d\n", p + i * 4096, PhysicalPageExist((unsigned long)(void *)(p + i * 4096)));}return 0;
}

4 写时拷贝代码

写时拷贝发生在 fork() 的时候，fork() 创建的子进程和父进程共享内存资源，当子进程写的时候，才会给子进程分配新的内存。

如下是写时拷贝的验证代码，从代码运行结果，可以得出如下三点：

（1）fork() 之后，内存写之前，子进程和父进程的内存是共享的。写之前，在父子进程中分别打印出 g_data 的物理地址是相同的，可以证明这点。

（2）父进程写的话，父进程的内存是新分配的，原来的内存给子进程用；子进程写的话，子进程的内存是新分配的，原来的内存给父进程使用。并不是只有子进程写的时候，才会分配内存。

（3）写时拷贝，只有写的时候才会分配新的内存，读的时候不会分配新内存。这点和上节说的内存懒加载的规律是不一样的。

#include <stdlib.h>
#include <stdio.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdint.h>unsigned long GetPhysicalAddrOfVirtual(unsigned long virtual_addr) {int page_size = getpagesize(); // 页大小，一般是 4KBunsigned long virtual_page_index = virtual_addr / page_size; // 虚拟地址页编号unsigned long page_offset = virtual_addr % page_size; // 虚拟地址页内偏移unsigned long virtual_offset = virtual_page_index * sizeof(uint64_t); // 虚拟地址在 pagemap 中对应的表项uint64_t entry = 0;int fd = open("/proc/self/pagemap", O_RDONLY); // 打开文件if (fd < 0) {perror("open /proc/self/pagemap failed: ");return 0;}if (lseek(fd, virtual_offset, SEEK_SET) < 0) { // 定位到虚拟地址对应的页表项perror("seek error: ");return 0;}if (read(fd, &entry, sizeof(uint64_t)) != sizeof(uint64_t)) {perror("read entry error: ");return 0;}if ((((uint64_t)1 << 63) & entry) == 0){ // 使用 bit 63 来判断物理页是否存在printf("page is not present\n");return 0;}uint64_t phy_page_index = (((uint64_t)1 << 55) - 1) & entry; // 获取物理页编号unsigned long physical_addr = (phy_page_index * page_size) + page_offset; // 获取物理地址return physical_addr;
}int g_data = 10;
int main() {printf("pid = %d, g_data = %d, g_data vaddr = %p, g_data paddr = %p\n",getpid(), g_data, &g_data, GetPhysicalAddrOfVirtual(&g_data));pid_t pid = fork();if (pid == 0) {printf("1, child process pid = %d, g_data = %d, g_data vaddr = %p, g_data paddr = %p\n",getpid(), g_data, &g_data, GetPhysicalAddrOfVirtual(&g_data));// 子进程修改，父进程 sleep 2s 之后再读取// sleep(1);// g_data = 20;// 父进程修改，子进程 sleep 2s 之后再读取sleep(2);printf("2, child process pid = %d, g_data = %d, g_data vaddr = %p, g_data paddr = %p\n",getpid(), g_data, &g_data, GetPhysicalAddrOfVirtual(&g_data));} else if (pid > 0) {printf("1, parent process pid = %d, g_data = %d, g_data vaddr = %p, g_data paddr = %p\n",getpid(), g_data, &g_data, GetPhysicalAddrOfVirtual(&g_data));sleep(1);g_data = 20; // 写// printf("read g_data = %d\n", g_data); // 读// sleep(2);printf("2, parent process pid = %d, g_data = %d, g_data vaddr = %p, g_data paddr = %p\n",getpid(), g_data, &g_data, GetPhysicalAddrOfVirtual(&g_data));} else {printf("fork error\n");}return 0;
}

这篇关于[linux][内存] 实例观察 linux 内存懒加载 和 写时拷贝的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/801248。

相关文章

Linux使用nload监控网络流量的方法

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个
阅读更多...
ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法

《ElasticSearch+Kibana通过Docker部署到Linux服务器中操作方法》本文介绍了Elasticsearch的基本概念,包括文档和字段、索引和映射,还详细描述了如何通过Docker... 目录1、ElasticSearch概念2、ElasticSearch、Kibana和IK分词器部署
阅读更多...
Linux流媒体服务器部署流程

Linux流媒体服务器部署流程

《Linux流媒体服务器部署流程》文章详细介绍了流媒体服务器的部署步骤,包括更新系统、安装依赖组件、编译安装Nginx和RTMP模块、配置Nginx和FFmpeg,以及测试流媒体服务器的搭建... 目录流媒体服务器部署部署安装1.更新系统2.安装依赖组件3.解压4.编译安装（添加RTMP和openssl模块
阅读更多...
linux下多个硬盘划分到同一挂载点问题

linux下多个硬盘划分到同一挂载点问题

《linux下多个硬盘划分到同一挂载点问题》在Linux系统中,将多个硬盘划分到同一挂载点需要通过逻辑卷管理（LVM）来实现,首先,需要将物理存储设备（如硬盘分区）创建为物理卷,然后,将这些物理卷组成... 目录linux下多个硬盘划分到同一挂载点需要明确的几个概念硬盘插上默认的是非lvm总结Linux下多
阅读更多...
前端原生js实现拖拽排课效果实例

前端原生js实现拖拽排课效果实例

《前端原生js实现拖拽排课效果实例》：本文主要介绍如何实现一个简单的课程表拖拽功能,通过HTML、CSS和JavaScript的配合,我们实现了课程项的拖拽、放置和显示功能,文中通过实例代码介绍的... 目录1. 效果展示2. 效果分析2.1 关键点2.2 实现方法3. 代码实现3.1 html部分3.2
阅读更多...
golang内存对齐的项目实践

golang内存对齐的项目实践

《golang内存对齐的项目实践》本文主要介绍了golang内存对齐的项目实践,内存对齐不仅有助于提高内存访问效率,还确保了与硬件接口的兼容性,是Go语言编程中不可忽视的重要优化手段,下面就来介绍一下... 目录一、结构体中的字段顺序与内存对齐二、内存对齐的原理与规则三、调整结构体字段顺序优化内存对齐四、内
阅读更多...
关于Spring @Bean 相同加载顺序不同结果不同的问题记录

关于Spring @Bean 相同加载顺序不同结果不同的问题记录

《关于Spring@Bean相同加载顺序不同结果不同的问题记录》本文主要探讨了在Spring5.1.3.RELEASE版本下,当有两个全注解类定义相同类型的Bean时,由于加载顺序不同,最终生成的... 目录问题说明测试输出1测试输出2@Bean注解的BeanDefiChina编程nition加入时机总结问题说明
阅读更多...
linux进程D状态的解决思路分享

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态（D状态）,这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.
阅读更多...
Linux环境变量&&进程地址空间详解

Linux环境变量&&进程地址空间详解

《Linux环境变量&&进程地址空间详解》本文介绍了Linux环境变量、命令行参数、进程地址空间以及Linux内核进程调度队列的相关知识,环境变量是系统运行环境的参数,命令行参数用于传递给程序的参数,... 目录一、初步认识环境变量1.1常见的环境变量1.2环境变量的基本概念二、命令行参数2.1通过命令编程
阅读更多...
Linux之进程状态&&进程优先级详解

Linux之进程状态&&进程优先级详解

《Linux之进程状态&&进程优先级详解》文章介绍了操作系统中进程的状态,包括运行状态、阻塞状态和挂起状态,并详细解释了Linux下进程的具体状态及其管理,此外,文章还讨论了进程的优先级、查看和修改进... 目录一、操作系统的进程状态1.1运行状态1.2阻塞状态1.3挂起二、linux下具体的状态三、进程的
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2