[用户态内存] 共享内存2---Posix共享内存

2024-05-25 09:48

本文主要是介绍[用户态内存] 共享内存2---Posix共享内存,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1.Posix 共享内存概念
  • 2.Posix 共享内存关键函数
    • 2.1 shm_open()函数
    • 2.2 mmap函数
  • 3.Posix实例
    • 3.1 父子进程间Posix共享内存通信
    • 3.2 非血缘关系进程间Posix共享内存通信

1.Posix 共享内存概念

Posix 表示可移植操作系统接口(Portable Operating System Interface ,缩写为 POSIX ),POSIX标准定义了操作系统应该为应用程序提供的接口标准,是IEEE为要在各种UNIX操作系统上运行的软件而定义的一系列API标准的总称,其正式称呼为IEEE 1003,而国际标准名称为ISO/IEC 9945。

Posix提供了两种在无亲缘关系进程间共享内存区的方法,内存映射文件和共享内存区对象,这两种共享内存的区别在于共享的数据的载体(底层支撑对象)不一样:

  1. 内存映射文件(memory-mapped file),由open函数打开,由mmap函数把所得到的描述符映射到当前进程空间地址中的一个文件。
  2. 共享内存区对象(shared-memory object),由shm_open函数打开一个Posix IPC名字,所返回的描述符由mmap函数映射到当前进程的地址空间

ps:经常说的Posix共享内存,一般是指共享内存区对象,也就是共享物理内存

2.Posix 共享内存关键函数

Posix共享内存区对象主要涉及下面两个步骤:

  1. 指定一个名字参数调用shm_open,以创建一个新的共享内存区对象或打开一个已存在的共享内存区对象。
  2. 调用mmap把这个共享内存区映射到调用进程的地址空间

shm_open利用tmpfs技术将一段物理内存区域模拟成磁盘文件。

2.1 shm_open()函数

shm_open最主要的操作也是默认的操作就是在/dev/shm/下面打开或创建一个共享内存区。

SHM_OPEN(3)                Linux Programmer's Manual               SHM_OPEN(3)
NAMEshm_open,  shm_unlink  -  create/open  or  unlink  POSIX  shared memoryobjects
SYNOPSIS#include <sys/mman.h>#include <sys/stat.h>        /* For mode constants */#include <fcntl.h>           /* For O_* constants */int shm_open(const char *name, int oflag, mode_t mode);Link with -lrt.**参数**:1. name:共享内存区的名字2. oflag:标志位,参数必须含有O_RDONLY和O_RDWR标志,还可以指定如下标志:O_CREAT,O_EXCL或O_TRUNC.3. mode:权限位,它指定O_CREAT标志的前提下使用**返回值:**shm_open的返回值是一个整数描述字,它随后用作mmap的第五个参数。       

相关函数:

  1. int shm_unlink(const char *name);//删除共享内存
  2. int ftruncate(int fd, off_t length);//重置共享内存文件大小

2.2 mmap函数

mmap函数把一个文件或者一个Posix共享内存区对象映射至调用进程的地址空间

MMAP(2)                    Linux Programmer's Manual                   MMAP(2)  NAME  mmap, munmap - map or unmap files or devices into memory  SYNOPSIS  #include <sys/mman.h>  void *mmap(void *addr, size_t length, int prot, int flags,  int fd, off_t offset);  See NOTES for information on feature test macro requirements.**参数**:1. addr:可以指定描述符fd应被映射到进程内空间的起始地址,它通常被指定为一个空指针,这样告诉内核自己去选择起始				地址,无论哪种情况下,该函数的返回值都是描述符fd所映射到内存区的其实地址。这里需要注意的是,文件需要				初始化长度,否则对内存操作时会产生SIGBUS信息(硬件错误)。2. length:映射到调用进程地址空间中字节数,它从被映射文件开头offset个字节出开始算。offset通常设置为03. prot:内存映射区的保护由port参数指定,通常设置为PROT_READ | PROT_WRITE(可读与可写)PORT_READ    -> 可读PORT_WRITE  -> 可写PORT_EXEC    -> 可执行PORT_NONE   -> 数据不可访问4.用于设置内存映射区的数据被修改时,是否改变其底层支撑对象(这里的对象是文件),MAP_SHARED和MAP_PRIVATE必须指定一个。MAP_SHARED  -> 变动是共享的MAP_PRIVATE  -> 变动是私自的MAP_FIXED        -> 准确的解析addr参数
**返回值:**若成功则为被映射区的起始地址,若出错则为MAP_FAILED。 

**相关函数:**munmap:用于释放mmap所映射的内存区域

ps:

  1. mmap成功返回后,fd参数可以关闭。该操作对由于mmap建立的映射关系没有影响。
  2. fd参数对于共享内存文件(tmpfs),用shm_open函数创建或打开文件,fd参数是对于磁盘文件则用open函数打开,通常Posix 共享内存使用的共享区域是内存区域(用tmpfs在内存中模拟文件,/dev/shm)

3.Posix实例

3.1 父子进程间Posix共享内存通信

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <errno.h>
#include <stdlib.h>
#include <string.h>
#include <sys/file.h>
#include <sys/wait.h>#define MAXSIZE 1024*1024*24   /*共享内存的大小,建议设置成内存页的整数倍*/
#define FILENAME "myshm"int main()
{/* 创建共享对象,可以查看/dev/shm目录 */int fd = shm_open(FILENAME, O_CREAT | O_TRUNC | O_RDWR, 0777);if (fd == -1) {perror("open failed:");exit(1);}/* 调整大小 */if (ftruncate(fd, MAXSIZE) == -1) {perror("ftruncate failed:");exit(1);}/* 获取属性 */struct stat buf;if (fstat(fd, &buf) == -1) {perror("fstat failed:");exit(1);}printf("the shm object size is %ld\n", buf.st_size);void *ptr = mmap(0, MAXSIZE, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);if (ptr == MAP_FAILED)error_out("MMAP");close(fd);pid_t pid = fork();if (pid == 0){u_long *d = (u_long *)ptr;*d = 0xdeadbeef;exit(0);}else{int status;waitpid(pid, &status, 0);printf("child wrote %#lx\n", *(u_long *)ptr);}sleep(50);if (munmap(ptr, MAXSIZE) != 0)error_out("munmap");/* 如果引用计数为0,系统释放内存对象 */if (shm_unlink(FILENAME) == -1) {perror("shm_unlink failed:");exit(1);}printf("shm_unlink %s success\n", FILENAME);return 0;
}

程序解析:

  1. 执行shm_open函数创建了共享内存区域,此时会在/dev/shm/创建myshm文件
  2. 通过ftruncate函数改变shm_open创建共享内存的大小,如果不执行ftruncate函数的话,会报Bus error的错误. (其实大小指定成多少都可以,1024也行,2048也行(page size的倍数?),但是一定要用ftruncate来将文件改成指定的大小,后面mmap要用的)
  3. 通过mmap函数将创建的myshm文件映射到内存.
  4. 通过fork派生出子进程,而共享区域映射通过fork调用而被继承.
  5. 程序通过wait系统调用来保持父进程与子进程的同步.
  6. 在非父子进程也可以通过共享内存区域的方式进行通讯.

3.2 非血缘关系进程间Posix共享内存通信

写数据进程:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <errno.h>
#include <stdlib.h>
#include <string.h>#define MAXSIZE 1024*4   /*共享内存的大小,建议设置成内存页的整数倍*/
#define FILENAME "shm.test"int main()
{/* 创建共享对象,可以查看/dev/shm目录 */int fd = shm_open(FILENAME, O_CREAT | O_TRUNC | O_RDWR, 0777);if (fd == -1) {perror("open failed:");exit(1);}/* 调整大小 */if (ftruncate(fd, MAXSIZE) == -1) {perror("ftruncate failed:");exit(1);}/* 获取属性 */struct stat buf;if (fstat(fd, &buf) == -1) {perror("fstat failed:");exit(1);}printf("the shm object size is %ld\n", buf.st_size);/* 建立映射关系 */char *ptr = (char*)mmap(NULL, MAXSIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);if (ptr == MAP_FAILED) {perror("mmap failed:");exit(1);}printf("mmap %s success\n", FILENAME);close(fd); /* 关闭套接字 *//* 写入数据 */char *content = "hello readprocess!!!";strncpy(ptr, content, strlen(content));sleep(30);return 0;
}

读进程:

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <sys/mman.h>
#include <errno.h>
#include <stdlib.h>
#include <string.h>#define FILENAME "shm.test"int main()
{/* 创建共享对象,可以查看/dev/shm目录 */int fd = shm_open(FILENAME, O_RDONLY, 0);if (fd == -1) {perror("open failed:");exit(1);}/* 获取属性 */struct stat buf;if (fstat(fd, &buf) == -1) {perror("fstat failed:");exit(1);}printf("the shm object size is %ld\n", buf.st_size);/* 建立映射关系 */char *ptr = (char*)mmap(NULL, buf.st_size, PROT_READ, MAP_SHARED, fd, 0);if (ptr == MAP_FAILED) {perror("mmap failed:");exit(1);}printf("mmap %s success\n", FILENAME);close(fd); /* 关闭套接字 */printf("the read msg is:%s\n", ptr);sleep(30);return 0;
}

先执行写进程,再执行读进程:读进程就会打印出"the read msg is hello readprocess!!!"

注意上面读写进程是先写后读,因此不用进行进程同步控制,若两进程同步执行需要加一个读写锁或其他方式来进行进程同步控制

这篇关于[用户态内存] 共享内存2---Posix共享内存的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1001161

相关文章

Java内存泄漏问题的排查、优化与最佳实践

《Java内存泄漏问题的排查、优化与最佳实践》在Java开发中,内存泄漏是一个常见且令人头疼的问题,内存泄漏指的是程序在运行过程中,已经不再使用的对象没有被及时释放,从而导致内存占用不断增加,最终... 目录引言1. 什么是内存泄漏?常见的内存泄漏情况2. 如何排查 Java 中的内存泄漏?2.1 使用 J

关于Java内存访问重排序的研究

《关于Java内存访问重排序的研究》文章主要介绍了重排序现象及其在多线程编程中的影响,包括内存可见性问题和Java内存模型中对重排序的规则... 目录什么是重排序重排序图解重排序实验as-if-serial语义内存访问重排序与内存可见性内存访问重排序与Java内存模型重排序示意表内存屏障内存屏障示意表Int

如何测试计算机的内存是否存在问题? 判断电脑内存故障的多种方法

《如何测试计算机的内存是否存在问题?判断电脑内存故障的多种方法》内存是电脑中非常重要的组件之一,如果内存出现故障,可能会导致电脑出现各种问题,如蓝屏、死机、程序崩溃等,如何判断内存是否出现故障呢?下... 如果你的电脑是崩溃、冻结还是不稳定,那么它的内存可能有问题。要进行检查,你可以使用Windows 11

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

【Kubernetes】K8s 的安全框架和用户认证

K8s 的安全框架和用户认证 1.Kubernetes 的安全框架1.1 认证:Authentication1.2 鉴权:Authorization1.3 准入控制:Admission Control 2.Kubernetes 的用户认证2.1 Kubernetes 的用户认证方式2.2 配置 Kubernetes 集群使用密码认证 Kubernetes 作为一个分布式的虚拟

JVM内存调优原则及几种JVM内存调优方法

JVM内存调优原则及几种JVM内存调优方法 1、堆大小设置。 2、回收器选择。   1、在对JVM内存调优的时候不能只看操作系统级别Java进程所占用的内存,这个数值不能准确的反应堆内存的真实占用情况,因为GC过后这个值是不会变化的,因此内存调优的时候要更多地使用JDK提供的内存查看工具,比如JConsole和Java VisualVM。   2、对JVM内存的系统级的调优主要的目的是减少

JVM 常见异常及内存诊断

栈内存溢出 栈内存大小设置:-Xss size 默认除了window以外的所有操作系统默认情况大小为 1MB,window 的默认大小依赖于虚拟机内存。 栈帧过多导致栈内存溢出 下述示例代码,由于递归深度没有限制且没有设置出口,每次方法的调用都会产生一个栈帧导致了创建的栈帧过多,而导致内存溢出(StackOverflowError)。 示例代码: 运行结果: 栈帧过大导致栈内存

理解java虚拟机内存收集

学习《深入理解Java虚拟机》时个人的理解笔记 1、为什么要去了解垃圾收集和内存回收技术? 当需要排查各种内存溢出、内存泄漏问题时,当垃圾收集成为系统达到更高并发量的瓶颈时,我们就必须对这些“自动化”的技术实施必要的监控和调节。 2、“哲学三问”内存收集 what?when?how? 那些内存需要回收?什么时候回收?如何回收? 这是一个整体的问题,确定了什么状态的内存可以

NGINX轻松管理10万长连接 --- 基于2GB内存的CentOS 6.5 x86-64

转自:http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=190176&id=4234854 一 前言 当管理大量连接时,特别是只有少量活跃连接,NGINX有比较好的CPU和RAM利用率,如今是多终端保持在线的时代,更能让NGINX发挥这个优点。本文做一个简单测试,NGINX在一个普通PC虚拟机上维护100k的HTTP

PHP原理之内存管理中难懂的几个点

PHP的内存管理, 分为俩大部分, 第一部分是PHP自身的内存管理, 这部分主要的内容就是引用计数, 写时复制, 等等面向应用的层面的管理. 而第二部分就是今天我要介绍的, zend_alloc中描写的关于PHP自身的内存管理, 包括它是如何管理可用内存, 如何分配内存等. 另外, 为什么要写这个呢, 因为之前并没有任何资料来介绍PHP内存管理中使用的策略, 数据结构, 或者算法. 而在我们