Linux hugepage如何配置和使用

2023-10-07 07:38
文章标签 配置 linux 使用 hugepage

本文主要是介绍Linux hugepage如何配置和使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

为什么要使用hugepage

hugepage也就是所谓的大页,为什么要使用它,自然是有它的一些优势,比如它所占用的page table entry较少,从而提高了页面查找的效率,tlb命中率也更高。

另外hugepage相当于是预留了一块内存给特定用途使用,是不受系统内存管理子系统的影响,不能被swap出去,从而使用它的性能也就更佳。

cmdline预留内存

hugepage是预留的一部分内存用于大页面使用

hugepagesz=2M hugepages=2048

多余多node的NUMA系统来说,会平均分配大页内存到不同的node上。

动态预留内存

直接写入大页的数量到如下文件节点中,可以在系统启动后预留内存给大页使用:

/sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

除了这个文件节点,还可以自定义在某个node上分配大页:

/sys/devices/system/node/node0/hugepages/hugepages-2048kB
/sys/devices/system/node/node1/hugepages/hugepages-2048kB

如何使用大页

对于预留的大页要如何使用呢?
其实很简单,预留大页成功以后会生成对应的大页设备文件目录,如果没有,那么就挂载hugetlbfs文件系统:

mount -t hugetlbfs nodev /dev/hugepages

挂载完成后,还需要进入其中创建大页,对于大页的时候,应用层都是使用mmap的形式,直接操作大页内存:

numa_set_preferred(node);
fd = open("/dev/hugepages/mypage", O_CREAT | O_RDWR, 0600);
addr = mmap(NULL, size, PROT_READ | PROT_WRITE,MAP_SHARED | MAP_POPULATE, fd, 0);

如果想要在特定的NUMA节点上申请大页,还可以通过设置preferred node来选择申请大页的node节点。这样就会创建完成一个特定size大小的大页内存,后续的操作都可以通过mmap地址进行读写使用。

这篇关于Linux hugepage如何配置和使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/156979

相关文章

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

hadoop开启回收站配置

开启回收站功能,可以将删除的文件在不超时的情况下,恢复原数据,起到防止误删除、备份等作用。 开启回收站功能参数说明 (1)默认值fs.trash.interval = 0,0表示禁用回收站;其他值表示设置文件的存活时间。 (2)默认值fs.trash.checkpoint.interval = 0,检查回收站的间隔时间。如果该值为0,则该值设置和fs.trash.interval的参数值相等。

NameNode内存生产配置

Hadoop2.x 系列,配置 NameNode 内存 NameNode 内存默认 2000m ,如果服务器内存 4G , NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列,配置 Nam

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理,打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip