JVM常用概念之透明大页面(Huge Transparent Pages,HTP)

2024-06-03 03:04

本文主要是介绍JVM常用概念之透明大页面(Huge Transparent Pages,HTP),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.页面和物理块

分页存储管理是将一个进程的逻辑地址空间分成若干个大小相等的片,称为页面或页,并为各页加以编号,从0开始,如第0页、第1页等。相应地,也把内存空间分成与页面相同大小的若干个存储块,称为(物理)块或页框(frame),也同样为它们加以编号,如0#块、1#块等等。在为进程分配内存时,以块为单位将进程中的若干个页分别装入到多个可以不相邻接的物理块中。由于进程的最后一页经常装不满一块而形成了不可利用的碎片,称之为“页内碎片”。

在分页存储管理系统中的页面其大小应适中。页面若太小,一方面虽然可使内存碎片减小,从而减少了内存碎片的总空间,有利于提高内存利用率,但另一方面也会使每个进程占用较多的页面,从而导致进程的页表过长,占用大量内存;此外,还会降低页面换进换出的效率。然而,如果选择的页面较大,虽然可以减少页表的长度,提高页面换进换出的速度,但却又会使页内碎片增大。因此,页面的大小应选择得适中,且页面大小应是2的幂,通常为512 B~8 KB。

2.页表

在现有的大部分编程模式中,每个进程都有自己的虚拟地址空间,但是该虚拟地址空间最终还是需要映射到实际的物理内存地址上,这种管理虚拟地址和物理地址映射关系的数据是由页表来维护的。

3.如何加快虚拟地址和物理地址的转换?

当程序访问对应进程的虚拟地址时,硬件通过页表执行“页表遍历”来转换地址。当转换以页面粒度进行维护时,整个过程会变得更容易。但它仍然不是很便宜,而且每次访问内存时都需要这样做!因此,还有一个小的缓存,用于存储最新的转换,这就是转译后备缓冲器(Translation Lookaside Buffer,TLB)。TLB 通常非常小,少于 100 个条目,因为它至少需要与 L1 缓存一样快,甚至更快。对于许多工作负载,TLB 未命中和相关的页表遍历需要花费大量时间。

4.如何解决缓存未命中场景下效率低的问题?

既然我们无法将转译后备缓冲器(Translation Lookaside Buffer,TLB) 做得更大,我们可以做其他事情:制作更大的页面!大多数硬件都有 4K 基本页面和 2M/4M/1G“大页面(Huge Pages,HP)”。使用更大的页面来覆盖同一区域也会使页表本身更小,从而降低页表遍历的成本。

5.实现大页面(Huge Pages,HP)的方法

5.1.hugetlbfs。

具体方法为切出系统内存的一部分,将其公开为虚拟文件系统,并让应用程序mmap(2)使用它。这是一个特殊的接口,需要操作系统配置和应用程序更改才能使用。这也是“全有或全无”的交易:分配给 hugetlbfs(持久部分)的空间不能由常规进程使用。

5.2.透明大页面 (Huge Transparent Pages)。

让应用程序照常分配内存,但尝试向应用程序透明地提供大页面支持的存储。理想情况下,不需要对应用程序进行任何更改,但我们将看到应用程序如何从了解 THP 可用中受益。但在实践中,存在内存开销(因为您将为小东西分配整个大页面)或时间开销(因为有时 THP 需要对内存进行碎片整理以分配页面)。好的部分是有一个中间立场:madvise(2)让应用程序告诉 Linux 在哪里使用 THP。

6.相关JVM参数

  • -XX:+UseHugeTLBFS将 Java 堆映射到 hugetlbfs 中,这应该单独准备。

  • -XX:+UseTransparentHugePages只需madvise-s 即可让 Java 堆使用 THP。这是一个方便的选项,因为我们知道 Java 堆很大,大部分是连续的,并且可能从大页面中受益最多。

  • -XX:+UseLargePages是一个通用的快捷方式,可以启用任何可用的功能。在 Linux 上,它启用 hugetlbfs,而不是 THP。我猜这是出于历史原因,因为 hugetlbfs 先出现。

7.应用场景

当应用程序有大量数据和大堆时,具体如例如大规模数据库、内存缓存、科学计算等。

这篇关于JVM常用概念之透明大页面(Huge Transparent Pages,HTP)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1025851

相关文章

Java堆转储文件之1.6G大文件处理完整指南

《Java堆转储文件之1.6G大文件处理完整指南》堆转储文件是优化、分析内存消耗的重要工具,:本文主要介绍Java堆转储文件之1.6G大文件处理的相关资料,文中通过代码介绍的非常详细,需要的朋友可... 目录前言文件为什么这么大?如何处理这个文件?分析文件内容(推荐)删除文件(如果不需要)查看错误来源如何避

SpringBoot整合Dubbo+ZK注册失败的坑及解决

《SpringBoot整合Dubbo+ZK注册失败的坑及解决》使用Dubbo框架时,需在公共pom添加依赖,启动类加@EnableDubbo,实现类用@DubboService替代@Service,配... 目录1.先看下公共的pom(maven创建的pom工程)2.启动类上加@EnableDubbo3.实

SpringBoot整合(ES)ElasticSearch7.8实践

《SpringBoot整合(ES)ElasticSearch7.8实践》本文详细介绍了SpringBoot整合ElasticSearch7.8的教程,涵盖依赖添加、客户端初始化、索引创建与获取、批量插... 目录SpringBoot整合ElasticSearch7.8添加依赖初始化创建SpringBoot项

JAVA覆盖和重写的区别及说明

《JAVA覆盖和重写的区别及说明》非静态方法的覆盖即重写,具有多态性;静态方法无法被覆盖,但可被重写(仅通过类名调用),二者区别在于绑定时机与引用类型关联性... 目录Java覆盖和重写的区别经常听到两种话认真读完上面两份代码JAVA覆盖和重写的区别经常听到两种话1.覆盖=重写。2.静态方法可andro

SpringBoot中六种批量更新Mysql的方式效率对比分析

《SpringBoot中六种批量更新Mysql的方式效率对比分析》文章比较了MySQL大数据量批量更新的多种方法,指出REPLACEINTO和ONDUPLICATEKEY效率最高但存在数据风险,MyB... 目录效率比较测试结构数据库初始化测试数据批量修改方案第一种 for第二种 case when第三种

Java docx4j高效处理Word文档的实战指南

《Javadocx4j高效处理Word文档的实战指南》对于需要在Java应用程序中生成、修改或处理Word文档的开发者来说,docx4j是一个强大而专业的选择,下面我们就来看看docx4j的具体使用... 目录引言一、环境准备与基础配置1.1 Maven依赖配置1.2 初始化测试类二、增强版文档操作示例2.

一文详解如何使用Java获取PDF页面信息

《一文详解如何使用Java获取PDF页面信息》了解PDF页面属性是我们在处理文档、内容提取、打印设置或页面重组等任务时不可或缺的一环,下面我们就来看看如何使用Java语言获取这些信息吧... 目录引言一、安装和引入PDF处理库引入依赖二、获取 PDF 页数三、获取页面尺寸(宽高)四、获取页面旋转角度五、判断

Spring Boot中的路径变量示例详解

《SpringBoot中的路径变量示例详解》SpringBoot中PathVariable通过@PathVariable注解实现URL参数与方法参数绑定,支持多参数接收、类型转换、可选参数、默认值及... 目录一. 基本用法与参数映射1.路径定义2.参数绑定&nhttp://www.chinasem.cnbs

JAVA中安装多个JDK的方法

《JAVA中安装多个JDK的方法》文章介绍了在Windows系统上安装多个JDK版本的方法,包括下载、安装路径修改、环境变量配置(JAVA_HOME和Path),并说明如何通过调整JAVA_HOME在... 首先去oracle官网下载好两个版本不同的jdk(需要登录Oracle账号,没有可以免费注册)下载完

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命