jemalloc原理概览

2023-10-13 07:08
文章标签 原理 概览 jemalloc

本文主要是介绍jemalloc原理概览,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

jemalloc在linux的世界里声名鹊起,并被移植到多个平台。后起之秀的tcmalloc性能与之相近,虽有谷歌这个牛爹,但因jemalloc专美在前,tcmalloc的使用范围还是略逊一筹。网络上关于jemalloc的各种解读很多,不再一一赘述,这里 挑一些关键点来分析。

一、地址访问
malloc和free的第一个参数都是内存地址,如何快速定位到该地址所属的内存块基址呢,在高频内存分配中,这是第一 要务。jemalloc使用一个简单的技巧,chunk = addr & (~chunksize_mask) ,确保寻址O(1)就能完成。在这个公式中,有一个很隐晦的前提是,chunk的地址,必须能够满足类似0xaabb0000这样格式,其尾部0的数量要大于等于chunksize_mask的F的数量。
jemalloc在分配时,会做这样的尝试,alloc_size = size + aligment - PAGE_SIZE,然后去掉头部,保证chunk地址满足这样的条件。如果不能,则将多余的内存地址还给系统。

二、内存页管理
小对象可以用技巧映射到chunk,对于chunk寻址就没有办法用上面这招了。jemalloc用三层基数树,所以查找效率还是相当高的,只是增删除改查时,需要加锁。加锁会影响效率,当因为次数比较少,倒不会有太大的影响。需要注意的是,jemalloc的这个全局基数树的节点在分配之后,是不释放的,直到最终进程退出。jemalloc从系统中,每次都是以4M为基准申请的。

三、长度对齐
在实际场景中,请求分配字节大小是随机的,如果按照真实大小分配,容易引起内存页缺失中断,因此需要字节对齐。在jemalloc中,并不是固定字节对齐,而是按照如下表的逻辑:
序号
大小区间
字节对齐
0
[0--16]
8
1
(16 , 128]
16
2
(128 , 256]
32
3
(256 , 512]
64

四、线程竞争
在内存分配过程中,锁会造成线程等待,对性能影响巨大。jemalloc采用了两种措施避免线程竞争锁的发生,
1、使用线程变量,每个线程有自己的内存管理器,分配在这个线程内完成,就不需要和其他线程竞争。
2、竞技场,分配一个数组,每个线程通过线程号的映射,对应到一个数组元素中。这样,多个线程竞争一个元素的概率就下降。
有点令人诧异的是,jemalloc使用原子操作基本没有,锁都是用粒度较大的mutex。只有需要较长等待时,比如陷入系统时才有必要用这种粗粒度的锁。和竞技场相关的资料颇多,可以在网上找找。

五、分配流程
我们假设一个应用场景,要分配一个大小为SIZE的内存块,那么流程如下:
1、选定一个arena或者tcache。
2、计算对应的对齐长度,见第三节,根据对齐长度,计算出arena中bins的下标。
3、在一个bins中,如果runccur可用,则在runcur中分配,否则从runs中选择一个。
4、从选定的run中,计算bitmap,得到空闲的region,后返回。



这篇关于jemalloc原理概览的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/201558

相关文章

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

深度解析Python中递归下降解析器的原理与实现

《深度解析Python中递归下降解析器的原理与实现》在编译器设计、配置文件处理和数据转换领域,递归下降解析器是最常用且最直观的解析技术,本文将详细介绍递归下降解析器的原理与实现,感兴趣的小伙伴可以跟随... 目录引言:解析器的核心价值一、递归下降解析器基础1.1 核心概念解析1.2 基本架构二、简单算术表达

深入浅出Spring中的@Autowired自动注入的工作原理及实践应用

《深入浅出Spring中的@Autowired自动注入的工作原理及实践应用》在Spring框架的学习旅程中,@Autowired无疑是一个高频出现却又让初学者头疼的注解,它看似简单,却蕴含着Sprin... 目录深入浅出Spring中的@Autowired:自动注入的奥秘什么是依赖注入?@Autowired

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Python中的filter() 函数的工作原理及应用技巧

《Python中的filter()函数的工作原理及应用技巧》Python的filter()函数用于筛选序列元素,返回迭代器,适合函数式编程,相比列表推导式,内存更优,尤其适用于大数据集,结合lamb... 目录前言一、基本概念基本语法二、使用方式1. 使用 lambda 函数2. 使用普通函数3. 使用 N

MyBatis-Plus 与 Spring Boot 集成原理实战示例

《MyBatis-Plus与SpringBoot集成原理实战示例》MyBatis-Plus通过自动配置与核心组件集成SpringBoot实现零配置,提供分页、逻辑删除等插件化功能,增强MyBa... 目录 一、MyBATis-Plus 简介 二、集成方式(Spring Boot)1. 引入依赖 三、核心机制

redis和redission分布式锁原理及区别说明

《redis和redission分布式锁原理及区别说明》文章对比了synchronized、乐观锁、Redis分布式锁及Redission锁的原理与区别,指出在集群环境下synchronized失效,... 目录Redis和redission分布式锁原理及区别1、有的同伴想到了synchronized关键字

Linux中的HTTPS协议原理分析

《Linux中的HTTPS协议原理分析》文章解释了HTTPS的必要性:HTTP明文传输易被篡改和劫持,HTTPS通过非对称加密协商对称密钥、CA证书认证和混合加密机制,有效防范中间人攻击,保障通信安全... 目录一、什么是加密和解密?二、为什么需要加密?三、常见的加密方式3.1 对称加密3.2非对称加密四、

setsid 命令工作原理和使用案例介绍

《setsid命令工作原理和使用案例介绍》setsid命令在Linux中创建独立会话,使进程脱离终端运行,适用于守护进程和后台任务,通过重定向输出和确保权限,可有效管理长时间运行的进程,本文给大家介... 目录setsid 命令介绍和使用案例基本介绍基本语法主要特点命令参数使用案例1. 在后台运行命令2.

Spring Security 单点登录与自动登录机制的实现原理

《SpringSecurity单点登录与自动登录机制的实现原理》本文探讨SpringSecurity实现单点登录(SSO)与自动登录机制,涵盖JWT跨系统认证、RememberMe持久化Token... 目录一、核心概念解析1.1 单点登录(SSO)1.2 自动登录(Remember Me)二、代码分析三、