jemalloc原理概览

2023-10-13 07:08
文章标签 原理 概览 jemalloc

本文主要是介绍jemalloc原理概览,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

jemalloc在linux的世界里声名鹊起,并被移植到多个平台。后起之秀的tcmalloc性能与之相近,虽有谷歌这个牛爹,但因jemalloc专美在前,tcmalloc的使用范围还是略逊一筹。网络上关于jemalloc的各种解读很多,不再一一赘述,这里 挑一些关键点来分析。

一、地址访问
malloc和free的第一个参数都是内存地址,如何快速定位到该地址所属的内存块基址呢,在高频内存分配中,这是第一 要务。jemalloc使用一个简单的技巧,chunk = addr & (~chunksize_mask) ,确保寻址O(1)就能完成。在这个公式中,有一个很隐晦的前提是,chunk的地址,必须能够满足类似0xaabb0000这样格式,其尾部0的数量要大于等于chunksize_mask的F的数量。
jemalloc在分配时,会做这样的尝试,alloc_size = size + aligment - PAGE_SIZE,然后去掉头部,保证chunk地址满足这样的条件。如果不能,则将多余的内存地址还给系统。

二、内存页管理
小对象可以用技巧映射到chunk,对于chunk寻址就没有办法用上面这招了。jemalloc用三层基数树,所以查找效率还是相当高的,只是增删除改查时,需要加锁。加锁会影响效率,当因为次数比较少,倒不会有太大的影响。需要注意的是,jemalloc的这个全局基数树的节点在分配之后,是不释放的,直到最终进程退出。jemalloc从系统中,每次都是以4M为基准申请的。

三、长度对齐
在实际场景中,请求分配字节大小是随机的,如果按照真实大小分配,容易引起内存页缺失中断,因此需要字节对齐。在jemalloc中,并不是固定字节对齐,而是按照如下表的逻辑:
序号
大小区间
字节对齐
0
[0--16]
8
1
(16 , 128]
16
2
(128 , 256]
32
3
(256 , 512]
64

四、线程竞争
在内存分配过程中,锁会造成线程等待,对性能影响巨大。jemalloc采用了两种措施避免线程竞争锁的发生,
1、使用线程变量,每个线程有自己的内存管理器,分配在这个线程内完成,就不需要和其他线程竞争。
2、竞技场,分配一个数组,每个线程通过线程号的映射,对应到一个数组元素中。这样,多个线程竞争一个元素的概率就下降。
有点令人诧异的是,jemalloc使用原子操作基本没有,锁都是用粒度较大的mutex。只有需要较长等待时,比如陷入系统时才有必要用这种粗粒度的锁。和竞技场相关的资料颇多,可以在网上找找。

五、分配流程
我们假设一个应用场景,要分配一个大小为SIZE的内存块,那么流程如下:
1、选定一个arena或者tcache。
2、计算对应的对齐长度,见第三节,根据对齐长度,计算出arena中bins的下标。
3、在一个bins中,如果runccur可用,则在runcur中分配,否则从runs中选择一个。
4、从选定的run中,计算bitmap,得到空闲的region,后返回。



这篇关于jemalloc原理概览的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/201558

相关文章

Spring Cloud Hystrix原理与注意事项小结

《SpringCloudHystrix原理与注意事项小结》本文介绍了Hystrix的基本概念、工作原理以及其在实际开发中的应用方式,通过对Hystrix的深入学习,开发者可以在分布式系统中实现精细... 目录一、Spring Cloud Hystrix概述和设计目标(一)Spring Cloud Hystr

MySQL中的MVCC底层原理解读

《MySQL中的MVCC底层原理解读》本文详细介绍了MySQL中的多版本并发控制(MVCC)机制,包括版本链、ReadView以及在不同事务隔离级别下MVCC的工作原理,通过一个具体的示例演示了在可重... 目录简介ReadView版本链演示过程总结简介MVCC(Multi-Version Concurr

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

SpringCloud配置动态更新原理解析

《SpringCloud配置动态更新原理解析》在微服务架构的浩瀚星海中,服务配置的动态更新如同魔法一般,能够让应用在不重启的情况下,实时响应配置的变更,SpringCloud作为微服务架构中的佼佼者,... 目录一、SpringBoot、Cloud配置的读取二、SpringCloud配置动态刷新三、更新@R

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

深入探索协同过滤:从原理到推荐模块案例

文章目录 前言一、协同过滤1. 基于用户的协同过滤(UserCF)2. 基于物品的协同过滤(ItemCF)3. 相似度计算方法 二、相似度计算方法1. 欧氏距离2. 皮尔逊相关系数3. 杰卡德相似系数4. 余弦相似度 三、推荐模块案例1.基于文章的协同过滤推荐功能2.基于用户的协同过滤推荐功能 前言     在信息过载的时代,推荐系统成为连接用户与内容的桥梁。本文聚焦于

hdu4407(容斥原理)

题意:给一串数字1,2,......n,两个操作:1、修改第k个数字,2、查询区间[l,r]中与n互质的数之和。 解题思路:咱一看,像线段树,但是如果用线段树做,那么每个区间一定要记录所有的素因子,这样会超内存。然后我就做不来了。后来看了题解,原来是用容斥原理来做的。还记得这道题目吗?求区间[1,r]中与p互质的数的个数,如果不会的话就先去做那题吧。现在这题是求区间[l,r]中与n互质的数的和

hdu4407容斥原理

题意: 有一个元素为 1~n 的数列{An},有2种操作(1000次): 1、求某段区间 [a,b] 中与 p 互质的数的和。 2、将数列中某个位置元素的值改变。 import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.Inpu

hdu4059容斥原理

求1-n中与n互质的数的4次方之和 import java.io.BufferedInputStream;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.PrintWrit