go语言内存分配之TCMalloc

2024-03-13 21:18
文章标签 语言 go 内存 分配 tcmalloc

本文主要是介绍go语言内存分配之TCMalloc，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

tcmalloc

tcmalloc 优点

  • 速度更快，比glicbc 2.3 快
  • 占用更少的内存空间，8倍8-byte的对象内存分配中占用大约8N*1.01byte的头空间，而ptmalloc则会占用16N*byte的头空间

使用

  • 在程序中只需使用“-ltmalloc”连接标识将其链接到程序中

综述

  • TCMalloc为每一个线程分配本地缓存，以满足小对象分配的需求，当需要时候，对象从中央数据结构移动到本地缓存，周期性的垃圾回收则将内存从各个线程的本地缓存收回中央数据结构。
    Cache-Heap
小对象分配
  • 每个小对象映射到170个不同的大小空间。每个空间间隔8byte，0-8byte（8），8-24byte（16），24-48byte（24），最大间隔为256byte。大对象和小对象的界限为32kb。每个线程的缓存包括一系列大小不同的空闲对象连接到一起的链表。
    freelist
  • 分配一个小对象时
    1. 先由其大小映射到对应的空间集合
    2. 查找当前线程线程缓存空闲的链表
    3. 若果空闲的链表非空，则取出第一个对象返回给调用者，通过这样获取空间时，TCMalloc不需要加锁。加锁和解锁这一对操作在2.8 GHz Xeon处理器上会占用100纳秒的时间，因此这样的机制可以很有效的加速内存分配的效率。
    4. 若链表为空，则从中央空闲链中取出一些对象填充到对应的集合中（中央空闲链对所有线程共享）。
    5. 将其放到线程本地的空闲链
    6. 返回这些新对象给调用程序。
    7. 如果中央缓存区空闲链也为空；
    8. 向中央页分配器申请连续的页
    9. 把页分割为一系列大小不同的对象
    10. 把这些对象放入中央空闲链表
    11. 把其中而一些对象放入线程本地缓存。
      分配流程
大对象分配
  • 一个大对象的大小（大于32K）要向上按照页大小（4K）对齐，并且是由中央的页面堆来处理。中央页面堆同样也是由一些不同大小的元素的链表组成的数组。对于i小于256，数组中第k的入口，是由k个页组成的元素所链接在一起的空闲链表。第256个入口是由长度大于256个页链接在一起的空闲链表。
    Pages
  • 一个需要k个页面大小的分配请求，可以通过访问第k个空闲链表来满足。如果该空闲链表为空，我们就访问下一个空闲链表（页面大一些的），以此类推。最终，如果需要的话我们会访问最后一个空闲链。如果这一系列的查找都失败的话，我们将从系统中得到内存（使用sbrk,mmap或者通过映射一部分/dev/mem）。如果一个k页面大小的分配请求分配到的内存空间大于k个页面，当该空间释放的时候需要放回到页面堆中相应大小的空闲链表中。
Spans
  • TCMalloc的堆管理机制是将一些页面集合，一组连续的页面的结合称为一个span对象。span既可以被分配也可以被释放。如果被释放，span将会被放到对应的页面堆链表。如果被分配，span可以是一个交给应用程序的大对象，或者是一组被分割成连续小对象的页面。如果是被分割成为小对象，那么在span中会记录对象的大小级别。中央数组的页号索引，能够用于实现找到一个Span由哪些页面组成。举例来说，下图的span a占有2个页面，spanb占有1个页面，span c占有5个页面，而span d占有3个页面。
    Spans
  • 一个32位的地址空间能够分配2^20个4K的页面，因此中央数组占据4MB的内存空间是可以令人接受的。在64位的机器上，我们使用3级的基树来代替数组，用于映射页号与对应的span指针。
对象释放
  • 对象释放时，计算器页好并在中央数组查找其对应的span。span中包含对象的信息，可以得知对象是否为小对象。如果是小对象，则放回线程缓存的空闲链表中。如果线程的缓存超出预定大小（默认2MB），则运行垃圾收集器把当前线程不用的对象放回central的freelist。
  • 如果释放对象是大对象，通过span可以获取对象包含页范围。通过页范围查找范围的上下限，如果上下限的页也为空闲的，则将其一起放到heap的页管理器中。
小对象中央空闲链
  • 每一个中央空闲链包含二级数据结构：一系列的span以及span中的空闲对象组成的空闲链表。
  • 中央空闲链表分配对象时，通过移动某个span的链表到第一个对象实现的，如果所有spa都有空闲的链表，则选择大小合适的span进行分配。
  • 一个对象返回到中央空闲链，是通过将其挂到span所属的链表中实现的。若链表的长度与span中所有的小对象的个数完全相等，该span是完全空闲的，并且需要返回到页堆中。
线程缓存垃圾回收
  • 当线程缓存中所有空闲对象的带下超过2MB的时候，垃圾回收期会自动进行回收，线程数增加时候，垃圾回收的阈值会减少以避免内存的浪费。
  • 我们遍历缓存中的所有空闲链表，从中移动一定数量的对象到对应的中央链表中。每个链的低水位标记L决定了从空闲链中移出对象的数量。L记录了自从上一次垃圾收集操作之后本链的最小长度。注意我们可以缩短链的长度，通过在前一次垃圾收集时移走L个对象，并且没有从中央链中获取其他对象。我们使用这个过去的记录来预测未来的情况，从线程缓存中移走L/2个对象到中央链中。这个算法性能良好，如果一个线程停止使用某个特定大小的对象，该大小的所有对象将会很快的从线程缓存中迁移到中央空闲链中，以便被其他线程来使用。

参考内容

这篇关于go语言内存分配之TCMalloc的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/806231。

相关文章

C语言中联合体union的使用

C语言中联合体union的使用

本文编辑整理自： http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=179471 一、前言 “联合体”(union）与“结构体”(struct)有一些相似之处。但两者有本质上的不同。在结构体中,各成员有各自的内存空间, 一个结构变量的总长度是各成员长度之和。而在“联合”中,各成员共享一段内存空间, 一个联合变量
阅读更多...
C++对象布局及多态实现探索之内存布局（整理的很多链接）

C++对象布局及多态实现探索之内存布局（整理的很多链接）

本文通过观察对象的内存布局，跟踪函数调用的汇编代码。分析了C++对象内存的布局情况，虚函数的执行方式，以及虚继承，等等 文章链接：http://dev.yesky.com/254/2191254.shtml      论C/C++函数间动态内存的传递 (2005-07-30)   当你涉及到C/C++的核心编程的时候，你会无止境地与内存管理打交道。 文章链接：http://dev.yesky
阅读更多...
Javascript高级程序设计(第四版)--学习记录之变量、内存

Javascript高级程序设计(第四版)--学习记录之变量、内存

原始值与引用值 原始值：简单的数据即基础数据类型，按值访问。 引用值：由多个值构成的对象即复杂数据类型，按引用访问。 动态属性 对于引用值而言，可以随时添加、修改和删除其属性和方法。 let person = new Object();person.name = 'Jason';person.age = 42;console.log(person.name,person.age);//'J
阅读更多...
大语言模型（LLMs）能够进行推理和规划吗？

大语言模型（LLMs）能够进行推理和规划吗？

大语言模型（LLMs），基本上是经过强化训练的 n-gram 模型，它们在网络规模的语言语料库（实际上，可以说是我们文明的知识库）上进行了训练，展现出了一种超乎预期的语言行为，引发了我们的广泛关注。从训练和操作的角度来看，LLMs 可以被认为是一种巨大的、非真实的记忆库，相当于为我们所有人提供了一个外部的系统 1（见图 1）。然而，它们表面上的多功能性让许多研究者好奇，这些模型是否也能在通常需要系
阅读更多...
人工和AI大语言模型成本对比 ai语音模型

人工和AI大语言模型成本对比 ai语音模型

这里既有AI，又有生活大道理，无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统，来识别连续0123456789的英文语音。 但若不是仅针对数字，而是所有普通词汇，可能达到十几万个词，解码过程将非常复杂，识别结果组合太多，识别结果不会理想。因此只有声学模型是完全不够的，需要引入语言模型来约束识别结果。让“今天天气很好”的概率高于“今天天汽很好”的概率，得到声学模型概率高，又符合表达
阅读更多...
C语言 将“China”译成密码

C语言 将“China”译成密码

将“China”译成密码，密码规律是：用原来的字母后面的第4个字母代替原来的字母。例如，字母“A”后面的第4个字母是“E”，用“E”代替“A”。因此，“China”应译为“Glmre”。编译程序用付赋初值的方法使c1，c2，c3，c4，c5这五个变量的值分别为“C”，“h”，“i”，“n”，“a”，经过运算，使c1，c2，c3，c4，c5分别变成“G”，“l”，“m”，“r”，“e”。分别用put
阅读更多...
C语言入门系列：探秘二级指针与多级指针的奇妙世界

C语言入门系列：探秘二级指针与多级指针的奇妙世界

文章目录 一，指针的回忆杀1，指针的概念2，指针的声明和赋值3，指针的使用3.1 直接给指针变量赋值3.2 通过*运算符读写指针指向的内存3.2.1 读3.2.2 写 二，二级指针详解1，定义2，示例说明3，二级指针与一级指针、普通变量的关系3.1，与一级指针的关系3.2，与普通变量的关系,示例说明 4，二级指针的常见用途5，二级指针扩展到多级指针 小结 C语言的学习之旅中，二级
阅读更多...
Android SurfaceFlinger——图形内存分配器（十一）

Android SurfaceFlinger——图形内存分配器（十一）

前面的文章中的图层合成器（HWC），这里我们接着看一下 SurfaceFlinger 中的另一个重要服务——图形内存分配器。 一、简介         android.hardware.graphics.allocator@2.0 是 Android 系统中硬件抽象层（HAL）的一个组件，专门用于图形内存的分配和管理。它是 SurfaceFlinger 在处理图形数据时所依赖的
阅读更多...
【LinuxC语言】select轮询

【LinuxC语言】select轮询

文章目录 前言select函数详解selectfd_set类型一个小问题select函数使用步骤改进服务器代码select服务器示例代码 总结 前言 在Linux C语言编程中，我们经常需要处理多个I/O操作。然而，如果我们为每个I/O操作创建一个线程，那么当I/O操作数量增加时，线程管理将变得复杂且效率低下。这就是我们需要select轮询的地方。select是一种高效的I/
阅读更多...
拓扑排序——C语言

拓扑排序——C语言

拓扑排序（Topological Sorting）是一种用于有向无环图（DAG）的排序算法，其输出是图中所有顶点的线性排序，使得对于每条有向边 (u, v)，顶点 u 在 v 之前出现。拓扑排序确定了项目网络图中的起始事件和终止事件，也就是顶点的执行顺序。         因为是有向无环图，所以拓扑排序的作用其实就是把先发生的排序在前面，后发生的排序到后面。 例如现在我们有一个
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2