使用`LD_PRELOAD`和`jemalloc`实现C/C++信号的内存堆栈信息收集

2024-06-10 06:28
文章标签 c++ 实现 使用 内存 信息 信号 收集 堆栈 ld preload jemalloc

本文主要是介绍使用`LD_PRELOAD`和`jemalloc`实现C/C++信号的内存堆栈信息收集，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

    • 0. 概要
    • 1. 编译jemalloc
    • 2. 编译钩子共享库liballoc_hook.so
    • 3. 使用`LD_PRELOAD`加载钩子库liballoc_hook.so测试
      • 3.1 设置环境变量
      • 3.2 使用`LD_PRELOAD`加载钩子库并运行程序
      • 3.3 发送`SIGUSR1`信号以触发堆栈信息打印
      • 3.4 使用jeprof解析heap堆栈信息文件
    • 4. 示例程序example.cpp代码
    • 5. 注意事项
    • 6. jemalloc的限制

0. 概要

本文介绍如何结合LD_PRELOAD与jemalloc，在接收到SIGUSR1信号时打印程序的堆栈信息。详细步骤包括编译和配置jemalloc，编写信号处理程序，并通过LD_PRELOAD加载共享库的方法。

1. 编译jemalloc

编译并安装启用prof功能的jemalloc。以下是Ubuntu 18.04上的编译步骤：

git clone https://github.com/jemalloc/jemalloc.git  # 本文测试的版本是jemalloc-5.3.0
cd jemalloc
./configure --prefix=/usr/local --enable-prof CFLAGS="-fPIC"
make -j10
sudo make install

确保编译 libjemalloc.a 时使用了 -fPIC 选项。

2. 编译钩子共享库liballoc_hook.so

创建一个名为alloc_hook.c的文件，并实现信号处理函数：

/*gcc -o liballoc_hook.so -shared -fPIC alloc_hook.c -Wl,-Bstatic -ljemalloc -Wl,-Bdynamic
*/
#include <jemalloc/jemalloc.h>
#include <signal.h>
#include <stdio.h>
#include <stdlib.h>// 信号处理函数
void handle_signal(int signum) {if (signum == SIGUSR1) {// 触发 jemalloc 的 heap profiling dumpmallctl("prof.dump", NULL, NULL, NULL, 0);printf("Heap profile dump generated.\n");}
}// 初始化函数
void __attribute__((constructor)) init_hook() {// 设置信号处理函数signal(SIGUSR1, handle_signal);printf("Signal handler for SIGUSR1 is set.\n");
}

使用以下命令编译liballoc_hook.so并静态链接libjemalloc.a：

gcc -o liballoc_hook.so -shared -fPIC alloc_hook.c -Wl,-Bstatic -ljemalloc -Wl,-Bdynamic -lpthread

3. 使用LD_PRELOAD加载钩子库liballoc_hook.so测试

假设你的目标程序是example，通过LD_PRELOAD加载liballoc_hook.so钩子库，按照以下步骤运行和测试：

3.1 设置环境变量

export MALLOC_CONF="prof:true,prof_active:true,lg_prof_sample:0,tcache:false,prof_prefix:jeprof.out"
  • prof:true：启用配置文件。
  • prof_active:true：启用性能分析。
  • lg_prof_sample:0：设置采样率为最高。
  • tcache:false：禁用线程缓存，可能影响性能，但在进行性能分析时，可以提供更准确的内存分配数据。
  • prof_prefix:jeprof.out：指定性能分析输出文件前缀。

3.2 使用LD_PRELOAD加载钩子库并运行程序

LD_PRELOAD="/path/to/liballoc_hook.so" ./example

3.3 发送SIGUSR1信号以触发堆栈信息打印

killall -10 example 
# 或者
killall -SIGUSR1 example

通过以上步骤，你可以在接收到SIGUSR1信号时打印jemalloc的堆栈信息，并将其输出到本地目录。本文得到的堆栈信息文件名为jeprof.out.60571.0.m0.heap。

3.4 使用jeprof解析heap堆栈信息文件

通过如下命令分析该堆栈信息文件：

jeprof --show_bytes --text --lines ./example ./jeprof.out.60571.0.m0.heap

解析结果示例如下：

$ jeprof --show_bytes --text --lines ./example jeprof.out.60571.0.m0.heap 
Using local file ./example.
Using local file jeprof.out.60571.0.m0.heap.
Total: 83512 B82944  99.3%  99.3%    82944  99.3% prof_backtrace_impl /tmp/jemalloc-5.3.0/src/prof_sys.c:103448   0.5%  99.9%      448   0.5% allocateIntArray /home/test/jemalloc_test/example.cpp:1380   0.1% 100.0%       80   0.1% allocateDynamicArray /home/test/jemalloc_test/example.cpp:32 (discriminator 1)32   0.0% 100.0%       32   0.0% allocateString /home/test/jemalloc_test/example.cpp:258   0.0% 100.0%        8   0.0% allocateDouble /home/test/jemalloc_test/example.cpp:190   0.0% 100.0%     1024   1.2% _IO_new_file_overflow /build/glibc-2ORdQG/glibc-2.27/libio/fileops.c:7590   0.0% 100.0%     1024   1.2% _IO_new_file_xsputn /build/glibc-2ORdQG/glibc-2.27/libio/fileops.c:12660   0.0% 100.0%     1024   1.2% _IO_puts /build/glibc-2ORdQG/glibc-2.27/libio/ioputs.c:400   0.0% 100.0%     1024   1.2% __GI__IO_doallocbuf /build/glibc-2ORdQG/glibc-2.27/libio/genops.c:3650   0.0% 100.0%     1024   1.2% __GI__IO_file_doallocate /build/glibc-2ORdQG/glibc-2.27/libio/filedoalloc.c:1010   0.0% 100.0%      568   0.7% __libc_start_main /build/glibc-2ORdQG/glibc-2.27/csu/../csu/libc-start.c:3100   0.0% 100.0%    82944  99.3% _dl_start_user :?0   0.0% 100.0%      568   0.7% _start ??:?0   0.0% 100.0%      448   0.5% allocateMemory /home/test/jemalloc_test/example.cpp:510   0.0% 100.0%        8   0.0% allocateMemory /home/test/jemalloc_test/example.cpp:520   0.0% 100.0%       32   0.0% allocateMemory /home/test/jemalloc_test/example.cpp:530   0.0% 100.0%       80   0.1% allocateMemory /home/test/jemalloc_test/example.cpp:540   0.0% 100.0%    82944  99.3% call_init /build/glibc-2ORdQG/glibc-2.27/elf/dl-init.c:720   0.0% 100.0%    82944  99.3% imalloc (inline) /tmp/jemalloc-5.3.0/src/jemalloc.c:26940   0.0% 100.0%    82944  99.3% imalloc_body (inline) /tmp/jemalloc-5.3.0/src/jemalloc.c:25500   0.0% 100.0%     1024   1.2% init_hook ??:?0   0.0% 100.0%    82944  99.3% je_malloc_default /tmp/jemalloc-5.3.0/src/jemalloc.c:27220   0.0% 100.0%    82944  99.3%je_prof_backtrace /tmp/jemalloc-5.3.0/src/prof_sys.c:2840   0.0% 100.0%    82944  99.3% je_prof_tctx_create /tmp/jemalloc-5.3.0/src/prof.c:1950   0.0% 100.0%      568   0.7% main /home/test/jemalloc_test/example.cpp:600   0.0% 100.0%    82944  99.3% prof_alloc_prep (inline) /tmp/jemalloc-5.3.0/include/jemalloc/internal/prof_inlines.h:1410   0.0% 100.0%    81920  98.1% std::__once_callable ??:0

4. 示例程序example.cpp代码

以下是完整的example.cpp代码，编译方法: g++ -g -o example example.cpp：

#include <sys/mman.h>           // mmap, munmap
#include <unistd.h>             // usleep
#include <csignal>              // signal, sigaction
#include <cstdlib>              // rand()和srand()
#include <ctime>                // time()
#include <iostream>
#include <string>
#include <vector>// 分配int数组
void allocateIntArray() {const int* intPtr = new int[100];std::cout << "Allocated int array at: " << intPtr << std::endl;
}// 分配double
void allocateDouble() {const double* doublePtr = new double(3.14);std::cout << "Allocated double at: " << doublePtr << ", value: " << *doublePtr << std::endl;
}// 分配字符串
void allocateString() {const std::string* strPtr = new std::string("Hello, World!");std::cout << "Allocated string at: " << strPtr << ", value: " << *strPtr << std::endl;
}// 分配动态数组
void allocateDynamicArray() {size_t arraySize = 10;size_t* const arrayPtr = new size_t[arraySize];std::cout << "Allocated array of " << arraySize << " ints at: " << arrayPtr << std::endl;for (size_t i = 0; i < arraySize; ++i) {arrayPtr[i] = i;}
}// 使用mmap分配内存
void allocateMmap() {size_t mmapSize = 4096;  // 4KBconst void* mmapPtr = mmap(nullptr, mmapSize, PROT_READ | PROT_WRITE, MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);if (mmapPtr == MAP_FAILED) {perror("mmap failed");} else {std::cout << "Allocated mmap at: " << mmapPtr << ", size: " << mmapSize << " bytes" << std::endl;}
}void allocateMemory() {allocateIntArray();allocateDouble();allocateString();allocateDynamicArray();allocateMmap();
}int main() {usleep(100000);  // 100msallocateMemory();while (true) {usleep(100000);  // 100ms}return 0;
}

5. 注意事项

  • 编译libjemalloc.a时请记得添加CFLAGS="-fPIC"：

    ./configure --prefix=/usr/local --enable-prof CFLAGS="-fPIC"

  • liballoc_hook.so必须是静态链接libjemalloc.a。

  • liballoc_hook.so需要动态链接libpthread.so，编译时记得切回动态链接方式：

    gcc -o liballoc_hook.so -shared -fPIC alloc_hook.c -Wl,-Bstatic -ljemalloc -Wl,-Bdynamic -lpthread

  • 请勿使用动态加载libjemalloc.so。如果使用如下命令：

    LD_PRELOAD="/path/to/liballoc_hook.so /usr/local/lib/libjemalloc.so" ./example

jeprof解析heap的结果会显示为：

$ jeprof --show_bytes --text --lines ./example ./jeprof.out.60571.0.m0.heap 
Using local file ./example.
Using local file ./jeprof.out.60571.0.m0.heap.
Total: 83512 B83512 100.0% 100.0%    83512 100.0% prof_backtrace_impl /tmp/jemalloc-5.3.0/src/prof_sys.c:1030   0.0% 100.0%      568   0.7% 0x00005610af62de49 ??:00   0.0% 100.0%      448   0.5% 0x00005610af62df3b ??:00   0.0% 100.0%        8   0.0% 0x00005610af62df8e ??:00   0.0% 100.0%       32   0.0% 0x00005610af62e039 ??:00   0.0% 100.0%       80   0.1% 0x00005610af62e137 ??:00   0.0% 100.0%      448   0.5% 0x00005610af62e299 ??:00   0.0% 100.0%        8   0.0% 0x00005610af62e29e ??:00   0.0% 100.0%       32   0.0% 0x00005610af62e2a3 ??:00   0.0% 100.0%       80   0.1% 0x00005610af62e2a8 ??:00   0.0% 100.0%      568   0.7% 0x00005610af62e2c3 ??:0

可以看到example.cpp部分的信息无法显示，因此不可使用LD_PRELOAD同时加载liballoc_hook.so和libjemalloc.so。

6. jemalloc的限制

尽管jemalloc在内存管理和性能分析方面具有强大的功能，但它也存在一些限制：

  • 无法hook mmap
    jemalloc无法hook通过mmap或munmap进行的内存分配。这意味着如果程序中大量使用mmap进行内存分配，这部分内存不会被jemalloc监控和管理，也不会包含在jemalloc的内存分析报告中。因此，对于需要分析这种内存分配行为的程序，jemalloc可能不是最佳选择。

  • 无法hook线程相关信息
    jemalloc无法直接监控线程的创建和销毁。这对于某些需要详细分析线程行为的应用程序来说是一个限制。尽管jemalloc可以通过配置和编译选项优化内存分配以适应多线程环境，但它不能提供与线程操作相关的详细信息。

  • 无法hook直接系统调用的内存分配
    如果程序通过直接系统调用（如brk或其他系统级内存分配调用）分配内存，这些调用将绕过jemalloc的内存管理机制。因此，jemalloc无法跟踪这些内存分配行为，导致分析结果不完整。

  • 高采样率对性能的影响
    开启高采样率（如lg_prof_sample:0）会显著影响程序的性能。虽然高采样率能够提供更详细和频繁的内存分配数据，但它也会导致程序运行速度变慢。因此，在生产环境中需要权衡采样率和性能之间的关系。

  • 配置和使用复杂度
    正确配置和使用jemalloc需要一定的专业知识和经验。对于不熟悉内存管理和性能分析的开发者来说，jemalloc的配置选项和参数可能显得复杂，容易出错。因此，在使用jemalloc进行内存分析之前，建议详细阅读官方文档并进行充分测试。

  • 与其他内存管理库的兼容性问题
    在某些情况下，jemalloc可能与其他内存管理库或工具产生兼容性问题。这可能导致程序在链接和运行时遇到问题。因此，在将jemalloc集成到现有项目时，需要进行全面的测试以确保兼容性。

总的来说，尽管jemalloc是一款功能强大的内存管理库，但在使用过程中需要注意其自身的限制，并根据具体需求进行权衡和取舍。

这篇关于使用`LD_PRELOAD`和`jemalloc`实现C/C++信号的内存堆栈信息收集的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1047420。

相关文章

JS常用组件收集

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件，方便以后开发的时候查找！！！ 函数工具： Lodash 页面固定： stickUp、jQuery.Pin 轮播： unslider、swiper 开关: switch 复选框： icheck 气泡： grumble 隐藏元素： Headroom
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
NameNode内存生产配置

NameNode内存生产配置

Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m ，如果服务器内存 4G ， NameNode 内存可以配置 3g 。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m Hadoop3.x 系列，配置 Nam
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

hdu1043（八数码问题，广搜 + hash（实现状态压缩） ）

利用康拓展开将一个排列映射成一个自然数，然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu
阅读更多...
【C++ Primer Plus习题】13.4

【C++ Primer Plus习题】13.4

大家好,这里是国中之林! ❥前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。有兴趣的可以点点进去看看← 问题: 解答: main.cpp #include <iostream>#include "port.h"int main() {Port p1;Port p2("Abc", "Bcc", 30);std::cout <<
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
C++包装器

C++包装器

包装器 在 C++ 中，“包装器”通常指的是一种设计模式或编程技巧，用于封装其他代码或对象，使其更易于使用、管理或扩展。包装器的概念在编程中非常普遍，可以用于函数、类、库等多个方面。下面是几个常见的 “包装器” 类型： 1. 函数包装器 函数包装器用于封装一个或多个函数，使其接口更统一或更便于调用。例如，std::function 是一个通用的函数包装器，它可以存储任意可调用对象（函数、函数
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2