Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts)

2024-04-26 03:38

本文主要是介绍Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

系统级性能优化通常包括两个阶段:性能剖析(performance profiling)和代码优化。性能剖析的目标是寻找性能瓶颈,查找引发性能问题的原因及热点代码。代码优化的目标是针对具体性能问题而优化代码或编译选项,以改善软件性能。本篇主要讲性能分析中常用的工具——perf。

Perf 原理如下图所示:

Perf依赖如下组建实现功能:

1)PMU:性能监控单元(Performance Monitor Unit), CPU提供的一个性能监视单元,用于统计CPU性能数据;
2)Tracepoint:散落在内核源代码中的一些 hook,它们可以在特定的代码被运行到时被触发,这一特性可以被各种 trace/debug 工具所使用。
3)内核运行状态计数,例如:  1) 进程切换   2) Page fault   3) 中断计数,记录在内核数据中。

perf event事件分为三种:

  • Hardware Event由PMU部件产生,在特定的条件下探测性能事件是否发生以及发生的次数。比如cache命中。
  • Software Event是内核产生的事件,分布在各个功能模块中,统计和操作系统相关性能事件。比如进程切换,tick数等。
  • Tracepoint Event是内核中静态tracepoint所触发的事件,这些tracepoint用来判断程序运行期间内核的行为细节,比如slab分配器的分配次数等。

下面开始介绍Perf的使用:

0:编译Perf

安装依赖:

sudo apt-get install libgtk2.0-dev libaudit-dev libdwarf-dev libbfd-dev libnuma-dev libperl-dev libzstd-dev libdw-dev

Perf是开源代码,你可以选择安装DEB包的方式使用,也是自行编译。任何人都可以下载编译,Perf代码在LINUX内核目录树中,进入内核tools/perf目录,执行 make

如果想用gdb debug perf,则需要修改MAKEFILE重新编译:

export DEBUG=1

之后修改tools/perf/Makefile.config,将编译优化级别降低为-O0.

1.安装perf

$ uname -r
5.4.0-81-generic
$ sudo apt install linux-tools-common
$ sudo apt install linux-tools-5.4.0-81-generic
$ sudo apt install trace-cmd
$ sudo apt install kernelshark
$ sudo apt-get install linux-tools-common linux-tools-"$(uname -r)" linux-cloud-tools-"$(uname -r)" linux-tools-generic linux-cloud-tools-generic

 2.生成data:

使用方法,以分析pid为123456的cpu-clock情况,延时5秒,并查看函数调用

sudo perf record -p 123456 -g -e cpu-clock sleep 5

生成perf.data,下面拿一个进行堆排序的程序为例,对齐进行火焰图分析:

czl@czl-VirtualBox:~/flame$ pidof a.out
10007
czl@czl-VirtualBox:~/flame$ sudo perf record -F 99 -p 10007 -g -- sleep 30
[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 0.100 MB perf.data (747 samples) ]
czl@czl-VirtualBox:~/flame$ 

perf record 表示采集系统事件, 没有使用 -e 指定采集事件, 则默认采集 cycles(即 CPU clock 周期), -F 99 表示每秒 99 次, -p 13204 是进程号, 即对哪个进程进行分析, -g 表示记录调用栈, sleep 30 则是持续 30 秒.-F 指定采样频率为 99Hz(每秒99次), 如果 99次 都返回同一个函数名, 那就说明 CPU 这一秒钟都在执行同一个函数, 可能存在性能问题.

此时生成的perf.data已经包含了这段时间内的系统采样信息,保存下来的静态信息可以用来进行下一步的分析,这样做的好处是可以不用实时在线,后续可以用离线的数据进行分析。比如,可以执行如下命令,看一下当前数据代表的perf top输出。

$ sudo perf report -i perf.data

热点汇编指令:

 3.分析perf.data

执行如下命令

sudo perf report -n --stdio
# To display the perf.data header info, please use --header/--header-only options.
#
#
# Total Lost Samples: 0
#
# Samples: 747  of event 'cpu-clock:pppH'
# Event count (approx.): 7545454470
#
# Children      Self       Samples  Command  Shared Object      Symbol                            
# ........  ........  ............  .......  .................  ..................................
#70.41%     5.89%            44  a.out    libc-2.27.so       [.] __GI___libc_write|          |--64.52%--__GI___libc_write|          entry_SYSCALL_64_after_hwframe|          |          |           --64.39%--do_syscall_64|                     |          |                     |--42.03%--__x64_sys_write|                     |          ksys_write|                     |          |          |                     |          |--39.89%--vfs_write|                     |          |          |          |                     |          |           --38.42%--__vfs_write|                     |          |                     |          |                     |          |                      --38.02%--tty_write|                     |          |                                |          |                     |          |                                |--35.07%--n_tty_write|                     |          |                                |          |          |                     |          |                                |          |--21.02%--mutex_lock|                     |          |                                |          |          |          |                     |          |                                |          |           --20.62%--_cond_resched|                     |          |                                |          |                     |          |                     |          |                                |          |                      --20.35%--__schedule|                     |          |                                |          |                                |          |                     |          |                                |          |                                 --20.21%--finish_task_switch|                     |          |                                |          |          |                     |          |                                |          |--5.35%--pty_write|                     |          |                                |          |          |          |                     |          |                                |          |          |--4.28%--tty_flip_buffer_push|                     |          |                                |          |          |          |          |                     |          |                                |          |          |           --4.15%--queue_work_on|                     |          |                                |          |          |          |                     |          |                                |          |           --0.80%--__lock_text_start|                     |          |                                |          |          |                     |          |                                |          |--3.88%--do_output_char|                     |          |                                |          |          |          |                     |          |                                |          |           --3.75%--pty_write|                     |          |                                |          |                     |          |                     |          |                                |          |                     |--2.95%--tty_flip_buffer_push|                     |          |                                |          |                     |          queue_work_on|                     |          |                                |          |                     |          |                     |          |                                |          |                      --0.67%--__lock_text_start|                     |          |                                |          |          |                     |          |                                |          |--1.07%--wait_woken|                     |          |                                |          |          schedule_timeout|                     |          |                                |          |          schedule|                     |          |                                |          |          __schedule|                     |          |                                |          |          finish_task_switch|                     |          |                                |          |          |                     |          |                                |           --0.54%--tty_write_room|                     |          |                                |                     tty_buffer_space_avail|                     |          |                                |          |                     |          |                                 --0.80%--__virt_addr_valid|                     |          |          |                     |           --1.47%--__fdget_pos|                     |                     |          |                     |                      --1.34%--__fget_light|                     |          |                      --20.88%--exit_to_usermode_loop|                                |          |                                 --20.62%--schedule|                                           |          |                                            --20.48%--__schedule|                                                      |          |                                                       --20.35%--finish_task_switch|          |--1.07%--0x3020203120203220|          __GI___libc_write|          |--0.94%--0x3220203120203020|          __GI___libc_write|          |--0.80%--0x3620203420203720|          __GI___libc_write|          |--0.67%--0x3520203420203620|          __GI___libc_write|          |--0.67%--0x3220203320203420|          __GI___libc_write|          |--0.54%--0x3220203420203520|          __GI___libc_write|          --0.54%--0x3220203020203120__GI___libc_write64.52%     0.00%             0  a.out    [kernel.kallsyms]  [k] entry_SYSCALL_64_after_hwframe|---entry_SYSCALL_64_after_hwframe|          --64.39%--do_syscall_64|          |--42.03%--__x64_sys_write|          ksys_write|          |          |          |--39.89%--vfs_write|          |          |          |          |           --38.42%--__vfs_write|          |                     |          |          |                      --38.02%--tty_write|          |                                |          |          |                                |--35.07%--n_tty_write|          |                                |          |          |          |                                |          |--21.02%--mutex_lock|          |                                |          |          |          |          |                                |          |           --20.62%--_cond_resched|          |                                |          |                     |          |          |                                |          |                      --20.35%--__schedule|          |                                |          |                                |          |          |                                |          |                                 --20.21%--finish_task_switch|          |                                |          |          |          |                                |          |--5.35%--pty_write|          |                                |          |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|          |                                |          |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|          |                                |          |          |          |          |                                |          |           --0.80%--__lock_text_start|          |                                |          |          |          |                                |          |--3.88%--do_output_char|          |                                |          |          |          |          |                                |          |           --3.75%--pty_write|          |                                |          |                     |          |          |                                |          |                     |--2.95%--tty_flip_buffer_push|          |                                |          |                     |          queue_work_on|          |                                |          |                     |          |          |                                |          |                      --0.67%--__lock_text_start|          |                                |          |          |          |                                |          |--1.07%--wait_woken|          |                                |          |          schedule_timeout|          |                                |          |          schedule|          |                                |          |          __schedule|          |                                |          |          finish_task_switch|          |                                |          |          |          |                                |           --0.54%--tty_write_room|          |                                |                     tty_buffer_space_avail|          |                                |          |          |                                 --0.80%--__virt_addr_valid|          |          |           --1.47%--__fdget_pos|                     |          |                      --1.34%--__fget_light|          --20.88%--exit_to_usermode_loop|          --20.62%--schedule|          --20.48%--__schedule|          --20.35%--finish_task_switch64.39%     1.47%            11  a.out    [kernel.kallsyms]  [k] do_syscall_64|          --62.92%--do_syscall_64|          |--42.03%--__x64_sys_write|          ksys_write|          |          |          |--39.89%--vfs_write|          |          |          |          |           --38.42%--__vfs_write|          |                     |          |          |                      --38.02%--tty_write|          |                                |          |          |                                |--35.07%--n_tty_write|          |                                |          |          |          |                                |          |--21.02%--mutex_lock|          |                                |          |          |          |          |                                |          |           --20.62%--_cond_resched|          |                                |          |                     |          |          |                                |          |                      --20.35%--__schedule|          |                                |          |                                |          |          |                                |          |                                 --20.21%--finish_task_switch|          |                                |          |          |          |                                |          |--5.35%--pty_write|          |                                |          |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|          |                                |          |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|          |                                |          |          |          |          |                                |          |           --0.80%--__lock_text_start|          |                                |          |          |          |                                |          |--3.88%--do_output_char|          |                                |          |          |          |          |                                |          |           --3.75%--pty_write|          |                                |          |                     |          |          |                                |          |                     |--2.95%--tty_flip_buffer_push|          |                                |          |                     |          queue_work_on|          |                                |          |                     |          |          |                                |          |                      --0.67%--__lock_text_start|          |                                |          |          |          |                                |          |--1.07%--wait_woken|          |                                |          |          schedule_timeout|          |                                |          |          schedule|          |                                |          |          __schedule|          |                                |          |          finish_task_switch|          |                                |          |          |          |                                |           --0.54%--tty_write_room|          |                                |                     tty_buffer_space_avail|          |                                |          |          |                                 --0.80%--__virt_addr_valid|          |          |           --1.47%--__fdget_pos|                     |          |                      --1.34%--__fget_light|          --20.88%--exit_to_usermode_loop|          --20.62%--schedule|          --20.48%--__schedule|          --20.35%--finish_task_switch42.17%     0.13%             1  a.out    [kernel.kallsyms]  [k] __x64_sys_write|          --42.03%--__x64_sys_writeksys_write|          |--39.89%--vfs_write|          |          |           --38.42%--__vfs_write|                     |          |                      --38.02%--tty_write|                                |          |                                |--35.07%--n_tty_write|                                |          |          |                                |          |--21.02%--mutex_lock|                                |          |          |          |                                |          |           --20.62%--_cond_resched|                                |          |                     |          |                                |          |                      --20.35%--__schedule|                                |          |                                |          |                                |          |                                 --20.21%--finish_task_switch|                                |          |          |                                |          |--5.35%--pty_write|                                |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|                                |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|                                |          |          |          |                                |          |           --0.80%--__lock_text_start|                                |          |          |                                |          |--3.88%--do_output_char|                                |          |          |          |                                |          |           --3.75%--pty_write|                                |          |                     |          |                                |          |                     |--2.95%--tty_flip_buffer_push|                                |          |                     |          queue_work_on|                                |          |                     |          |                                |          |                      --0.67%--__lock_text_start|                                |          |          |                                |          |--1.07%--wait_woken|                                |          |          schedule_timeout|                                |          |          schedule|                                |          |          __schedule|                                |          |          finish_task_switch|                                |          |          |                                |           --0.54%--tty_write_room|                                |                     tty_buffer_space_avail|                                |          |                                 --0.80%--__virt_addr_valid|          --1.47%--__fdget_pos|          --1.34%--__fget_light42.03%     0.13%             1  a.out    [kernel.kallsyms]  [k] ksys_write|          --41.90%--ksys_write|          |--39.89%--vfs_write|          |          |           --38.42%--__vfs_write|                     |          |                      --38.02%--tty_write|                                |          |                                |--35.07%--n_tty_write|                                |          |          |                                |          |--21.02%--mutex_lock|                                |          |          |          |                                |          |           --20.62%--_cond_resched|                                |          |                     |          |                                |          |                      --20.35%--__schedule|                                |          |                                |          |                                |          |                                 --20.21%--finish_task_switch|                                |          |          |                                |          |--5.35%--pty_write|                                |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|                                |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|                                |          |          |          |                                |          |           --0.80%--__lock_text_start|                                |          |          |                                |          |--3.88%--do_output_char|                                |          |          |          |                                |          |           --3.75%--pty_write|                                |          |                     |          |                                |          |                     |--2.95%--tty_flip_buffer_push|                                |          |                     |          queue_work_on|                                |          |                     |          |                                |          |                      --0.67%--__lock_text_start|                                |          |          |                                |          |--1.07%--wait_woken|                                |          |          schedule_timeout|                                |          |          schedule|                                |          |          __schedule|                                |          |          finish_task_switch|                                |          |          |                                |           --0.54%--tty_write_room|                                |                     tty_buffer_space_avail|                                |          |                                 --0.80%--__virt_addr_valid|          --1.47%--__fdget_pos|          --1.34%--__fget_light41.90%     0.27%             2  a.out    [kernel.kallsyms]  [k] __schedule|          --41.63%--__schedulefinish_task_switch41.63%    41.63%           311  a.out    [kernel.kallsyms]  [k] finish_task_switch|          |--7.36%--0x3220203120203020|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--5.35%--exit_to_usermode_loop|          |          schedule|          |          __schedule|          |          finish_task_switch|          |          |           --2.01%--__x64_sys_write|                     ksys_write|                     vfs_write|                     __vfs_write|                     tty_write|                     n_tty_write|                     mutex_lock|                     _cond_resched|                     __schedule|                     finish_task_switch|          |--5.35%--0x3220203020203120|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.81%--exit_to_usermode_loop|          |          schedule|          |          __schedule|          |          finish_task_switch|          |          |           --2.54%--__x64_sys_write|                     ksys_write|                     vfs_write|                     __vfs_write|                     tty_write|                     n_tty_write|                     |          |                      --2.28%--mutex_lock|                                _cond_resched|                                __schedule|                                finish_task_switch|          |--5.09%--0x3220203120203320|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.54%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --2.54%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.55%--0x3620203720203820|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --1.87%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.28%--0x3220203420203520|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --1.61%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.15%--0x3520203420203620|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.28%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --1.87%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.15%--0x3220203320203420|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          |          |          |           --2.41%--mutex_lock|          |                     _cond_resched|          |                     __schedule|          |                     finish_task_switch|          |          |           --1.47%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.02%--0x3620203420203720|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          |          |          |          |--2.14%--mutex_lock|          |          |          _cond_resched|          |          |          __schedule|          |          |          finish_task_switch|          |          |          |          |           --0.54%--wait_woken|          |                     schedule_timeout|          |                     schedule|          |                     __schedule|          |                     finish_task_switch|          |          |           --1.34%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          --2.68%--0x3020203120203220__GI___libc_writeentry_SYSCALL_64_after_hwframedo_syscall_64|          |--1.47%--exit_to_usermode_loop|          schedule|          __schedule|          finish_task_switch|          --1.20%--__x64_sys_writeksys_writevfs_write__vfs_writetty_writen_tty_writemutex_lock_cond_resched__schedulefinish_task_switch39.89%     0.54%             4  a.out    [kernel.kallsyms]  [k] vfs_write|          --39.36%--vfs_write|          -

这篇关于Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/936618

相关文章

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux卸载自带jdk并安装新jdk版本的图文教程

《Linux卸载自带jdk并安装新jdk版本的图文教程》在Linux系统中,有时需要卸载预装的OpenJDK并安装特定版本的JDK,例如JDK1.8,所以本文给大家详细介绍了Linux卸载自带jdk并... 目录Ⅰ、卸载自带jdkⅡ、安装新版jdkⅠ、卸载自带jdk1、输入命令查看旧jdkrpm -qa

Linux samba共享慢的原因及解决方案

《Linuxsamba共享慢的原因及解决方案》:本文主要介绍Linuxsamba共享慢的原因及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux samba共享慢原因及解决问题表现原因解决办法总结Linandroidux samba共享慢原因及解决

Python如何使用__slots__实现节省内存和性能优化

《Python如何使用__slots__实现节省内存和性能优化》你有想过,一个小小的__slots__能让你的Python类内存消耗直接减半吗,没错,今天咱们要聊的就是这个让人眼前一亮的技巧,感兴趣的... 目录背景:内存吃得满满的类__slots__:你的内存管理小助手举个大概的例子:看看效果如何?1.

Spring事务中@Transactional注解不生效的原因分析与解决

《Spring事务中@Transactional注解不生效的原因分析与解决》在Spring框架中,@Transactional注解是管理数据库事务的核心方式,本文将深入分析事务自调用的底层原理,解释为... 目录1. 引言2. 事务自调用问题重现2.1 示例代码2.2 问题现象3. 为什么事务自调用会失效3

新特性抢先看! Ubuntu 25.04 Beta 发布:Linux 6.14 内核

《新特性抢先看!Ubuntu25.04Beta发布:Linux6.14内核》Canonical公司近日发布了Ubuntu25.04Beta版,这一版本被赋予了一个活泼的代号——“Plu... Canonical 昨日(3 月 27 日)放出了 Beta 版 Ubuntu 25.04 系统镜像,代号“Pluc

找不到Anaconda prompt终端的原因分析及解决方案

《找不到Anacondaprompt终端的原因分析及解决方案》因为anaconda还没有初始化,在安装anaconda的过程中,有一行是否要添加anaconda到菜单目录中,由于没有勾选,导致没有菜... 目录问题原因问http://www.chinasem.cn题解决安装了 Anaconda 却找不到 An

Spring定时任务只执行一次的原因分析与解决方案

《Spring定时任务只执行一次的原因分析与解决方案》在使用Spring的@Scheduled定时任务时,你是否遇到过任务只执行一次,后续不再触发的情况?这种情况可能由多种原因导致,如未启用调度、线程... 目录1. 问题背景2. Spring定时任务的基本用法3. 为什么定时任务只执行一次?3.1 未启用

Linux安装MySQL的教程

《Linux安装MySQL的教程》:本文主要介绍Linux安装MySQL的教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux安装mysql1.Mysql官网2.我的存放路径3.解压mysql文件到当前目录4.重命名一下5.创建mysql用户组和用户并修

Linux上设置Ollama服务配置(常用环境变量)

《Linux上设置Ollama服务配置(常用环境变量)》本文主要介绍了Linux上设置Ollama服务配置(常用环境变量),Ollama提供了多种环境变量供配置,如调试模式、模型目录等,下面就来介绍一... 目录在 linux 上设置环境变量配置 OllamPOgxSRJfa手动安装安装特定版本查看日志在