Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts)

2024-04-26 03:38

本文主要是介绍Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

系统级性能优化通常包括两个阶段:性能剖析(performance profiling)和代码优化。性能剖析的目标是寻找性能瓶颈,查找引发性能问题的原因及热点代码。代码优化的目标是针对具体性能问题而优化代码或编译选项,以改善软件性能。本篇主要讲性能分析中常用的工具——perf。

Perf 原理如下图所示:

Perf依赖如下组建实现功能:

1)PMU:性能监控单元(Performance Monitor Unit), CPU提供的一个性能监视单元,用于统计CPU性能数据;
2)Tracepoint:散落在内核源代码中的一些 hook,它们可以在特定的代码被运行到时被触发,这一特性可以被各种 trace/debug 工具所使用。
3)内核运行状态计数,例如:  1) 进程切换   2) Page fault   3) 中断计数,记录在内核数据中。

perf event事件分为三种:

  • Hardware Event由PMU部件产生,在特定的条件下探测性能事件是否发生以及发生的次数。比如cache命中。
  • Software Event是内核产生的事件,分布在各个功能模块中,统计和操作系统相关性能事件。比如进程切换,tick数等。
  • Tracepoint Event是内核中静态tracepoint所触发的事件,这些tracepoint用来判断程序运行期间内核的行为细节,比如slab分配器的分配次数等。

下面开始介绍Perf的使用:

0:编译Perf

安装依赖:

sudo apt-get install libgtk2.0-dev libaudit-dev libdwarf-dev libbfd-dev libnuma-dev libperl-dev libzstd-dev libdw-dev

Perf是开源代码,你可以选择安装DEB包的方式使用,也是自行编译。任何人都可以下载编译,Perf代码在LINUX内核目录树中,进入内核tools/perf目录,执行 make

如果想用gdb debug perf,则需要修改MAKEFILE重新编译:

export DEBUG=1

之后修改tools/perf/Makefile.config,将编译优化级别降低为-O0.

1.安装perf

$ uname -r
5.4.0-81-generic
$ sudo apt install linux-tools-common
$ sudo apt install linux-tools-5.4.0-81-generic
$ sudo apt install trace-cmd
$ sudo apt install kernelshark
$ sudo apt-get install linux-tools-common linux-tools-"$(uname -r)" linux-cloud-tools-"$(uname -r)" linux-tools-generic linux-cloud-tools-generic

 2.生成data:

使用方法,以分析pid为123456的cpu-clock情况,延时5秒,并查看函数调用

sudo perf record -p 123456 -g -e cpu-clock sleep 5

生成perf.data,下面拿一个进行堆排序的程序为例,对齐进行火焰图分析:

czl@czl-VirtualBox:~/flame$ pidof a.out
10007
czl@czl-VirtualBox:~/flame$ sudo perf record -F 99 -p 10007 -g -- sleep 30
[ perf record: Woken up 1 times to write data ]
[ perf record: Captured and wrote 0.100 MB perf.data (747 samples) ]
czl@czl-VirtualBox:~/flame$ 

perf record 表示采集系统事件, 没有使用 -e 指定采集事件, 则默认采集 cycles(即 CPU clock 周期), -F 99 表示每秒 99 次, -p 13204 是进程号, 即对哪个进程进行分析, -g 表示记录调用栈, sleep 30 则是持续 30 秒.-F 指定采样频率为 99Hz(每秒99次), 如果 99次 都返回同一个函数名, 那就说明 CPU 这一秒钟都在执行同一个函数, 可能存在性能问题.

此时生成的perf.data已经包含了这段时间内的系统采样信息,保存下来的静态信息可以用来进行下一步的分析,这样做的好处是可以不用实时在线,后续可以用离线的数据进行分析。比如,可以执行如下命令,看一下当前数据代表的perf top输出。

$ sudo perf report -i perf.data

热点汇编指令:

 3.分析perf.data

执行如下命令

sudo perf report -n --stdio
# To display the perf.data header info, please use --header/--header-only options.
#
#
# Total Lost Samples: 0
#
# Samples: 747  of event 'cpu-clock:pppH'
# Event count (approx.): 7545454470
#
# Children      Self       Samples  Command  Shared Object      Symbol                            
# ........  ........  ............  .......  .................  ..................................
#70.41%     5.89%            44  a.out    libc-2.27.so       [.] __GI___libc_write|          |--64.52%--__GI___libc_write|          entry_SYSCALL_64_after_hwframe|          |          |           --64.39%--do_syscall_64|                     |          |                     |--42.03%--__x64_sys_write|                     |          ksys_write|                     |          |          |                     |          |--39.89%--vfs_write|                     |          |          |          |                     |          |           --38.42%--__vfs_write|                     |          |                     |          |                     |          |                      --38.02%--tty_write|                     |          |                                |          |                     |          |                                |--35.07%--n_tty_write|                     |          |                                |          |          |                     |          |                                |          |--21.02%--mutex_lock|                     |          |                                |          |          |          |                     |          |                                |          |           --20.62%--_cond_resched|                     |          |                                |          |                     |          |                     |          |                                |          |                      --20.35%--__schedule|                     |          |                                |          |                                |          |                     |          |                                |          |                                 --20.21%--finish_task_switch|                     |          |                                |          |          |                     |          |                                |          |--5.35%--pty_write|                     |          |                                |          |          |          |                     |          |                                |          |          |--4.28%--tty_flip_buffer_push|                     |          |                                |          |          |          |          |                     |          |                                |          |          |           --4.15%--queue_work_on|                     |          |                                |          |          |          |                     |          |                                |          |           --0.80%--__lock_text_start|                     |          |                                |          |          |                     |          |                                |          |--3.88%--do_output_char|                     |          |                                |          |          |          |                     |          |                                |          |           --3.75%--pty_write|                     |          |                                |          |                     |          |                     |          |                                |          |                     |--2.95%--tty_flip_buffer_push|                     |          |                                |          |                     |          queue_work_on|                     |          |                                |          |                     |          |                     |          |                                |          |                      --0.67%--__lock_text_start|                     |          |                                |          |          |                     |          |                                |          |--1.07%--wait_woken|                     |          |                                |          |          schedule_timeout|                     |          |                                |          |          schedule|                     |          |                                |          |          __schedule|                     |          |                                |          |          finish_task_switch|                     |          |                                |          |          |                     |          |                                |           --0.54%--tty_write_room|                     |          |                                |                     tty_buffer_space_avail|                     |          |                                |          |                     |          |                                 --0.80%--__virt_addr_valid|                     |          |          |                     |           --1.47%--__fdget_pos|                     |                     |          |                     |                      --1.34%--__fget_light|                     |          |                      --20.88%--exit_to_usermode_loop|                                |          |                                 --20.62%--schedule|                                           |          |                                            --20.48%--__schedule|                                                      |          |                                                       --20.35%--finish_task_switch|          |--1.07%--0x3020203120203220|          __GI___libc_write|          |--0.94%--0x3220203120203020|          __GI___libc_write|          |--0.80%--0x3620203420203720|          __GI___libc_write|          |--0.67%--0x3520203420203620|          __GI___libc_write|          |--0.67%--0x3220203320203420|          __GI___libc_write|          |--0.54%--0x3220203420203520|          __GI___libc_write|          --0.54%--0x3220203020203120__GI___libc_write64.52%     0.00%             0  a.out    [kernel.kallsyms]  [k] entry_SYSCALL_64_after_hwframe|---entry_SYSCALL_64_after_hwframe|          --64.39%--do_syscall_64|          |--42.03%--__x64_sys_write|          ksys_write|          |          |          |--39.89%--vfs_write|          |          |          |          |           --38.42%--__vfs_write|          |                     |          |          |                      --38.02%--tty_write|          |                                |          |          |                                |--35.07%--n_tty_write|          |                                |          |          |          |                                |          |--21.02%--mutex_lock|          |                                |          |          |          |          |                                |          |           --20.62%--_cond_resched|          |                                |          |                     |          |          |                                |          |                      --20.35%--__schedule|          |                                |          |                                |          |          |                                |          |                                 --20.21%--finish_task_switch|          |                                |          |          |          |                                |          |--5.35%--pty_write|          |                                |          |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|          |                                |          |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|          |                                |          |          |          |          |                                |          |           --0.80%--__lock_text_start|          |                                |          |          |          |                                |          |--3.88%--do_output_char|          |                                |          |          |          |          |                                |          |           --3.75%--pty_write|          |                                |          |                     |          |          |                                |          |                     |--2.95%--tty_flip_buffer_push|          |                                |          |                     |          queue_work_on|          |                                |          |                     |          |          |                                |          |                      --0.67%--__lock_text_start|          |                                |          |          |          |                                |          |--1.07%--wait_woken|          |                                |          |          schedule_timeout|          |                                |          |          schedule|          |                                |          |          __schedule|          |                                |          |          finish_task_switch|          |                                |          |          |          |                                |           --0.54%--tty_write_room|          |                                |                     tty_buffer_space_avail|          |                                |          |          |                                 --0.80%--__virt_addr_valid|          |          |           --1.47%--__fdget_pos|                     |          |                      --1.34%--__fget_light|          --20.88%--exit_to_usermode_loop|          --20.62%--schedule|          --20.48%--__schedule|          --20.35%--finish_task_switch64.39%     1.47%            11  a.out    [kernel.kallsyms]  [k] do_syscall_64|          --62.92%--do_syscall_64|          |--42.03%--__x64_sys_write|          ksys_write|          |          |          |--39.89%--vfs_write|          |          |          |          |           --38.42%--__vfs_write|          |                     |          |          |                      --38.02%--tty_write|          |                                |          |          |                                |--35.07%--n_tty_write|          |                                |          |          |          |                                |          |--21.02%--mutex_lock|          |                                |          |          |          |          |                                |          |           --20.62%--_cond_resched|          |                                |          |                     |          |          |                                |          |                      --20.35%--__schedule|          |                                |          |                                |          |          |                                |          |                                 --20.21%--finish_task_switch|          |                                |          |          |          |                                |          |--5.35%--pty_write|          |                                |          |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|          |                                |          |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|          |                                |          |          |          |          |                                |          |           --0.80%--__lock_text_start|          |                                |          |          |          |                                |          |--3.88%--do_output_char|          |                                |          |          |          |          |                                |          |           --3.75%--pty_write|          |                                |          |                     |          |          |                                |          |                     |--2.95%--tty_flip_buffer_push|          |                                |          |                     |          queue_work_on|          |                                |          |                     |          |          |                                |          |                      --0.67%--__lock_text_start|          |                                |          |          |          |                                |          |--1.07%--wait_woken|          |                                |          |          schedule_timeout|          |                                |          |          schedule|          |                                |          |          __schedule|          |                                |          |          finish_task_switch|          |                                |          |          |          |                                |           --0.54%--tty_write_room|          |                                |                     tty_buffer_space_avail|          |                                |          |          |                                 --0.80%--__virt_addr_valid|          |          |           --1.47%--__fdget_pos|                     |          |                      --1.34%--__fget_light|          --20.88%--exit_to_usermode_loop|          --20.62%--schedule|          --20.48%--__schedule|          --20.35%--finish_task_switch42.17%     0.13%             1  a.out    [kernel.kallsyms]  [k] __x64_sys_write|          --42.03%--__x64_sys_writeksys_write|          |--39.89%--vfs_write|          |          |           --38.42%--__vfs_write|                     |          |                      --38.02%--tty_write|                                |          |                                |--35.07%--n_tty_write|                                |          |          |                                |          |--21.02%--mutex_lock|                                |          |          |          |                                |          |           --20.62%--_cond_resched|                                |          |                     |          |                                |          |                      --20.35%--__schedule|                                |          |                                |          |                                |          |                                 --20.21%--finish_task_switch|                                |          |          |                                |          |--5.35%--pty_write|                                |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|                                |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|                                |          |          |          |                                |          |           --0.80%--__lock_text_start|                                |          |          |                                |          |--3.88%--do_output_char|                                |          |          |          |                                |          |           --3.75%--pty_write|                                |          |                     |          |                                |          |                     |--2.95%--tty_flip_buffer_push|                                |          |                     |          queue_work_on|                                |          |                     |          |                                |          |                      --0.67%--__lock_text_start|                                |          |          |                                |          |--1.07%--wait_woken|                                |          |          schedule_timeout|                                |          |          schedule|                                |          |          __schedule|                                |          |          finish_task_switch|                                |          |          |                                |           --0.54%--tty_write_room|                                |                     tty_buffer_space_avail|                                |          |                                 --0.80%--__virt_addr_valid|          --1.47%--__fdget_pos|          --1.34%--__fget_light42.03%     0.13%             1  a.out    [kernel.kallsyms]  [k] ksys_write|          --41.90%--ksys_write|          |--39.89%--vfs_write|          |          |           --38.42%--__vfs_write|                     |          |                      --38.02%--tty_write|                                |          |                                |--35.07%--n_tty_write|                                |          |          |                                |          |--21.02%--mutex_lock|                                |          |          |          |                                |          |           --20.62%--_cond_resched|                                |          |                     |          |                                |          |                      --20.35%--__schedule|                                |          |                                |          |                                |          |                                 --20.21%--finish_task_switch|                                |          |          |                                |          |--5.35%--pty_write|                                |          |          |          |                                |          |          |--4.28%--tty_flip_buffer_push|                                |          |          |          |          |                                |          |          |           --4.15%--queue_work_on|                                |          |          |          |                                |          |           --0.80%--__lock_text_start|                                |          |          |                                |          |--3.88%--do_output_char|                                |          |          |          |                                |          |           --3.75%--pty_write|                                |          |                     |          |                                |          |                     |--2.95%--tty_flip_buffer_push|                                |          |                     |          queue_work_on|                                |          |                     |          |                                |          |                      --0.67%--__lock_text_start|                                |          |          |                                |          |--1.07%--wait_woken|                                |          |          schedule_timeout|                                |          |          schedule|                                |          |          __schedule|                                |          |          finish_task_switch|                                |          |          |                                |           --0.54%--tty_write_room|                                |                     tty_buffer_space_avail|                                |          |                                 --0.80%--__virt_addr_valid|          --1.47%--__fdget_pos|          --1.34%--__fget_light41.90%     0.27%             2  a.out    [kernel.kallsyms]  [k] __schedule|          --41.63%--__schedulefinish_task_switch41.63%    41.63%           311  a.out    [kernel.kallsyms]  [k] finish_task_switch|          |--7.36%--0x3220203120203020|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--5.35%--exit_to_usermode_loop|          |          schedule|          |          __schedule|          |          finish_task_switch|          |          |           --2.01%--__x64_sys_write|                     ksys_write|                     vfs_write|                     __vfs_write|                     tty_write|                     n_tty_write|                     mutex_lock|                     _cond_resched|                     __schedule|                     finish_task_switch|          |--5.35%--0x3220203020203120|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.81%--exit_to_usermode_loop|          |          schedule|          |          __schedule|          |          finish_task_switch|          |          |           --2.54%--__x64_sys_write|                     ksys_write|                     vfs_write|                     __vfs_write|                     tty_write|                     n_tty_write|                     |          |                      --2.28%--mutex_lock|                                _cond_resched|                                __schedule|                                finish_task_switch|          |--5.09%--0x3220203120203320|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.54%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --2.54%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.55%--0x3620203720203820|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --1.87%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.28%--0x3220203420203520|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --1.61%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.15%--0x3520203420203620|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.28%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          mutex_lock|          |          _cond_resched|          |          __schedule|          |          finish_task_switch|          |          |           --1.87%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.15%--0x3220203320203420|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          |          |          |           --2.41%--mutex_lock|          |                     _cond_resched|          |                     __schedule|          |                     finish_task_switch|          |          |           --1.47%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          |--4.02%--0x3620203420203720|          __GI___libc_write|          entry_SYSCALL_64_after_hwframe|          do_syscall_64|          |          |          |--2.68%--__x64_sys_write|          |          ksys_write|          |          vfs_write|          |          __vfs_write|          |          tty_write|          |          n_tty_write|          |          |          |          |          |--2.14%--mutex_lock|          |          |          _cond_resched|          |          |          __schedule|          |          |          finish_task_switch|          |          |          |          |           --0.54%--wait_woken|          |                     schedule_timeout|          |                     schedule|          |                     __schedule|          |                     finish_task_switch|          |          |           --1.34%--exit_to_usermode_loop|                     schedule|                     __schedule|                     finish_task_switch|          --2.68%--0x3020203120203220__GI___libc_writeentry_SYSCALL_64_after_hwframedo_syscall_64|          |--1.47%--exit_to_usermode_loop|          schedule|          __schedule|          finish_task_switch|          --1.20%--__x64_sys_writeksys_writevfs_write__vfs_writetty_writen_tty_writemutex_lock_cond_resched__schedulefinish_task_switch39.89%     0.54%             4  a.out    [kernel.kallsyms]  [k] vfs_write|          --39.36%--vfs_write|          -

这篇关于Linux Perf性能分析常用手段(火焰图,gprof,kernelshark,bts)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/936618

相关文章

在Linux中改变echo输出颜色的实现方法

《在Linux中改变echo输出颜色的实现方法》在Linux系统的命令行环境下,为了使输出信息更加清晰、突出,便于用户快速识别和区分不同类型的信息,常常需要改变echo命令的输出颜色,所以本文给大家介... 目python录在linux中改变echo输出颜色的方法技术背景实现步骤使用ANSI转义码使用tpu

Spring Boot中WebSocket常用使用方法详解

《SpringBoot中WebSocket常用使用方法详解》本文从WebSocket的基础概念出发,详细介绍了SpringBoot集成WebSocket的步骤,并重点讲解了常用的使用方法,包括简单消... 目录一、WebSocket基础概念1.1 什么是WebSocket1.2 WebSocket与HTTP

linux hostname设置全过程

《linuxhostname设置全过程》:本文主要介绍linuxhostname设置全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录查询hostname设置步骤其它相关点hostid/etc/hostsEDChina编程A工具license破解注意事项总结以RHE

golang中reflect包的常用方法

《golang中reflect包的常用方法》Go反射reflect包提供类型和值方法,用于获取类型信息、访问字段、调用方法等,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值... 目录reflect包方法总结类型 (Type) 方法值 (Value) 方法reflect包方法总结

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

怎样通过分析GC日志来定位Java进程的内存问题

《怎样通过分析GC日志来定位Java进程的内存问题》:本文主要介绍怎样通过分析GC日志来定位Java进程的内存问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、GC 日志基础配置1. 启用详细 GC 日志2. 不同收集器的日志格式二、关键指标与分析维度1.

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

python常用的正则表达式及作用

《python常用的正则表达式及作用》正则表达式是处理字符串的强大工具,Python通过re模块提供正则表达式支持,本文给大家介绍python常用的正则表达式及作用详解,感兴趣的朋友跟随小编一起看看吧... 目录python常用正则表达式及作用基本匹配模式常用正则表达式示例常用量词边界匹配分组和捕获常用re

Linux中SSH服务配置的全面指南

《Linux中SSH服务配置的全面指南》作为网络安全工程师,SSH(SecureShell)服务的安全配置是我们日常工作中不可忽视的重要环节,本文将从基础配置到高级安全加固,全面解析SSH服务的各项参... 目录概述基础配置详解端口与监听设置主机密钥配置认证机制强化禁用密码认证禁止root直接登录实现双因素

MySQL中的表连接原理分析

《MySQL中的表连接原理分析》:本文主要介绍MySQL中的表连接原理分析,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、环境3、表连接原理【1】驱动表和被驱动表【2】内连接【3】外连接【4编程】嵌套循环连接【5】join buffer4、总结1、背景