linux内核：ftrace——追踪内核行为

2024-03-30 22:36
文章标签 linux 行为 内核 追踪 ftrace

本文主要是介绍linux内核：ftrace——追踪内核行为，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 1. 简介
  • 2. 使用
    • 2.1 加入ftrace
    • 2.2 ftrace 基础
      • 2.2.1 tracer
      • 2.2.2 filter（可选）
      • 2.2.3 读取trace
      • 2.2.4 ftrace_enabled
    • 2.3 使用function_graph查看do_sys_open的执行过程
    • 2.3 使用function查看do_sys_open的执行
    • 2.3 使用wakeup
    • 2.3 使用wakeup_rt
    • 2.4 event
  • 3. trace-cmd

1. 简介

ftrace是一套内核调试工具，从2.6版本之后集成到linux内核中。通过它可以轻松的追踪到内核发生的行为，也能调试分析延迟和性能问题。

在常见的linux发行版中，一般都使能了ftrace，它的操作目录在/sys/kernel/debug/tracing中
在这里插入图片描述

使用mount | grep tracefs命令验证ftrace是否可用

2. 使用

2.1 加入ftrace

在编译内核时需要将trace相关加入编译：

Kernel hacking -->Tracer --->....

ftrace通过debugfs向用户提供访问接口，所以需要系统挂载debugfs到/sys/kernel/debug/：
将如下内容添加到/etc/fstab:

debugfs  /sys/kernel/debug  debugfs  defaults  0  0

或者在运行时挂载：

mount  -t  debugfs  debugfs  /sys/kernel/debug

2.2 ftrace 基础

ftrace的使用步骤如下：
1.选择要使用的追踪器 current_tracer
2.设置一些追踪的参数过滤器等
3.开启追踪器 tracing_on
4.读追踪结果 trace

2.2.1 tracer

通过cat available_tracers可以查看当前可使用的追踪器：

[root@qemu_imx6ul:/tracing]# cat available_tracers
hwlat function_graph wakeup_dl wakeup_rt wakeup preemptirqsoff preemptoff irqsoff function nop
追踪器作用
function函数调用追踪器，可以看出哪个函数何时调用，可以通过过滤器指定要跟踪的函数
function_graph函数调用图表追踪器，可以看出哪个函数被哪个函数调用，何时返回
blkblock I/O追踪器,blktrace用户应用程序 使用的跟踪器
mmiotraceMMIO(Memory Mapped I/O)追踪器，用于Nouveau驱动程序等逆向工程
wakeup跟踪进程唤醒信息，进程调度延迟追踪器
wakeup_rt与wakeup相同，但以实时进程为对象
nop将 nop 写入 current_tracer 文件可以删除之前所使用的跟踪器，并清空之前收集到的跟踪信息，即刷新 trace 文件
wakeup_dl跟踪并记录唤醒SCHED_DEADLINE任务所需的最大延迟（如"wakeup”和"wakeup_rt”一样）
mmiotrace一种特殊的跟踪器，用于跟踪二进制模块。它跟踪模块对硬件的所有调用
hwlat硬件延迟跟踪器。它用于检测硬件是否产生任何延迟

通过写入current_tracer可以设置当前使用的追踪器

echo function_graph > current_tracer

2.2.2 filter（可选）

过滤器作用
set_ftrace_filter设置要跟踪的函数
set_ftrace_notrace反向过滤器，设置后输出除了函数以外内容
set_graph_function设置要跟踪的函数
set_graph_notrace反向过滤器，打开后进入对应函数会关闭跟踪

通过cat available_filter_functions可以查看可被过滤的函数列表（数量很多）

[root@qemu_imx6ul:/tracing]# cat available_filter_functions | wc -l
31103

使用方法：

echo sys_open > set_ftrace_filter
echo sys_close >> set_ftrace_filter
echo '*_open' '*do*' > set_ftrace_filter

2.2.3 读取trace

读取对象用途
trace直接读当前trace缓冲区的跟踪内容，trace满之后会被覆盖
trace_pipe作为管道被读取，有读清的机制
echo function > current_tracer
cat trace_pipe > /tmp/trace.out &
[1] 4153
echo 1 > tracing_on
usleep 1
echo 0 > tracing_on

2.2.4 ftrace_enabled

ftrace_enabled默认是使能的，不过需要时可以通过如下方式开关它

  sysctl kernel.ftrace_enabled=0sysctl kernel.ftrace_enabled=1orecho 0 > /proc/sys/kernel/ftrace_enabledecho 1 > /proc/sys/kernel/ftrace_enabled

2.3 使用function_graph查看do_sys_open的执行过程

#!/bin/bashdebugfs=`sed -ne 's/^debugfs \(.*\) debugfs.*/\1/p' /proc/mounts`
echo nop > $debugfs/tracing/current_tracer
echo 0 > $debugfs/tracing/tracing_onecho $$ > $debugfs/tracing/set_ftrace_pid
echo do_sys_open > $debugfs/tracing/set_graph_function
echo function_graph > $debugfs/tracing/current_tracer
echo 1 > $debugfs/tracing/tracing_onexec "$@"

[root@qemu_imx6ul:~/myfb-test]# cat /tracing/trace | head -40
# tracer: function_graph
#
# CPU  DURATION                  FUNCTION CALLS
# |     |   |                     |   |   |   |0)               |  do_sys_open() {0)               |    getname() {0)               |      getname_flags() {0) ! 979.000 us  |        kmem_cache_alloc();0)   ==========> |0)               |        gic_handle_irq() {0)               |          __handle_domain_irq() {0)               |            irq_enter() {0) + 25.334 us   |              rcu_irq_enter();0) + 20.333 us   |              preempt_count_add();0) # 1192.333 us |            }0) + 31.334 us   |            irq_find_mapping();0)               |            generic_handle_irq() {0)               |              handle_fasteoi_irq() {0)               |                _raw_spin_lock() {

如果命令执行时间很短，可以使用如下方式：
sh -c "echo $$ > set_ftrace_pid; echo 1 > tracing_on; kill xxx; echo 0 > tracing_on"

2.3 使用function查看do_sys_open的执行

#!/bin/bashdebugfs=`sed -ne 's/^debugfs \(.*\) debugfs.*/\1/p' /proc/mounts`
echo nop > $debugfs/tracing/current_tracer
echo 0 > $debugfs/tracing/tracing_on
echo $$ > $debugfs/tracing/set_ftrace_pidecho do_sys_open > $debugfs/tracing/set_ftrace_filter
echo function > $debugfs/tracing/current_tracer
echo 1 > $debugfs/tracing/tracing_onexec "$@"

[root@qemu_imx6ul:~/myfb-test]# cat /tracing/trace | head -40
# tracer: function
#
# entries-in-buffer/entries-written: 17/17   #P:1
#
#                              _-----=> irqs-off
#                             / _----=> need-resched
#                            | / _---=> hardirq/softirq
#                            || / _--=> preempt-depth
#                            ||| /     delay
#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION
#              | |       |   ||||       |         |myfb-test-239   [000] ...1  3462.834035: do_sys_open <-SyS_openmyfb-test-239   [000] ...1  3462.844034: do_sys_open <-SyS_openmyfb-test-239   [000] ...1  3462.851532: do_sys_open <-SyS_openmyfb-test-239   [000] ...1  3462.852319: do_sys_open <-SyS_openmyfb-test-239   [000] ...1  3462.853019: do_sys_open <-SyS_openmyfb-test-239   [000] ...1  3462.853713: do_sys_open <-SyS_open

2.3 使用wakeup

wakeup查看普通进程从被唤醒到真正执行的延时

[root@qemu_imx6ul:/tracing]# echo nop > current_tracer
[root@qemu_imx6ul:/tracing]# echo wakeup > current_tracer 
[root@qemu_imx6ul:/tracing]# echo 1 > tracing_on 
[root@qemu_imx6ul:/tracing]# cat trace | head -40
# tracer: wakeup
#
# wakeup latency trace v1.1.5 on 4.9.88-g8f6c88def
# --------------------------------------------------------------------
# latency: 9671 us, #4/4, CPU#0 | (M:preempt VP:0, KP:0, SP:0 HP:0 #P:1)
#    -----------------
#    | task: kworker/0:0H-5 (uid:0 nice:-20 policy:0 rt_prio:0)
#    -----------------
#
#                  _------=> CPU#            
#                 / _-----=> irqs-off        
#                | / _----=> need-resched    
#                || / _---=> hardirq/softirq 
#                ||| / _--=> preempt-depth   
#                |||| /     delay            
#  cmd     pid   ||||| time  |   caller      
#     \   /      |||||  \    |   /         mmcqd/1-104     0dn.5  620us#:    104:120:R   + [000]     5:100:R kworker/0:0Hmmcqd/1-104     0dn.5 3595us#: 0mmcqd/1-104     0d..3 8687us!: __schedulemmcqd/1-104     0d..3 8984us :    104:120:R ==> [000]     5:100:R kworker/0:0H

2.3 使用wakeup_rt

non-RT进程通常看平均延迟。RT进程的最大延迟非常有意义，反应了调度器的性能

2.4 event

event在ftrace中是一种低性能损耗，获取debug信息的一种信息输出机制。相对于printk，它有如下特点：

  • 无需重新编译内核
  • 不开启无性能损耗
  • 开启不影响流程

event在ftrace中的events目录下：
在这里插入图片描述

事件以目录的形式作为主体，目录中的文件作为事件的属性。每个目录中都有一个enable文件，用于使能这个或者这类事件。

[root@qemu_imx6ul:/tracing/events/sched]# cd sched_switch
[root@qemu_imx6ul:/tracing/events/sched/sched_switch]# ls
enable   filter   format   id       trigger

[root@qemu_imx6ul:/tracing]# echo 1 > events/sched/sched_wakeup/enable
[root@qemu_imx6ul:/tracing]# echo nop > current_tracer
[root@qemu_imx6ul:/tracing]# cat trace | head -40
# tracer: nop
#
# entries-in-buffer/entries-written: 483/483   #P:1
#
#                              _-----=> irqs-off
#                             / _----=> need-resched
#                            | / _---=> hardirq/softirq
#                            || / _--=> preempt-depth
#                            ||| /     delay
#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION
#              | |       |   ||||       |         |sh-176   [000] dns3 31291.656047: sched_wakeup: comm=rcu_preempt pid=7 prio=120 target_cpu=000sh-176   [000] dns2 31291.661390: sched_wakeup: comm=ksoftirqd/0 pid=3 prio=120 target_cpu=000sh-176   [000] dns2 31291.714298: sched_wakeup: comm=rcu_preempt pid=7 prio=120 target_cpu=000sh-176   [000] dns2 31291.722990: sched_wakeup: comm=ksoftirqd/0 pid=3 prio=120 target_cpu=000<idle>-0     [000] dnh4 31292.612645: sched_wakeup: comm=kworker/u2:0 pid=6 prio=120 target_cpu=000<idle>-0     [000] dns4 31292.619844: sched_wakeup: comm=kworker/0:2 pid=102 prio=120 target_cpu=000<idle>-0     [000] dns3 31292.621198: sched_wakeup: comm=ksoftirqd/0 pid=3 prio=120 target_cpu=000kworker/u2:0-6     [000] dn.3 31292.633752: sched_wakeup: comm=sh pid=176 prio=120 target_cpu=000<idle>-0     [000] dnh3 31293.270182: sched_wakeup: comm=init pid=1 prio=120 target_cpu=000

3. trace-cmd

每次如果都是通过读写文件的方式使用ftrace就太复杂了，这个过程可以通过命令行的形式完成，实现这个功能的软件是：trace-cmd

常用子命令用法
start开始追踪
stop停止追踪
clear清空追踪结果
show查看缓冲区的追踪结果
reset停止内核追踪并清空缓存
report从trace.dat读取trace
record记录追踪事件到trace.dat
list列出可用的事件、选项、追踪器等

list:

  • -t：查看可用的追踪器
  • -e：查看可追踪的事件
  • -f：查看可追踪的函数
[root@qemu_imx6ul:~]# tmd list -f | grep do_sys_open
do_sys_open
[root@qemu_imx6ul:~]# tmd list -f | wc -l
31103
[root@qemu_imx6ul:~]# cat /tracing/available_filter_functions  | wc -l
31103

record：

  • -P {pid}：指定进程
  • -p {avalilable_tracers}：指定追踪器
  • -l {function}：指定要追踪的函数
  • -g {function}：指定要追踪的函数(For graph function)
  • --max-graph-depth 5：指定追踪的函数调用深度
  • -c -F：追踪子进程

例如：

[root@qemu_imx6ul:~]# trace-cmd start -p function
[root@qemu_imx6ul:~]# trace-cmd record -p function_graph -g do_sys_open -O funcgraph-proc ls
[root@qemu_imx6ul:~]# trace-cmd report | head -40
cpus=1trace-cmd-551   [000] 72595.333330: funcgraph_entry:                   |  do_sys_open() {trace-cmd-551   [000] 72595.493349: funcgraph_entry:                   |    getname() {trace-cmd-551   [000] 72595.493856: funcgraph_entry:                   |    gic_handle_irq() {trace-cmd-551   [000] 72595.495327: funcgraph_entry:                   |      __handle_domain_irq() {......

这篇关于linux内核：ftrace——追踪内核行为的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/862765。

相关文章

Linux内核的调试（TODO）

Linux内核的调试（TODO）

（TODO）
阅读更多...
linux-基础知识3

linux-基础知识3

打包和压缩 zip 安装zip软件包 yum -y install zip unzip 压缩打包命令: zip -q -r -d -u 压缩包文件名 目录和文件名列表 -q:不显示命令执行过程-r:递归处理，打包各级子目录和文件-u:把文件增加/替换到压缩包中-d:从压缩包中删除指定的文件 解压:unzip 压缩包名 打包文件 把压缩包从服务器下载到本地 把压缩包上传到服务器(zip
阅读更多...
Linux 网络编程 --- 应用层

Linux 网络编程 --- 应用层

一、自定义协议和序列化反序列化 代码： 序列化反序列化实现网络版本计算器 二、HTTP协议 1、谈两个简单的预备知识 https://www.baidu.com/ --- 域名 --- 域名解析 --- IP地址 http的端口号为80端口，https的端口号为443 url为统一资源定位符。CSDNhttps://mp.csdn.net/mp_blog/creation/editor
阅读更多...
【Python编程】Linux创建虚拟环境并配置与notebook相连接

【Python编程】Linux创建虚拟环境并配置与notebook相连接

1.创建 使用 venv 创建虚拟环境。例如，在当前目录下创建一个名为 myenv 的虚拟环境： python3 -m venv myenv 2.激活 激活虚拟环境使其成为当前终端会话的活动环境。运行： source myenv/bin/activate 3.与notebook连接 在虚拟环境中，使用 pip 安装 Jupyter 和 ipykernel： pip instal
阅读更多...
内核启动时减少log的方式

内核启动时减少log的方式

内核引导选项 内核引导选项大体上可以分为两类：一类与设备无关、另一类与设备有关。与设备有关的引导选项多如牛毛，需要你自己阅读内核中的相应驱动程序源码以获取其能够接受的引导选项。比如，如果你想知道可以向 AHA1542 SCSI 驱动程序传递哪些引导选项，那么就查看 drivers/scsi/aha1542.c 文件，一般在前面 100 行注释里就可以找到所接受的引导选项说明。大多数选项是通过"_
阅读更多...
Linux_kernel驱动开发11

Linux_kernel驱动开发11

一、改回nfs方式挂载根文件系统         在产品将要上线之前，需要制作不同类型格式的根文件系统         在产品研发阶段，我们还是需要使用nfs的方式挂载根文件系统         优点：可以直接在上位机中修改文件系统内容，延长EMMC的寿命         【1】重启上位机nfs服务         sudo service nfs-kernel-server resta
阅读更多...
【Linux 从基础到进阶】Ansible自动化运维工具使用

【Linux 从基础到进阶】Ansible自动化运维工具使用

Ansible自动化运维工具使用 Ansible 是一款开源的自动化运维工具，采用无代理架构（agentless），基于 SSH 连接进行管理，具有简单易用、灵活强大、可扩展性高等特点。它广泛用于服务器管理、应用部署、配置管理等任务。本文将介绍 Ansible 的安装、基本使用方法及一些实际运维场景中的应用，旨在帮助运维人员快速上手并熟练运用 Ansible。 1. Ansible的核心概念
阅读更多...
Linux服务器Java启动脚本

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包， 通常我们会使用nohup直接启动，但是还是需要手动停止然后再次启动， 那如何更优雅的在服务器上启动jar包呢，让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法，直接使用nohup后台启动jar包， 并将日志输出到当前文件夹n
阅读更多...
[Linux]：进程(下)

[Linux]：进程(下)

✨✨ 欢迎大家来到贝蒂大讲堂✨✨ 🎈🎈养成好习惯，先赞后看哦~🎈🎈 所属专栏：Linux学习 贝蒂的主页：Betty’s blog 1. 进程终止 1.1 进程退出的场景 进程退出只有以下三种情况： 代码运行完毕，结果正确。代码运行完毕，结果不正确。代码异常终止（进程崩溃）。 1.2 进程退出码 在编程中，我们通常认为main函数是代码的入口，但实际上它只是用户级
阅读更多...
【Linux】应用层http协议

【Linux】应用层http协议

一、HTTP协议 1.1 简要介绍一下HTTP        我们在网络的应用层中可以自己定义协议，但是，已经有大佬定义了一些现成的，非常好用的应用层协议，供我们直接使用，HTTP（超文本传输协议）就是其中之一。        在互联网世界中，HTTP（超文本传输协议）是一个至关重要的协议，他定义了客户端（如浏览器）与服务器之间如何进行通信，以交换或者传输超文本（比如HTML文档）。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2