【一文秒懂】Ftrace系统调试工具使用终极指南

2024-01-23 10:52
文章标签 工具 系统 使用 调试 指南 一文 终极 ftrace

本文主要是介绍【一文秒懂】Ftrace系统调试工具使用终极指南，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

img
我的圈子： 高级工程师聚集地
我是董哥，高级嵌入式软件开发工程师，从事嵌入式Linux驱动开发和系统开发，曾就职于世界500强公司！
创作理念：专注分享高质量嵌入式文章，让大家读有所得！
img

文章目录

    • 1、Ftrace是什么
    • 2、Ftrace的实现原理
      • 2.1 Ftrace框架图
      • 2.2 Ftrace是如何记录信息的
    • 3、如何使用Ftrace
      • 3.1 配置详解
      • 3.2 挂载debugfs文件系统
      • 3.3 traceing目录介绍
        • 3.3.1 trace
        • 3.3.2 trace_pipe
        • 3.3.3 tracing_on
        • 3.3.4 current_tracer
        • 3.3.5 available_filter_functions
        • 3.3.6 available_tracers
        • 3.3.7 buffer_size_kb
        • 3.3.8 buffer_total_size_kb
        • 3.3.9 set_ftrace_filter
        • 3.3.10 set_ftrace_notrace
        • 3.3.11 set_ftrace_pid
        • 3.3.12 set_graph_function
        • 3.3.12 set_graph_notrace
      • 3.4 简单使用示例
        • 3.4.1 函数追踪
        • 3.4.2 追踪图形显示
        • 3.4.3 动态过滤追踪
        • 3.4.4 重置追踪
    • 4、进阶用法
      • 4.1 追踪任意命令
      • 4.2 追踪指定函数的调用流程
      • 4.3 追踪指定模块的所有函数
    • 5、自动化管理
    • 6、总结

1、Ftrace是什么

Ftrace是Function Trace的简写，由 Steven Rostedt 开发的，从 2008 年发布的内核 2.6.27 中开始就内置了。

Ftrace是一个系统内部提供的追踪工具，旨在帮助内核设计和开发人员去追踪系统内部的函数调用流程。

随着Ftrace的不断完善，除了追踪函数调用流程的作用外，还可以用来调试和分析系统的延迟和性能问题，并发展成为一个追踪类调试工具的框架。

除了Ftrace外，追踪类调试工具还包括：

Tracing overview

2、Ftrace的实现原理

为了帮助我们更好的使用Ftrace，我们有必要简单了解Ftrace的实现原理。

2.1 Ftrace框架图

Ftrace的框架图如下：

在这里插入图片描述

由框架图我们可以知道：

  • ftrace包括多种类型的tracers，每个tracer完成不同的功能
  • 将这些不同类型的tracers注册进入ftrace framework
  • 各类tracers收集不同的信息，并放入到Ring buffer缓冲区以供调用。

 

2.2 Ftrace是如何记录信息的

Ftrace采用了静态插桩和动态插桩两种方式来实现。

静态插桩：

我们在Kernel中打开了CONFIG_FUNCTION_TRACER功能后，会增加一个-pg的一个编译选项，这个编译选项的作用就是为每个函数入口处，都会插入bl mcount跳转指令，使得每个函数运行时都会进入mcount函数。

Ftrace一旦使能，对kernel中所有的函数插桩，这带来的性能开销是惊人的，有可能导致人们弃用Ftrace功能。

为了解决这个问题，开发者推出了Dynamic ftrace，以此来优化整体的性能。

动态插桩：

这里的动态，是指的动态修改函数指令。

  1. 编译时，记录所有被添加跳转指令的函数，这里表示所有支持追踪的函数。
  2. 内核将所有跳转指令替换为nop指令，以实现非调试状态性能零损失。
  3. 根据 function tracer 设置，动态将被调试函数的nop指令，替换为跳转指令，以实现追踪。

 

总而言之，Ftrace记录数据可以总结为以下几个步骤：

  1. 打开编译选项-pg，为每个函数都增加跳转指令
  2. 记录这些可追踪的函数，并为了减少性能消耗，将跳转函数替换为nop指令
  3. 通过flag标志位来动态管理，将需要追踪的函数预留的nop指令替换回追踪指令，记录调试信息。

 

3、如何使用Ftrace

3.1 配置详解

CONFIG_FTRACE=y 							# 启用了 Ftrace
CONFIG_FUNCTION_TRACER=y					# 启用函数级别的追踪器
CONFIG_HAVE_FUNCTION_GRAPH_TRACER=y			# 表示内核支持图形显示
CONFIG_FUNCTION_GRAPH_TRACER=y				# 以图形的方式显示函数追踪过程
CONFIG_STACK_TRACER=y						# 启用堆栈追踪器，用于跟踪内核函数调用的堆栈信息。
CONFIG_DYNAMIC_FTRACE=y						# 启用动态 Ftrace，允许在运行时启用和禁用 Ftrace 功能。
CONFIG_HAVE_FTRACE_NMI_ENTER=y				# 表示内核支持非屏蔽中断（NMI）时进入 Ftrace 的功能
CONFIG_HAVE_FTRACE_MCOUNT_RECORD=y			# 表示内核支持通过 mcount 记录函数调用关系。
CONFIG_FTRACE_NMI_ENTER=y                   # 表示内核支持通过 mcount 记录函数调用关系。   
CONFIG_FTRACE_SYSCALLS=y					# 系统调用的追踪
CONFIG_FTRACE_MCOUNT_RECORD=y				# 启用 mcount 记录函数调用关系。
CONFIG_SCHED_TRACER=y						# 支持调度追踪
CONFIG_FUNCTION_PROFILER=y					# 启用函数分析器，主要用于记录函数的执行时间和调用次数
CONFIG_DEBUG_FS=y							# 启用 Debug 文件系统支持

上面只是介绍了部分配置，更多详细配置可自行了解。

并且上述配置不一定全部打开，勾选自己需要的即可，通常我们选择CONFIG_FUNCTION_TRACER和CONFIG_HAVE_FUNCTION_GRAPH_TRACER即可，然后编译烧录到开发板。

 

3.2 挂载debugfs文件系统

Ftrace是基于debugfs调试文件系统的，所以我们的第一步就是先挂载debugfs。

mount -t debugfs none /sys/kernel/debug

此时我们能够在/sys/kernel/debug下看到内核支持的所有的调试信息了。

# cd /sys/kernel/debug/
# ls
asoc                gpio                regmap
bdi                 ieee80211           sched_debug
block               memblock            sched_features
clk                 mmc0                sleep_time
device_component    mmc1                suspend_stats
devices_deferred    mtd                 tracing
dma_buf             opp                 ubi
extfrag             pinctrl             ubifs
fault_around_bytes  pm_qos              wakeup_sources

 

3.3 traceing目录介绍

在/sys/kernel/debug目录下，包含的是kernel所有的调试信息，本章只关注与tracing目录，下面挑选一些比较重要的属性文件来分析。

 

万变不离其宗，如此复杂的框架，设计人员已经提供了README文件，里面详解了各个属性文件的含义，我建议抛弃本文，看README吧:)

3.3.1 trace

trace ：包含当前追踪的内容，以人类可读的格式展现，通过echo > trace来清除。

 

3.3.2 trace_pipe

trace_pipe 和 trace 一样，都是记录当前的追踪内容，但它和 trace 不一样的是：

  • 对 trace_pipe 的读操作将会阻塞，直到有新的追踪数据进来为止；
  • 当前从trace_pipe 读取的内容将被消耗掉，再次读 trace_pipe 又会阻塞到新数据进来为止。

简单的来说，cat trace_pipe是堵塞读取，有数据就读，没数据就等待；而cat trace有没有数据都是直接返回的

 

3.3.3 tracing_on

tracing_on：向 tracing_on 写入 1，启用追踪；向 tracing_on 写入 0，停止追踪。

追踪使用 ring buffer 记录追踪数据。修改 tracing_on 不会影响 ring buffer 当前记录的内容。

 

3.3.4 current_tracer

current_tracer 表示当前启用的 tracer ，默认为 nop ，即不做任何追踪工作：

# cat current_tracer
nop

 

3.3.5 available_filter_functions

available_filter_functions：可以被追踪的函数列表，即可以写到 set_ftrace_filter，set_ftrace_notrace，set_graph_function，set_graph_notrace 文件的函数列表。

 

3.3.6 available_tracers

available_tracers 文件中包含的是当前编译到内核的 tracer 列表，也表示当前内核支持的tracer列表。

该列表的内容，就是可以写到 current_tracer 的 tracer 名。

# cat available_tracers
function_graph function nop
  • nop：表示为空，不追踪
  • function：追踪函数调用
  • function_graph：以图形形式追踪函数调用

 

3.3.7 buffer_size_kb

buffer_size_kb 记录 CPU buffer 的大小，单位为 KB 。

per_cpu/cpuX/buffer_size_kb 记录 每个CPU buffer 大小，单位为 KB 。可通过写 buffer_size_kb 来改变 CPU buffer 的大小。

 

3.3.8 buffer_total_size_kb

buffer_total_size_kb 记录所有 CPU buffer 的总大小，即所有 CPU buffer 大小总和。

如有 128 个 CPU buffer ，每个大小 7KB，则 buffer_total_size_kb 记录的总大小为 128 * 7KB = 896。

buffer_total_size_kb 文件是只读的。

 

3.3.9 set_ftrace_filter

set_ftrace_filter ：过滤函数追踪，仅仅追踪写入该文件的函数名。

可填入的参数，可以通过available_filter_functions文件查看当前支持的函数名。

该过滤功能，也有很多其他变体，如追踪某个模块的函数调用等。

官方给的示例：

Format: :mod:<module-name>
example: echo :mod:ext3 > set_ftrace_filter		# 该模块必须是已经加载进去的模块

 

3.3.10 set_ftrace_notrace

set_ftrace_notrace：和 set_ftrace_filter 刚好相反，系统禁用对其中列举函数的追踪。

 

3.3.11 set_ftrace_pid

系统对 set_ftrace_pid 文件中指定的 PID进程进行追踪。

如果开启了 options/function-fork 选项，fork 的子进程的 PID 也会自动加入文件，同时该选项也会引起系统自动将退出进程的 PID 从文件中移除。

 

3.3.12 set_graph_function

此文件中列出的函数将导致函数图跟踪器仅跟踪这些函数以及它们调用的函数。

但是该跟踪的记录，仍然受set_ftrace_filter 和 set_ftrace_notrace 的影响。

 

3.3.12 set_graph_notrace

与 set_graph_function 类似，但当函数被命中时，将禁用函数图跟踪，直到退出函数。

 

更多干货可见：高级工程师聚集地，助力大家更上一层楼！

 

3.4 简单使用示例

一般我们挂载上debugfs后，tracing_on是处于打开状态的。

3.4.1 函数追踪

image-20240110110558815

 

3.4.2 追踪图形显示

image-20240110110617669

 

3.4.3 动态过滤追踪

image-20240110110641149

 

3.4.4 重置追踪
echo 0 > tracing_on			# 关闭trace
echo > trace				# 清空当前trace记录
cat available_tracers 		# 查看当前支持的追踪类型
echo function_graph > current_tracer 	# 设置当前的追踪类型
echo 1 > tracing_on			# 开启追踪
cat trace					# 查看追踪结果

 

4、进阶用法

上述章节，只是介绍了Ftrace最基本的命令，下面来看一下Ftrace在具体问题中的用法！

4.1 追踪任意命令

如何追踪我们执行的命令呢？

Ftrace支持追踪特定进程，通过set_ftrace_pid属性来设置指定进程。然后在该进程中，执行特定的命令。

首先我们需要设置好我们的追踪器

mount -t debugfs none /sys/kernel/debug
cd /sys/kernel/debug/tracing
echo 0 > tracing_on									# 关闭追踪器
echo function > current_tracer						# 设置当前追踪类别

在我们设置好追踪器后，使用如下命令，即可追踪我们执行的命令your_command

echo > trace; echo $$ > set_ftrace_pid; echo 1 > tracing_on; your_command; echo 0 > tracing_on

为什么要写成一条语句？

因为ftrace当打开时，在没有过滤的情况下，瞬间会抓取到内核所有的函数调用，为了更准确的抓取我们执行的命令，所以需要打开trace，执行完命令后，马上关闭。

 

4.2 追踪指定函数的调用流程

跟踪函数的时候，设置 echo 1 > options/func_stack_trace 即可在 trace 结果中获取追踪函数的调用栈。

mount -t debugfs none /sys/kernel/debug
cd /sys/kernel/debug/tracing
echo 0 > tracing_on									# 关闭追踪器
cat available_filter_functions | grep "xxxxxx"		# 搜索函数是否存在
echo xxxxxx > set_ftrace_filter						# 设定追踪的函数
echo function > current_tracer						# 设置当前追踪类别
echo 1 > options/func_stack_trace					# 记录堆栈信息
echo > trace										# 清空缓存
echo 1 > tracing_on									# 开始追踪

效果如下：

# cat trace
# tracer: function
#
# entries-in-buffer/entries-written: 2/2   #P:3
#
#                              _-----=> irqs-off
#                             / _----=> need-resched
#                            | / _---=> hardirq/softirq
#                            || / _--=> preempt-depth
#                            ||| /     delay
#           TASK-PID   CPU#  ||||    TIMESTAMP  FUNCTION
#              | |       |   ||||       |         |kworker/1:1-59    [001] ....   168.954199: mmc_rescan <-process_one_workkworker/1:1-59    [001] ....   168.954248: <stack trace>=> mmc_rescan=> process_one_work=> worker_thread=> kthread=> ret_from_fork=> 0

 

4.3 追踪指定模块的所有函数

要想我们的ko文件能够被Ftrace记录到，我们需要在编译模块的时候，加上编译参数-pg，这点很重要，否则你在available_filter_functions列表中，查找不到你想要的函数。

然后，需要我们设置过滤器，设置方法有以下几种：

  • 按模块直接过滤：
# 示例
Format: :mod:<module-name>
example: echo :mod:ext3 > set_ftrace_filter

追踪ext3模块内的所有函数

 

  • 按函数直接过滤

如果该模块内的函数，命名都有一定的规则，可以按照正则表达式来过滤

# 示例
echo "mmc*" > set_ftrace_filter

过滤包含mmc字符的所有函数

 

  • 按照函数差异来过滤

如果函数命名没有规律，又想过滤该模块所有函数，该怎么办？

按照加载模块前后的函数差异，写入到文件中来过滤

cat available_filter_functions > /tmp/1.txt
cat available_filter_functions > /tmp/2.txt
diff /tmp/1.txt /tmp/2.txt > /tmp/3.txt
cat /tmp/3.txt | sed 's/^+//' | awk '{print $1}'	# 如果diff出来格式前带有+-号，需要手动去掉
cat /tmp/3.txt > set_ftrace_filter

 

5、自动化管理

Ftrace功能很强大，在内核层面我们通过echo和cat即可获取我们想要的所有信息，但是通过一次一次敲命令显得有些繁琐，自己也对常用的功能整合了一个自动化脚本，能够通过命令行，直接追踪特定模块、函数、命令，极大提高了调试效率。

PS：自动化脚本获取：公~号【嵌入式艺术】

# /root/common_trace.sh 
Usage: /root/common_trace.sh {module|funcs|funcs_stack|command|clear}/root/common_trace.sh module ext4 /root/common_trace.sh funcs sysfs /root/common_trace.sh funcs_stack sysfs /root/common_trace.sh command sysfs [functions] /root/common_trace.sh clear

脚本主要实现的功能有：

  • 追踪指定模块，查看所有调用流程
  • 追踪指定函数，查看该函数的调用链
  • 追踪指定函数，获取堆栈信息
  • 追踪用户命令，查看所有调用流程，并可选择指定函数来查看调用流程。

脚本除了command功能外，其他功能都需要手动调用common_trace.sh clear来停止追踪。

 

6、总结

以上，介绍了Ftrace的由来，实现原理，以及如何使用Ftrace，并最终提供了自动化测试脚本，希望对大家有所帮助。

img
欢迎关注 公号&星球【嵌入式艺术】，董哥原创！

这篇关于【一文秒懂】Ftrace系统调试工具使用终极指南的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/636165。

相关文章

Linux内核的调试（TODO）

Linux内核的调试（TODO）

（TODO）
阅读更多...
不懂推荐算法也能设计推荐系统

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例，告诉我们不懂推荐算法的产品，也能从产品侧出发， 设计出一款不错的推荐系统。 相信很多新手产品，看到算法二字，多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法（注：传统是指科班出身的产品都会接触过）。但对于推荐算法，多数产品对着网上搜到的资源，都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后，更是加大了理解的难度。 但，不了解推荐算法，就无法做推荐系
阅读更多...
中文分词jieba库的使用与实景应用（一）

中文分词jieba库的使用与实景应用（一）

知识星球：https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义： 精确模式（默认模式）： 全模式： 搜索引擎模式： paddle 模式（基于深度学习的分词模式）： 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取
阅读更多...
基于人工智能的图像分类系统

基于人工智能的图像分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 图像分类是计算机视觉中的一个重要任务，目标是自动识别图像中的对象类别。通过卷积神经网络（CNN）等深度学习技术，我们可以构建高效的图像分类系统，广泛应用于自动驾驶、医疗影像诊断、监控分析等领域。本文将介绍如何构建一个基于人工智能的图像分类系统，包括环境
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
Makefile简明使用教程

Makefile简明使用教程

文章目录 规则makefile文件的基本语法：加在命令前的特殊符号：.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具，常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件
阅读更多...
使用opencv优化图片（画面变清晰）

使用opencv优化图片（画面变清晰）

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化，使其看起来更清晰，同时保持尺寸不变，通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多，主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器：相机传
阅读更多...
嵌入式QT开发：构建高效智能的嵌入式系统

嵌入式QT开发：构建高效智能的嵌入式系统

摘要： 本文深入探讨了嵌入式 QT 相关的各个方面。从 QT 框架的基础架构和核心概念出发，详细阐述了其在嵌入式环境中的优势与特点。文中分析了嵌入式 QT 的开发环境搭建过程，包括交叉编译工具链的配置等关键步骤。进一步探讨了嵌入式 QT 的界面设计与开发，涵盖了从基本控件的使用到复杂界面布局的构建。同时也深入研究了信号与槽机制在嵌入式系统中的应用，以及嵌入式 QT 与硬件设备的交互，包括输入输出设
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2