本文主要是介绍为raspberrypi编译bpftrace调试工具，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
基于eBPF的嵌入式应用调试
笔者之前写过几篇有关于使用eBPF调试Linux内核和应用的博客，其中提到，在嵌入式设备上使用BCC或bpftrace是不可行的；主要原因在于嵌入式设备的资源有限，而这两个调试工具依赖python/clang/llvm等库，需要将脚本编译为eBPF字节码加载入Linux内核来执行。然而，随着嵌入式设备的性能越来越强，板载资源越来越多，在嵌入式设备上运行bpftrace工具已成为可能。本文整理了笔者为raspberrypi 4设备编译bpftrace工具的过程，按照这些操作，笔者为工作中的嵌入式设备也制作了可用的bpftrace调试工具。
另外，22.04版本的Ubuntu系统自带的bpftrace已经不能用了，主要的原因是它不带符号表（strip -s）；本文的内容也可用于PC端的bpftrace工具编译构建：
root@ubuntu:/usr/sbin# uname -a
Linux ubuntu 5.15.0-97-generic #107-Ubuntu SMP Wed Feb 7 13:26:48 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux
root@ubuntu:/usr/sbin# ./execsnoop.bt
Attaching 3 probes...
ERROR: Could not resolve symbol: /proc/self/exe:BEGIN_trigger
编译使用的设备
首先，笔者使用的raspberrypi 4可插入两张TF卡，两张卡分别安装了debian系统和笔者编译的openwrt系统，二者的Linux内核版本大致相同，均为6.1版本。其次，树莓派设备的内存大小为2GB，这一点非常重要；因为bcc/bpftrace是由C++编写的，编译过程非常耗内存（笔者使用clang编译器构建）。最后，笔者是为了在openwrt系统中使用bpftrace，因此要求在构建openwrt系统时，选择glibc库。
零，安装clang编译器
编译在是树莓派的debian系统上完成的。需要按照apt.llvm.org的说明操作来安装，笔者选择了安装clang-10编译器：
wget https://apt.llvm.org/llvm.sh
chmod +x llvm.sh
./llvm.sh 10
之后，我们需要在debian安装其他依赖库（而不编译所有的依赖库，否则耗时太久了）。以下需要安装的库，是在raspberrypi/openwrt系统上缺少的，后面会直接复制到安装有openwrt系统的TF卡上：
sudo apt install flex bison zlib1g-dev liblzma-dev libbz2-dev cmake \libzstd-dev dwarves build-essential python3-setuptools libpython3-dev
一，编译elfutils
笔者下载了最新版本的elfutils，它提供了libelf依赖库，该软件包的配置、编译操作如下：
../configure --prefix=/opt/bpftrace CC=clang-10 CXX=clang++-10 \CFLAGS='-Wall -fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer -Wno-unused-parameter' \CXXFLAGS='-Wall -fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer -Wno-unused-parameter' \--disable-nls --enable-libdebuginfod=dummy --disable-debuginfod --with-zlib --with-lzma \--with-bzlib --with-zstd LDFLAGS='-Wl,-rpath=/opt/bpftrace/lib'
make && sudo make install
以上配置完成后，再执行make && sudo make install即可安装。
二，编译libbpf库
这里需要强调的是，依笔者的经验，libbpf库以及bcc、bpftrace版本的选择，不能任意；一定要根据Linux内核版本来选择。例如，树苺派的Linux内核版本为6.1，那么确认该版本内核的（初始）发布日期（是2023年初发布的），然后选择时间上相近的libbpf库。这里笔者选择的版本为libbpf-1.2.2。然而工作中，笔者因使用的嵌入式设备比较老，使用的版本为0.1.1。
该库的编译操作如下：
cd $HOME ; tar -zxf libbpf-1.2.2.tar.gz
cd libbpf-1.2.2/src
make V=1 PREFIX=/opt/bpftrace CC=clang-10 CFLAGS='-fPIC -O2 -ggdb -Wall -fno-omit-frame-pointer -I/opt/bpftrace/include' LDFLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib'
sudo make V=1 PREFIX=/opt/bpftrace CC=clang-10 CFLAGS='-fPIC -O2 -ggdb -Wall -fno-omit-frame-pointer -I/opt/bpftrace/include' LDFLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' install
注意，以上编译的库在debian/arm64系统下会被安装到/opt/bpftrace/lib64路径下，需要移到/opt/bpftrace/lib路径下，并修改/opt/bpftrace/lib/pkgconfig/libbpf.pc文件。
三，安装cereal头文件
早期的bpftrace工具不依赖该库，但现在是需要了，笔者选择了cereal-1.3.2.tar.gz版本：
mkdir -p build_aarch64 && cd build_aarch64
cmake -DCMAKE_BUILD_TYPE=release -DCMAKE_INSTALL_PREFIX=/opt/bpftrace \-DCMAKE_C_COMPILER=clang-10 -DCMAKE_CXX_COMPILER=clang++-10 \-DCMAKE_C_FLAGS='-fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer' \-DCMAKE_CXX_FLAGS='-fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer' \-DBUILD_DOC=OFF -DBUILD_SANDBOX=OFF -DSKIP_PERFORMANCE_COMPARISON=ON -DBUILD_TESTS=OFF ..
sudo make install
注意，该库以头文件的形式提供，以上不会有动态库编译生成。
四，编译bcc
bcc的版本为v0.27.0，笔者已验证最新版本的bcc编译得到的bpftrace存在异常。需要注意的是，笔者下载的源代码文件名为bcc-src-with-submodule.tar.gz。以下是配置、编译安装的操作：
mkdir -p build_aarch64 && cd build_aarch64
cmake -DCMAKE_BUILD_TYPE=release -DCMAKE_INSTALL_PREFIX=/opt/bpftrace \-DCMAKE_C_COMPILER=clang-10 -DCMAKE_CXX_COMPILER=clang++-10 \-DCMAKE_C_FLAGS='-fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer -I/opt/bpftrace/include' \-DCMAKE_CXX_FLAGS='-fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer -I/opt/bpftrace/include' \-DCMAKE_EXE_LINKER_FLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' \-DCMAKE_MODULE_LINKER_FLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' \-DCMAKE_SHARED_LINKER_FLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' \-DENABLE_LLVM_SHARED=ON -DENABLE_TESTS=OFF -DRUN_LUA_TESTS=OFF -DENABLE_LIBDEBUGINFOD=OFF ..
make && sudo make install
编译完成后，笔者删除了所有的静态库（因为笔者希望所有的库是动态链接的）：sudo rm -rf /opt/bpftrace/lib/*.a。注意，这个编译过程比较耗时，大约持继在一小时以上。因rasbperrypi 4内存有2GB，上面可以make -j2来编译加速。
五，编译bpftrace
笔者选择的bpftrace版本为v0.17.1（正如上面提到的，笔者验证最新版本的bpftrace在arm64/linux-6.1系统下运行不正常。配置、编译安装的操作如下：
mkdir -p build_aarch64 && cd build_aarch64
cmake -DCMAKE_BUILD_TYPE=release -DCMAKE_INSTALL_PREFIX=/opt/bpftrace \-DCMAKE_C_COMPILER=clang-10 -DCMAKE_CXX_COMPILER=clang++-10 \-DCMAKE_C_FLAGS='-fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer -I/opt/bpftrace/include -I${HOME}/libbpf-1.2.2/include -I${HOME}/libbpf-1.2.2/include/uapi' \-DCMAKE_CXX_FLAGS='-fPIC -O2 -D_GNU_SOURCE -ggdb -fno-omit-frame-pointer -I/opt/bpftrace/include -I${HOME}/libbpf-1.2.2/include -I${HOME}/libbpf-1.2.2/include/uapi' \-DCMAKE_EXE_LINKER_FLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' \-DCMAKE_MODULE_LINKER_FLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' \-DCMAKE_SHARED_LINKER_FLAGS='-L/opt/bpftrace/lib -Wl,-rpath=/opt/bpftrace/lib' \-DUSE_SYSTEM_BPF_BCC=ON -DSTATIC_LINKING=OFF -DALLOW_UNSAFE_PROBE=ON -DBUILD_TESTING=OFF ..
make && sudo make install
需要注意的是，上面的编译选项，直接指定了libbpf-1.2.2头文件包含的路径。至此，笔者的编译就结束了，接下来将编译结果复制到安装有openwrt系统的TF卡中。
在raspberrypi/openwrt系统下使用bpftrace
首先，除了/opt/bpftrace外，笔者从树莓派的debian系统中复制了以下库到openwrt系统：
root@OpenWrt:/lib/aarch64-linux-gnu# ls -lh -t | head -n 8
-rw-r--r-- 1 root root 64.8M Sep 9 22:40 libLLVM-10.so.1
-rw-r--r-- 1 root root 65.0K Sep 9 22:42 libbz2.so.1.0
-rw-r--r-- 1 root root 27.7M Sep 9 22:41 libclang-10.so.1
-rw-r--r-- 1 root root 179.1K Sep 9 22:43 libedit.so.2
-rw-r--r-- 1 root root 30.2K Sep 9 22:42 libffi.so.6
-rw-r--r-- 1 root root 130.2K Sep 9 22:41 liblzma.so.5
-rw-r--r-- 1 root root 158.6K Sep 9 22:43 libtinfo.so.5
-rw-r--r-- 1 root root 405.8K Sep 9 22:41 libzstd.so.1
然后，笔者为树莓派的内核使能了相关的内核选项，详见此处的详细说明。还有，bpftrace的正常运行，可能还需要访问内核的头文件，这就需要使能CONFIG_IKHEADERS=m，在树莓派启动后，手动加载该内核模块：insmod kheaders.ko。最后，笔者在树莓派的openwrt系统下使用bpftrace的结果如下：
root@OpenWrt:~# insmod kheaders.ko
module is already loaded - kheaders
root@OpenWrt:~# uname -a
Linux OpenWrt 6.1.50 #0 SMP Fri Sep 1 21:45:47 2023 aarch64 GNU/Linux
root@OpenWrt:~# /opt/bpftrace/bin/bpftrace --info
SystemOS: Linux 6.1.50 #0 SMP Fri Sep 1 21:45:47 2023Arch: aarch64Buildversion: v0.17.1LLVM: 10.0.1unsafe uprobe: nobfd: nolibdw (DWARF support): yeslibbpf: failed to find valid kernel BTF
Kernel helpersprobe_read: yesprobe_read_str: yesprobe_read_user: yesprobe_read_user_str: yesprobe_read_kernel: yesprobe_read_kernel_str: yesget_current_cgroup_id: yessend_signal: yesoverride_return: noget_boot_ns: yesdpath: noskboutput: noKernel featuresInstruction limit: 1000000Loop support: yesbtf: nomap batch: yesuprobe refcount (depends on Build:bcc bpf_attach_uprobe refcount): yesMap typeshash: yespercpu hash: yesarray: yespercpu array: yesstack_trace: yesperf_event_array: yesProbe typeskprobe: yestracepoint: yesperf_event: yeskfunc: noiter:task: noiter:task_file: nokprobe_multi: noraw_tp_special: yesroot@OpenWrt:~# cd /opt/bpftrace/share/bpftrace/tools/
root@OpenWrt:/opt/bpftrace/share/bpftrace/tools# ls
bashreadline.bt gethostlatency.bt runqlen.bt tcpdrop.bt
biolatency.bt killsnoop.bt setuids.bt tcplife.bt
biosnoop.bt loads.bt ssllatency.bt tcpretrans.bt
biostacks.bt mdflush.bt sslsnoop.bt tcpsynbl.bt
bitesize.bt naptime.bt statsnoop.bt threadsnoop.bt
capable.bt old swapin.bt undump.bt
cpuwalk.bt oomkill.bt syncsnoop.bt vfscount.bt
dcsnoop.bt opensnoop.bt syscount.bt vfsstat.bt
doc pidpersec.bt tcpaccept.bt writeback.bt
execsnoop.bt runqlat.bt tcpconnect.bt xfsdist.bt
root@OpenWrt:/opt/bpftrace/share/bpftrace/tools# /opt/bpftrace/bin/bpftrace ./execsnoop.bt
libbpf: failed to find valid kernel BTF
libbpf: failed to find valid kernel BTF
Attaching 3 probes...
TIME(ms) PID ARGS
26138 2490 /etc/init.d/firewall reload
26168 2502 readlink /etc/init.d/firewall
26170 2503 basename /etc/init.d/firewall
26172 2504 flock -n 1000
26174 2505 flock 1000
26178 2506 readlink /etc/init.d/firewall
26181 2507 readlink /etc/init.d/firewall
26183 2508 basename /etc/init.d/firewall
26186 2509 flock -n 1000
26188 2510 fw4 reload
26191 2511 flock -x 1000
26193 2512 rm -f /var/run/fw4.state
26195 2513 utpl -S /usr/share/firewall4/main.uc
26195 2514 nft -f /dev/stdin
26303 2515 sh -c /usr/sbin/nft --terse --json list flowtables inet
26305 2515 /usr/sbin/nft --terse --json list flowtables inet
26393 2516 utpl -S /usr/share/firewall4/main.uc
29341 2517 /etc/init.d/firewall status
29371 2529 readlink /etc/init.d/firewall
29373 2530 basename /etc/init.d/firewall
29375 2531 flock -n 1000
29377 2532 flock 1000
29381 2533 readlink /etc/init.d/firewall
29384 2534 basename /etc/init.d/firewall
29387 2537 jsonfilter -e @["firewall"]
29388 2539 jshn -w
29391 2540 ubus call service list { "name": "firewall" }
29397 2543 jsonfilter -e $.instances
63078 2544 /etc/init.d/network status
63108 2556 readlink /etc/init.d/network
63110 2557 basename /etc/init.d/network
63112 2558 flock -n 1000
63114 2559 flock 1000
63118 2560 readlink /etc/init.d/network
63121 2561 basename /etc/init.d/network
63124 2564 jsonfilter -e @["network"]
63125 2566 jshn -w
63128 2567 ubus call service list { "name": "network" }
63134 2570 jsonfilter -e $.instances
63137 2571 jsonfilter -s { "instance1": { "running": true, "pid": 769, "command": [ "\/sbin\/netifd" ], "term_timeout": 5,
"limits": { "core": "unlimited" }, "respawn": { "threshold": 3600, "timeout": 5, "retry": 5 } } } -e $[*].running
^C
root@OpenWrt:/opt/bpftrace/share/bpftrace/tools#
至此，可以说明我们编译的bpftrace工具可以正常工作了。
这篇关于为raspberrypi编译bpftrace调试工具的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
