libvirt 启动 qemu 的过程

2023-11-09 09:35
文章标签 启动 过程 qemu libvirt

本文主要是介绍libvirt 启动 qemu 的过程，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 背景介绍

gdb 调试多任务程序时会有些麻烦： fork 之后没法同时跟踪父进程和子进程，如果在子进程里设置了一个 breakpoint，那么子进程将会收到一个 SIGTRAP 信号并退出。gdb 手册里提到了一种小技巧，那就是在想要插入 breakpoint 的位置添加 sleep() 调用。但经过笔者试验，添加以下代码更加适合：

 
  1. static volatile int hold = 1;
  2. while (hold) ;

然后，重新编译程序并执行。这样，当程序运行到 while 位置的时候就会循环在那里，接下来就可以调试了。

2 调试步骤

多任务基本调试步骤如下：

  1. ps -ef | grep xxx，找到你关心的进程
  2. gdb attach pid，关联到当前 pid 对应的 program
  3. info threads，查看哪个线程正在执行你关心的 path
  4. thread xx，切换到那个线程
  5. set hold=0，设置 hold 为 0，使程序继续运行。

如果发生了进程间通信，数据流从 A 发送往 B 了，此时便可以采取上述方法，同时跟踪 A 和 B。每次发生了 pipe/socket 通信，就重复上述步骤。通过这种方式，一些很复杂的多任务程序也可以清晰调试。

3 调试案例

Libvirt 是用于管理虚拟化平台的开源的 API，后台程序和管理工具。它可以用于管理 KVM、Xen、VMware ESX，QEMU 和其他虚拟化技术。

接下来以 libvirt 的分析过程为例来介绍 gdb 的多任务调试。

libvirt 的基本操作和大概结构是这样的：

  • libvirt 组件有一个 shell，被称为 virsh，提供类似 shell 的界面，可以输入 start、shutdown 等命令操作虚拟机

  • libvirt 有一个守护进程，libvirtd，其对 virsh 的命令做出响应
    • 以 non-root 执行 virsh start 时，将以 qemu://session 的方式运行。libvirtd 将启动一个 non-root 的子进程来与 virsh 进行 socket 通信
    • 以 root 执行 virsh start 时，将以 qemu://system 方式运行，libvirtd 直接与 virsh 进行 socket 通信

  • 无论是上述哪种方式，都会创建多个（一般16个）线程，该线程的的作用是将 socket 传递过来的各个命令和配置进行解析，最终形成一个 cmd。

  • 子线程会将 cmd 通过 pipe 传递给 libvirtd，libvirtd 会 fork 出一个子进程，并 exec cmd

但如果我们想弄清楚 virsh 启动 qemu 的全过程的细节，即在 virsh 里敲入 start xxx_domain，到 exec qemu bin，这中间究竟发生了什么细节呢？这就必须要 gdb 调试了。可以想象，这过程中必定有大量的进程间通信（socket、pipe），这时就出现了文章开头说明的问题：当前 thread 将数据流发给了另外的 thread，而另外的 thread 却没法跟踪并停止。

  1. 我们通过 log 大概知道了 qemuProcessStart 是启动的必经之路，因此在这个函数里添加代码：

     
    1. int
    2. qemuProcessStart(virConnectPtr conn, unsigned int flags)
    3. {
    4. ...
    5. static volatile int hold = 1;
    6. while (hold) ;
    7. }

  2. 重新编译、安装、重启 libvirtd

     
    1. # make && make install
    2. # service libvirtd restart

  3. 跟踪 libvirtd

     
    1. # ps -ef | grep libvirtd
    2. root 16529 1 0 16:34 ? 00:00:00 /usr/local/sbin/libvirtd --listen
    3.  
    4. # gdb /usr/local/sbin/libvirtd 16529

  4. 在其他的 console 里启动虚拟机

     
    1. # virsh start xxx

  5. 按下 Ctrl+c 停止 gdb，查看所有 threads：

     
    1. (gdb) info threads
    2. Id Target Id Frame
    3. 15 Thread 0x7f915bccd700 (LWP 16531) "libvirtd" 0x00007f9156ba3296 in qemuProcessStart (conn=conn@entry=0x7f914c1056e0, flags=flags@entry=1)
    4. ...
    5. * 1 Thread 0x7f916325d840 (LWP 16529) "libvirtd" 0x00007f9160c0ca4d in poll () from /lib64/libc.so.6
    6. (gdb)

  6. 切换到 thread 15，set hold=0

     
    1. (gdb) thread 15
    2. [Switching to thread 15 (Thread 0x7fb9ac921700 (LWP 27260))]
    3. #0 qemuProcessStart (conn=conn@entry=0x7fb97c000aa0, driver=driver@entry=0x7fb99c00da90, vm=vm@entry=0x7fb99c00b910, updatedCPU=updatedCPU@entry=0x0,
    4. asyncJob=asyncJob@entry=QEMU_ASYNC_JOB_START, migrateFrom=migrateFrom@entry=0x0, migrateFd=migrateFd@entry=-1, migratePath=migratePath@entry=0x0,
    5. snapshot=snapshot@entry=0x0, vmop=vmop@entry=VIR_NETDEV_VPORT_PROFILE_OP_CREATE, flags=flags@entry=1) at qemu/qemu_process.c:5878
    6. 5878 while (hold)
    7. (gdb) set hold=0

接下来就可以继续调试下去了。

通过这种办法就可以得知整个过程。以下是通过重复上述步骤获取到的知识:

  • 子线程将 cmd 通过 pipe 传递给 libvirtd

     
    1. (gdb)
    2. #0 virCommandHandshakeNotify (cmd=cmd@entry=0x7f6e4400fa40) at util/vircommand.c:2757
    3. #1 0x00007f6e5e7666cd in qemuProcessLaunch (conn=conn@entry=0x7f6e500009a0, driver=driver@entry=0x7f6e54000e80, vm=vm@entry=0x7f6e54012ec0,
    4. asyncJob=asyncJob@entry=QEMU_ASYNC_JOB_START, incoming=incoming@entry=0x0, snapshot=snapshot@entry=0x0, vmop=vmop@entry=VIR_NETDEV_VPORT_PROFILE_OP_CREATE,
    5. flags=flags@entry=17) at qemu/qemu_process.c:5685
    6.  
    7.  
    8.  
    9. 2729 int virCommandHandshakeNotify(virCommandPtr cmd)
    10. ...
    11. 2749 if (safewrite(cmd->handshakeNotify[1], &c, sizeof(c)) != sizeof(c)) {
    12. 2750 virReportSystemError(errno, "%s", _("Unable to notify child process"));
    13. 2751 VIR_FORCE_CLOSE(cmd->handshakeNotify[1]);
    14. 2752 return -1;
    15. 2753 }
    16. ...
    17. 2756 }

  • libvirtd 收到 cmd 后，会执行 virExec，

     
    1. #0 virExec (cmd=cmd@entry=0x7f72bc0026d0) at util/vircommand.c:491
    2. #1 0x00007f72d2219b07 in virCommandRunAsync (cmd=cmd@entry=0x7f72bc0026d0, pid=pid@entry=0x0) at util/vircommand.c:2452
    3. #2 0x00007f72d221a0c4 in virCommandRun (cmd=cmd@entry=0x7f72bc0026d0, exitstatus=exitstatus@entry=0x7f72c29fab64) at util/vircommand.c:2284
    4. #3 0x00007f72d222c166 in virFirewallCheckUpdateLock (lockflag=lockflag@entry=0x7f72d26768a3 <iptablesUseLock>, args=args@entry=0x7f72c29fabc0) at util/virfirewall.c:124
    5. ...
    6. #20 0x00007f72d072035d in clone () from /lib64/libc.so.6

  • virExec() 将会 fork 出子进程，子进程将会执行 exec(qmeu-system-x86_64)

     
    1. 475 virExec(virCommandPtr cmd)
    2. ...
    3. 749 if (cmd->uid != (uid_t)-1 || cmd->gid != (gid_t)-1 || cmd->capabilities || (cmd->flags & VIR_EXEC_CLEAR_CAPS)) {
    4. 753 if (virSetUIDGIDWithCaps(cmd->uid, cmd->gid, groups, ngroups,
    5. ...
    6. 790 if (cmd->env)
    7. 791 execve(binary, cmd->args, cmd->env); <--- 启动了qemu
    8. ...

在执行了 execve 之后，当前父进程就会结束退出了。如果想要继续跟踪子进程 qemu，那么仍然需要重复上述过程。

4 libvirt 分析小结

我们以一张流程图来展示整个 libvirt 启动 qemu 的过程libvirt启动qemu过程

5 抛砖引玉

在 Windows 调试工具 windbg 上，用户可以选择子进程在创建后，wait 并等待用户调试，从而省去了上述麻烦。gdb 是不是可以引入这个特性呢？

6 附录

GDB online doc – Fork.html:

On most systems, GDB has no special support for debugging programs which create additional processes using the fork function. When a program forks, GDB will continue to debug the parent process and the child process will run unimpeded. If you have set a breakpoint in any code which the child then executes, the child will get a SIGTRAP signal which (unless it catches the signal) will cause it to terminate.

However, if you want to debug the child process there is a workaround which isn’t too painful. Put a call to sleep in the code which the child process executes after the fork. It may be useful to sleep only if a certain environment variable is set, or a certain file exists, so that the delay need not occur when you don’t want to run GDB on the child. While the child is sleeping, use the ps program to get its process ID. Then tell GDB (a new invocation of GDB if you are also debugging the parent process) to attach to the child process (see Attach). From that point on you can debug the child process just like any other process which you attached to.

这篇关于libvirt 启动 qemu 的过程的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/375329。

相关文章

浅析Spring Security认证过程

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程，特意画了如下的类图，包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口，接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti
阅读更多...
作业提交过程之HDFSMapReduce

作业提交过程之HDFSMapReduce

作业提交全过程详解 （1）作业提交 第1步：Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 第2步：Client向RM申请一个作业id。 第3步：RM给Client返回该job资源的提交路径和作业id。 第4步：Client提交jar包、切片信息和配置文件到指定的资源提交路径。 第5步：Client提交完资源后，向RM申请运行MrAp
阅读更多...
MySQL数据库宕机，启动不起来，教你一招搞定！

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志，排查哪个表（表空间
阅读更多...
springboot3打包成war包，用tomcat8启动

springboot3打包成war包，用tomcat8启动

1、在pom中，将打包类型改为war <packaging>war</packaging> 2、pom中排除SpringBoot内置的Tomcat容器并添加Tomcat依赖，用于编译和测试,         *依赖时一定设置 scope 为 provided （相当于 tomcat 依赖只在本地运行和测试的时候有效，         打包的时候会排除这个依赖）<scope>provided
阅读更多...
内核启动时减少log的方式

内核启动时减少log的方式

内核引导选项 内核引导选项大体上可以分为两类：一类与设备无关、另一类与设备有关。与设备有关的引导选项多如牛毛，需要你自己阅读内核中的相应驱动程序源码以获取其能够接受的引导选项。比如，如果你想知道可以向 AHA1542 SCSI 驱动程序传递哪些引导选项，那么就查看 drivers/scsi/aha1542.c 文件，一般在前面 100 行注释里就可以找到所接受的引导选项说明。大多数选项是通过"_
阅读更多...
【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

【机器学习】高斯过程的基本概念和应用领域以及在python中的实例

引言 高斯过程（Gaussian Process，简称GP）是一种概率模型，用于描述一组随机变量的联合概率分布，其中任何一个有限维度的子集都具有高斯分布 文章目录 引言一、高斯过程1.1 基本定义1.1.1 随机过程1.1.2 高斯分布 1.2 高斯过程的特性1.2.1 联合高斯性1.2.2 均值函数1.2.3 协方差函数（或核函数） 1.3 核函数1.4 高斯过程回归（Gauss
阅读更多...
用命令行的方式启动.netcore webapi

用命令行的方式启动.netcore webapi

用命令行的方式启动.netcore web项目 进入指定的项目文件夹，比如我发布后的代码放在下面文件夹中 在此地址栏中输入“cmd”，打开命令提示符，进入到发布代码目录 命令行启动.netcore项目的命令为:  dotnet 项目启动文件.dll --urls="http://*:对外端口" --ip="本机ip" --port=项目内部端口 例： dotnet Imagine.M
阅读更多...
Linux服务器Java启动脚本

Linux服务器Java启动脚本

Linux服务器Java启动脚本 1、初版2、优化版本3、常用脚本仓库 本文章介绍了如何在Linux服务器上执行Java并启动jar包， 通常我们会使用nohup直接启动，但是还是需要手动停止然后再次启动， 那如何更优雅的在服务器上启动jar包呢，让我们一起探讨一下吧。 1、初版 第一个版本是常用的做法，直接使用nohup后台启动jar包， 并将日志输出到当前文件夹n
阅读更多...
衡石分析平台使用手册-单机安装及启动

衡石分析平台使用手册-单机安装及启动

单机安装及启动​ 本文讲述如何在单机环境下进行 HENGSHI SENSE 安装的操作过程。 在安装前请确认网络环境，如果是隔离环境，无法连接互联网时，请先按照 离线环境安装依赖的指导进行依赖包的安装，然后按照本文的指导继续操作。如果网络环境可以连接互联网，请直接按照本文的指导进行安装。 准备工作​ 请参考安装环境文档准备安装环境。 配置用户与安装目录。 在操作前请检查您是否有 sud
阅读更多...
SpringBoot项目是如何启动

SpringBoot项目是如何启动

启动步骤 概念 运行main方法，初始化SpringApplication 从spring.factories读取listener ApplicationContentInitializer运行run方法读取环境变量，配置信息创建SpringApplication上下文预初始化上下文，将启动类作为配置类进行读取调用 refresh 加载 IOC容器，加载所有的自动配置类，创建容器在这个过程
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2