针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法

本文主要是介绍针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法

文章目录

针对基于nohup后台运行PyTorch多卡并行程序中断问题的一种新方法
- Abstract
- screen和tmux介绍
- tmux常用命令以及快捷键
- Byobu
- 简单操作步骤集锦
- 参考文献

Abstract

PyTorch多卡并行运行程序is one of the most prevalent methods for training large models. nohup也是后台运行程序的一个主要工具。然而，我最近遇到采用nohup后台挂起的多卡并行程序突然断掉了。
在这里插入图片描述
具体的报原因青参考博客nohup训练pytorch模型时的报错以及tmux的简单使用.
该博客推荐使用tmux来进行会话管理。screen, tmux是两种常用的会话管理工具。博客tmux使用指南：比screen好用n倍！也推荐使用tmux. 然而，我在使用tmux的过程中又遇到了一个新的问题—tmux创建的会话无法切换到相应的conda环境。网上的许多博客
[1]tmux中conda环境无法生效问题
[2]tmux+conda环境配置不对问题解决
均对这个问题给出了自己的答案，然而，unfortunately, 这些博客在我的vscode终端开发环境下均无效。

受到博客tmux使用指南：比screen好用n倍！评论区中的一个推荐byobu的评论的启发，
在这里插入图片描述

本文提出了一个byobu和tmux结合使用的方法，解决了上述nohup后台挂起失败以及tmux无法切换环境的问题。

screen和tmux介绍

screen是Linux中比较常用的可以“接入”和“离开”的shell对话框，很大地方法方便了我们ssh登录服务器跑任务，如果不用screen, 我们合上电脑，ssh就断开了，相应的服务器运行任务也断开了。与screen类似，tmux也是一个常用的会话管理工具。

# tmux的层次：
-session1
---window1
------subwindow1
------subwindow2
------subwindow3
------subwindow4
---window2
-session2
---window3
---window4

tmux服务可以开启多个session.
一个session可以开多个window
一个window可以分多个subwindow.

tmux常用命令以及快捷键

虽然网上有很多写tmux常用快捷键的博客，但是这些命令并不完全都能在我们自己的环境中有效。例如， tmux的ctr + b +d 的detach session功能就无法在vscode远程开发环境中生效，取而代之的是ctr + a + d，原因未知。所以，tmux快捷键命令是否生效要因自己的环境自行判断。大部分快捷键不会变动。可以参考Tmux使用教程，阮一峰的网络日志。