1. 较早的pytorch.distributed.launch python -m torch.distributed.launch --nproc_per_node=4 --nnodes=1 --node_rank=0 train.py --args XXX 参数解析： nnodes：节点（主机）的数量，通常一个节点对应一个主机 node_rank：指的是当前启动的是第几台服务

在服务器上运行torchrun命令报错: export TORCHRUN="path/to/torchrun";$TORCHRUN --nproc_per_node 2 -m /usr/bin/env: ‘python’: No such file or directory 打开torchrun文件发现是这么写的： #!/usr/bin/env python# -*- coding

前言 在运行代码时 ，遇到报错信息 torchrun: command not found 解决方式 应该是pytorch 版本不支持 torchrun, 或者其他原因导致不能使用，一般修改为 python3 -m torch.distributed.run 即可使用