本文主要是介绍Ascend多卡训练报错davinci_model : load task fail, return ret xxx,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
在Ascend上进行多机/多卡训练时,经常会遇到这种报错:
报这种错误的原因是该卡在最大等待时长内,没有收到其他卡的同步消息。
而没有收到其他卡的同步消息,有很多种可能:
- 其他卡挂了;
- 其他卡还在执行编译,且编译时间略长,超出了该卡的最大等待时长;
对于第一种情况,需要检查是否存在某张卡有问题无法正常使用的情况,可能是硬件问题,也可能是软件问题,可以通过查看每张卡的plog得知进一步的信息:
$ cd /root/ascend/log/plog
$ vi plog-xxx.log
复制
而对于第二种情况,我们可以设置延长每张卡的最大等待时长:
$ export HCCL_CONNECT_TIMEOUT=600
复制
这里设置成了600秒(默认为300秒),可以根据自己需要设置不同的时长。
这篇关于Ascend多卡训练报错davinci_model : load task fail, return ret xxx的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!